本文主要是介绍diffusion 模型gguf量化使用案例,支持CPU运行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
参考:
https://github.com/leejet/stable-diffusion.cpp
在线demo使用:
https://colab.research.google.com/drive/1NkAzSn3iYOwkY1Jy7qJfV_d2ZMHQmXrK?usp=sharing
一般gguf量化质量
fp16 > Q8 > fp8 > Q4 > Q4k_m > Q4k_s > nf4
安装
!git clone --recursive https:<
这篇关于diffusion 模型gguf量化使用案例,支持CPU运行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!