本文主要是介绍flux bitsandbytes bnb量化;diffusers 15G显卡加载使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
使用bitsandbytes进行bnb量化
在线参考:
https://colab.research.google.com/gist/sayakpaul/4af4d6642bd86921cdc31e5568b545e1/scratchpad.ipynb
安装包
!pip install -U accelerate transformers bitsandbytes
!pip install git+https://github.com/huggingface/diffusers@quantization-config
!huggingface-cli login 登录
import torch
from diffusers import BitsAndBytesConfig, FluxTransformer2DModel, FluxPipeline
from accelerate.utils import
这篇关于flux bitsandbytes bnb量化;diffusers 15G显卡加载使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!