关于Linux中引用auto_gptq提示“CUDA extension not installed”

本文主要是介绍关于Linux中引用auto_gptq提示“CUDA extension not installed”，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

问题现象如下：

引用auto_gptq时报CUDA extension not installed的提示

解决方案（以下解决方案的前提是torch torchvision torchaudio都装好cu118版本了）：

1、下载官方源码：

git clone https://github.com/AutoGPTQ/AutoGPTQ.git

2、安装bitsandbytes

pip install bitsandbytes --no-cache-dir

3、从源码安装gptq

pip install . (Install from source AutoGPTQ)

 

然后就没问题了！

这篇关于关于Linux中引用auto_gptq提示“CUDA extension not installed”的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---