Windows 安装 flash-attention 和 bitsandbytes

本文主要是介绍Windows 安装 flash-attention 和 bitsandbytes，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

• 首先保证cuda版本为12.1，torch版本为2.1.0及以上，python版本3.10以上

• 从此处下载最新版的whl，https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels，通过whl来安装bitsandbytes

• 从此处下载最新版的whl， https://github.com/bdashore3/flash-attention/releases, 通过whl来安装flash-attn
  如果出现

CUDA SETUP: Problem: The main issue seems to be that the main CUDA library was not detected.

通常就是bitsandbytes的版本没装对，或者cuda版本不对。确保安装cuda12.1以及对应的torch，再从whl安装bitsandbytes，即可避免此问题。

这篇关于Windows 安装 flash-attention 和 bitsandbytes的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---