Xformers介绍

原基础环境配置：NVIDIA470.57.02支持的最高CUDA为11.4，实际CUDA为11.1。

最近在跑ResShift模型，是一个基于高效diffusion的图像超分扩散模型。在配置环境时，需要安装一个库xformers==0.0.20，然后就引发了一系列的版本问题：

1、xformer 0.0.20 需要的 torch版本为2.0.1左右

2、torch 2.0.1需要的cuda版本为11.7左右

3、cuda11.7需要的NVIDIA版本需要升级（CUDA版本不能超过NVIDIA支持的最高版本）

4、更新cuda后，对应的gcc版本可能也需要更新，而且以前的project环境可能会崩，呜呜呜~

Xformers作为facebook中的一个开源库，能够更加有效的实现transformer中的计算工作，能够对整体模型进行进一步的加速。注意，当处理高分辨率的图像时，xformers对于显存的降低效果更加明显。对于处理较低分辨率的图像时（如512*512）对显存没有明显优化。

另外需要注意，使用了xformers对训练过程进行优化后，模型推理时也必须要用存在xformers的环境进行推理，不然容易出现精度溢出导致的“黑图”问题。

GitHub - facebookresearch/xformers: Hackable and optimized Transformers building blocks, supporting a composable construction.Hackable and optimized Transformers building blocks, supporting a composable construction. - GitHub - facebookresearch/xformers: Hackable and optimized Transformers building blocks, supporting a composable construction.https://github.com/facebookresearch/xformers对于xformers的详细介绍、代码中如何引入、效果和注意事项可以戳下面链接：

【stable-diffusion企业级教程04】EMA你走,拥抱16G显存！Xformers是未来！ - 知乎1、回顾无所知：【stable-diffusion企业级教程03】FP16真香！(想说爱你不容易）上一讲我们成功的利用deepspeed框架，将sd模型以fp16的精度训练了起来，显存的消耗也降低到18G左右。 不过有小伙伴在下面评论，说手…https://zhuanlan.zhihu.com/p/632607725

注意：代码中应该会在开头，定义一个全局变量，来确定是否需要使用xformers。若处理较小分辨率的图片，或者是觉得当前基础环境配置难以支持xformers，则直接卸載xformers即可，程序也能正常运行。（pip uninstall xformers）

截止20230924，所发布的xformers版本包括：（from versions: 0.0.1, 0.0.2, 0.0.3, 0.0.4, 0.0.5, 0.0.6, 0.0.7, 0.0.8, 0.0.9, 0.0.10, 0.0.11, 0.0.12, 0.0.13, 0.0.16rc424, 0.0.16rc425, 0.0.16, 0.0.17rc481, 0.0.17rc482, 0.0.17, 0.0.18, 0.0.19, 0.0.20, 0.0.21, 0.0.22.dev615, 0.0.22.dev616, 0.0.22.dev617, 0.0.22.dev627, 0.0.22.dev629）。