文章目录 ExLlamaV2简介1.1 ExLlamaV2的性能优化1.2 EXL2量化格式的介绍1.3 主要功能和特点 量化EXL2模型2.1 安装ExLlamaV2库2.2 下载和准备模型2.3 使用convert.py脚本进行量化2.4 EXL2格式的特性2.5 下载校准数据集2.6 GPTQ算法在量化中的应用 运行ExLlamaV2进行推理3.1 复制配置文件3.2 使用test_i

量化大型语言模型(llm)是减少这些模型大小和加快推理速度的最流行的方法。在这些技术中，GPTQ在gpu上提供了惊人的性能。与非量化模型相比，该方法使用的VRAM几乎减少了3倍，同时提供了相似的精度水平和更快的生成速度。 ExLlamaV2是一个旨在从GPTQ中挤出更多性能的库。由于新的内核，它还经过了优化，可以进行(非常)快速的推理。并且它还引入了一种新的量化格式EXL2，它为如何存储权重带来