BaiChuan13B-GPTQ量化详解

2024-04-19 05:44
文章标签 详解 量化 gptq baichuan13b

本文主要是介绍BaiChuan13B-GPTQ量化详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

知识要点:
1、按照网上搜索的一些代码,如使用auto_gptq原生库进行训练后量化,可能会正常量化,但是在线推理时会出现如找不到bin文件或者tf文件,即模型权重文件,所以和网上大部分代码不同的地方在于,需要提前保存对应模型的权重文件,如果是BaiChuan13B,那么在进行模型量化前,对其进行保存
代码如下:

def save_bin(pretrained_model_dir, quantized_model_dir):from transformers import AutoModelForCausalLMimport torchimport osoriginal_model = AutoModelForCausalLM.from_pretrained(pretrained_model_dir, trust_remote_code=True,torch_dtype=torch.float16,      # 不执行这个保存的bin文件会非常的大,大概50多Gsafetensors=True)print("保存bin文件...")model_path = os.path.join(quantized_model_dir, "pytorch_model"+".bin")torch.save(original_model.state_dict(), model_path)print("保存bin文件完成...")

量化代码,使用原生库auto_gptq进行量化:

def from_authority_autogptq(pretrained_model_dir, quantized_model_dir):from transformers import AutoTokenizer, AutoModelForCausalLMfrom auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfigimport loggingimport torchimport oslogging.basicConfig(format="%(asctime)s %(levelname)s [%(name)s] %(message)s", level=logging.INFO, datefmt="%Y-%m-%d %H:%M:%S")# 量化分词器加载tokenizer = AutoTokenizer.from_pretrained(pretrained_model_dir, use_fast=False, trust_remote_code=True)examples = [tokenizer("auto-gptq is an easy-to-use model quantization library with user-friendly apis, based on GPTQ algorithm.")]# 量化参数配置quantize_config = BaseQuantizeConfig(bits=4,             # quantize model to 4-bitgroup_size=128,     # it is recommended to set the value to 128desc_act=False,     # set to False can significantly speed up inference but the perplexity may slightly bad)# load un-quantized model, by default, the model will always be loaded into CPU memoryquantize_model = AutoGPTQForCausalLM.from_pretrained(pretrained_model_dir, quantize_config=quantize_config, trust_remote_code=True,device_map="auto",)print("开始量化模型.......")quantize_model.quantize(examples)# save model weightsprint("保存量化文件...")quantize_model.save_quantized(quantized_model_dir)print("保存量化文件完成...")print("保存tokenizer...")tokenizer.save_pretrained(quantized_model_dir)print("保存tokenizer完成...")

按照上述步骤,此时模型量化文件保存成功,接下来就是模型在线推理

def get_baichuan2_autogptq(quantized_model_dir):from transformers import AutoModelForCausalLM, AutoTokenizerfrom transformers.generation.utils import GenerationConfigimport torch# 模型地址model_id = quantized_model_dirprint("加载分词器tokenizer...")tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True,use_fast=False)'''warnings.warn(f'Input type into Linear4bit is torch.float16, but bnb_4bit_compute_type=torch.float32 (default).This will lead to slow inference or training speed'''print("加载量化model...")quantized_model_4bit = AutoModelForCausalLM.from_pretrained(# 要载入的模型名称model_id, load_in_4bit=True,# 仅使用本地模型,不通过网络下载模型local_files_only=True,# 指定模型精度torch_dtype=torch.float16,trust_remote_code=True,safetensors=True)print("加载config...")quantized_model_4bit.generation_config = GenerationConfig.from_pretrained(model_id)# 实例测试print("生成...")messages = []messages.append({"role": "user", "content":"亚历山大为何如此厉害"})response = quantized_model_4bit.chat(tokenizer, messages)print(response)return response 

最后整合代码:

'''bin 文件是保存的是原始的加载模型文件,不涉及量化操作的模型过程,不然会报错或者加载不出来!!!'''
def save_bin(pretrained_model_dir, quantized_model_dir):from transformers import AutoModelForCausalLMimport torchimport osoriginal_model = AutoModelForCausalLM.from_pretrained(pretrained_model_dir, trust_remote_code=True,torch_dtype=torch.float16,      # 不执行这个保存的bin文件会非常的大,大概50多Gsafetensors=True)print("保存bin文件...")model_path = os.path.join(quantized_model_dir, "pytorch_model"+".bin")torch.save(original_model.state_dict(), model_path)print("保存bin文件完成...")# auto_gptq原生库, 量化占用显存7-10G不等,用时23分钟,推理18G
def from_authority_autogptq(pretrained_model_dir, quantized_model_dir):from transformers import AutoTokenizer, AutoModelForCausalLMfrom auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfigimport loggingimport torchimport oslogging.basicConfig(format="%(asctime)s %(levelname)s [%(name)s] %(message)s", level=logging.INFO, datefmt="%Y-%m-%d %H:%M:%S")# 量化分词器加载tokenizer = AutoTokenizer.from_pretrained(pretrained_model_dir, use_fast=False, trust_remote_code=True)examples = [tokenizer("auto-gptq is an easy-to-use model quantization library with user-friendly apis, based on GPTQ algorithm.")]# 量化参数配置quantize_config = BaseQuantizeConfig(bits=4,             # quantize model to 4-bitgroup_size=128,     # it is recommended to set the value to 128desc_act=False,     # set to False can significantly speed up inference but the perplexity may slightly bad)# load un-quantized model, by default, the model will always be loaded into CPU memoryquantize_model = AutoGPTQForCausalLM.from_pretrained(pretrained_model_dir, quantize_config=quantize_config, trust_remote_code=True,device_map="auto",)print("开始量化模型.......")quantize_model.quantize(examples)# save model weightsprint("保存量化文件...")quantize_model.save_quantized(quantized_model_dir)print("保存量化文件完成...")print("保存tokenizer...")tokenizer.save_pretrained(quantized_model_dir)print("保存tokenizer完成...")# 加载量化后的模型方法
def get_baichuan2_autogptq(quantized_model_dir):from transformers import AutoModelForCausalLM, AutoTokenizerfrom transformers.generation.utils import GenerationConfigimport torch# 模型地址model_id = quantized_model_dirprint("加载分词器tokenizer...")tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True,use_fast=False)'''warnings.warn(f'Input type into Linear4bit is torch.float16, but bnb_4bit_compute_type=torch.float32 (default).This will lead to slow inference or training speed'''print("加载量化model...")quantized_model_4bit = AutoModelForCausalLM.from_pretrained(# 要载入的模型名称model_id, load_in_4bit=True,# 仅使用本地模型,不通过网络下载模型local_files_only=True,# 指定模型精度torch_dtype=torch.float16,trust_remote_code=True,safetensors=True)print("加载config...")quantized_model_4bit.generation_config = GenerationConfig.from_pretrained(model_id)# 实例测试print("生成...")messages = []messages.append({"role": "user", "content":"```桥架\n1、名称:机房走线架(铝合金) 2、规格:300mm*100mm 3、含支吊架制作安装 4、其它:具体详见图纸、技术规范书、图集、招标文件、招标答疑、政府相关文件、规范等其它资料,满足验收要求```\n请仔细阅读上文,并从中分析出实体列表中的各实体。请使用json字典格式回答,其中,键为各实体名称,值为从文本中提取出的内容(若没有相应实体则值为'无')。\n实体列表如下(目标实体之间通过“;”隔开): ```名称;型号;材质;类型;规格;接地方式```"})response = quantized_model_4bit.chat(tokenizer, messages)print(response)return response if __name__ == "__main__":# from_transformers_autogptq 方法量化模型# pretrained_model_dir = "/root/lk/big_model/Baichuan2-13B-Chat"# quantized_model_dir = "/root/lk/big_model/baichuan2_autogptq"# from_transformers_autogptq(pretrained_model_dir, quantized_model_dir)import datetimeprint("程序开始时间------->>>>>>", datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))# 地址pretrained_model_dir = "/root/lk/big_model/Baichuan2-13B-Chat"quantized_model_dir = "/root/lk/big_model/baichuan2_autogptq"# 第一步:保存原始模型的Bin文件,然后再量化(很关键)# save_bin(pretrained_model_dir, quantized_model_dir)# 第二部:执行来自autogptq原始包量化模型# from_authority_autogptq(pretrained_model_dir, quantized_model_dir)# 第三部:使用量化模型进行推理(需要添加对应文件)get_baichuan2_autogptq(quantized_model_dir)print("程序结束时间------->>>>>>", datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))

对应包版本:

auto-gptq==0.6.0
transformers==4.39.2
torch==2.0.1

这篇关于BaiChuan13B-GPTQ量化详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/916752

相关文章

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片,如艺术画作、设计素材、报告图表等,提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

C#数据结构之字符串(string)详解

《C#数据结构之字符串(string)详解》:本文主要介绍C#数据结构之字符串(string),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录转义字符序列字符串的创建字符串的声明null字符串与空字符串重复单字符字符串的构造字符串的属性和常用方法属性常用方法总结摘

Java中StopWatch的使用示例详解

《Java中StopWatch的使用示例详解》stopWatch是org.springframework.util包下的一个工具类,使用它可直观的输出代码执行耗时,以及执行时间百分比,这篇文章主要介绍... 目录stopWatch 是org.springframework.util 包下的一个工具类,使用它

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML