Qwen量化脚本run_gptq.py解析

2024-04-18 14:12
文章标签 解析 py 脚本 量化 run qwen gptq

本文主要是介绍Qwen量化脚本run_gptq.py解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Qwen量化脚本run_gptq.py解析

代码路径 https://github.com/QwenLM/Qwen/
run_gptq.py路径 https://github.com/QwenLM/Qwen/blob/main/run_gptq.py

代码解析:

import argparse
import json
from typing import Dict
import loggingimport torch
import transformers
from transformers import AutoTokenizer
from transformers.trainer_pt_utils import LabelSmoother
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
IGNORE_TOKEN_ID = LabelSmoother.ignore_index#其中json文件格式如下
# [
#   {
#     "id": "identity_0",
#     "conversations": [
#       {
#         "from": "user",
#         "value": "xxxx"
#       },
#       {
#         "from": "assistant",
#         "value": "xxx"
#       }
#     ]
#   },
#   {
#     "id": "identity_1",
#     "conversations": [
#       {
#         "from": "user",
#         "value": "xxx"
#       },
#       {
#         "from": "assistant",
#         "value": "xxx"
#       }
#     ]
#   },
# ]def preprocess(sources,tokenizer: transformers.PreTrainedTokenizer,max_len: int,system_message: str = "You are a helpful assistant."
) -> Dict:"""preprocess函数接收一个包含对话数据的json列表作为输入,\n通过调用transformers库中的tokenizer对数据进行编码,\n并按照特定格式构建输入ID序列和目标ID序列.\n返回一个包含预处理数据的列表,这些数据已转换为PyTorch张量,适合于后续模型训练或推断"""#roles字典:为对话中的角色("user"和"assistant")分配特殊的前缀标签,用于区分对话双方roles = {"user": "<|im_start|>user", "assistant": "<|im_start|>assistant"}#im_start和im_end:指定tokenizer中im_start_id和im_end_id对应的整数ID。im_start = tokenizer.im_start_idim_end = tokenizer.im_end_id#nl_tokens:存储tokenizer处理换行符\n得到的输入ID序列。nl_tokens = tokenizer('\n').input_ids#_system、_user和_assistant:分别存储经过tokenizer处理后的"system"、"user"和"assistant"标签及其后的换行符对应的输入ID序列。_system = tokenizer('system').input_ids + nl_tokens_user = tokenizer('user').input_ids + nl_tokens_assistant = tokenizer('assistant').input_ids + nl_tokens# Apply prompt templates 定义空列表data,用于存放预处理后的数据样本data = []# input_ids, targets = [], []#遍历输入数据sources中的每个样本(source)for i, source in enumerate(sources):source = source["conversations"]#检查首个对话是否由用户发起(即source[0]["from"]是否为"user"),如果不是,则从源数据中移除首个对话。#过滤无效的identityif roles[source[0]["from"]] != roles["user"]:source = source[1:]#初始化空列表input_id和target,分别用于存储当前样本的输入ID序列和目标ID序列input_id, target = [], []#添加系统消息:将系统消息(包含system_message内容)转换为ID序列,添加到input_id和target中。system = [im_start] + _system + tokenizer(system_message).input_ids + [im_end] + nl_tokensinput_id += system#target中的非关键部分(如系统标签和消息内容)用IGNORE_TOKEN_ID填充。target += [im_start] + [IGNORE_TOKEN_ID] * (len(system)-3) + [im_end] + nl_tokensassert len(input_id) == len(target)#遍历源数据中的每个对话(sentence)for j, sentence in enumerate(source):# 提取角色和消息内容,并转换为ID序列role = roles[sentence["from"]]_input_id = tokenizer(role).input_ids + nl_tokens + \tokenizer(sentence["value"]).input_ids + [im_end] + nl_tokens#添加到input_id中input_id += _input_id#根据角色类型,生成对应_target的目标ID序列,_target只提取assistant的对话内容,忽略user的对话内容。if role == '<|im_start|>user':#若角色为"user",则目标ID序列仅包含开始标签和结束标签,用忽略ID填充对话内容。_target = [im_start] + [IGNORE_TOKEN_ID] * (len(_input_id)-3) + [im_end] + nl_tokens#若角色为"assistant",则目标ID序列包含开始标签、忽略ID填充(仅对角色标签)、对话内容(不包括角色标签和结束标签)、结束标签elif role == '<|im_start|>assistant':_target = [im_start] + [IGNORE_TOKEN_ID] * len(tokenizer(role).input_ids) + \_input_id[len(tokenizer(role).input_ids)+1:-2] + [im_end] + nl_tokenselse:raise NotImplementedErrortarget += _targetassert len(input_id) == len(target)#截取并转换为张量:#截取input_id和target至最大长度max_leninput_id = torch.tensor(input_id[:max_len], dtype=torch.int)target = torch.tensor(target[:max_len], dtype=torch.int)#创建一个字典,包含键input_ids(存储输入张量)和attention_mask(等于输入张量,用于指示非填充位置)。将该字典添加到data列表中data.append(dict(input_ids=input_id, attention_mask=input_id.ne(tokenizer.pad_token_id)))return dataif __name__ == "__main__":parser = argparse.ArgumentParser("Model Quantization using AutoGPTQ")parser.add_argument("--model_name_or_path", type=str, help="model path")parser.add_argument("--data_path", type=str, help="calibration data path")parser.add_argument("--out_path", type=str, help="output path of the quantized model")parser.add_argument("--max_len", type=int, default=8192, help="max length of calibration data")parser.add_argument("--bits", type=int, default=4, help="the bits of quantized model. 4 indicates int4 models.")parser.add_argument("--group-size", type=int, default=128, help="the group size of quantized model")args = parser.parse_args()quantize_config = BaseQuantizeConfig(bits=args.bits,group_size=args.group_size,damp_percent=0.01,desc_act=False,  # set to False can significantly speed up inference but the perplexity may slightly badstatic_groups=False,sym=True,true_sequential=True,model_name_or_path=None,model_file_base_name="model")#使用AutoTokenizer类从给定路径args.model_name_or_path加载预训练的tokenizertokenizer = AutoTokenizer.from_pretrained(args.model_name_or_path, trust_remote_code=True)tokenizer.pad_token_id = tokenizer.eod_id#加载json数据文件,调用process函数预处理数据,返回处理后的数据data = preprocess(json.load(open(args.data_path)), tokenizer, args.max_len)#加载预训练的模型model = AutoGPTQForCausalLM.from_pretrained(args.model_name_or_path, quantize_config, device_map="auto", trust_remote_code=True)logging.basicConfig(format="%(asctime)s %(levelname)s [%(name)s] %(message)s", level=logging.INFO, datefmt="%Y-%m-%d %H:%M:%S")#对模型进行量化,不在GPU上缓存示例数据model.quantize(data, cache_examples_on_gpu=False)#保存量化后的模型model.save_quantized(args.out_path, use_safetensors=True)#将tokenizer保存到输出路径tokenizer.save_pretrained(args.out_path)

这篇关于Qwen量化脚本run_gptq.py解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/915011

相关文章

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Springboot @Autowired和@Resource的区别解析

《Springboot@Autowired和@Resource的区别解析》@Resource是JDK提供的注解,只是Spring在实现上提供了这个注解的功能支持,本文给大家介绍Springboot@... 目录【一】定义【1】@Autowired【2】@Resource【二】区别【1】包含的属性不同【2】@

Kotlin 作用域函数apply、let、run、with、also使用指南

《Kotlin作用域函数apply、let、run、with、also使用指南》在Kotlin开发中,作用域函数(ScopeFunctions)是一组能让代码更简洁、更函数式的高阶函数,本文将... 目录一、引言:为什么需要作用域函数?二、作用域函China编程数详解1. apply:对象配置的 “流式构建器”最

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

一文教你Python引入其他文件夹下的.py文件

《一文教你Python引入其他文件夹下的.py文件》这篇文章主要为大家详细介绍了如何在Python中引入其他文件夹里的.py文件,并探讨几种常见的实现方式,有需要的小伙伴可以根据需求进行选择... 目录1. 使用sys.path动态添加路径2. 使用相对导入(适用于包结构)3. 使用pythonPATH环境

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图