Qwen 微调LoRA之后合并模型,使用 webui 测试

2024-06-02 01:36

本文主要是介绍Qwen 微调LoRA之后合并模型,使用 webui 测试,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Qwen 微调LoRA之后合并模型

qwen_lora_merge.py :

import os
from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizerdef save_model_and_tokenizer(path_to_adapter, new_model_directory):"""加载模型,合并模型,然后保存模型。加载分词器并保存。"""# 检查路径有效性if not os.path.exists(path_to_adapter):raise FileNotFoundError(f"路径 {path_to_adapter} 不存在。")if not os.path.exists(new_model_directory):os.makedirs(new_model_directory, exist_ok=True)try:# 模型加载与合并model = AutoPeftModelForCausalLM.from_pretrained(path_to_adapter,device_map="auto",trust_remote_code=True).eval()merged_model = model.merge_and_unload()# 保存合并后的模型merged_model.save_pretrained(new_model_directory, max_shard_size="2048MB", safe_serialization=True)# 加载并保存分词器tokenizer = AutoTokenizer.from_pretrained(path_to_adapter,trust_remote_code=True)# 假设我们有一个函数来保存分词器,这里只是示意save_tokenizer(tokenizer, new_model_directory)except Exception as e:# 异常处理,记录或抛出异常print(f"加载或保存过程中遇到错误:{e}")raisedef save_tokenizer(tokenizer, directory):"""保存分词器到指定目录。"""# 假设这里有一个路径拼接逻辑,将分词器文件保存到指定目录tokenizer.save_pretrained(directory)if __name__=="__main__":lora_model_path="/media//huggingface_cache/out_models/qwen1_8b_chat_lora/checkpoint-1200"new_model_directory = "/media/huggingface_cache/out_models/qwen1_8b_chat_lora/Qwen-1_8B-Chat_law_merge"# 使用函数来执行任务save_model_and_tokenizer(lora_model_path, new_model_directory)

使用 webui 测试

web_ui.py


import torchprint(torch.cuda.is_available())
print(torch.version.cuda)
print(torch.backends.cudnn.version())import gradio as grfrom transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfigMODEL_PATH="/media/huggingface_cache/out_models/qwen1_8b_chat_lora/Qwen-1_8B-Chat_law_merge"tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH,trust_remote_code=True
)model = AutoModelForCausalLM.from_pretrained(MODEL_PATH,device_map="auto",trust_remote_code=True
).eval()# Define Gradio interface components
title = "Transformer Chatbot"
description = "Enter your message and receive a response from the transformer-based language model."def generate_answer_ui(query, history):response, history = model.chat(tokenizer, "你好", history=history)return f"> 问题:\n{query}\n\n> 回答:\n{response}\n\n>"def main():iface = gr.ChatInterface(fn=generate_answer_ui,title=title,description=description,examples=[["这里可以使用你微调的数据代替"],["你叫什么名字?"],],)iface.launch(inbrowser=True)if __name__ == '__main__':main()

这篇关于Qwen 微调LoRA之后合并模型,使用 webui 测试的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1022669

相关文章

postgresql使用UUID函数的方法

《postgresql使用UUID函数的方法》本文给大家介绍postgresql使用UUID函数的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录PostgreSQL有两种生成uuid的方法。可以先通过sql查看是否已安装扩展函数,和可以安装的扩展函数

如何使用Lombok进行spring 注入

《如何使用Lombok进行spring注入》本文介绍如何用Lombok简化Spring注入,推荐优先使用setter注入,通过注解自动生成getter/setter及构造器,减少冗余代码,提升开发效... Lombok为了开发环境简化代码,好处不用多说。spring 注入方式为2种,构造器注入和setter

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

使用zip4j实现Java中的ZIP文件加密压缩的操作方法

《使用zip4j实现Java中的ZIP文件加密压缩的操作方法》本文介绍如何通过Maven集成zip4j1.3.2库创建带密码保护的ZIP文件,涵盖依赖配置、代码示例及加密原理,确保数据安全性,感兴趣的... 目录1. zip4j库介绍和版本1.1 zip4j库概述1.2 zip4j的版本演变1.3 zip4

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

一文详解如何使用Java获取PDF页面信息

《一文详解如何使用Java获取PDF页面信息》了解PDF页面属性是我们在处理文档、内容提取、打印设置或页面重组等任务时不可或缺的一环,下面我们就来看看如何使用Java语言获取这些信息吧... 目录引言一、安装和引入PDF处理库引入依赖二、获取 PDF 页数三、获取页面尺寸(宽高)四、获取页面旋转角度五、判断

C++中assign函数的使用

《C++中assign函数的使用》在C++标准模板库中,std::list等容器都提供了assign成员函数,它比操作符更灵活,支持多种初始化方式,下面就来介绍一下assign的用法,具有一定的参考价... 目录​1.assign的基本功能​​语法​2. 具体用法示例​​​(1) 填充n个相同值​​(2)

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定