uie模型微调个人总结

2023-10-31 05:50
文章标签 总结 模型 微调 个人 uie

本文主要是介绍uie模型微调个人总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

技巧:

六月三十号补充,uie处理3000字的政策文件要占用12G左右的内存,uie处理一万字的文件时运行巅峰要占用28G左右内存,各位部署时,注意out of memory的错误,对应万字的超长文本目前只有加内存的解决方案。

六月二十七号补充,uie的schema定义时尽量一个schema的长度低于7个字,不然有很大概率,模型识别的效果很差,如图:“执行标准”有一个比较好的抽取效果,“文件执行范围和标准”就完全抽不出来,当然我doccano标注数据的schema也是和不同schema之间保持一致的。

为什么能不固定prompt?

传统Prompt模板各有不同,应对少样本能力不一样

UIE用大量数据固定了prompt的构造方式,就是条件加上抽取标签,所以有不固定的特点

标签其实模型压根都没见过,模型照样能看出来

Prompt技巧

1.与原文越相似越好抽

2.尽量符合常识

3.标注的样本尽量要短

训练技巧:

1.预测可以将batch_size设置为2或者更高来提高预测效率

2.uie-tiny 和base效果差距不大,但性能提高巨大

3.需要负样本的

环境配置:

只需要一个paddlepaddle,安装最新版即可,会自动给你安装许多相关包,

openAI尽量不要装在同一个环境,会改变numpy版本导致paddlepaddle不可用

csdn:

pip install paddlepaddle 报错 command ‘/usr/bin/gcc‘ failed with exit code 1 或 command ‘gcc‘ 报错_听雨江南牛的博客-CSDN博客

语料标注:

到目前五月二十四号,doccano已经更新到1.7.0版本,导出已经没有标注消失的问题,但是我手头数据有很多重复数据,我没有二次标注,doccano会以标注空的形式继续导出,但我更希望它忽视掉这些数据,不要导出,我依旧采用程序形式导出

csdn:

doccano标注完后,标注消失问题_听雨江南牛的博客-CSDN博客

项目部署和参数调整

最无脑的环节,全程跟着readme一步步向下执行就可以了,

需要改动一下数据路径:

另外需要改动模型保存和加载的路径,

需要改动用6层的uie-tiny模型,还是调用12层的uie-base,uie-tiny和uie-base效果基本没有差别,但是预测效率高很多,建议uie-tiny

必须改动的:
doccano中的:doccano_file  从doccano导出的数据标注文件save_dir: 训练数据的保存目录,默认存储在data目录下finetune中的:train_path`: 训练集文件路径。dev_path`: 验证集文件路径。save_dir`: 模型存储路径,默认为. / checkpoint
可选的:
doccano中的:negative_ratio: 负样本与正样本的比例,该参数只对抽取类型任务有效。使用负样本策略可提升模型效果,负样本数量 = negative_ratio * 正样本数量。splits: 划分数据集时训练集、验证集所占的比例。默认为[0.8, 0.1, 0.1]is_shuffle: 是否对数据集进行随机打散,默认为True
​
finetune中的:learning_rate`: 学习率,默认为1e - 5。batch_size`: 批处理大小,请结合显存情况进行调整,若出现显存不足,请适当调低这一参数,默认为16。max_seq_len`: 文本最大切分长度,输入超过最大长度时会对输入文本进行自动切分,默认为512。num_epochs`: 训练轮数,默认为100。device`: 选用什么设备进行训练,可选cpu或gpu。model`: 选择模型,程序会基于选择的模型进行模型微调

测试结果在gitee中

不公开,但是94条数据训练完想抽的基本都能抽出来

这篇关于uie模型微调个人总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/313255

相关文章

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

Python依赖库的几种离线安装方法总结

《Python依赖库的几种离线安装方法总结》:本文主要介绍如何在Python中使用pip工具进行依赖库的安装和管理,包括如何导出和导入依赖包列表、如何下载和安装单个或多个库包及其依赖,以及如何指定... 目录前言一、如何copy一个python环境二、如何下载一个包及其依赖并安装三、如何导出requirem

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

Rust格式化输出方式总结

《Rust格式化输出方式总结》Rust提供了强大的格式化输出功能,通过std::fmt模块和相关的宏来实现,主要的输出宏包括println!和format!,它们支持多种格式化占位符,如{}、{:?}... 目录Rust格式化输出方式基本的格式化输出格式化占位符Format 特性总结Rust格式化输出方式

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备(一)硬件要求(二)软件要求(三)创建虚拟环境三、安装依赖库四、获取 Dee