Paddle加载NLP的各类预训练模型方法总结(以文本分类任务为例，包含完整代码)

2024-06-04 23:38
文章标签 代码 加载 总结 训练 方法 分类 模型 任务 文本 nlp 为例 完整 paddle 各类

本文主要是介绍Paddle加载NLP的各类预训练模型方法总结(以文本分类任务为例，包含完整代码)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、Introduction

最近宅在家，有空只能搞搞NLP的比赛。由于缺乏GPU的加持，只好白嫖百度的AI Studio(毕竟人家提供免费的Tesla V100)。在此不得不赞扬一下优秀的国产深度学习框架–Paddle(飞浆)，代码精炼，使用简单，具有极高的集成度，非常适合初学者上手。
由于代码中用到了各种预训练模型做迁移学习，所以在此记录一下Paddle Hub加载各类预训练模型的方法。

二、Method

使用Paddle进行训练大概分为以下几个步骤：

  • 加载预训练模型
  • 加载数据集
  • 生成reader
  • 选择Fine-Tune优化策略
  • 选择运行配置
  • 组建Fine-Tune任务
  • 开始Fine-Tune

  1. 加载预训练模型

    首先需要在命令行更新paddlehub到最新版本：
    pip install --upgrade paddlehub -i https://pypi.tuna.tsinghua.edu.cn/simple
    然后通过下面的语法进行预训练模型的加载(若本地未找到会自动联网下载且不限速)

    import paddlehub as hub
module = hub.Module(name="ernie")

    一些常用的NLP预训练模型如下表所示：

模型名PaddleHub Module
ERNIE, Chinesehub.Module(name=‘ernie’)
ERNIE 2.0 Tiny, Chinesehub.Module(name=‘ernie_tiny’)
ERNIE 2.0 Base, Englishhub.Module(name=‘ernie_v2_eng_base’)
ERNIE 2.0 Large, Englishhub.Module(name=‘ernie_v2_eng_large’)
RoBERTa-Large, Chinesehub.Module(name=‘roberta_wwm_ext_chinese_L-24_H-1024_A-16’)
RoBERTa-Base, Chinesehub.Module(name=‘roberta_wwm_ext_chinese_L-12_H-768_A-12’)
BERT-Base, Uncasedhub.Module(name=‘bert_uncased_L-12_H-768_A-12’)
BERT-Large, Uncasedhub.Module(name=‘bert_uncased_L-24_H-1024_A-16’)
BERT-Base, Casedhub.Module(name=‘bert_cased_L-12_H-768_A-12’)
BERT-Large, Casedhub.Module(name=‘bert_cased_L-24_H-1024_A-16’)
BERT-Base, Multilingual Casedhub.Module(nane=‘bert_multi_cased_L-12_H-768_A-12’)
BERT-Base, Chinesehub.Module(name=‘bert_chinese_L-12_H-768_A-12’)

  1. 准备Dataset
    下面是自定义数据集的写法，输入的file需要以文本\t标签的格式保存。

    from paddlehub.dataset.base_nlp_dataset import BaseNLPDatasetclass DemoDataset(BaseNLPDataset):"""DemoDataset"""def __init__(self):# 数据集存放位置self.dataset_dir = "path/to/dataset"super(DemoDataset, self).__init__(base_path=self.dataset_dir,train_file="train.tsv",dev_file="dev.tsv",test_file="test.tsv",# 如果还有预测数据（不需要文本类别label），可以放在predict.tsvpredict_file="predict.tsv",train_file_with_header=True,dev_file_with_header=True,test_file_with_header=True,predict_file_with_header=True,# 数据集类别集合label_list=["0", "1"])
dataset = DemoDataset()

  2. 生成Reader
    接着生成一个reader，以文本分类任务为例，reader负责将dataset的数据进行预处理，首先对文本进行分词，然后以特定格式组织并输入给模型进行训练。

    ClassifyReader的参数有三个：

    • dataset: 传入PaddleHub Dataset;
    • vocab_path: 传入ERNIE/BERT模型对应的词表文件路径;
    • max_seq_len: ERNIE模型的最大序列长度，若序列长度不足，会通过padding方式补到max_seq_len, 若序列长度大于该值，则会以截断方式让序列长度为max_seq_len;
    reader = hub.reader.ClassifyReader(dataset=dataset,vocab_path=module.get_vocab_path(),sp_model_path=module.get_spm_path(),word_dict_path=module.get_word_dict_path(),max_seq_len=128)

  3. 选择Fine-Tune优化策略
    对于ERNIE/BERT这类Transformer模型来说最合适的迁移优化策略就是AdamWeightDecayStrategy了。

    AdamWeightDecayStrategy的参数有三个：

    • learning_rate: 最大学习率
    • lr_scheduler: 有linear_decay和noam_decay两种衰减策略可选
    • warmup_proprotion: 训练预热的比例，若设置为0.1, 则会在前10%的训练step中学习率逐步提升到learning_rate
    • weight_decay: 权重衰减，类似模型正则项策略，避免模型overfitting
    • optimizer_name: 优化器名称，推荐使用Adam
    strategy = hub.AdamWeightDecayStrategy(weight_decay=0.01,warmup_proportion=0.1,learning_rate=5e-5)

    PaddleHub还额外提供了多个优化策略，如AdamWeightDecayStrategy、ULMFiTStrategy、DefaultFinetuneStrategy等，详细参数说明请移步官方文档。

  4. 运行配置
    在进行Finetune前，我们可以设置一些运行时的配置。

    • use_cuda：设置为False表示使用CPU进行训练。如果您本机支持GPU，且安装的是GPU版本的PaddlePaddle，我们建议您将这个选项设置为True
    • epoch：要求Finetune的任务只遍历1次训练集
    • batch_size：每次训练的时候，给模型输入的每批数据大小为32，模型训练时能够并行处理批数据，因此batch_size越大，训练的效率越高，但是同时带来了内存的负荷，过大的batch_size可能导致内存不足而无法训练，因此选择一个合适的batch_size是很重要的一步
    • log_interval：每隔10 步打印一次训练日志
    • eval_interval：每隔50 步在验证集上进行一次性能评估
    • checkpoint_dir：将训练的参数和数据保存到model文件夹下
    • strategy：使用DefaultFinetuneStrategy策略进行finetune
    config = hub.RunConfig(use_cuda=True,num_epoch=5,checkpoint_dir="model",batch_size=100,eval_interval=50,strategy=strategy)

  5. 组建Fine-Tune任务
    有了合适的预训练模型和准备要迁移的数据集后，我们开始组建一个Task。

    • 获取module的上下文环境，包括输入和输出的变量，以及Paddle Program；
    • 从输出变量中找到用于情感分类的文本特征pooled_output；
    • 在pooled_output后面接入一个全连接层，生成Task；
    inputs, outputs, program = module.context(
trainable=True, max_seq_len=128)# Use "pooled_output" for classification tasks on an entire sentence.
pooled_output = outputs["pooled_output"]feed_list = [inputs["input_ids"].name,inputs["position_ids"].name,inputs["segment_ids"].name,inputs["input_mask"].name,
]cls_task = hub.TextClassifierTask(data_reader=reader,feature=pooled_output,feed_list=feed_list,num_classes=dataset.num_labels,config=config)

  6. 开始Fine-Tune
    我们通过finetune_and_eval接口来进行模型训练。这个接口在finetune的过程中会周期性的进行模型效果的评估，以便我们了解整个训练过程的性能变化。

    run_states = cls_task.finetune_and_eval()

  7. 模型预测

    import numpy as np# 写入预测的文本数据
data = [["抗击新型肺炎第一线中国加油鹤岗・绥滨县"],["正能量青年演员朱一龙先生一起武汉祈福武汉加油中国加油"]]
index = 0
run_states = cls_task.predict(data=data)
results = [run_state.run_results for run_state in run_states]
for batch_result in results:# 获取预测的标签索引batch_result = np.argmax(batch_result, axis=2)[0]for result in batch_result:print("%s\预测值=%s" % (data[index][0], result))index += 1

三、Conclusion

本次文章简单介绍了以文本分类任务为例的paddle框架做预训练模型加载和微调的过程。这种新一代的国产框架确实有很多亮点，值得我们去学习与探索。

这篇关于Paddle加载NLP的各类预训练模型方法总结(以文本分类任务为例，包含完整代码)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1031452。

相关文章

HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
认识、理解、分类——acm之搜索

认识、理解、分类——acm之搜索

普通搜索方法有两种：1、广度优先搜索；2、深度优先搜索； 更多搜索方法： 3、双向广度优先搜索； 4、启发式搜索（包括A*算法等）； 搜索通常会用到的知识点：状态压缩（位压缩，利用hash思想压缩）。
阅读更多...
菲律宾诈骗，请各位华人朋友警惕各类诈骗。

菲律宾诈骗，请各位华人朋友警惕各类诈骗。

骗子招聘类型：程序开发、客服、财务、销售总管、打字员等 如果有人用高薪、好的工作环境来你出国工作。要小心注意！因为这些骗子是成群结伴的！ 只要你进入一个菲律宾的群，不管什么类型的群都有这些骗子团伙。基本上是他们控制的！ 天天在群里有工作的信息，工作信息都是非常诱惑人的。例如招“打字员”、“客服”、“程序员”……各种信息都有。只要你提交简历了，他会根据你的简历判断你这个人如何。所谓的心理战嘛！
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
活用c4d官方开发文档查询代码

活用c4d官方开发文档查询代码

当你问AI助手比如豆包，如何用python禁止掉xpresso标签时候，它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2