飞桨对话模型工具箱（二）：对话自动评估模块ADE

2024-02-11 17:50
文章标签 模块 模型 自动 评估 工具箱 对话 飞桨 ade

本文主要是介绍飞桨对话模型工具箱（二）：对话自动评估模块ADE，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

导读：人机对话是人工智能的重要挑战，近年来获得了学术界和工业界的广泛关注。为了帮助广大开发者们更快捷地实现对话系统的开发，飞桨在自然语言处理模型库（PaddleNLP）中开源了对话模型工具库，内置了对话通用理解模型（DGU）和对话自动评估模块（ADE）。 在上一篇文章中，我们已经为大家介绍了对话通用理解模型（DGU）。在本篇文章中，将为大家介绍对话自动评估模块（ADE）。

 

1.  对话自动评估

 

随着对话系统的不断发展和成熟，如何评价对话系统的回复质量，成为了一个新的研究方向。

 

对话自动评估技术，能够帮助企业或个人快速评估对话系统的回复质量，减少人工评估成本，具有重要的商业意义。

 

例如，在客服领域，对话自动评估技术可以应用于客服服务质量的评估，判断是否存在答非所问等情况，能够帮助电商管理者进一步了解客服人员的服务水平，从而辅助制定管理决策。

 

在人机对话领域，对话自动评估技术也可以用于评估机器人的回复质量，作为对话系统优劣的一个辅助判断标准，成为对话系统改进的参考指标。

 

2.  飞桨ADE模块介绍


2.1.   模型介绍

飞桨对话自动评估模块（ADE），主要用于评估开放领域对话系统的回复质量。

 

它的输入是文本对（上文，回复），输出是回复质量得分。

 

考虑到匹配任务（预测上下文是否匹配）与自动评估任务之间的天然联系，飞桨ADE模块利用了匹配任务作为自动评估任务的预训练，然后再利用少量标注数据进行模型微调。

 

因此，飞桨ADE模块可以在无标注数据或少量标注数据的情况下使用：

  1. 在无标注数据的情况下，利用负采样训练匹配模型作为评估工具，实现对多个对话系统回复质量排序。

  2. 利用少量标注数据（特定对话系统或场景的人工打分），在匹配模型基础上进行微调，可以显著提高该对话系统或场景的评估效果。

 

飞桨ADE模块内提供了两个模型：

  1. 匹配模型：context和response作为输入，使用lstm学习两个句子的表示，在计算两个线性张量的积作为logits，然后使用sigmoid_cross_entropy_with_logits作为loss, 最终用来评估相似程度。

  2. finetuing模型：在匹配模型的基础上，将sigmoid_cross_entropy_with_logits loss优化成平方损失loss，进行训练。

 

2.2.   效果评测

我们以四个不同的对话系统（seq2seq_naive／seq2seq_att／keywords／human）为例，使用对话自动评估工具进行自动评估。

1、无标注数据情况下，直接使用预训练好的评估工具进行评估； 在四个对话系统上，自动评估打分和人工评估打分spearman相关系数，如下：

对四个系统平均得分排序：

2、利用少量标注数据微调后，自动评估打分和人工打分spearman相关系数，如下：


3.  飞桨ADE上手指南

下面将送上代码，手把手地教您如何使用飞桨对话自动评估模块（ADE）。

 

3.1.   安装说明

环境依赖：

  • Python >= 2.7

  • cuda >= 9.0

  • cudnn >= 7.0

  • pandas >= 0.20.1

  • PaddlePaddle >= 1.6.0

克隆项目：

git clone https://github.com/PaddlePaddle/models.git
cd models/PaddleNLP/dialogue_model_toolkit/auto_dialogue_evaluation

 

3.2.   任务简介

本模块内模型训练主要包括两个阶段：

1）第一阶段：训练一个匹配模型作为评估工具，可用于待评估对话系统内的回复内容进行排序；（matching任务)

模型结构: 输入为context和response,对两个输入学习embedding表示, 学习到的表示经过lstm学习高阶表示, context和response的高阶表示计算双线性张量积logits, logits和label计算sigmoid_cross_entropy_with_logits loss;

2）第二阶段：利用少量的对话系统的标记数据，对第一阶段训练的匹配模型进行finetuning,可以提高评估效果（包含human，keywords，seq2seq_att，seq2seq_naive，4个finetuning任务）;

模型结构: finetuning阶段学习表示到计算logits部分和第一阶段模型结构相同，区别在于finetuning阶段计算square_error_cost loss；

用于第二阶段fine-tuning的对话系统包括下面四部分：

  • human: 人工模拟的对话系统；

  • keywords：seq2seq keywords对话系统；

  • seq2seq_att：seq2seq attention model 对话系统；

  • seq2seq_naive：naive seq2seq model对话系统；

 

3.3.   数据准备

数据集、相关模型下载：

cd ade && bash prepare_data_and_model.sh

数据路径：data/input/data/

模型路径：data/saved_models/trained_models/


3.4.   模型配置

配置文件路径: data/config/ade.yaml


3.5.   单机训练

1、第一阶段matching模型的训练：

方式一: 推荐直接使用模块内脚本训练

bash run.sh matching train

方式二: 执行训练相关的代码:

export FLAGS_sync_nccl_allreduce=0
export FLAGS_eager_delete_tensor_gb=1  #开启显存优化export CUDA_VISIBLE_DEVICES=0  #GPU单卡训练
#export CUDA_VISIBLE_DEVICES=0,1,2,3  #GPU多卡训练#export CUDA_VISIBLE_DEVICES=  #CPU训练
#export CPU_NUM=1 #CPU训练时指定CPU numberif  [ !"$CUDA_VISIBLE_DEVICES" ]
thenuse_cuda=false
elseuse_cuda=true
fipretrain_model_path="data/saved_models/matching_pretrained"if [ -f ${pretrain_model_path} ]
thenrm${pretrain_model_path}
fiif [ ! -d ${pretrain_model_path} ]
thenmkdir${pretrain_model_path}
fi

2、第二阶段finetuning模型的训练：

方式一: 推荐直接使用模块内脚本训练

bash run.sh task_name task_type

task_name和task_type为具体的任务参数，可以在文末Github查看详细内容。

方式二: 执行训练相关的代码:

export FLAGS_sync_nccl_allreduce=0
export FLAGS_eager_delete_tensor_gb=1  #开启显存优化export CUDA_VISIBLE_DEVICES=0  #GPU单卡训练
#export CUDA_VISIBLE_DEVICES=0,1,2,3  #GPU多卡训练#export CUDA_VISIBLE_DEVICES=  #CPU训练
#export CPU_NUM=1 #CPU训练时指定CPU numberif  [ !"$CUDA_VISIBLE_DEVICES" ]
thenuse_cuda=false
elseuse_cuda=true
fisave_model_path="data/saved_models/human_finetuned"if [ -f ${save_model_path} ]
thenrm${save_model_path}
fiif [ ! -d ${save_model_path} ]
thenmkdir${save_model_path}
fi

3.6.   模型预测

1、第一阶段matching模型的预测：

方式一: 推荐直接使用模块内脚本预测

bash run.sh matching predict

方式二: 执行预测相关的代码:

export FLAGS_sync_nccl_allreduce=0
export FLAGS_eager_delete_tensor_gb=1  #开启显存优化export CUDA_VISIBLE_DEVICES=0  #单卡预测
#export CUDA_VISIBLE_DEVICES=  #CPU预测
#export CPU_NUM=1 #CPU训练时指定CPU numberif  [ !"$CUDA_VISIBLE_DEVICES" ]
thenuse_cuda=false
elseuse_cuda=true
fi

 

2、第二阶段finetuning模型的预测：

方式一: 推荐直接使用模块内脚本预测

bash run.sh task_name task_type

task_name和task_type为具体的任务参数，可以在文末Github查看详细内容。

方式二: 执行预测相关的代码:

export FLAGS_sync_nccl_allreduce=0
export FLAGS_eager_delete_tensor_gb=1  #开启显存优化export CUDA_VISIBLE_DEVICES=0  #单卡预测
#export CUDA_VISIBLE_DEVICES=  #CPU预测
#export CPU_NUM=1 #CPU训练时指定CPU numberif  [ !"$CUDA_VISIBLE_DEVICES" ]
thenuse_cuda=false
elseuse_cuda=true
fi

3.7.   模型评估

模块中5个任务，各任务支持计算的评估指标内容如下：

第一阶段：

matching: 使用R1@2, R1@10, R2@10, R5@10四个指标进行评估排序模型的效果；

 

第二阶段：

  • human: 使用spearman相关系数来衡量评估模型对系统的打分与实际对话系统打分之间的关系；

  • keywords：使用spearman相关系数来衡量评估模型对系统的打分与实际对话系统打分之间的关系；

  • seq2seq_att：使用spearman相关系数来衡量评估模型对系统的打分与实际对话系统打分之间的关系；

  • seq2seq_naive：使用spearman相关系数来衡量评估模型对系统的打分与实际对话系统打分之间的关系；

1、第一阶段matching模型的评估：

方式一: 推荐直接使用模块内脚本评估

bash run.sh matching evaluate

方式二: 执行评估相关的代码:

export CUDA_VISIBLE_DEVICES=  #指默认CPU评估
export CPU_NUM=1 #CPU训练时指定CPU numberpython -u main.py \--do_eval=true \--use_cuda=false \--evaluation_file="data/input/data/unlabel_data/test.ids" \--output_prediction_file="data/output/pretrain_matching_predict"\--loss_type="CLS"

 

2、第二阶段finetuning模型的评估：

方式一: 推荐直接使用模块内脚本评估

bash run.sh task_name task_type

task_name和task_type为具体的任务参数，可以在文末Github查看详细内容。

方式二: 执行评估相关的代码:

export CUDA_VISIBLE_DEVICES=  #指默认CPU评估
export CPU_NUM=1 #CPU训练时指定CPU numberpython -u main.py \--do_eval=true \--use_cuda=false \--evaluation_file="data/input/data/label_data/human/test.ids"\--output_prediction_file="data/output/finetuning_human_predict"\--loss_type="L2"

3.8.   模型推断

1、第一阶段matching模型的推断：

方式一: 推荐直接使用模块内脚本保存inferencemodel

bash run.sh matching inference

方式二: 执行inferencemodel相关的代码:

export CUDA_VISIBLE_DEVICES=0  # 指GPU单卡推断
#export CUDA_VISIBLE_DEVICES=  #CPU推断
#export CPU_NUM=1 #CPU训练时指定CPU numberif  [ !"$CUDA_VISIBLE_DEVICES" ]
thenuse_cuda=false
elseuse_cuda=true
fipython -u main.py \--do_save_inference_model=true \--use_cuda=${use_cuda} \--init_from_params="data/saved_models/trained_models/matching_pretrained/params"\--inference_model_dir="data/inference_models/matching_inference_model"

2、第二阶段finetuning模型的推断：

方式一: 推荐直接使用模块内脚本保存inferencemodel

bash run.sh task_name task_type

task_name和task_type为具体的任务参数，可以在文末Github查看详细内容。

方式二: 执行inferencemodel相关的代码:

export CUDA_VISIBLE_DEVICES=0  # 指GPU单卡推断
#export CUDA_VISIBLE_DEVICES=  #CPU推断
#export CPU_NUM=1 #CPU训练时指定CPU numberif  [ !"$CUDA_VISIBLE_DEVICES" ]
thenuse_cuda=false
elseuse_cuda=true
fipython -u main.py \--do_save_inference_model=true \--use_cuda=${use_cuda} \--init_from_params="data/saved_models/trained_models/human_finetuned/params"\--inference_model_dir="data/inference_models/human_inference_model"

3.9.   服务部署

模块内提供已训练好的5个inference_model模型，您可直接下载使用。

 

今天关于飞桨对话自动评估模块（ADE）的介绍到这里就结束了，赶快动手尝试一下吧！

想与更多的深度学习开发者交流，请加入飞桨官方QQ群：796771754。

如果您想详细了解更多飞桨PaddlePaddle的相关内容，请参阅以下文档。

官网地址：

https://www.paddlepaddle.org.cn/

项目地址:

https://github.com/PaddlePaddle/models/tree/release/1.6/PaddleNLP/PaddleDialogue

这篇关于飞桨对话模型工具箱（二）：对话自动评估模块ADE的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/700447。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
深入探索协同过滤：从原理到推荐模块案例

深入探索协同过滤：从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤（UserCF）2. 基于物品的协同过滤（ItemCF）3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代，推荐系统成为连接用户与内容的桥梁。本文聚焦于
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2