对话生成方法中的“共鸣”

2024-01-20 08:30
文章标签 方法 生成 对话 共鸣

本文主要是介绍对话生成方法中的“共鸣”,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

今天推荐的是一篇对话生成方向的论文(Empathetic Dialogue Generation via Sensitive Emotion Recognition and Sensible Knowledge Selection),论文将对话过程中用户的情感变化考虑进去,从而可以给用户一种“共鸣”的感觉,针对其不同的情感回复更加贴合其情绪的文本,构造更加人性化的对话系统。感觉是一个不错的出发点,非常贴合实际场景,论文的代码逻辑性也是非常强,喜欢这篇论文的话推荐阅读源码

【摘要】

目前的对话生成方法首先把情感作为单一的静态变量对待,忽视了对话过程中情感的变化,无法产生共鸣,其次,在引入外部知识的时候,没有综合考虑知识和情感之间的一种协调,导致两者可能存在冲突现象。本文提出情感和知识交互的方法(Serial Encoding and Emotion-Knowledge interaction ,SEEK )以提高对话生成的质量。

论文:2210.11715v2.pdf (arxiv.org)

代码:https://github.com/wlr737/emnlp2022-seek

【引言】

共鸣是对话中至关重要的一点,在对话过程中交互双方产生共鸣有利于对话朝着更好的方向发展。对话系统的关键一点为理解用户的情绪变化,并给出合理的回复。之前的研究者也着力于提高对话系统的共鸣能力,有的采取获取对话中的情绪信息,有的加入共鸣知识。但是目前的方法都是获取对话级别情感,忽略了对话过程中情绪的动态变化。如下图中,用户的情绪从“害怕”转移到“尴尬”。因此本文为了获得对话过程中的情感变化,使用的是utterance-level的编码策略(之前研究者获得的是整个对话文本的情感),其可以获得对话过程中用户的情感变化,在此基础上,提出emotion-intent识别任务,以更好的获得情感变化,为了解决知识和情感之间产生冲突的问题,本文设计了一个两者双向可以交互的框架。

【模型】

为了获得对话过程中的情感变化,设计了几个子任务:每一个对话的情感识别、基于回复的情感意图预测、整个对话的情感识别。在这三个子任务中需要得到对话的编码和知识的编码,以及将这两者进行融合。为了生成回复,需要将融合的对话信息筛选知识,再进入解码器得到回复内容。因此,模型主要过程包括对话编码器、知识编码器、融合对话和知识、选择知识。

1、对话编码器:使用transformer编码,使用cls的输出。

此步将整个对话内容的每一个对话使用transformer的encoder进行编码。并使用其CLS对应的输出作为对话表示。

2、知识编码器:COMET+transformer

使用针对情感的预训练模型COMET对5种类型(人的效果(xEffect),说话人的影响(xReact),说话人之前的意图(xIntent),说话人当前意图(xNeed),说话人之后意图(xWant))的知识进行生成,然后再使用上面的transformer得到表示,此步使用平均池化得到最终的知识表示。

3、融合对话和知识:拼接对话表示和知识表示,输入双层lstm得到。

首先使用lstm得到融合知识和对话的表示,并采用3个损失来使其获得情感变化。

(1)每个对话的情感识别

上述结果进入softmax分类计算交叉熵。

​(2)基于回复的情感意图预测

计算所有对话的attention,加权进入softmax,和最后一个对话的情感类别计算交叉熵。

(3)整个对话的情感识别

计算所有对话的attention,加权进入softmax,和整个对话的情感计算交叉熵。

​3、选择知识

使用上面lstm的结果作为Q,知识的结果作为K、V,使用transfomer的交叉attention计算,最后经过一个pooling操作,然后和基于回复的预测进行拼接,作为decoder的第一个字符表示。训练的的时候直接作为正确标签的第一个字符,预测的时候,decoder的第一个输入就是这个表示。

5、总体损失函数

前面三个交叉熵损失,加最后一个普通的生成的损失(交叉熵损失)和使用Frequency-Aware CrossEntropy (FACE)的损失,这个FACE是为了避免重复生成相同字符的改进版的交叉熵损失函数。其通过之前生成的词的频率作为原始交叉熵的一个权重实现这个过程,以得到多样性较强的生成结果。

【实验】

1、和其他模型的对比结果

​2、人类A/B测试(%)在连贯性,共情和流利性上的对比结果

​3、case分析结果


这篇关于对话生成方法中的“共鸣”的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/625379

相关文章

自定义注解SpringBoot防重复提交AOP方法详解

《自定义注解SpringBoot防重复提交AOP方法详解》该文章描述了一个防止重复提交的流程,通过HttpServletRequest对象获取请求信息,生成唯一标识,使用Redis分布式锁判断请求是否... 目录防重复提交流程引入依赖properties配置自定义注解切面Redis工具类controller

Java调用DeepSeek API的8个高频坑与解决方法

《Java调用DeepSeekAPI的8个高频坑与解决方法》现在大模型开发特别火,DeepSeek因为中文理解好、反应快、还便宜,不少Java开发者都用它,本文整理了最常踩的8个坑,希望对... 目录引言一、坑 1:Token 过期未处理,鉴权异常引发服务中断问题本质典型错误代码解决方案:实现 Token

Nginx 访问控制的多种方法

《Nginx访问控制的多种方法》本文系统介绍了Nginx实现Web访问控制的多种方法,包括IP黑白名单、路径/方法/参数控制、HTTP基本认证、防盗链机制、客户端证书校验、限速限流、地理位置控制等基... 目录一、IP 白名单与黑名单1. 允许/拒绝指定IP2. 全局黑名单二、基于路径、方法、参数的访问控制

Python中Request的安装以及简单的使用方法图文教程

《Python中Request的安装以及简单的使用方法图文教程》python里的request库经常被用于进行网络爬虫,想要学习网络爬虫的同学必须得安装request这个第三方库,:本文主要介绍P... 目录1.Requests 安装cmd 窗口安装为pycharm安装在pycharm设置中为项目安装req

nginx跨域访问配置的几种方法实现

《nginx跨域访问配置的几种方法实现》本文详细介绍了Nginx跨域配置方法,包括基本配置、只允许指定域名、携带Cookie的跨域、动态设置允许的Origin、支持不同路径的跨域控制、静态资源跨域以及... 目录一、基本跨域配置二、只允许指定域名跨域三、完整示例四、配置后重载 nginx五、注意事项六、支持

MySQL查看表的历史SQL的几种实现方法

《MySQL查看表的历史SQL的几种实现方法》:本文主要介绍多种查看MySQL表历史SQL的方法,包括通用查询日志、慢查询日志、performance_schema、binlog、第三方工具等,并... 目录mysql 查看某张表的历史SQL1.查看MySQL通用查询日志(需提前开启)2.查看慢查询日志3.

MySQL底层文件的查看和修改方法

《MySQL底层文件的查看和修改方法》MySQL底层文件分为文本类(可安全查看/修改)和二进制类(禁止手动操作),以下按「查看方法、修改方法、风险管控三部分详细说明,所有操作均以Linux环境为例,需... 目录引言一、mysql 底层文件的查看方法1. 先定位核心文件路径(基础前提)2. 文本类文件(可直

Java实现字符串大小写转换的常用方法

《Java实现字符串大小写转换的常用方法》在Java中,字符串大小写转换是文本处理的核心操作之一,Java提供了多种灵活的方式来实现大小写转换,适用于不同场景和需求,本文将全面解析大小写转换的各种方法... 目录前言核心转换方法1.String类的基础方法2. 考虑区域设置的转换3. 字符级别的转换高级转换

使用Python实现局域网远程监控电脑屏幕的方法

《使用Python实现局域网远程监控电脑屏幕的方法》文章介绍了两种使用Python在局域网内实现远程监控电脑屏幕的方法,方法一使用mss和socket,方法二使用PyAutoGUI和Flask,每种方... 目录方法一:使用mss和socket实现屏幕共享服务端(被监控端)客户端(监控端)方法二:使用PyA

检查 Nginx 是否启动的几种方法

《检查Nginx是否启动的几种方法》本文主要介绍了检查Nginx是否启动的几种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1. 使用 systemctl 命令(推荐)2. 使用 service 命令3. 检查进程是否存在4