EmotionIC：受情感惯性和传染驱动的依赖建模用于对话中情绪识别

本文主要是介绍EmotionIC：受情感惯性和传染驱动的依赖建模用于对话中情绪识别，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

论文地址

https://doi.org/10.1007/s11432-023-3908-6

项目代码

https://github.com/lijfrank-open/EmotionIC

关键词

对话情绪识别，情感惯性和传染，多头注意力，门控循环单元，条件随机场

研究意义

对话中情绪识别（ERC）是自然语言处理（NLP）中最受关注的研究领域之一，旨在识别对话中每个话语的情感。由于这项任务在意见挖掘、共情对话和智能家居等多个系统的潜在应用，最近受到了NLP研究人员的广泛研究。在对话中有效地使用上下文信息是 ERC 的核心。对此，已经存在了大量的相关工作，包括基于图的方法、基于循环的方法和基于注意力的方法。然而，基于循环的方法往往仅使用最近话语中相对有限的信息来更新当前话语的状态，它们难以获得令人满意的性能；由于全局相关性，基于图的方法和基于注意力的方法降低了相邻话语的重要性，导致对话中时间顺序信息的丢失。另外，在对话过程中，说话者的情感受到自己或他人历史情感的影响，表明对话中的情感之间存在显著的依赖性。现有的 ERC 模型侧重于特征提取层面的上下文建模，很少在分类层面挖掘对话中的情感流。

本文工作

为了解决上述问题，本文提出了一种受情感惯性和传染驱动的依赖建模方法（EmotionIC）。我们提出的EmotionIC结合了注意力模型和循环模型的优势，同时使用条件随机场（CRF）显式地建模对话中的情感交互。在特征提取层面，我们设计了一个身份掩码多头注意力 (IMMHA)，以捕获全局上下文中的说话者内部和说话者之间的依赖关系；为了进一步细化上下文依赖关系，我们设计了一个说话者和位置感知的对话门控循环单元 (DiaGRU)。在分类层面，通过在条件随机场中引入跳跃连接，我们设计了一种称为跳链条件随机场 (SkipCRF) 的新颖结构，以显式地捕获对话中的情感流动。
在这里插入图片描述
本文的创新点如下：
(1) 我们为 ERC 任务提出了一种新的模型 EmotionIC。我们的模型在特征提取和分类层面对一段对话进行全面建模，其主要由 IMMHA、DiaGRU 和 SkipCRF 组成。
(2) 在特征提取层面，我们的方法结合了基于注意力模型和循环模型的优势。IMMHA 提取基于身份的全局上下文信息，而 DiaGRU 捕获参与者和时间感知的局部上下文信息。
(3) 在分类层面，SkipCRF可以从对话中的高阶相邻话语中提取复杂的情感流，同时完成最终的情感分类。
(4) 我们在 IEMOCAP、DailyDialog、MELD 和 EmoryNLP 数据集上进行了广泛的实验，并获得了最先进的性能，证明了所提方法的优越性。
在这里插入图片描述

实验结果

为了评估我们的 EmotionIC 的有效性，我们选择的基线包括 COSMIC、RGAT-ERC、DialogXL、DAG-ERC、I-GCN、LR-GCN、CauAIN、GAR-Net、CoGBART 和 EmoCaps。表 3 显示了所提出的 EmotionIC 与所有基线方法的性能比较。实验结果表明，我们的 EmotionIC 显著优于所有基线方法。
在这里插入图片描述
为了分析EmotionIC中不同模块的影响，我们观察移除或替换每个模块后的性能。实验结果记录在表4和表5中。总的来说，移除或替换任何模块都会导致EmotionIC的性能下降，这表明我们设计的模块有助于充分提取上下文依赖关系。
在这里插入图片描述

为了进一步证明在分类层面考虑对话中的情感流可以有效提高模型的性能，我们对 MELD 数据集中的对话进行了案例研究，如图 9 所示。可以看出，由于缺乏可靠的历史情感信息，说话者 B 的第一句话（第 2 个话语）被错误地分类为“Surprise”。从第 3 个和第 5 个话语的错误分类来看，采用 Softmax 层的模型很容易将Neutral错误分类为负面情感。我们设计的SkipCRF在基于情感惯性和传染的建模方面具有显着优势，证明了在分类层面捕获不同说话者之间情感流的有效性。
在这里插入图片描述
引用信息：Yingjian Liu, Jiang Li, Xiaoping Wang, and Zhigang Zeng. “EmotionIC: Emotional Inertia and Contagion-Driven Dependency Modeling for Emotion Recognition in Conversation,” in Science China Information Sciences, vol. 67, no. 182103, 2024. doi: 10.1007/s11432-023-3908-6.