Enhanced Multi-Channel Graph Convolutional Network for Aspect Sentiment Triplet Extraction(情感三元组提取)

本文为ACL2022收录论文学习笔记，仅供个人学习使用

任务背景介绍

摘要

Aspect Sentiment Triplet Extraction (ASTE) 是一项新兴的情感分析任务。 大多数现有研究都集中在设计一种新的标记方案，使模型能够以端到端的方式提取情感三元组。 然而，这些方法忽略了 ASTE 任务中单词之间的关系。 在本文中，我们提出了一种增强型多通道图卷积网络模型（EMC-GCN）来充分利用单词之间的关系。 具体来说，我们首先为 ASTE 任务定义了 10 种类型的关系，然后采用 biaffine attention（双仿射注意力机制） 模块将这些关系嵌入到句子中单词之间的相邻张量中。 之后，我们的 EMC-GCN 通过将单词和关系相邻张量分别视为节点和边，将句子转换为多通道图。 因此，可以学习关系感知节点表示。 此外，我们考虑了多种语言特征来增强我们的 EMC-GCN 模型。 最后，我们在EMC-GCN上设计了一种有效的词对表示细化策略，该策略在确定词对是否匹配时考虑了aspect和opinion抽取的隐含结果。 基准数据集上的大量实验结果表明，我们提出的模型的有效性和鲁棒性显著优于最先进的方法。

1、介绍

Aspect Sentiment Triplet Extraction (ASTE) 是 Aspect-based Sentiment Analysis (ABSA) 的一个新变体。 ASTE 任务旨在从句子中提取方面情感三元组，每个三元组包含三个元素，即方面项、意见项及其相关情感。 在图 1 中，一个示例说明了 ASTE 的定义。

为了提取三元组，以前的研究已经开发了三种类型的方法。 管道方法 (Peng et al., 2020) 独立提取三元组的元素。 然而，此类技术忽略了它们之间的交互，并可能导致错误传播和额外成本。 为了利用多个子任务之间的关联，Mao 等人。 （2021）和陈等人。 (2021a) 将 ASTE 任务表述为多轮机器阅读理解 (MRC) 问题，并设计了一个基于 BERT 的模型来联合训练多个子任务。 同时，一些努力致力于在端到端框架中提取三元组（Xu 等人，2020；Wu 等人，2020a；Zhang 等人，2020；Chen 等人，2021b；Yan 等人。 , 2021), 主要通过设计新的标注方案来构建。

尽管之前的工作取得了显著成果，但仍然存在一些挑战。

在这里，根据我们的观察，ASTE 任务自然会出现两个问题。 1）如何利用单词之间的各种关系来帮助 ASTE 任务？ 以图1为例； 对于词对（“gourmet”，“food”），“gourmet”和“food”属于同一个aspect term“gourmet food”。 同样，对于词对（“food”，“delicious”），“food”是“delicious”的意见目标，被赋予了积极的情感极性。 因此，为了有效地提取“美食”方面的术语，我们期望“美食”可以获得“食物”的信息，反之亦然。 为了判断aspect term的情感极性，意见词“delicious”的信息应该传递给“gourmet food”。 简而言之，我们需要基于单词之间的关系来学习任务相关的单词表示。 2) 如何利用语言特征来帮助 ASTE 任务？ 首先，我们观察到方面术语“美食”和“服务”是名词，而意见术语“美味”和“差”是形容词。 因此，由名词和形容词组成的词对往往形成方面-意见对。 其次，从图1中的句法依存树来看，词对中存在不同的依存类型。 例如，“gourmet”和“food”是复合名词，因为它们之间的依存类型是“compound”，而“food”是“delicious”的名词性主语，因为类型“nsubj”。 因此，这些依赖类型不仅可以帮助提取aspect和opinion term，还可以帮助它们进行匹配。此外，我们考虑使用基于树的和相对位置距离的方式，它们描述了两个词的相关性。

在本文中，我们提出了一种新颖的架构，即增强型多通道图卷积网络模型 (EMC-GCN)，以回答上述问题。 首先，我们利用一个双仿射注意力模块来对句子中单词之间的关系概率分布进行建模，并使用一个向量来表示它。 向量中的每个维度对应于某种关系类型。 为此，我们可以从一个句子中推导出一个关系邻接张量。 此外，我们的 EMC-GCN 通过将单词和关系邻接张量分别视为节点和边，将句子转换为多通道图。 为了学习单词之间的精确关系，我们对关系邻接张量施加关系约束。其次，为了利用语言特征，包括词汇和句法信息，我们获得了句子中每个词对的词性组合、句法依赖类型、基于树的距离和相对位置距离。 同样，我们分别将这些特征转换为多通道图的边缘，以进一步增强我们的模型。 尽管部分语言特征已应用于其他任务（Kouloumpis et al., 2011; Sun et al., 2019; Phan and Ogunbona, 2020; Li et al., 2021），据我们所知，它们很少见 在 ASTE 任务中使用。 探索各种语言特征，以一种新颖的方式将它们改编并应用于 ASTE 并非易事。 第三，受多标签分类任务中的分类器链方法 (Read et al., 2011) 的启发，我们设计了一种有效的细化策略。 在判断词对是否匹配时，我们的策略考虑了词对表示细化的方面和意见提取的隐含结果。

我们的贡献突出如下：
1)我们为 ASTE 任务提出了一种新颖的 EMC-GCN 模型。 EMC-GCN 利用多通道图来编码单词之间的关系。 多通道图上的卷积函数用于学习关系感知节点表示。
2)我们提出了一种新方法来充分开发语言特征以增强我们基于 GCN 的模型，包括词性组合、句法依赖类型、基于树的距离和句子中每个词对的相对位置距离。
3)我们提出了一种有效的精炼策略来精炼词对表示。 它在检测词对是否匹配时考虑了方面和意见提取的隐含结果。
4)我们对基准数据集进行了广泛的实验。 实验结果表明了我们的 EMC-GCN 模型的有效性。

2、相关工作

传统的情感分析任务是面向句子级别（Yang 和 Cardie，2014；Severyn 和 Moschitti，2015）或文档级别（Dou，2017；Lyu 等人，2020）的。 相比之下，基于方面的情感分析（ABSA）是面向方面或实体的细粒度情感分析任务。 最基本的三个子任务是Aspect Term Extraction (ATE) (Hu and Liu, 2004; Yin et al., 2016; Xu et al., 2018; Ma et al., 2019; Chen and Qian, 2020; Wei et al. , 2020), Aspect Sentiment Classification (ASC) (Tang et al., 2016; Ma et al., 2017; Li et al., 2018; Zhang et al., 2019; Wang et al., 2020; Li et al., 2020) , 2021) 和意见词提取 (OTE) (Yang and Cardie, 2012, 2013; Fan et al., 2019; Wu et al., 2020b)。 这些研究分别解决了这些任务，并忽略了这些子任务之间的依赖关系。 因此，一些工作致力于耦合这两个子任务，并提出了有效的模型来联合提取基于方面对。这类工作主要有两个任务：Aspect and Opinion Term Co-Extraction (AOTE) (Wang et al., 2016, 2017; Dai and Song, 2019; Wang and Pan, 2019; Chen et al., 2020b; Wu et al. al., 2020a) 和 Aspect-Sentiment Pair Extraction (ASPE) (Ma et al., 2018; Li et al., 2019a,b; He et al., 2019)

最近，Peng等人(2020）首先提出了ASTE任务，并开发了一个两阶段的管道框架，将方面提取、方面情感分类和意见提取结合在一起。 为了进一步探索这项任务，（Mao 等人，2021；Chen 等人，2021a）将 ASTE 转换为机器阅读理解问题，并利用共享的 BERT 编码器在多阶段解码后获得三元组。 另一条研究重点是设计一种新的标记方案，使模型能够以端到端的方式提取三元组（(Xu et al., 2020; Wu et al., 2020a;Zhang et al., 2020; Xu et al., 2021; Yan et al., 2021). 例如，Xu等人（2020）提出了一种位置感知标记方案，该方案通过丰富标签的表现力来解决与现有作品相关的限制。 吴等人。 (2020a) 提出了一种网格标记方案，类似于表格填充 (Miwa and Sasaki, 2014; Gupta et al., 2016)，以端到端的方式解决此任务。 严等人。 (2021) 将 ASTE 任务转换为生成公式。 然而，这些方法通常忽略了单词和语言特征之间的关系，从而有效地促进了三元组的提取。

3、提出的框架

这节我们详细阐述EMC-GCN的细节，框架详情如图二所示。

3.1 问题公式化

已知一个含有n个词的输入句子X = {w₁, w₂, …, w_n}，我们模型的目标是输出一系列的三元组 T = { ( a , o , s ) m } m = 1 ∣ T ∣ \left\{ (a,~o,~s)_{m} \right\}_{m = 1}^{|T|} {(a, o, s)m​}m=1∣T∣​，a和o分别指代方面词和观点词，a的情感极性s属于集合{POS, NEU, NEG}，也就是说，情感标签集包括三个情感极性：正面、中性和负面。 句子 X 含有总数为 |T | 的三元组。

3.2 关系定义和表格填充

我们为 ASTE 定义了句子中单词之间的十种关系。 这些关系如表1所示

具体来说，四个关系或标签 {B-A, I-A, B-O, I-O} 旨在提取方面术语和意见术语。与 GTS (Wu et al., 2020a) 相比，我们定义的关系在我们的模型中引入了更准确的边界信息。B 和 I 分别表示术语的开头和内部，而 -A 和 -O 子标签旨在确定术语的作用，即方面或意见。 表 1 中的 A 和 O 关系用于检测由两个不同的词组成的词对是否分别属于同一个方面或意见词。 三个情感关系{POS, NEU, NEG}的目标不仅是检测一个词对是否匹配，还要判断aspect-opinion对的情感极性。

因此，我们可以使用表格填充方法为每个标记的句子构建一个关系表（Miwa and Sasaki, 2014; Gupta et al., 2016）。 在图 3 中，我们在一个例句中显示了词对及其关系。 这里，每个单元格对应一个有关系的词对。

3.3 三元组解码

ASTE 任务的解码细节如算法 1 所示。为简单起见，我们使用上三角表来解码三元组。 首先，我们仅使用基于主对角线的所有词对（w_i，w_i）的预测关系，来提取aspect term和opinion term。 其次，我们需要判断提取的asp​​ect term和opinion term是否匹配。 特别是，对于方面项 a 和意见项 o，我们计算所有单词对 (w_i, w_j) 的预测关系，其中 w_i ∈ a 和 w_j ∈ o。
如果预测关系中存在任何情感关系，则认为aspect term和opinion term是配对的，否则这两个不配对。 最后，为了判断aspect-opinion对的情感极性，将预测最多的情感关系s∈S视为情感极性。 因此，我们收集了一个三元组 (a, o, s)。

3.4 EMC-GCN 模型

3.4.1 输入层和编码层

BERT (Devlin et al., 2019) 已经证明了它在各种任务中的有效性。 我们利用 BERT 作为句子编码器来提取隐藏的上下文表示。 给定一个带有 n 个标记的输入句子 X = {w₁, w₂, …, w_n}，编码层在最后一个 Transformer 块处输出隐藏表示序列 H = {h₁, h₂, …, h_n}。

3.4.2 双仿射注意力模块

我们利用双仿注意力模块来捕获句子中每个词对的关系概率分布，因为双仿注意力已被证明在句法依赖解析中有效（Dozat and Manning，2017）。 biaffine 注意过程被表述为，

其中用到了多层感知器MLP（multi-layer perceptron），分数向量 r_i,j ∈ R^1×m 对 w_i 和 w_j 之间的关系进行建模，m 是关系类型的数量，r_i,j,k 表示词对 (w_i, w_j) 的第 k 个关系类型的分数。邻接张量 R ∈ R^n×n×m 模拟单词之间的关系，每个通道对应一个关系类型。 U₁、U₂ 和 b 是可训练的权重和偏差。 ⊕ 表示连接。 方程。 (5) 收集方程的过程。 (1) 至 (4)

3.4.3 多通道GCN

受 CNN 的启发，GCN 是一种高效的 CNN 变体，可直接在图上运行（Kipf 和 Welling，2017）。 一个图包含节点和边，GCN 对通过边直接连接的节点应用卷积操作来聚合相关信息。 给定一个包含 n 个单词的句子，一般的方法是使用句法依赖树构造一个邻接矩阵 A ∈ R^n×n，表示该句子的图（Zhang et al., 2019; Sun et al., 2019）。 元素 A_ij表示节点对 (w_i, w_j) 的边。具体来说，如果第 i 个节点直接连接到第 j 个节点，则 A_ij = 1，否则 A_ij = 0。 一些研究（Guo et al., 2019; Chen et al., 2020a; Li et al., 2021）通过图的注意力机制构建软边。 任何节点对（w_i，w_j）的边是一个概率，表示节点wi和wj之间的相关程度。

为了对单词之间的各种关系进行建模，我们的 EMC-GCN 扩展了 vanilla GCN，其具有由上述双仿射注意模块构建的多通道邻接张量 R^ba ∈ R^n×n×m。 邻接张量的每个通道代表表 1 中定义的单词之间关系的建模。然后，我们利用 GCN 沿每个通道为每个节点聚合信息。
我们将该过程公式化如下：

其中 R _:,:,k ^ba∈ R^n×n 表示 R^ba 的第 k 个通道切片。 W_k 和 b_k 是可学习的权重和偏差。 σ 是一个激活函数（例如，ReLU）。 平均池化函数 f(·) 应用于所有通道的节点隐藏表示。

3.4.4 语言特征

为了增强我们的 EMC-GCN 模型，我们为每个词对引入了四种类型的语言特征，如图 4 所示，包括词性组合、句法依赖类型、基于树的距离和相对位置距离。
对于句法依赖类型，我们为每个词对（w_i，w_i）添加一个自依赖类型。特别地，我们根据这些特征随机初始化四个邻接张量，即 R^psc、R^dep、R^tbd和 R^rpd。 以句法依赖类型特征为例。 如果 wi 和 wj 之间存在依赖弧，并且依赖类型为 nsubj，则通过查找可训练的嵌入表，将 Rdep i,j,: 初始化为 nsubj 的嵌入； 否则我们用一个 m 维零向量初始R_i,i,:^dep。 随后，使用这些邻接张量重复图卷积操作以获得节点表示 H^psc、H^dep、H^tbd 和 H^rpd。最后，我们分别将平均池化函数和连接操作应用于所有节点表示和所有边，形式为，

其中 H = {h₁, h₂, …, h_n} 和 R = {r_1,1, r_1,2, …, r_n,n} 表示词对的节点表示和边表示。

3.4.5 关系约束

为了精确捕捉单词之间的关系，我们对从 biaffine 模块获得的相邻张量施加约束，即

其中I(·)表示指示函数，y_ij是词对(w_i,w_j)的真值，C表示关系集。 同样，我们对语言特征产生的四个相邻张量施加关系约束。约束成本表示为 L_psc、L_dep、L_tbd 和 L_rpd。

3.4.6 细化策略和预测层

为了获得用于标签预测的词对 (w_i, w_j) 的表示，我们将它们的节点表示 h_i、h_j 和它们的边缘表示 r_ij 连接起来。 此外，受多标签分类任务中的分类器链（Read et al., 2011）方法的启发，我们设计了一种有效的精炼策略，在判断词对是否匹配时考虑方面和意见提取的隐含结果。 具体来说，假设w_i是aspect term中的一个word，w_j是opinion term中的一个word，那么词对(w_i, w_j)更有可能被预测为情感关系，即POS、NEU或NEG。 否则，它们不太可能匹配。 因此，我们引入 r_ii 和 r_jj 来细化词对 (w_i, w_j) 的表示 s_ij，即

最后，我们将词对表示 s_ij 输入线性层，然后使用 softmax 函数生成标签概率分布 p_ij，即

其中 W_p 和 b_p 是可学习的权重和偏差

3.5 损失函数

我们的目标是最小化目标函数：

其中系数α和β用于调整对应关系约束损失的影响。
标准交叉熵损失 L_p 用于 ASTE 任务，即

4、实验

4.1 数据集

我们在两个 ABSA 数据集上评估我们的方法。他们都来自 SemEval ABSA 挑战赛 (Pontiki et al., 2014, 2015, 2016)。 第一个数据集 D₁来自 Wu 等人。 （2020a）。
第二个数据集 D2 由 Xu 等人注释。 (2020)，这是 Peng 等人提出的数据集的修正版本。 （2020 年）。 这两组数据集的统计数据见表2

4.2 基准

我们将我们的 EMC-GCN 与最先进的基线进行比较。 这些模型被简单地分为三类。 1）Pipeline方法：CMLA+、RIANTE+、Li-unified-R、Peng-two-stage由Peng等人提出。 （2020 年）。 Wu等人提出了Peng-twostage+IOG和IMN+IOG。 （2020a）。 2）端到端方法：GTSCNN、GTS-BiLSTM、GTS-BERT（Wu et al., 2020a）、OTE-MTL（Zhang et al., 2020）、JETBERT（Xu et al., 2020）、S3E2 （Chen 等人，2021b）和 BART-ABSA（Yan 等人，2021）。 3) 基于 MRC 的方法：BMRC (Chen et al., 2021a) 是一种基于多轮次 MRC 的模型，在训练阶段是端到端的，但在推理阶段工作在管道中。

4.3 实现细节

我们使用 BERT-base-uncased version 作为我们的句子编码器。 AdamW 优化器（Loshchilov 和 Hutter，2018）用于 BERT 微调的学习率为 2×10-5，其他可训练参数的学习率为 10-3。 辍学率设置为 0.5。 BERT 和 GCN 的隐藏状态维数分别设置为 768 和 300。 EMC-GCN 模型在 100 个 epoch 中训练，批量大小为 16。为了控制关系约束的影响，我们将超参数 α 和 β 分别设置为 0.1 和 0.01。 请注意，通道数等于我们定义的关系数，由于我们提出的关系约束，这是不可变的。 所有句子都由 Stanza (Qi et al., 2020) 解析。我们根据模型在开发集上的最佳性能保存模型参数。 报告的结果是使用不同随机种子的五次运行的平均值。

4.4 主要结果

主要实验结果见表 3 和表 4。

在 F1 指标下，我们的 EMC-GCN 模型在两组数据集上优于所有管道、端到端和基于 MRC 的方法。我们观察到端到端和基于 MRC 的方法比流水线方法取得了更显着的改进，因为它们建立了这些子任务之间的相关性，并通过联合训练多个子任务来缓解错误传播的问题。 请注意，OTE-MTL 和 GTS-BERT 的标记方案类似于表格填充。 与 GTS-BERT 相比，我们的 EMCGCN 在 D1 和 D2 上的 F1 分数分别显着超过了平均 1.96% 和 2.61%。 这种改进归因于我们的 EMC-GCN 可以利用单词和语言知识之间的关系进行单词表示学习。另一个发现是，那些使用 BERT 编码器的方法，例如 JETBERT、GTS-BERT 和 BMRC，通常比使用 BiLSTM 编码器的其他方法获得更好的性能。 我们假设原因是 BERT 已经在大规模数据上进行了预训练，可以提供强大的语言理解能力。

4.5 模型分析

4.5.1 消融研究

为了研究 EMC​​-GCN 中不同模块的有效性，我们对第二个数据集 D₂ 进行了消融研究。 实验结果如表 5 所示。w/o 十关系表示 EMC-GCN 使用与 GTS（Wu 等人，2020a）相同的标记模式，具有六个标签。如果没有 {B-A, I-A, B-O, I-O} 这四种关系，EMC-GCN 会丢失术语的边界信息，性能会显着下降。 w/o Linguistic Features 意味着我们从 EMC-GCN 中删除了四种类型的功能。 在没有增强语言特征的情况下，我们的 EMC-GCN 的性能在 14res 和 14lap 上略有下降，但在 15res 和 16res 上分别下降了 1.31% 和 1.18%。 由于 15res 和 16res 包含的训练数据较少，当训练数据不足时，语言特征可以提供额外的信息，这有助于模型的预测。 w/o Relation Constraint 表示我们移除了邻接张量 R^ba 和黄金标签之间的关系约束损失。 因此，邻接张量中的每个通道都不能精确地描述单词之间的关系依赖。 结果，EMC-GCN w/o Relation Constraint 在四个子数据集上的性能显着下降。w/o Refining Strategy 表示我们从词对表示 s_ij 中去除了方面和意见提取 r_ii 和 r_jj 的隐含结果。 由于邻接张量与黄金标签有关系约束，我们可以假设 r_ii 是主对角线上单词对 (w_i, w_i) 的预测标签或关系概率分布。 因此，我们利用方面和意见提取的隐含结果作为先验信息来帮助预测词对 (w_i, w_j) 的标签。 总而言之，我们的 EMC-GCN 的每个模块都有助于 ASTE 任务的整体性能。

4.5.2 精化策略(Refining Strategy)的效果

细化策略的目的是促进基于方面和意见提取隐含结果的词对匹配过程。 为了验证这个想法，我们在 D₂ 的 14rest 和 14lap 上对三种情感关系 {POS, NEU, NEG} 进行了比较实验。 结果如表 6 所示。

请注意，三种情感关系的功能是检测词对是否匹配，并识别aspect-opinion 对的情感极性。 结果表明，w/o Refining Strategy 的性能显着下降，并且该细化策略的效果符合我们的预期。

4.5.3 通道可视化

为了研究单词之间关系的影响，我们可视化了与特定关系相对应的邻接张量 Rba 的通道切片。考虑示例句子，“空气具有更高的分辨率，但字体很小”。 来自 14lap 数据集。 这个句子包含两个三元组，{(resolution, Higher, POS), (fonts, small, NEG)}。如图 5 左侧所示，“higher”和“resolution”的可视化邻接信息对应于 POS 关系通道。 在可视化中，“更高”和“分辨率”是高度相关的。 结果，他们将自己的信息传达给对方。 同样，在图 5 的右侧，“fonts”可以接收到 NEG 关系通道中“small”的节点表示和负面情绪。 同时，“小”也可以获得它所描述的意见目标的信息。 因此，我们的 EMC-GCN 模型可以很容易地预测单词对（“fonts”、“small”）和（“resolution”、“higher”）的正确标签。

4.5.4 语言特征可视化

为了进一步分析语言特征在 ASTE 任务中的作用，我们可视化了四种语言特征的邻接张量。 我们使用邻接张量中特征向量的 l₂ 范数来表示对应词对的相关性得分。在图 6 中，第一个是从词性组合特征中可视化的邻接张量 R^psc，我们观察到形容词和名词之间的得分更高，因为形容词和名词之间很容易形成一个方面-观点对，而之间的得分 形容词较低，因为这两个形容词通常不相关，并且很可能相互干扰。 在 R^dep 的可视化中，我们发现每个词只与它直接依赖的词有一个分数，并根据不同的句法依赖类型计算不同的相关性分数。 R^tbd 的可视化显示每个单词与其他单词在不同的基于树的距离处计算的相关性分数。R^rpd 的可视化表明两个相邻词的相关性大于远距离词对的相关性。 总之，我们设计的所有语言特征都有助于 ASTE 任务

4.5.5 案例研究

图 7 给出了一个案例研究。在此示例中，方面术语和意见术语分别以蓝色和黄色突出显示。 红线表示aspect term和opinion term匹配，并形成一个带有正面情绪的三元组。 GTS-BERT 和 BMRC 很难识别黄金意见术语“轻”，而所有方法都正确预测“容易”，因为“轻”比“容易”更远离“运输”。 因此，他们忽略了三元组（“transport”、“light”、positive），而我们的 EMC-GCN 可以精确地提取它。 我们认为关键因素是“光”和“交通”可以通过情感关系和语言特征建立重要的联系。

5、总结和未来工作

在本文中，我们提出了一种用于 ASTE 任务的 EMC-GCN 架构。 为了利用单词之间的关系，我们首先设计了一个多通道图结构，用于对每个单词对的不同关系类型进行建模。 然后，我们在所有通道上利用图卷积运算来学习关系感知节点表示。 此外，我们考虑语言特征来增强基于 GCN 的模型。 最后，我们在 EMC-GCN 上设计了一种有效的精炼策略，以更好地提取三元组。 对基准数据集的广泛实验表明，我们的 EMC-GCN 模型始终优于所有基准。 未来，我们将分析语言特征的作用及其组合的效果。