Relphormer: Relational Graph Transformer forKnowledge Graph Representations

本文主要是介绍Relphormer: Relational Graph Transformer forKnowledge Graph Representations，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

摘要

Transformers在自然语言处理、计算机视觉和图挖掘等广泛领域取得了显著的成绩。然而，普通的Transformer架构并没有在知识图(KG)表示中产生有希望的改进，在KG表示中，转换距离范式主导着这一领域。注意，普通的Transformer架构很难捕获知识图的内在异构结构和语义信息。为此，我们提出了Transformer的一种新变体，称为Relphormer。具体来说，我们引入了Triple2Seq，它可以动态采样上下文化子图序列作为输入，以缓解异构性问题。我们提出了一种新的结构增强的自关注机制来编码关系信息，并将语义信息保留在实体和关系中。此外，我们利用屏蔽知识建模进行一般知识图表示学习，可以应用于各种基于kg的任务，包括知识图补全、问题回答和推荐。在6个数据集上的实验结果表明，与基线相比，Relphormer可以获得更好的性能。

1 INTRODUCTION

索方面显示出了有效性，并被广泛应用于搜索引擎[44]、推荐[19]、时间序列预测[4]、自然语言理解[29,48,52]等多种应用中。如图1所示，KG表示学习旨在将实体和关系投射到一个连续的低维向量空间中，这可以隐式地促进实体之间推理的计算，并已被证明有助于知识密集型任务[10,13,41,43]。以前的KG表示学习方法，如TransE[2]、ComplEx[33]和RotatE[31]，将关系知识嵌入到向量空间中，然后利用预定义的对这些向量的评分函数来优化目标对象。然而，将关于实体的所有信息(例如，语义和结构)编码为单个向量是相当具有挑战性的。为此，一些研究利用图神经网络(GNN)[27,53]或基于注意力的方法[39]来学习基于实体及其图上下文的表示。然而，这些方法在浅层网络体系结构的表达能力上仍然受到限制。

Transformer[35]被公认为是序列数据建模中最强大的神经网络，在自然语言表征[7]和计算机视觉表征[8]方面取得了成功。此外，还有许多尝试将Transformer利用到图域。这些方法中的大多数[50,54]在整个图上应用Transformer，并通过拓扑增强的注意机制和结构编码来增强普通的基于特征的注意机制，或者通过具有邻近增强注意的自我图利用Transformer。注意，与纯图不同，KGs是由多种类型的节点组成的异构图。因此，Transformer体系结构是否适合为KG表示建模以及如何使其适用于各种任务仍然是一个悬而未决的问题。具体来说，要将Transformer架构完全应用于kg，有以下三个重要的挑战:

边和节点的异构性。注意，KGs是具有语义丰富边的关系图。多个边具有不同的关系信息，形成不同的异构表示。以前的Transformer体系结构通常应用隐式结构归纳偏置(通常是单跳邻居)作为约束，忽略了KG的基本图结构。
拓扑结构和文本描述。KGs是一种文本丰富的网络，每个节点有两种类型的知识，即拓扑结构和文本描述。不同的节点具有独特的拓扑和文本特征。例如，给定一个实体-关系对(，𝑟)，在从和𝑡推断实体节点时，描述结构上下文和文本描述将提供有价值的信息。然而，以前的Transformer体系结构通常将所有实体和关系视为普通的令牌，而忽略了基本的结构信息。
任务优化通用性。需要注意的是，之前的大多数研究[2]都遵循了一个预定义的知识嵌入评分函数的范式。然而，这种策略需要为实体/关系预测优化不同的对象，并且需要在推理中对所有可能的三元组进行昂贵的评分。同时，以前的KG表示学习方法难以为各种基于KG的任务提供统一的学习表示，如知识图补全、问答和推荐。因此，设计一种新的知识图表示技术方案是直观的。

在本研究中，针对上述问题，我们探索了用于知识图表示的Transformer架构，并提出了关系型图转换器(Relphormer)。

首先，我们提出Triple2Seq来解决边缘和节点的异质性，它们将上下文子图作为模型的输入序列。具体来说，我们将关系视为子图中的正常节点，然后将上下文化的子图馈送到转换模块。我们使用动态采样策略来最大限度地保留本地化的上下文信息和语义。其次，我们提出了一种结构增强机制来处理拓扑结构和文本描述。通过设计的模块，模型可以在保留结构信息的同时对文本特征进行编码。请注意，我们不仅关注知识图表示，这种机制很容易适用于其他类型的基于transformer的方法，以包含任何结构偏差。最后，我们提出了一种用于统一知识图表示学习的蒙面知识建模机制。受自然语言处理中的掩码语言建模的启发，我们引入了一个统一的优化对象来预测输入序列中的掩码实体和关系标记。这样，我们就可以简单地利用统一的优化对象进行知识图谱补全中的实体和关系预测。此外，我们可以将学习到的KG表示用于各种基于KG的任务，包括问答和推荐任务。

我们通过实验来评估我们的relphomer在各种任务中的表现。具体来说，对于KG补全，我们使用FB15K-237[32]、WN18RR[5]和UMLS[1]进行实体预测，选择FB15K237和WN18RR进行关系预测。我们还在两个基于kg的任务中评估了Relphormer:用于问答(QA)的FreebaseQA[14]和WebQuestionSP[49]，以及用于推荐任务的ML-20m[11]。实验结果表明，该方法具有较好的性能和较短的推理时间。