本文主要是介绍Overview of knowledge reasoning for knowledge graph，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
摘要
知识图是影响知识表示的大规模语义网络。从现有数据中挖掘隐藏知识，包括三元组知识推理，是知识图的主要目标。随着神经网络(NN)和深度学习(DL)的发展，三元组知识推理的可解释性逐渐降低;此外，机器学习的不是实际的推理，而是数字推理的捷径。为了解决这个问题，需要在知识图中引入更多的背景知识:因果图可以为推理提供有价值的因果逻辑知识;时间四重组可以提供基本的时间分布细节;而常识性图表可以提供相关的常识性理解来支持推理。近年来，许多学者在知识图中加入了额外的背景知识，以构建更复杂的推理机制。本文综述了知识推理的基本概念和定义，以及知识图的推理方法。具体来说，我们将推理方法分为四类:三元推理、因果推理、时间推理和常识推理。最后，我们讨论了与知识图推理相关的剩余挑战和研究机会。
1. Introduction
知识图是一种新的知识表示方法。大多数知识图使用资源描述框架(RDF)来描述世界上的知识，并将它们存储为三元组。推理是模拟思维的基本形式之一[1]，目的是通过对已有数据的分析得出新的结论。知识推理是利用已建立的知识来推断缺失的实体和关系的信息，从而丰富知识图谱。除了知识补全之外，知识推理还可以应用于各种领域，包括模式归纳、知识对齐和问题回答。
溯因法、演绎法和归纳法是三种常用的推理方法，它们起源于亚里士多德的著作，后来在当代被Charles Sanders Peirce重新引入[2]。此外，Ross提出了溯因推理在培养计算机创造力方面的重要意义[3]。本文采用了溯因推理中的一个概念:背景知识。背景知识被认为是一组已知的事实、假设、规则或理论，可以帮助我们推断可能的解释[4]，例如医学术语[2]和谓词的定义[5]。
知识推理主要有两种方法:符号推理和统计推理。符号推理通过语义网产生问题，利用规则提取隐藏信息，而统计推理则构建统计模型来预测实体或关系的可能性。Liu等[6]将面向知识图的机器推理分为嵌入式推理和多跳推理。嵌入式推理是指学习每个实体或关系的低维向量，并将这些向量用作后续推理的输入。多跳推理主要是从已有知识中学习相关的缺失规则。Chen等[7]将知识图的知识推理分为基于规则的推理、基于分布式表示的推理和基于神经网络的推理。Guan等[8]将知识推理分为传统知识推理和面向知识图的知识推理。Wu等[9]根据可用的模型和原理，将知识推理分为基于张量分解的方法、基于转换的方法、基于路径的推理方法和其他推理方法。Xu等[10]分析了知识推理，并将其分为两大类:基于逻辑的推理和基于图的推理。Song等[11]将基于知识图的知识推理分为几种类型，包括基于逻辑的推理、基于表示学习的推理、基于图的推理、基于神经网络的推理和基于深度强化学习的推理。Wu等[12]将医学知识图推理分为基于语义模式的推理、基于图模型的推理和基于知识表示学习的推理。然而，这些分类方法都是从人的角度出发，而不是从计算机的角度出发。它们都专注于推理中使用的技术和推理逻辑，而忽略了基本的输入数据。计算机没有固有的逻辑，不理解可解释性，完全依赖于预先输入的信息。而主流的机器推理方法是数据驱动的，因此关注数据是至关重要的。同时，Jiang和Bansal[13]发现，目前的多跳推理模型只利用了上下文词捷径，而不具备真正的推理能力。为了使知识推理得到实质性的发展，机器必须掌握推理能力，并努力尽可能地模拟人类的推理。由于人类生活在一个多维度的社会中，机器是时候获得更多的背景知识了。在他们的综述中，Ji等人[14]提到了嵌入式推理、关系路径推理、基于规则的推理和元关系学习，同时指出了时间在知识图中的重要性，并讨论了知识图的时间推理。
近年来，随着日常生活中各种知识的爆炸式增长，需要比传统的三胞胎更多的包括现实生活中的所有知识。因此，学者们开始在知识图谱中加入更多的背景知识。一些学者利用常识知识图来提高机器使用常用知识的能力[15,16]。还有人将时间戳附加到知识图中的每个事实上，以预测未来事件或错过过去事件[17,18]。还有一些人试图教会机器干预一个实体如何影响另一个实体[19,20]。
要真正学会推理，机器需要模拟人类如何深入推理。在知识图谱中引入更多的背景知识，建立更复杂的推理逻辑和机制。同时，随着知识图谱的发展，知识推理将会被应用到更多的实际应用中，成为一项基础技术。基于背景知识对知识推理进行分类，可以帮助开发人员更好地根据实际需求和现有数据选择合适的技术路线，有利于知识图的推广和应用。知识图谱和知识推理的发展不仅仅是技术的发展;所涉及的背景知识也在不断增加。因此，有必要对不同背景知识的知识推理进行总结。本文根据背景知识的不同，将知识推理分为四类:三元推理、因果推理、时间推理和常识推理。三元组推理只使用基本三元组进行推理。因果推理使用先验因果链或基于三元组的因果图。时间推理集中在三联体发生的时间点或时期。常识推理主要是利用各种常识来辅助三元推理。三元推理作为其他三种推理的基础，将在第3节中详细介绍。其余三种类型的推理:因果推理、时间推理和常识推理，它们在推理逻辑和技术方面有一些共同的方面，但根据它们与输入信息的不同，它们有自己的特点。在每个背景知识类别下，我们进一步细分了基于技术的模型。通过综合前人的分类方法[6-12]，我们从技术角度将知识推理分为三种类型:多跳推理、基于嵌入的推理和基于神经网络的推理。
我们的主要贡献如下:首先，我们整合了165篇论文，其中96篇发表于最近5年(2019-2023年)。文章来源主要是主流期刊和顶级会议，包括计算语言学协会年会(ACL)和自然语言处理经验方法会议(EMNLP)。其次，提出了一种基于不同背景知识的知识图分类方法，并将知识推理分为四类:三元推理、因果推理、时间推理和常识推理。最后，我们总结了这四种推理类型目前的发展方向和挑战。
本文的其余部分组织如下:第三、第四、第五和第六部分分别介绍了传统的三重推理、因果推理、时间推理和常识推理。最后一部分对全文进行了总结，并对知识推理的未来进行了展望。
2. Evaluation metrics
在下面的部分中，我们将对引入的模型进行评估。在巩固本文中讨论的所有模型的基础上，我们的评估将包括两个基本维度。最初的方面包括对模型的长处和弱点的全面评估。随后，第二个方面涉及对模型在公开可用数据集上的性能进行比较评估。
2.1. Overall evaluation metrics
总体评价是指介绍模型的具体结构，分析模型的优缺点。在本文中，它通常以表格的形式呈现。接下来，我们将介绍综合评价的相关指标，并说明表格格式。
通常，我们会针对不同类别的模型使用不同的指标来介绍模型的结构。在嵌入式推理中，我们通常描述模型的向量空间、评分函数和损失函数。对于多跳推理模型，我们通常介绍它们的路径选择、聚合和损失函数。至于基于神经网络的推理模型，我们通常描述所使用的神经网络和损失函数。一个特殊情况是在“4.2.1. 基于嵌入式的因果推理”部分，在其中提供了表7.“一些因果嵌入式推理模型的详细介绍”。为了保留因果嵌入式推理的特性，我们从三个方面介绍模型：特征提取器、因果推理模块和损失函数。
Generalizability, Flexibility, Computation, Overfitting, Interpretability, Model generalization, Multiple Relations, Data Standpoint, and Limitations.
至于模型的优势和劣势，我们将它们精炼为九个方面，通过整合所有模型的具体优势和限制：泛化能力、灵活性、计算能力、过拟合、可解释性、模型泛化、多重关系、数据视角和限制。泛化能力、灵活性、计算能力、过拟合和可解释性是基本的模型评估指标。当特定模型对应于其中一个方面的“√”时，表示在该方面具有较高水平的性能，但较高水平并不一定意味着更好的性能。对于一个在可解释性、灵活性和泛化能力方面均具有“√”的模型，意味着该模型具有良好的可解释性、高灵活性（更适应频繁更新的数据）和优秀的泛化能力（在不同数据集上表现良好）。然而，如果一个模型在计算能力和过拟合方面具有“√”，则表示它需要更多的计算资源，并带有较高的过拟合风险，这是不可取的。当标记为“×”时，上述五个评估指标表示与“√”所指示的相反信息。
四个指标:局限性、数据立场、多重关系和模型泛化，是对知识图推理模型的评估指标，这些模型是通过总结所有模型的优缺点而得出的。当“限制”指标标注“√”时，表示该模型存在一定的限制，通常是指需要手动调整参数或需要手动构建规则。“限制”标志不应标注“×”。
当“数据视角”指标被标记为“√”时，表示模型从新的角度进行推理。这包括整合新的外部数据（例如规则）并从不同的结构角度提取新颖信息（例如邻居）。另一方面，当“数据视角”指标被标记为“×”时，意味着某些连接被忽视或由于特定模型设置而导致信息丢失。因此，“数据视角”指标可以同时标记为“√”和“×”，表示为“√×”，这表示模型引入了一些新信息，同时也丢失了一些现有知识。
当“Multiple Relations”标记为“√”时，模型从各种关系角度考虑推理，如对称关系。当标记为“x”时，表示模型还有一些关系没有处理好。与“数据立场”指标类似，“多重关系”指标也可以用“√x”标记，表示模型考虑了某些关系，但可能忽略了其他关系。而“模型泛化”指标，当标记为“√”时，表示该模型可以应用于其他模型，而不应该标记为“x”，因为不能泛化到其他模型并不是大多数模型的缺点。
为了提高表的可读性，我们将表中这些评价指标使用缩写:GL代表泛化，FX代表灵活性，CP代表计算，of代表过拟合，IP代表可解释性，MG代表模型泛化，MR代表多重关系，DS代表数据立场，LM代表局限性。
2.2. Experimental comparison metrics
实验比较指标是指对同一类别模型在同一公共数据集上的实验结果进行评估的评价指标。这些指标的表现通常以图表的形式呈现，图表上显示了特定的数据集和指标。在这里，我们将介绍一些常用的度量标准。
平均倒数排名（MRR）是正确答案倒数排名的平均值。它衡量了模型准确排列正确答案的能力，对排名较高的答案赋予更大的重要性。Hits@1（H@1）、Hits@3（H@3）和Hits@10（H@10）是知识图完成任务中使用的准确度指标。H@1衡量了排名最高位置的正确答案的百分比，H@3评估了在前三个排名选择中的正确答案的比例，而H@10评估了在前十个排名选择中的正确答案的百分比。这些指标提供了关于模型在知识图完成任务中排列正确答案的表现如何的见解。这四个指标均为“越高越好”，表示较高的值表示更好的推理能力。
3. Knowledge reasoning based on triplets
3.1. Triplet reasoning data sets
3.2. Triplet reasoning based on embedding
3.2.1. Distance-based embedding
3.2.2. Semantic matching-based Embedding
3.2.3. Neural network-based Embedding
3.2.4. Other Information-based embedding reasoning
3.2.5. Summary for triplet embedding
3.3. Triplet multi-hop reasoning
3.3.1. Path-based multi-hop reasoning
3.3.2. RL-based multi-hop reasoning
3.3.3. Summary for triplet multi-hop reasoning
4. Knowledge reasoning based on causality因果
因果提取涉及从文本或三元组中识别因果实体，而因果推理则涉及使用现有的因果关系推断新的因果关系，并使用推断出的关系推断实体或关系。因果推理通过实验发现的因果关系进行形式化，使用预设的因果假设，并通过有向无环图传达它们。因果推理的目的是理解一个变量如何影响另一个变量。因果关系可以被表达为逻辑图，其中每个节点代表一个事件，而边表示事件之间的因果关系，以显示事件发展的逻辑。因此，本文将因果推理分为两个方面：因果识别（逻辑图的构建）和利用因果进行推理（使用逻辑图）。
4.1. Causality identification因果识别
在宾夕法尼亚大学建立的Penn Discourse TreeBank（PDTB）中，因果关系可以明确地或隐含地表达。因此，因果关系的表现形式也可以用来推断因果关系。主导因果关系，也称为线性因果关系，指的是一个原因导致一个结果（原因 → 结果）。主导因果关系的一个例子是，苹果树的种子在成熟时变成苹果树。另一方面，隐含因果关系，也称为复合因果关系，涉及多个原因对结果的贡献（原因 → 结果[1, 2, 3, …]或原因[1, 2, 3, …]→ 结果）。
当前大多数关于知识图中因果推理的研究集中在显式因果关系上，因此本文主要讨论显式因果关系。
提取显式因果关系的主要方法有两种：一种基于合成和词汇特征，另一种基于统计。前者涉及对不同词性和语法的分类研究，这意味着各种语言之间的语法差异使得跨语言应用变得困难。后者通过建立统计模型来提取因果对。然而，这种方法需要更多的语义支持，从而产生更好的可解释性，并且需要额外的信息来支持其性能。
4.1.1. Causality identification based on syntactic and lexical features基于句法和词汇特征的因果关系识别
因果关系可以以各种自然语言结构表达。许多学者通过分析句子中不同词性的词，如名词、动词和连词，来推断因果关系。随着预训练模型的发展，学者们发现先前知识的输入显著影响模型的性能。因此，Li和Mao引入了先前的词汇知识，通过关键词来识别因果关系。
不同的因果关系具有不同的覆盖范围。为了区分全文本因果关系，高等人[93]对全文本因果关系和其他三种粒度的因果关系进行了建模。金等人[94]提出了一种基于多列卷积神经网络的模型，利用丰富的事件表示来改进事件因果关系。
基于句法和词汇特征进行因果识别依赖于文本的深层特征，使结果更可靠和可解释。然而，由于它使用句法分析和依赖分析技术，这种方法在处理较长文本时可能会遇到效率问题。因此，它最适用于处理较少量的复杂文本。
4.1.2. Statistics-based causality identification基于统计的因果识别
基于统计的因果识别”依赖于统计模型和相关分析来识别因果关系。虽然两个事件之间是否存在因果关系取决于它们之间的语法结构，但因果事件对之间的统计趋势仍然是可辨识的。例如，Beamer和Girju[95]提出了基于概率的统计模型CP，而胡等人[96,97]开发了CPC来减少窗口大小对CP的影响，并设计了SCP来解决对称因果问题。
统计因果提取的主要问题是缺乏语义结构信息。因此，需要考虑其他因素，如时间和叙事结构，以提取准确的因果关系。例如，朱等人[98]将Granger因果推理扩展到ST空间来分析因果关系，而一些学者认为时间是判断因果关系的重要因素，并创建了时间因果模型，将事件因果关系识别视为一个带有约束和语言规则的整数线性规划问题。例如，PS-FCM[20]利用时间序列数据探索和发现了因果关系。
虽然基于统计的因果识别方法可以处理大量文本数据，但它只提取文本中的重复信息。因此，它需要更多的上下文信息来处理相对复杂的文本，并且无法区分因果关系的类型，这妨碍了对是否存在因果关系的智能识别。因此，基于统计的因果识别最适合处理大量简单文本。
4.1.3. Implicit causality identification隐式因果识别
虽然隐含因果提取仍处于初级阶段，但一些学者已经开始探索这一领域。王等人[99]提出了一种估计隐含因果关系的方法，着重于强调隐含因果与显式因果之间的差异，同时专注于如何分析因果领域。赵等人[100]将事件因果识别形式化为基于图的边缘预测问题，以捕捉隐含因果关系。
4.1.4. Summary for causation identification因果识别总结
目前，因果识别的研究主要集中在整合其他先验信息和识别隐含因果关系上。因此，当前的发展方向之一是有效地结合背景知识。由于其普遍性和识别难度，隐含因果关系是研究的重点。特定语言或多语言因果提取也是一个关键研究领域。
4.2. Causal inference因果推理
因果推理可分为嵌入式因果推理和基于多跳的因果推理，类似于三元组推理的分类方法。因果推理涉及通过有向无环图进行推理，由于图对因果推理的重要性，图嵌入主要用于嵌入式因果推理。
4.2.1. Embedded causal inference嵌入式因果推理
图嵌入是一种图表示学习方法，它在将图映射到嵌入式潜空间时保留了图的结构信息和固有属性。许多研究也专注于嵌入因果图。由于逻辑因果图通常是有向图，因此对因果图的嵌入研究已经演变为对有向图的嵌入研究。
为了在嵌入过程中保留因果图的距离信息，陈等人[101]提出了一种嵌入有向图的方法，通过马尔可夫随机游走可以获得最佳嵌入。Sami Abu-El-Haija等人[102]将边建模为节点，并整合随机游走信息以提高连接预测性能。实验证明，Sami Abu-El-Haija等人的模型可以在保持准确性的同时减少嵌入维度。为了解决对称距离问题，Balashankar和Subramanian[103]提出了一种新的有向忠实度优化方法。此外，通过实验证明，在因果问答任务中引入忠实度属性可以提高准确性约10%。除了研究因果图中顶点之间的距离信息外，李等人[104]还研究了因果图中的社区结构，并提出了一种新的嵌入框架称为NECS。虽然NECS在特定数据集上表现良好，但社区数量仍然显著影响模型的性能。王等人[105]还使用非负矩阵分解来保留因果图的社区结构。此外，通过实验证明了M-NMF的有效性以及其在处理不同数量的社区时的鲁棒性。非对称传递性是有向图的一个重要属性。为了保持有向图的非对称传递性，欧等人[106]开发了高阶接近度保持嵌入（HOPE）来学习单个节点的多个嵌入，以更好地描述具有重叠社区的网络。实验证据证明了HOPE在保持非对称传递性方面的有效性。朱等人[107]提出了一种新的图嵌入框架称为DGGAN，以基于生成对抗网络预测链接。朱等人证明了HOPE在某些数据集（Cora [108]和Epinions [109]）上表现不佳，并且他们还建立了DGGAN的通用性和优越性能。DGGAN的架构如图14所示，主要由两个执行负采样的生成器以及一个单一的判别器组成。这三个组件进行相互学习改进，同时一个多层感知机（MLP）同时用于调节两个生成器，确保生成的假邻居具有相似性。这些模型的具体细节如表7所示。
嵌入式因果推理可以有效利用图结构信息，并具有一定的鲁棒性。然而，它需要高质量的因果图，并且嵌入式表示可能只能捕捉复杂因果结构的一部分因果关系。即使使用了嵌入模型，当因果结构发生显著变化时，可能也需要重新训练。
4.2.2. Multi-hop causal inference多跳因果推理
4.2.3. NN-based causal inference基于神经网络的因果推理
4.3. Summary of causal inference
与三元组推理相比，因果推理只涉及一个额外的因果图。因此，三元组多跳推理和嵌入式推理的优势、劣势和发展方向也可以应用于因果多跳推理和嵌入式推理。此外，因果图的质量对因果推理的质量有着重要影响。鉴于因果关系的复杂性，目前还没有有效的方法处理隐式因果关系。在自然语言处理领域，因果推理一直是一个热门的研究方向，但其在知识图谱中的研究和应用仍需更加成熟和广泛。这部分原因在于大规模因果知识图谱的稀缺性。因果图的构建（因果识别）对因果推理有着重大影响。由于隐式因果关系在现实生活中更为常见，因此需要进一步研究构建更好的因果图。在因果推理方面，近年来预训练模型和深度学习显著提高了效果。然而，对反事实和噪声的研究将在一段时间内仍然是因果推理的重点。
5. Temporal KG reasoning
5.1. Data sets for temporal reasoning
5.2. Temporal embedded reasoning
5.3. Temporal multi-hop reasoning
5.4. Summary for temporal reasoning
6. Commonsense reasoning
6.1. Multi-hop commonsense reasoning多跳常识推理
6.2. NN-based commonsense reasoning基于神经网络的常识推理
6.3. large-scale commonsense knowledge graphs and data sets大规模常识知识图谱和数据集
6.4. Multilingual commonsense reasoning多语言常识推理
6.5. Summary for commonsense reasoning常识推理总结
7. Discussion and research opportunities
7.1. Summary
7.2. Research opportunities
7.2.1. N tuple
7.2.2. Expansion of data set
7.2.3. Multiple knowledge
7.2.4. Multilingual reasoning
7.2.5. Security reasoning
这篇关于Overview of knowledge reasoning for knowledge graph的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
