论文笔记:Contrastive Multi-Modal Knowledge GraphRepresentation Learning

本文主要是介绍论文笔记:Contrastive Multi-Modal Knowledge GraphRepresentation Learning,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

论文来源:IEEE Transactions on Knowledge and Data Engineering 2023

论文地址:Contrastive Multi-Modal Knowledge Graph Representation Learning | IEEE Journals & Magazine | IEEE Xploreicon-default.png?t=N7T8https://ieeexplore.ieee.org/abstract/document/9942333

论文代码:暂无 

 Fang Q, Zhang X, Hu J, et al. Contrastive multi-modal knowledge graph representation learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2022, 35(9): 8983--8996.


Abstrast

        知识图谱表示学习旨在将实体和关系表示为低维连续空间中的向量,这将促进链接预测、实体检索等各种应用。现有的大部分知识图谱嵌入方法专注于独立建模结构化的事实三元组,而忽略了三元组中多种类型的关系以及知识图谱中实体相关的多种数据类型,因此无法捕获实体-关系三元组内部固有的复杂信息和多模态信息。本文提出一种新的知识图谱嵌入方法,即对比多模态图神经网络CMGNN,该方法可以包含实体的多模态内容描述和高阶连通结构。具体来说,CMGNN首先从多模态内容描述中学习实体嵌入,然后对比来自多关系局部邻居和高阶连通的编码来同时获得实体和关系的潜在表示。实验结果表明,CMGNN可以有效地对知识图谱中的多模态和多类型结构进行建模,并且在链接预测和实体分类任务中取得了SOTA的结果。

Introduction

        知识图谱表示学习模型主要分为基于翻译的模型、基于相似度的模型、因子分解模型和神经模型,利用结构化的实体-关系交互学习KG中实体和关系的低维分布嵌入。代表性模型包括TransE、DistMult、RESCAL、ConE、RGCN等。

        但是,现有方法主要集中于独立建模KG中结构化的事实知识,而缺乏对KG中实体的局部邻居的异质性(即相连的节点具有不同的特征和不同的类标签)和高阶连通结构的关注,这其中可能包含KG嵌入的有价值的内在信息。KG包含一个实体的局部邻居的各种类型的数据和高阶异质结构,这使得实体涉及多种类型的上下文,并表现出不同的含义。

        例如,对于实体“BarackObama”,相关的个人照片和文本描述提供了重要的多模态信息,直观的描述了实体的长相和行为。此外,左边的蓝色子图显示了他作为美国前总统的政治角色,而右边的橙色子图显示了他作为丈夫和父亲的家庭角色,这表现出了多视图的语义。此外,“BarackObama”不仅与邻接实体总统有直接联系,还与高阶关系节点有联系,如政治家。

        本文提出CMGNN,通过利用KGs中的多模态信息和高阶关系来实现知识图谱表示学习。在CMGNN中,将多模态实体嵌入、局部邻居的多关系特征学习、和实体的高阶连接建模结合在一个统一的框架内,采用对比学习的方式充分利用KGs中的多模态数据和异质结构。

        具体来说,

        ①为了处理实体的多模态特征,采用多层感知机网络来学习不同类型数据的实体嵌入;

        ② 为了处理局部邻居三元组的异质性,设计了一个局部对比多关系特征聚合网络来获取实体特征信息,首先利用关系内GCN更新特定关系的实体特征,然后通过对比每个实体及其关系特定子图的编码,构建基于注意力池化的外部关系特征聚合网络。该局部对比多关系学习模块使学习到的实体嵌入能够更好地捕获kg中的局部邻域结构信息

        ③ 接下来,CMGNN对比了来自高阶邻居的实体编码和KG扩散,以鼓励实体嵌入在KGs中携带高阶连通性信息。

        ④ 最后,利用基于ConvE的解码器模块来学习KGs中的最终实体和关系表示。

Methodology

Overview

CMGNN是一个Encoder-decoder框架,如图2所示,CMGNN由三个部分组成:多模态实体嵌入、局部对比多关系特征聚合、和高阶对比解码。

这篇关于论文笔记:Contrastive Multi-Modal Knowledge GraphRepresentation Learning的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/836040

相关文章

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

2014 Multi-University Training Contest 8小记

1002 计算几何 最大的速度才可能拥有无限的面积。 最大的速度的点 求凸包, 凸包上的点( 注意不是端点 ) 才拥有无限的面积 注意 :  凸包上如果有重点则不满足。 另外最大的速度为0也不行的。 int cmp(double x){if(fabs(x) < 1e-8) return 0 ;if(x > 0) return 1 ;return -1 ;}struct poin

2014 Multi-University Training Contest 7小记

1003   数学 , 先暴力再解方程。 在b进制下是个2 , 3 位数的 大概是10000进制以上 。这部分解方程 2-10000 直接暴力 typedef long long LL ;LL n ;int ok(int b){LL m = n ;int c ;while(m){c = m % b ;if(c == 3 || c == 4 || c == 5 ||

2014 Multi-University Training Contest 6小记

1003  贪心 对于111...10....000 这样的序列,  a 为1的个数,b为0的个数,易得当 x= a / (a + b) 时 f最小。 讲串分成若干段  1..10..0   ,  1..10..0 ,  要满足x非递减 。  对于 xi > xi+1  这样的合并 即可。 const int maxn = 100008 ;struct Node{int

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中有一个或几个非线性函数的最优化问题的方法。运筹学的一个重要分支。2

【C++学习笔记 20】C++中的智能指针

智能指针的功能 在上一篇笔记提到了在栈和堆上创建变量的区别,使用new关键字创建变量时,需要搭配delete关键字销毁变量。而智能指针的作用就是调用new分配内存时,不必自己去调用delete,甚至不用调用new。 智能指针实际上就是对原始指针的包装。 unique_ptr 最简单的智能指针,是一种作用域指针,意思是当指针超出该作用域时,会自动调用delete。它名为unique的原因是这个