Along the Time: Timeline-traced Embedding for Temporal Knowledge Graph Completion

本文主要是介绍Along the Time: Timeline-traced Embedding for Temporal Knowledge Graph Completion,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Along the Time: Timeline-traced Embedding for Temporal Knowledge Graph Completion

在这里插入图片描述

💕当前模型存在的问题💕

1.most existing models ignore the independence of semantic and temporal information(simply concatenate or multiply the semantic and temporal information together
2.current models have difficulty distinguishing representations of the same entity or relaton at different timestamps

💕论文提出的方法💕

TimeLine-Traced Knowledge Graph Embedding method(TLT-KGE)
具体实现目标:embed the entities and relations with timestamps as a complex vector or a quaternion vector

💕相关工作💕

🐸Static Knowledge Graph Embedding🐸

1.Translation-based

具体做法:assume the relation embedding as a translation or rotation from the subject to the object
具体方法:
①TransE
②TransH
③TransR
④RotatE

2.Semantic matching

具体做法:compute the plausibility of a given fact via matching the semantic information of entities and relations
具体方法:
①DistMult:use a bilinear function to calculate the score
②ComplEx:extend DistMult to complex space
③QuatE:extend DistMult to quaternion elliptic space
④DualE:extend QuatE to dual vector space
⑤ConvE
⑥ConvKB
⑦Tucker:tucker-decomposition-based method

🐸Temporal Knowledge Graph Embedding🐸

具体方法:
①TA-TransE:incorporate the embeddings of time information to TransE
②TA-DistMult:incorporate the embeddings of time information to DistMult
③HyTE:extend TransH by projecting the entities and relations to a time-specific hyperplane
④DE-SimplE:introduce a diachronic part for entities and relations
⑤TeRo:inspired by RotatE,utilize a rotation operation on both subject and object to evaluate the semantic scores of a given fact
⑥T(NT)ComplEx:incorporate the time embedding into a three-order tensor and uses a novel regularization method to improve link prediction performance
⑦RotateQVS:model the temporal changes with rotation operation in quaternion vector space and uses a score function that is similar to TransE
⑧BoxTE:box embedding model for temporal knowledge graph completion, which is based on the static KGE model BoxE
⑨RE-NET
⑩RE-GCN

💕汉密尔顿四元数预备知识💕

1.a quaternion 𝑞 is consist of one real component and three imaginary components 𝑖, 𝑗, 𝑘, which is defines as 𝑞 = 𝑎 + 𝑏i + 𝑐j + 𝑑k,where 𝑎, 𝑏, 𝑐, 𝑑 are real numbers and i, j, k are imaginary units
2.it can also be viewed as a quadruple (𝑎, 𝑏, 𝑐, 𝑑)
3.Conjugate
在这里插入图片描述
4.Norm
在这里插入图片描述
5.Inner Product
在这里插入图片描述
6.Hamilton Product
在这里插入图片描述

💕论文具体方法💕

🐸概述🐸

一.divide the embedding of entities or relations into two independent parts
1.semantic meaning of entities or relations(semantic part)
2.timestamps(temporal part)
二.TLT-KGE is equipped with two additional components to strengthen the expression of timestamps and relations
1.🙌Shared time window🙌 : utilize shared embeddings for time windows to strengthen the connection of events that happen within a time scope
2.🙌Relation-timestamp composition🙌 : enhance the expression of a relation at specific time

🐸Proposed Method: TLT-KGE🐸

🤷‍♂️Timeline-tracedEmbedding🤷‍♂️

🤡Semantic Part🤡 :
在这里插入图片描述
🤡Temporal Part 🤡:
在这里插入图片描述

🤷‍♂️Combine to a Uniform Embedding🤷‍♂️

🤡Complex Vector Space🤡 :
在这里插入图片描述
🤡Quaternion Vector Space🤡 :
在这里插入图片描述
在这里插入图片描述

🤷‍♂️Score Functions🤷‍♂️

🤡Score Function of TLT-KGE (Complex)🤡 :
在这里插入图片描述
🤡Score Function of TLT-KGE (Quaternion) 🤡:
在这里插入图片描述

🤷‍♂️Additional Modules🤷‍♂️

🤡Shared Time Window (STW) 🤡:
在这里插入图片描述
🤡Relation-Timestamp Composition (RTC) 🤡:
在这里插入图片描述

🐸Regularization🐸

🤡the semantic embeddings of entities and relations🤡 :
在这里插入图片描述

🤡the temporal embeddings of timestamps🤡 :
在这里插入图片描述

🐸Loss function🐸

在这里插入图片描述

💕实验💕

🐸实验数据集🐸

在这里插入图片描述

🐸baselines🐸

static KGE models:
①TransE ②DistMult
temporal KGE models:
①TTransE ②HyTE ③TA-DistMult ④DE-SimplE ⑤TeRo ⑥T(NT)ComplEx ⑦BoxTE

🐸评估标准🐸

1.Mean Rank : MR, the mean of all the predicted ranks
2.Mean Reciprocal Rank :MRR, the mean of all the reciprocals of predicted ranks
3.Hits@n :the proportion of ranks not larger than n
Lower MR and larger MRR and Hits@𝑛 indicate better performance.

🐸实验结果🐸

在这里插入图片描述

🐸参数受限实验结果🐸

在这里插入图片描述

🐸消融实验🐸

在这里插入图片描述

🐸参数学习🐸

在这里插入图片描述

这篇关于Along the Time: Timeline-traced Embedding for Temporal Knowledge Graph Completion的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/254948

相关文章

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

linux 下Time_wait过多问题解决

转自:http://blog.csdn.net/jaylong35/article/details/6605077 问题起因: 自己开发了一个服务器和客户端,通过短连接的方式来进行通讯,由于过于频繁的创建连接,导致系统连接数量被占用,不能及时释放。看了一下18888,当时吓到了。 现象: 1、外部机器不能正常连接SSH 2、内向外不能够正常的ping通过,域名也不能正常解析。

python内置模块datetime.time类详细介绍

​​​​​​​Python的datetime模块是一个强大的日期和时间处理库,它提供了多个类来处理日期和时间。主要包括几个功能类datetime.date、datetime.time、datetime.datetime、datetime.timedelta,datetime.timezone等。 ----------动动小手,非常感谢各位的点赞收藏和关注。----------- 使用datet

图神经网络框架DGL实现Graph Attention Network (GAT)笔记

参考列表: [1]深入理解图注意力机制 [2]DGL官方学习教程一 ——基础操作&消息传递 [3]Cora数据集介绍+python读取 一、DGL实现GAT分类机器学习论文 程序摘自[1],该程序实现了利用图神经网络框架——DGL,实现图注意网络(GAT)。应用demo为对机器学习论文数据集——Cora,对论文所属类别进行分类。(下图摘自[3]) 1. 程序 Ubuntu:18.04

SIGMOD-24概览Part7: Industry Session (Graph Data Management)

👇BG3: A Cost Effective and I/O Efficient Graph Database in ByteDance 🏛机构:字节 ➡️领域: Information systems → Data management systemsStorage management 📚摘要:介绍了字节新提出的ByteGraph 3.0(BG3)模型,用来处理大规模图结构数据 背景

A Comprehensive Survey on Graph Neural Networks笔记

一、摘要-Abstract 1、传统的深度学习模型主要处理欧几里得数据(如图像、文本),而图神经网络的出现和发展是为了有效处理和学习非欧几里得域(即图结构数据)的信息。 2、将GNN划分为四类:recurrent GNNs(RecGNN), convolutional GNNs,(GCN), graph autoencoders(GAE), and spatial–temporal GNNs(S

KDD 2024 时空数据(Spatio-temporal) ADS论文总结

2024 KDD( ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 知识发现和数据挖掘会议)在2024年8月25日-29日在西班牙巴塞罗那举行。 本文总结了KDD2024有关时空数据(Spatial-temporal) 的相关论文,如有疏漏,欢迎大家补充。 时空数据Topic:时空(交通)预测, 生成,拥堵预测,定价预

Neighborhood Homophily-based Graph Convolutional Network

#paper/ccfB 推荐指数: #paper/⭐ #pp/图结构学习 流程 重定义同配性指标: N H i k = ∣ N ( i , k , c m a x ) ∣ ∣ N ( i , k ) ∣ with c m a x = arg ⁡ max ⁡ c ∈ [ 1 , C ] ∣ N ( i , k , c ) ∣ NH_i^k=\frac{|\mathcal{N}(i,k,c_{

lua data time

local getTime = os.date(“%c”); 其中的%c可以是以下的一种:(注意大小写) %a abbreviated weekday name (e.g., Wed) %A full weekday name (e.g., Wednesday) %b abbreviated month name (e.g., Sep) %B full month name (e.g., Sep

Apache-Flink深度解析-Temporal-Table-JOIN

在《JOIN LATERAL》中提到了Temporal Table JOIN,本篇就向大家详细介绍什么是Temporal Table JOIN。在ANSI-SQL 2011 中提出了Temporal 的概念,Oracle,SQLServer,DB2等大的数据库厂商也先后实现了这个标准。Temporal Table记录了历史上任何时间点所有的数据改动,Temporal Table的工作流程如下: