摘要 Transformers在自然语言处理、计算机视觉和图挖掘等广泛领域取得了显著的成绩。然而，普通的Transformer架构并没有在知识图(KG)表示中产生有希望的改进，在KG表示中，转换距离范式主导着这一领域。注意，普通的Transformer架构很难捕获知识图的内在异构结构和语义信息。为此，我们提出了Transformer的一种新变体，称为Relphormer。具体来说，我们引入了Tr