Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks

本文主要是介绍Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这是一篇将GNN运用在预测知识图谱(Knowledge Graph)节点重要性的文章,被KDD2019接收。文中提出了GENI模型,在GNN聚合信息的过程中只聚合一个标量(score)而不是聚合节点的embedding。

Introduction

KG
知识图谱可以看做是一个有向多关系图,并且节点之间可能存在不止一条边。

Given a KG, estimating the importance of each node is a crucial task that enables a number of applications such as recommendation, query disambiguation, and resource allocation optimization.
An importance score is a value that represents the significance or popularity of a node in the KG.

Method

table of symbols

在这里插入图片描述

score aggregation

在第 l l l层上,中心节点 i i i通过加权聚合邻居节点的score-estimation s ℓ − 1 ( j ) s^{\ell-1}(j) s1(j)来更新自己的score-estimation
s ℓ ( i ) = ∑ j ∈ N ( i ) ∪ { i } α i j ℓ s ℓ − 1 ( j ) s^{\ell}(i)=\sum_{j \in N(i) \cup\{i\}} \alpha_{i j}^{\ell} s^{\ell-1}(j) s(i)=jN(i){i}αijs1(j)为了获得初始的 s 0 ( i ) s^0(i) s0(i),模型通过一个全连接层将节点的embedding映射成初始的score: s 0 ( i ) = Scoring N e t w o r k ( z ⃗ i ) s^{0}(i)=\text { Scoring} \mathrm{Network}\left(\vec{z}_{i}\right) s0(i)= ScoringNetwork(z i)
聚合过程是在聚合标量而不是向量,所以本文的GNN模型和其他大多数GNN模型不太一样。

Predicate-Aware Attention Mechanism

知识图谱一般可以写成三元组的形式:(subject, predicate, object),可以看做是图上一条边上的(起点,边的类型,终点)。为了更好地得到在聚合过程中的 α i j ℓ \alpha_{i j}^{\ell} αij的值,一个合理的想法是 α i j ℓ \alpha_{i j}^{\ell} αiji,j之间边的类型有关系。使用 p i j m p^m_{ij} pijm表示i,j之间第m条边的类型, ϕ ( p i j m ) \phi(p^m_{ij}) ϕ(pijm)是这条边的向量表示。通过attention机制计算出 α i j ℓ \alpha_{i j}^{\ell} αij

α i j ℓ = exp ⁡ ( σ a ( ∑ m a ⃗ ℓ ⊤ [ s ℓ ( i ) ∥ ϕ ( p i j m ) ∥ s ℓ ( j ) ] ) ) ∑ k ∈ N ( i ) ∪ { i } exp ⁡ ( σ a ( ∑ m a ⃗ ℓ ⊤ [ s ℓ ( i ) ∥ ϕ ( p i k m ) ∥ s ℓ ( k ) ] ) ) \alpha_{i j}^{\ell}=\frac{\exp \left(\sigma_{a}\left(\sum_{m} \vec{a}_{\ell}^{\top}\left[s^{\ell}(i)\left\|\phi\left(p_{i j}^{m}\right)\right\| s^{\ell}(j)\right]\right)\right)}{\sum_{k \in N(i) \cup\{i\}} \exp \left(\sigma_{a}\left(\sum_{m} \vec{a}_{\ell}^{\top}\left[s^{\ell}(i)\left\|\phi\left(p_{i k}^{m}\right)\right\| s^{\ell}(k)\right]\right)\right)} αij=kN(i){i}exp(σa(ma [s(i)ϕ(pikm)s(k)]))exp(σa(ma [s(i)ϕ(pijm)s(j)]))

Centrality Adjustment

通常来说,图上入度越大的节点它的重要性就越高,所以可以使用 c ( i ) = log ⁡ ( d ( i ) + ϵ ) c(i)=\log (d(i)+\epsilon) c(i)=log(d(i)+ϵ)计算初始的中心性得分,但这样直接计算出来的结果不能准确地衡量入度和中心性之间的关系,所以又加上了两个可学习的参数 γ \gamma γ β \beta β c ∗ ( i ) = γ ⋅ c ( i ) + β c^{*}(i)=\gamma \cdot c(i)+\beta c(i)=γc(i)+β通过综合考虑 c ∗ ( i ) c^{*}(i) c(i)和最后一层的输出 s L ( i ) s^{L}(i) sL(i)得到节点i最终的score s ∗ ( i ) = σ s ( c ∗ ( i ) ⋅ s L ( i ) ) s^{*}(i)=\sigma_{s}\left(c^{*}(i) \cdot s^{L}(i)\right) s(i)=σs(c(i)sL(i))

architecture

在这里插入图片描述
为了增强注意力的效果,模型使用了多头注意力机制

We define s h ′ ℓ − 1 ( j ) s_{h}^{\prime \ell-1}(j) sh1(j)to be node i’s score that is estimated by (ℓ − 1)-th layer, and fed into h-th SA head in ℓ-th (i.e., the next) layer, which in turn produces an aggregation s h ℓ ( i ) s_{h}^{\ell}(i) sh(i) of these scores:

s h ℓ ( i ) = ∑ j ∈ N ( i ) ∪ { i } α i j h , ℓ s h ′ ℓ − 1 ( j ) s_{h}^{\ell}(i)=\sum_{j \in \mathcal{N}(i) \cup\{i\}} \alpha_{i j}^{h, \ell} s_{h}^{\prime \ell-1}(j) sh(i)=jN(i){i}αijh,sh1(j)
在这里插入图片描述
在第 l l l层会得到 H l H^l Hl s h l ( i ) s^l_h(i) shl(i)值,将它们取平均后得到 s h ′ l ( i ) s_{h}^{\prime l}(i) shl(i)作为第 l + 1 l+1 l+1层的输入。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这篇关于Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/904379

相关文章

Node.js学习记录(二)

目录 一、express 1、初识express 2、安装express 3、创建并启动web服务器 4、监听 GET&POST 请求、响应内容给客户端 5、获取URL中携带的查询参数 6、获取URL中动态参数 7、静态资源托管 二、工具nodemon 三、express路由 1、express中路由 2、路由的匹配 3、路由模块化 4、路由模块添加前缀 四、中间件

Node Linux相关安装

下载经编译好的文件cd /optwget https://nodejs.org/dist/v10.15.3/node-v10.15.3-linux-x64.tar.gztar -xvf node-v10.15.3-linux-x64.tar.gzln -s /opt/node-v10.15.3-linux-x64/bin/npm /usr/local/bin/ln -s /opt/nod

MonoHuman: Animatable Human Neural Field from Monocular Video 翻译

MonoHuman:来自单目视频的可动画人类神经场 摘要。利用自由视图控制来动画化虚拟化身对于诸如虚拟现实和数字娱乐之类的各种应用来说是至关重要的。已有的研究试图利用神经辐射场(NeRF)的表征能力从单目视频中重建人体。最近的工作提出将变形网络移植到NeRF中,以进一步模拟人类神经场的动力学,从而动画化逼真的人类运动。然而,这种流水线要么依赖于姿态相关的表示,要么由于帧无关的优化而缺乏运动一致性

图神经网络框架DGL实现Graph Attention Network (GAT)笔记

参考列表: [1]深入理解图注意力机制 [2]DGL官方学习教程一 ——基础操作&消息传递 [3]Cora数据集介绍+python读取 一、DGL实现GAT分类机器学习论文 程序摘自[1],该程序实现了利用图神经网络框架——DGL,实现图注意网络(GAT)。应用demo为对机器学习论文数据集——Cora,对论文所属类别进行分类。(下图摘自[3]) 1. 程序 Ubuntu:18.04

在Debian 8上安装Node.js的方法

前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。 简介 Node.js 是一个通用编程的 JavaScript 平台,允许用户快速构建网络应用程序。通过在前端和后端都使用 JavaScript,开发可以更加一致,并且可以在同一个系统中设计。 在本指南中,您将在 Debian 8 服务器上安装 Node.js。Debian 8 包含一个版本的

使用Node-API进行异步任务开发

一、Node-API异步任务机制概述         Node-API异步任务开发主要用于执行耗时操作的场景中使用,以避免阻塞主线程,确保应用程序的性能和响应效率。         1、应用场景: 文件操作:读取大型文件或执行复杂的文件操作时,可以使用异步工作项来避免阻塞主线程。网络请求:当需要进行网络请求并等待响应时,可以使用异步工作项来避免阻塞主线程,从而提高应用程序的响应性能。数据库操

Node.js学习记录(一)

目录 一、文件读取 readFile 二、写入文件 writeFile 三、动态路径 __dirname:表示当前文件所处的目录、path.join 四、获取路径文件名 path.basename 五、提取某文件中的css、JS、html 六、http 七、启动创建web服务器 服务器响应 八、将资源请求的 url 地址映射为文件的存放路径 九、模块 模块加载 模块作用域

SIGMOD-24概览Part7: Industry Session (Graph Data Management)

👇BG3: A Cost Effective and I/O Efficient Graph Database in ByteDance 🏛机构:字节 ➡️领域: Information systems → Data management systemsStorage management 📚摘要:介绍了字节新提出的ByteGraph 3.0(BG3)模型,用来处理大规模图结构数据 背景

ubuntu安装node的问题

初学node,按照书上的流程安装nodejs,当安装canvas的时候(npm install canvas)遇到问题 node-gyp rebuild 然后就卡住了,查了下,基本上就是各种依赖问题,几经折腾就在要放弃的时候,终于在网上发现node官方wike https://github.com/Automattic/node-canvas/wiki/Installation---Ubun

node快速复制文件或文件夹,排除部分文件(node_modules)

const fs = require('fs')const path = require('path')/*** @description: 获取完整的文件路径* @param {*} url 路径* @return {*} 返回完整的文件路径*/const getPath = (url) => {return path.join(__dirname, url)}/*** @descr