Re9:读论文 DEAL Inductive Link Prediction for Nodes Having Only Attribute Information

本文主要是介绍Re9:读论文 DEAL Inductive Link Prediction for Nodes Having Only Attribute Information,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

诸神缄默不语-个人CSDN博文目录

论文名称:Inductive Link Prediction for Nodes Having Only Attribute Information
论文ArXiv下载地址:https://arxiv.org/abs/2007.08053
论文IJCAI官方下载地址:https://www.ijcai.org/proceedings/2020/168(在该网站中有给出讲解视频链接,这TMD是我这么多天以来听到的第一个中国人讲的英文论文视频了!感动中国,终于有一个我听得懂的英语口音了!毛子口音和三哥口音我是真的受够了!)(本文中非论文配图的插图都截自该视频)
官方GitHub项目:working-yuhao/DEAL: IJCAI2020

本文是2020年IJCAI论文,主要专注于inductive link prediction场景(但是模型也可以应用于transductive场景)。
inductive场景中新节点仅有attribute,没有结构信息。

本文提出的模型DEAL (Dual-Encoder graph embedding with ALignment) 可以对新query node仅基于其attributes做表征,与其他节点嵌入做链路预测。

DEAL模型分别对attribute和图结构进行嵌入(2个encoder,一个是纯MLP,一个是直接以独热编码为初始化矩阵+MLP+weight normalization1做节点表征(效果甚至比GCN好,简单方法大力出奇迹)),然后使用一个对齐机制将两个encoder关联起来(在训练过程中一起更新,使表征在向量空间中对齐),具体实现方式是做两个对比学习:是否连边(相连的节点,encoder得到的表征相似度应该高),以及2个encoder得到的表征。
用余弦相似度来衡量距离。
这个损失函数是可以用超参数调整的ranking-motivated loss。

在测试时用两个节点的两种表征两两交叉计算相似度线性求和来计算连边概率:
在这里插入图片描述
如果是inductive范式,就不计算第一项。

可以跟引用了DEAL模型的LeSICiN2做对比。
LeSICiN可以说是将DEAL模型extend到了有监督异质图场景,对齐机制是两种节点的不同表征做交叉对齐(为什么不是每种节点自己对齐自己的,我也不知道),打分则和DEAL使用的表征对相同(只做了inductive场景),但不用相似度而用MLP解码。损失函数则直接将3种打分得到的分数视作概率,用多任务分类任务范式将3个交叉熵损失函数加权求和。

文章目录

  • 1. Background & Motivation
  • 2. DEAL模型
    • 2.1 Attribute-oriented Encoder
    • 2.2 Structure-oriented Encoder
    • 2.3 对齐机制和模型训练
      • 2.3.1 损失函数
      • 2.3.2 对齐机制
      • 2.3.3 训练算法和预测过程
  • 3. 实验
    • 3.1 数据集
    • 3.2 baseline
    • 3.3 实验设置
    • 3.4 主实验结果
    • 3.5 模型分析
  • 4. 代码复现

1. Background & Motivation

在这里插入图片描述

早期链路预测任务关注节点相似性的度量,近年来往往通过图嵌入方法来实现链路预测。有些图嵌入方法只能捕获图结构信息,能捕获attributes信息的大多关注transductive范式(两个节点都在训练时就存在于图中)。
可以做inductive链路预测,但是需要边的模型:SDNE3(只能捕获图结构信息)和GraphSAGE4
G2G5:可以对没有局部结构的新节点做inductive链路预测,但无法区分特征相似的节点,因为它无法很好地捕获节点表征中体现的结构信息。

2. DEAL模型

在这里插入图片描述

在视频中的画法,换了个方向:
在这里插入图片描述

2.1 Attribute-oriented Encoder

输入是节点attributes,输出节点嵌入:在这里插入图片描述

可以选择各种神经网络,本文直接用了MLP(激活函数是ELU):
在这里插入图片描述

(这里论文对没用GCN的解释是:经实验观察,聚合太多邻居信息会影响attributes表征效果。我的迷惑点在于,这他妈的在inductive场景下不是本来就不能用GCN吗!)

2.2 Structure-oriented Encoder

用节点独热编码作为输入,得到节点嵌入:在这里插入图片描述

在这里插入图片描述

就是说这个本来也可以用GCN(以邻接矩阵为输入),但是实验证明效果不如本文提出的方法。

2.3 对齐机制和模型训练

学习特征和结构之间的关联。
模型训练时2个encoder一起更新参数,在向量空间对齐表征。

2.3.1 损失函数

ranking-motivated loss(证明其效果的参考文献:5和Content-based citation recommendation)
本文提出了一个新的mini-batch learning method with a personalized ranking-motivated loss

contrastive loss6
在这里插入图片描述
(公式中p-q是成对样本,共有k对)

直接使用contrastive loss的问题是:1. 负样本对距离不同,因此用同一个margin( τ \tau τ)不合适。2. 损失函数中没有考虑regularization。
在这里插入图片描述
y是节点是否连边, α \alpha α是weight function, ϕ \phi ϕ通过不同的超参形成 ϕ 1 \phi_1 ϕ1 ϕ 2 \phi_2 ϕ2 s s s在本文中用的是余弦相似度。

由于logistic loss可看作margin无限的软版hinge loss(参考文献:A tutorial on energy-based learning)(没看懂这个啥意思),因此本文使用了the generalized logisitic loss function:
在这里插入图片描述
(参考文献:A view of margin losses as regularizers of probability estimates)

在这里插入图片描述
(衡量不同距离样本的重要性。 d s p d_{sp} dsp是shortest path distance)

2.3.2 对齐机制

最小化2个encoder的上述损失函数,然后加上对齐机制。

  1. Tight Alignment (T-align):最小化节点的2种表征(太严格了)
    在这里插入图片描述
  2. Loose Alignment (L-align):最大化相连节点的不同表征(就是一个结构、一个attributes)的相似性(用和2.3.1部分介绍的一样的损失函数来做)
    在这里插入图片描述

最后就是两个链路预测的损失,加对齐的损失:
在这里插入图片描述

2.3.3 训练算法和预测过程

在这里插入图片描述

测试时:
在这里插入图片描述
(在inductive场景下, λ 1 \lambda_1 λ1为0)

3. 实验

3.1 数据集

在这里插入图片描述
细节略

3.2 baseline

MLP
SEAL
G2G5
GAE
细节略

3.3 实验设置

略。

3.4 主实验结果

在这里插入图片描述

论文里也没说这个Cite.是啥模型。

在这里插入图片描述

3.5 模型分析

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
细节略,待补。

4. 代码复现

等我服务器好了再说。


  1. Weight normalization: A simple reparameterization to accelerate training of deep neural networks
    我直接百度了相关的一些资料:
    ① 【深度学习】Weight Normalization: 一种简单的加速深度网络训练的重参数方法_Shwan_Ma的博客-CSDN博客:这篇开头就满篇错别字
    ② Generative Modeling with Variational Auto Encoder (VAE) | by Fathy Rashad | ViTrox-Publication | Medium:重要内容:AE (Auto Encoder) 和VAE (Variational Autoencoder),VAE是用来规范化AE的(强迫隐向量空间连续、有意义,把每个特征值学成一个高斯分布)。后面数学部分简单带过了,没仔细看,总之大约来说就是这个分布需要通过差分推断来学习,也就是需要学习另一个tractable相似分布,通过KL散度来学习两个分布的相似程度。
    对应的中文翻译(我是直接看的英文版):使用(VAE)生成建模,理解可变自动编码器背后的数学原理 - 知乎
    ③ inference - What does a ‘tractable’ distribution mean? - Cross Validated:不能用闭包表现形式解决的问题
    ④ GAN — Why it is so hard to train Generative Adversarial Networks! | by Jonathan Hui | Medium
    ⑤ 重参数 (Reparameterization)_连理o的博客-CSDN博客_重参数
    ⑥ 模型优化之Weight Normalization - 知乎:怎么说呢,看起来好像就是对参数的一种归一化方法(将其拆成两部分,然后直接优化这两部分) ↩︎

  2. Re6:读论文 LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal Statute Identification fro ↩︎

  3. Structural deep network embedding ↩︎

  4. Inductive representation learning on large graphs ↩︎

  5. Deep gaussian embedding of graphs: Unsupervised inductive learning via ranking ↩︎ ↩︎ ↩︎

  6. Dimensionality reduction by learning an invariant mapping ↩︎

这篇关于Re9:读论文 DEAL Inductive Link Prediction for Nodes Having Only Attribute Information的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/389804

相关文章

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

leetcode-24Swap Nodes in Pairs

带头结点。 /*** Definition for singly-linked list.* public class ListNode {* int val;* ListNode next;* ListNode(int x) { val = x; }* }*/public class Solution {public ListNode swapPairs(L

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型,提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练,提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的?使用了哪些 NLP 已有的技术和思想?哪些是 BERT 的创新? 1标题 + 作者 BERT: Pre-trainin

【Python报错已解决】AttributeError: ‘list‘ object has no attribute ‘text‘

🎬 鸽芷咕:个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 前言一、问题描述1.1 报错示例1.2 报错分析1.3 解决思路 二、解决方法2.1 方法一:检查属性名2.2 步骤二:访问列表元素的属性 三、其他解决方法四、总结 前言 在Python编程中,属性错误(At

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 大语言模型已被广泛采用,但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程,用于Transformer中的前馈和注意力投影层,这可以将推理所需

ora-01017 ora-02063 database link,oracle11.2g通过dblink连接oracle11.2g

错误图示: 问题解决 All database links, whether public or private, need username/password of the remote/target database. Public db links are accessible by all accounts on the local database, while private