【论文阅读 | AAAI2020】Unsupervised Attributed Multiplex Network Embedding

论文题目：Unsupervised Attributed Multiplex Network Embedding
论文地址：https://arxiv.org/abs/1911.06750
代码地址：https://github.com/pcy1302/DMGI

引用方式：
@article{park2019unsupervised,title={Unsupervised Attributed Multiplex Network Embedding},author={Park, Chanyoung and Kim, Donghyun and Han, Jiawei and Yu, Hwanjo},booktitle={AAAI},year={2020}
}

0 Abstract

问题：

• 大多数现有的网络嵌入方法都假设节点之间只存在单一类型的关系
• 对于考虑网络多重性的工作，他们往往忽略节点属性，只对于节点标签进行训练，并且无法对图的全局属性进行建模

本文：

• 提出了一种用于多重属性网络的简单有效的无监督网络嵌入方法DMGI
• 最大化图的局部和整个图的全局表示之间的互信息
• 设计了一种系统的方法
  • 引入一致性正则化框架，最大限度地减少了关系类型特定节点嵌入之间的分歧
  • 用于区分真实样本的通用判别器
• 注意机制推断每种关系类型的重要性，因此可用于过滤不必要的关系类型作为预处理步骤

1 Introduction

挑战：

学习节点的一致性表示，不仅要考虑其多重性，还要考虑其属性

相关工作：

• 着重于多个图的整合，忽略了节点属性
• 对于需要考虑节点属性的模型，也需要节点标签进行训练
• 大多数都无法对图的全局属性进行建模

DGI是我们任务的主要方法，因为：

• 使用 GCN 自然地整合节点属性
• 以完全无监督的方式训练
• 捕获整个图的全局属性

在本文中，我们提出了一种系统的方法来联合整合来自于节点之间的多种类型的关系的嵌入，以便于它们相互帮助学习对各种下游任务有用的高质量嵌入。

我们引入了一致性正则化框架，该框架将关系类型的具体节点嵌入之间的分歧最小化，并引入了通用判别器，该判别器可判别真实样本，即ground truth"（graph-level summary，local patch)）"对，而不考虑关系类型。

证明了通过注意力机制，我们可以推断每种关系类型在生成一致性节点嵌入中的重要性，这可以作为预处理步骤用于过滤不必要的关系类型。

2 Problem Statement

Task：无监督的属性多重网络嵌入的任务是学习d维向量表示，不使用标签

3 Unsupervised Attributed Multiplex Network Embedding

Deep Graph Infomax (DGI)：

DGI的目标：学习一个低维向量表示，即$h_i\in {\mathbb{R}}^d$，使得图级（全局）summary representation $s\in {\mathbb{R}}^d$和局部补丁 { h 1 , h 2 , ⋯   , h n } \{ h_1,h_2, \cdots ,h_n\} {h1​,h2​,⋯,hn​}之间的平均互信息最大化

DGI引入了一个判别器D，区别真实的样本$(h_i,s)$与其负样本$(\widetilde{h_j},s)$

$$\mathcal{L}=\sum _{v_i\in \mathcal{V}}^{n}log\mathcal{D}(h_i,s)+\sum _{j=1}^{n}log(1-\mathcal{D}(\widetilde{h_j},s))$$

• $h_i=\sigma ({\sum }_{j\in N(i)}\frac{1}{c_{ij}}{x}_{j}W)$
  • $N(i)$是节点$v_i$的邻居，包括自身
  • $W\in {\mathbb{R}}^{f\times d}$
  • $c_{ij}$：是边$(v_i,v_j)$的归一化常数
• $s=\sigma (\frac{1}{n}{\sum }_{i=1}^n{h}_i)$
• $\widetilde{h_j}$