Representation Learning for Attributed Multiplex Heterogeneous Network 论文阅读笔记

摘要部分

网络嵌入（图嵌入）在真实世界中已经有了非常大规模的应用，然而现存的一些网络嵌入（图嵌入）相关的方法主要还是集中在同质网络的应用场景下，即节点和边的类型都是单一类型的情况下。但是真实世界网络中每个节点的类型都多种，每条边的类型也有多种，而且每一个节点都具有不同且繁多的属性。所以本论文提出了一种在Attributed Multiplex Heterogeneous Network中进行嵌入学习的统一框架，并提供了充分了数学理论分析，还在数据集Amazon, YouTube, Twitter, and Alibaba上进行了大量的实验。实验结果表明，利用此框架学习到的嵌入有惊人的性能提升，F1 scores可提高5.99-28.23%，而且该框架还成功地部署在全球领先的电子商务公司阿里巴巴集团的推荐系统上。对产品推荐进行离线A/B测试的结果进一步证实了该框架在实践中的有效性和效率。

代码

https://github.com/cenyk1230/GATNE

引入

网络嵌入或网络表示学习是一种在保持网络结构和固有属性的同时，将网络中的节点映射到低维连续空间的一种很有前景的方法。最近，由于下游网络学习任务如节点分类、链路预测和社区检测的显著进步，它引起了极大的关注。Deepwalk、LINE和Node2VEC，是将深度学习技术引入网络分析以学习节点嵌入的开拓性工作。NetMF[29]对不同的网络嵌入算法给出了等价的理论分析，之后的NetSMF[28]通过稀疏化给出了可扩展的解决方案。尽管如此，它们被设计成只处理具有单一类型节点和边缘的同构网络。现实世界的网络结构应用，如电子商务，则要复杂得多，不仅包括多类型的节点和或边缘，还包括一组丰富的属性。由于其重要性和挑战性的要求，在研究复杂网络嵌入学习的文献中进行了大量的尝试。根据网络拓扑结构(同质或异构)和属性(有无属性)，我们对六种不同类型的网络进行了分类，并分别总结了它们的相对综合发展，分别在表1中分为不带属性的同质网络(或HUN)、带属性的同构网络(或AHON)、不带属性的异构网络(或HEN)、带属性的异构网络(或AHEN)、多重异构网络(或MHEN)和属性复用异构网络(或AMHEN)。可以看出，最后一种，即对节点多类型、边多类型且带权重的异质网络的研究最少。

例如，在电子商务系统中，用户可以与项目进行多种类型的交互，如单击、转换、添加到购物车、添加到首选项。图1说明了这样一个例子。显然，“使用者”和“物品”具有本质上不同的性质，不应受到平等对待。此外，不同的用户项交互意味着不同的兴趣水平，应该给予不同的待遇。否则，系统无法精确地捕获用户的行为模式和偏好，不足以实际使用。

挑战：

左边举例说明了一个属性化多工异构网络的示例。图形左边的用户与属性相关联，包括性别、年龄和位置。同样，图中左边的项目包括价格和品牌等属性。用户和项之间的边缘类型来自四个交互，包括单击、加载项首选项、添加到购物车和转换。中间的三个子图代表了三种不同的图形设置方式，包括自下而上的HUN、MHEN和AMHEN。右边部分展示了在阿里巴巴数据集上所提出的模型在深度行走上的性能改进。可以看到，与深度行走相比，Gatne-I的性能提升了28.23%。

此图总结了当前研究领域中的6大网络类型，以及每一种网络类型对应的经典的研究方法。（非常重要）清楚地告诉我们当前的研究领域中，哪些研究领域还研究得不够，便于我们深入研究和学习。

=====================================================================

最近更新（2020年2月21日）

=====================================================================

网络嵌入相关研究领域

1. Network Embedding

针对网络嵌入的相关工作主要有两大部分构成，一部分是图嵌入，一部分是图神经网络。图嵌入方面的相关代表有Deepwalk、LINE、Node2vec以及NetMF，Deepwalk源于NLP(自然语言处理)方面的Word2vec，将Word2vec应用到社交网络体现出了良好的效果，LINE主要是针对大规模网络，Node2vec是在Deepwalk的随机游走上进行了改进，使得游走不再变得那么随机，使得其概率可控，具体就不做过多赘述。对于图神经网络，GCN通过卷积神经网络结合了邻居节点的特征表示融入到节点的表示中，GraphSAGE它就是一个典型的生成式模型，且它结合了节点的结构信息，而且，它不是直接为每个节点生成嵌入，而是生成一个可以表示节点嵌入的函数表示形式，这样的模型，也就是这种生成式模型，有助于它在训练期间对未观察到的节点进行归纳和判断。

2. Heterogeneous NetworkEmbedding

异构网络具有各种类型的节点和/或边缘的场景。众所周知，这种网络很难挖掘，因为异质内容和结构的组合是很多的。创建这样的数据的多维嵌入，为多种现成的多维数据挖掘技术打开了大门。尽管这一问题很重要，但在嵌入动态和异构数据的可伸缩网络方面所做的努力有限。HNE就在网络中加入了内容信息以及网络拓扑结构信息来表示异质网络中的不同节点，PTE是从标记信息和不同层次的单词共现信息构建大规模异构文本网络，然后再嵌入到低维空间中ÿ