Dynamic Hypergraph Neural Networks, IJCAI, 2019

Dynamic Hypergraph Neural Networks, IJCAI, 2019

Jiang J, Wei Y, Feng Y, et al. Dynamic Hypergraph Neural Networks[C]//IJCAI. 2019: 2635-2641.

在神经网络模型中，由网络深层生成的嵌入特征具有初始结构无法捕获的高阶关系。现有的基于图或超图的神经网络的主要缺点是只采用初始的图或超图结构，而忽略了训练过程中通过调整特征嵌入动态修改图或超图结构。本文提出了一个动态超图神经网络框架(DHGNN)，它由动态超图构建(DHG)和超图卷积(HGC)两个模块组成。HGC模块包括顶点卷积和超边缘卷积，分别用来对顶点和超边之间的特征进行聚合。

主要贡献如下：

1. 提出了一种动态超图构建(DHG)方法，该方法采用k-NN方法生成基本的超边，通过k - means聚类算法扩展相邻超边集。通过动态超图构造方法，可以提取数据局部关系和全局关系。
2. 进行了基于引文网络分类和社交媒体情绪预测的实验。在基于网络的任务中，本文提出的方法优于最先进的方法，并且对不同的数据分布有更好的鲁棒性。在社交媒体情绪预测方面，本文提出的方法与最先进的方法相比，表现有所改进。

网络结构：

对于超图中的每一个顶点u，先经过动态超图构建过程生成多条超边，然后对每一条超边分别进行顶点卷积，得到该超边的特征，然后对这些超边特征再进行超边卷积，最后得到中心顶点u新的特征。整个过程就是一个更新顶点u特征的过程，这样就可以根据顶点u的性特征构建新的超图，不断循环。

动态超图构建：

首先根据欧氏距离对每一层的整个特征图进行k-means算法。对每一个输入节点u，通过knn算法找到和该节点最相似的k-1个节点，连同顶点u形成一个超边；同时根据k-means的聚类结果将离定点u最近的S-1簇被赋值为与该顶点相邻的超边。

超图卷积(HGC)：

超图卷积由两个子模块组成：顶点卷积子模块和超边卷积子模块。顶点卷积将顶点特征集合到上边缘，然后上边缘卷积将相邻的上边缘特征集合到形心顶点。

顶点卷积：

从顶点特征中学习得到一个k ∗ k的变换矩阵T，将矩阵T与输入顶点特征矩阵相乘，得到排列加权的顶点特征矩阵。然后经过一个一维卷积操作进行维度的压缩，最后得到包含这些节点的超边的特征。

在实现中，利用多层感知(MLP)生成变换矩阵T，利用一维卷积对变换后的特征进行压缩，如下述公式所示。

超边卷积：

将超边特征通过卷积进行聚合得到新的形心顶点特征，如图4所示。超边卷积首先利用多层感知机(MLP)生成每个超边的权值，然后再根据得到的权重和超边特征进行加权求和，得到输出的形心顶点特征。

完整的超图卷积过程如下：