本文主要是介绍PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Motivation
传统GCN在节点分类中达到了不错的效果,但只能在将层数限制在2-3层,加深层数会导致两个问题:
(1)、出现过平滑现象:即最后所有节点趋向同一个值。
(2)、随着层数的加深,参数量也呈指数级增长。
但是试验表明,一般要将层数达到4-5层才能使才能覆盖所有的节点。
为了解决这个问题,引进了PageRank方法。
问题一
由于PageRand方法可能陷入“陷阱问题”和“终止问题”:
所以引进了personalized PageRank方法:
基本表示形式为:
ix表示初始根节点的特征,计算后可以得到平稳状态后的分布结果为:
所以PPNP模型就可以写成下面的等式:
其实这和GCN式子很相似:
通过这种方式就可以解决过平滑的现象,在加深层数后依然可以达到稳态分布。
问题二
为了解决参数量过大的问题,将神经网络和消息传递网络分隔开:如下图所示
其实也就是将下面的式子分成两个部分:
右边的式子是神经网络预测节点特征,其实参数也是由此产生的,和GCN中的W*H相似,可以通过MLP拟合。左边就是PPNP网络。
APPNP
当节点很多和层数加深的情况下,矩阵连乘会导致很大的计算量,所以建立了APPNP(Approximate personalized propagation of neural predictions )网络:
**
这篇关于PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!