【论文学习】Neighbour Interaction based Click-Through Rate Prediction via Graph-masked Transformer

简介

论文提出了一种基于Graph-Masked Transformer 方法，用于解决异构信息网络中链接预测问题。
传统的ctr预测存在问题：一方面用户数据存在稀疏的问题，导致冷启动问题和表达效果不好。另一方面由于传统的推荐系统是基于曝光的，所以直接和用户相关联的商品，不够丰富和详尽，不能梵音用户的潜在问题。
论文的主要贡献是：
1.为了充分挖掘HIN中u2i的关系，来帮组ctr预测问题，提出了四种邻居交互网络
2.提出了GMT算法，可以将图的结构编码进入self-attention表示中。
3.提出了一种一致性正则损失函数表示方法。
4.在多种数据集合上进行了验证，并且在wechat线上取得了22%的收益。

GHNSampling采样方法

思想比较简单，就是逐层去采样邻居节点，每一种节点采样满足sk个截止。

邻居交互图构建

• 完全基于原始邻接矩阵
• 根据特征相似性
• 跨type类型的邻接矩阵图
• 全连接图

模型结构

注意力机制，引入了邻接矩阵作为了mask，然后计算权重

然后使用权重和序列中的其他节点，计算当前节点的向量表示zi，

最后将所有多头的所有节点，进行concat后线性变换，生成最终的attention后的表示hi。

边guv使用所有邻居节点的atten表示的平均值表示。

同时为了防止信息丢失和引入上下文信息，将u，v的原始特征和商家文c引入和guv一起进行mlp处理后，进过softmax处理，作为最终的uv是否有边的预测值。

损失函数

由于每次是随机采样的，每次采样的样本是不一样的，所以对每次采样的预测结果，损失函数球平均值，同时防止对于每次采样模型预测偏差较大，加了一个Lcr的正则想，防止guv偏离平均值过大。