DSSM双塔模型原理及在推荐系统中的应用

1.整体结构：

原始的DSSM是在搜索CTR预估任务，大概分为：

1. embedding层
2. MLP层
3. cosine相似度logit
4. softmax层；其中Q代表搜索词(用户)，D1,2,…,n为检索文档(物料) 。

如果将最左侧看作一个塔，并称为用户塔；那右侧就可以称为物料塔(或者物料塔1,2,…,n);双塔，多塔架构由此得来。

注意：实际上使用DSSM解决不同的问题，我们通常使用不同的loss函数，双塔模型通过使用不同的label构造不同的模型，比如点击率模型采用用户向量和文章向量内积结果过sigmoid作为预估值，用到的损失函数为logloss，时长模型直接使用用户向量和文章向量的内积作为预估值，损失函数为mse。

2. 词哈希

• 句子的编码是词编码（one-hot）的累加，由于词表很大，造成句子编码的维度也很大。
• 使用词哈希降低词编码的维度，这也同时降低了句子编码的维度。如何做词哈希呢？通过n-gram切片，词编码是切片onehot编码的累加，句编码是词编码的累加。
• 通过DNN进一步降维
• 最终低维度的句子表示，使用余弦相似度来计算query和doc的相似度。
  

3. DSSM在召回和粗排应用

双塔DNN做粗排的离线和在线模型结构如下图所示。

用户侧和Item侧分别构建多层NN模型，最后输出一个多维embedding，分别作为该用户和Item的低维语义表征，然后通过相似度函数如余弦相似度来计算两者相关性，通过计算与实际label如是否点击、阅读时长等的损失，进行后向传播优化网络参数。Item Embeding会通过持续调用模型Item侧网络进行计算，并保存到HDFS或Faiss中，供线上Serving查询使用。User Embedding在线上Serving时需要通过调用模型用户侧网络进行计算。

4. 优化技巧

• 双塔模型也可以通过使用不同的label构造不同的模型，比如点击率模型采用用户向量和文章向量内积结果过sigmoid作为预估值，用到的损失函数为logloss，时长模型直接使用用户向量和文章向量的内积作为预估值，损失函数为mse。
• 双塔模型也可以通过改变用户侧和文章侧的特征构造不同的模型，比如用户侧分别使用短期和长期用户兴趣特征构造短期和长期用户兴趣召回模型，使用基础泛化特征构造对用户冷启动友好的召回模型
• 可以使用不同的label或者特征构建多塔召回模型，有点类似Multi-View DSSM的 感觉了。