CTR模型：DeepCross Network

本文主要是介绍CTR模型：DeepCross Network，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 简介

DCN模型（Deep & Cross Network for Ad Click Predictions）是2017年提出的。
出发点：
（1）人工探索所有的交叉特征是不现实的；
（2）难于推广未曾出现过的交叉特征。

DNN能够自动探索交叉特征并推广到未出现过的交叉特征，但是DNN的学习效率不高，且无法显式的学习特征交叉。

Deep&Cross Network, DCN 模型保留了DNN的优点，并提出了新的cross network，高效学习高阶特征交互。

优点：
（1）cross network显式的在每层应用特征交叉，有效的学习预测能力强的交叉特征，无需人工特征工程。
（2）cross network 简单高效，学习高阶交叉特征，每增加一层，学习的交叉特征的阶数加一阶；
（3）模型表现更好，且参数要比DNN少一个量级。

2. 模型

DCN模型结构：
在这里插入图片描述
（1）Embedding and stacking层：
假设输入包含sparse特征和dense特征，原始特征为向量 x, 其中，

$\overrightarrow{\mathbf{x}}=\left\langle\overrightarrow{\mathbf{x}}_{s p a r s e}^{(1)}, \cdots, \overrightarrow{\mathbf{x}}_{s p a r s e}^{(K)}, \overrightarrow{\mathbf{x}}_{d e n s e}>\right.$

spare特征为 field 的one-hot向量， dense为经过归一化的dense特征， $<\cdot>$ 为向量拼接。
首先，将 field 的特征映射到Embedding向量：
$\overrightarrow{\mathbf{x}}_{e m b e d}^{(i)}=\mathbf{W}_{e m b e d}^{(i)} \overrightarrow{\mathbf{x}}_{sp a r s e}^{(i)}$

然后，Embedding向量和归一化的dense特征拼接成向量：
$\overrightarrow{\mathbf{x}}_{0}=<\overrightarrow{\mathbf{x}}_{e m b e d}^{(i)}, \cdots, \overrightarrow{\mathbf{x}}_{e m b e d}^{(K)}, \overrightarrow{\mathbf{x}}_{d e n s e}>\in \mathbb{R}^{e_{1}+e_{2}+\cdots+e_{K}+d_{s}}$

(2) cross network:
cross network 是一个新颖的结构，核心思想是，以高效的方式显式应用特征交叉。
cross network由交叉层构成，每层的输入输出为：
在这里插入图片描述

cross network的特殊结构使得交叉特征的阶数随着网络的深度加深而增加。
对于L层的cross network，交叉特征的阶数为L+1阶， cross network的参数量为 $2 * L * d$ .
cross network 的时间复杂度和空间复杂度都是输入维度d的线性函数。

cross network的本质是，用 $x_0 x_l^T$ 来捕获所有的特征交叉，这种方式避免了存储整个矩阵以及矩阵乘法运算。

由于cross network的参数很少，网络过于简单，模型容易陷入欠拟合，为了加强模型的学习能力，DCN的右侧引入了并行的deep network。

cross network 可以理解为：多项式逼近， FM泛化，或者有效投影。

引用
多项式逼近
使用相同的度的多项式来近似cross network：

多项式的项有， $O(d^n)$ 个。但是cross network只有 $O (d)$ 个参数。
FM泛化
FM模型是特征 $x_i$ 和向量 $v_i$ 相关联，交叉特征 $x_i * x_j$ 的权重为 $v_i* v_j$ .
DCN 模型，特征 $x_i$ 和一组标量 ${w_l^{(i)}\}_{l=1}^L$ 相关联，交叉特征 $x_i * x_j$ 的权重是从两个集合 ${w_l^{(i)}\}_{l=1}^L$ 和 ${w_l^{(j)}\}_{l=1}^L$ 中的元素相乘项构成的。
相同点：两者都是首先学习特征独立的一些参数，然后交叉项的权重是相应参数的某种组合；
不同点：FM是浅层模型，交叉项的度为2；DCN能表达L阶交叉特征，L为cross network的深度。
有效投影 efficient projection

（3）deep network
在这里插入图片描述
假设，隐层的维度都是m, 一共 Ld层。那么，deep network 的参数数量为：

其中，第一层的参数量是， $d * m + m$ ;
后续的 Ld-1层，每层的参数量是， $m * m + m$ .

(4)combination layer
拼接 cross network 和deep network两个网络的输出向量，然后，输出到标准的sigmoid输出层。
在这里插入图片描述
其中，p 是预测的点击概率。
模型的损失函数是带正则化的对数似然函数：

DCN训练时，联合训练cross network 和deep network。