deepcross network(DCN)算法 xdeepfm是DCN的进阶

2024-09-06 05:58

本文主要是介绍deepcross network(DCN)算法 xdeepfm是DCN的进阶,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

揭秘 Deep & Cross : 如何自动构造高阶交叉特征

https://zhuanlan.zhihu.com/p/55234968

Deep & Cross Network总结

Deep和Cross不得不说的秘密

[深度模型] Deep & Cross Network (DCN)

https://mp.weixin.qq.com/s/Xp_xTmcx56tJqfjMhFsArA     (写的不错)

深度CTR之xDeepFM:融合了显式和隐式特征交互关系的深度模型推荐系统

https://mp.weixin.qq.com/s/-GBnnWMjRjvoqOrv6QbsVg     (写的不错)

目录

一 DCN

二 xdeepfm


一 DCN

 

 

二 xdeepfm

下面是作者通过对比前人的工作的优缺点,引出了自己的xDeepFM模型结构。

  1. FM:由于paper介绍的是xDeepFM模型,所以在说到FM模型时,对于FM模型中的每个特征的embedding向量中的每一个元素,paper中称之为bit。经典的FM模型可以引入任意高阶的交互特征;

  2. AFM:但是建模所有特征的交互关系有可能引入无用的特征,甚至给模型带来噪音;

  3. FNN:在DNN之前有使用FM预训练好的field embedding,可以学习高阶特征;

  4. PNN:在embedding层和DNN层之间有product层,而且不需要依赖预训练。但是PNN和FNN都有共同的缺点-都聚焦在高阶交互特征上而对低阶交互特征关注较少;

  5. Wide&Deep:通过引入浅层模块和深层模块的组合结构,使得学习过程具有记忆性和泛化性,可以同时学习到低阶和高阶的交互特征。

  6. DeepFM:通过引入浅层模块和深层模块的组合结构构,使得学习过程具有记忆性和泛化性,可以同时学习到低阶和高阶的交互特征;

  7. DCN:捕捉有界阶数的交互特征;

  8. xDeepFM:以vector-wise形式来显式生成特征交互,使用CIN模块来代替DCN中的cross网络模块,CIN可以显式的学习交互关系,并且随着网络的加深,特征交互关系的阶数也在变大。并且仿照Wide&Deep和DeepFM的组合式网络结构,xDeepFM组合了显式高阶交互模块、隐式高阶交互模块和传统的FM模块

可以看到xDeepFM相比于DeepFM模多了一个显式高阶交互模块。该显式高阶交互模块是在vector-wise层面建模的。

paper中作者提到的三个主要贡献(其中前两个也是本文xDeepFM模型相比于其他模型的最主要特点和优势):

  1. 有效结合了显式高阶交互模块、隐式高阶交互模块,不需要人工特征工程

  2. 设计了CIN模块可以学习显式高阶交互,并且特征交互阶数往后每一层都会增加,以vector-wise方式代替普通DNN的bit-wise方式

  3. 在3个数据集上对比了其他的SOTA算法,证明了xDeepFM模型结构的有效性。

paper中一个有意思的论述式:DNN模型多是在bit-wise层面建模特征交互关系,而FM模型则是在vector-wise层面建模特征交互关系。所以还很难说在推荐领域,DNN模型就是用来建模高阶交互关系的最有效的模型。

图片

xDeepFM将线性模块、CIN模块、DNN模型三者组合起来互为补充,分别提供的姐特征、显式高阶特征、隐式高阶特征。

预测结果的计算公式、loss函数、优化的目标函数分为如公式(15)、公式(16)、公式(17)所示,这里比较简单,不再解释。

图片

图片

图片

对于paper中提到的xDeepFM和FM、DeepFM的关系:

  1. 对于xDeepFM,将CIN模块的层数设置为1,feature map数量也为1时,其实就是DeepFM的结构,因此DeepFM是xDeepFM的特殊形式,而xDeepFM是DeepFM的一般形式;

  2. 在1中的基础上,当我们再将xDeepFM中的DNN去除,并对feature map使用一个常数形式的 sum filter,那么x就DeepFM退化成了FM形式了。

这篇关于deepcross network(DCN)算法 xdeepfm是DCN的进阶的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1141194

相关文章

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.

MySQL进阶之路索引失效的11种情况详析

《MySQL进阶之路索引失效的11种情况详析》:本文主要介绍MySQL查询优化中的11种常见情况,包括索引的使用和优化策略,通过这些策略,开发者可以显著提升查询性能,需要的朋友可以参考下... 目录前言图示1. 使用不等式操作符(!=, <, >)2. 使用 OR 连接多个条件3. 对索引字段进行计算操作4

golang字符串匹配算法解读

《golang字符串匹配算法解读》文章介绍了字符串匹配算法的原理,特别是Knuth-Morris-Pratt(KMP)算法,该算法通过构建模式串的前缀表来减少匹配时的不必要的字符比较,从而提高效率,在... 目录简介KMP实现代码总结简介字符串匹配算法主要用于在一个较长的文本串中查找一个较短的字符串(称为

通俗易懂的Java常见限流算法具体实现

《通俗易懂的Java常见限流算法具体实现》:本文主要介绍Java常见限流算法具体实现的相关资料,包括漏桶算法、令牌桶算法、Nginx限流和Redis+Lua限流的实现原理和具体步骤,并比较了它们的... 目录一、漏桶算法1.漏桶算法的思想和原理2.具体实现二、令牌桶算法1.令牌桶算法流程:2.具体实现2.1

JavaScript中的reduce方法执行过程、使用场景及进阶用法

《JavaScript中的reduce方法执行过程、使用场景及进阶用法》:本文主要介绍JavaScript中的reduce方法执行过程、使用场景及进阶用法的相关资料,reduce是JavaScri... 目录1. 什么是reduce2. reduce语法2.1 语法2.2 参数说明3. reduce执行过程

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中,很多工作都需要与数据打交

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例:使用随机森林预测鸢尾花品种4.1