推荐系统《Field-aware Factorization Machines for CTR Prediction》 论文精读

本文主要是介绍推荐系统《Field-aware Factorization Machines for CTR Prediction》 论文精读,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

之前一篇文中说提到了FFM,那么我们今天就来看看FFM是个什么东西,它和FM又是什么关系。

摘要:点击率预测在计算机广告中有着重要的作用。在这个应用中,二阶多项式映射和因子分解模型应用的非常广泛。最近,各种种类的因子分解机(FM),领域因子分解机(FFM)在各个点击率预测的竞赛中表现出了其他模型都好的效果。基于我们获胜的经验,本文我们建立了对大型的稀疏数据集进行点击率预测的方法FFM。首先,我们提出了训练FFM的有效的方法,然后,我们对FFM进行了分析,并对比了其他的模型。经验表明,FFM对特定的数据集的效果非常的好,最后,我们发布了一个FFM的包。

1. 介绍

逻辑回归是点击率预测的使用非常广泛的模型,比如说一个数据集有m个样本,是输入特征,是对应的标签值,参数可以通过最小化下面的式子来得到:

其中,是正则化项,损失函数中的线性模型表示为:

对于点击率预测来说,特征之间的组合是非常重要的,我们考虑这样一个数据集,如下图:

640?wx_fmt=png

从数据集中可以看到,Gucci的广告在Vogue上有着非常高的点击率,这个用线性模型是没办法学到的,因为这两个变量相互是独立的。为了解决这个问题,提出了两个模型。一个是二阶的多项式映射模型,可以学习两两的组合的特征的参数,第二个是因子分解机,通过分解出隐含特征向量来学些特征间的相互关系。

FFM的一个变体,叫做Pairwise Interaction Tensor Factorization(PITF),用来对个性化的标签进行推荐。在KDD Cup 2012上,PITF的泛化形式“因子分解模型”被提出来。由于名字容易和因子分解机混淆,在这篇文中我们叫这个方法为领域因子分解机(FFM)。FFM和PITF的不同点在于,FFM更加的通用,而PITF只考虑了3个不同的领域,“用户”,“物品“和”标签“。

本文的目的是建立FFM模型用在点击率预测上,主要的结论如下:

  • 我们展示了赢得两个推荐算法比赛的FFM模型

  • 我们将FFM和两个模型进行了对比,FM和Poly2

  • 我们展示了如何进行FFM的训练,包括并行优化和提前停止防止过拟合

  • 我们发布了开源的算法实现

实验代码和工具包如下:

http://www.csie.ntu.edu.tw/~cjlin/ffm/expshttp://www.csie.ntu.edu.tw/~cjlin/libffm

2. Poly2和FM

Poly2可以利用特征间的组合进行建模,通过使用一个线性模型对特征间的组合进行建模,可以比使用核方法更快。这种方法就是Poly2,学习的是特征对的权重。

这个式子的时间复杂度是()

FM学习每个特征的隐含向量,每个隐含向量有k维,特征组合的权值由隐含向量的内积得到。

变量的数量是n×k,直接计算的时间复杂度是()。将式子变换一下:

$$ 


 

$$ 

其中

这样,时间复杂度就变为()

3. FFM

FFM的思想起源于PITF,是用在个性化标签的推荐系统上的。在PITF中,使用了3个不同的领域,用户、物品、标签。FFM更加的通用,可以使用更多的字段,而且用在了点击率的预测上。FFM是一个利用了领域信息的FM的变体,为了解释原理,我们使用下面的例子:

640?wx_fmt=png

如果使用FM,可以表示为:

在FM中,每个领域由一个特征向量表示,通过和其他邻域特征的内积来表示两个领域特征的组合。然而,由于Nike和Male属于不同的领域,隐含特征对(ESPN,Nike)和(ESPN,Male)的作用很可能是不同的。

在FFM中,每个领域特征由多个特征向量组成,和不同的领域特征进行组合时,使用不同的向量:

写成数学的形式:

其中,分别表示了的领域。如果是领域的个数的话,那么FFM的变量的总的个数是。时间复杂度是(),但是在FFM中,通常k会比FM中小的多。

3.1 求解最优化问题

我们可以使用梯度下降的方式求解FFM,最近提出了一些自适应学习率的优化方式,我们这里使用了AdaGrad,这个方法用在因子分解上和FFM上效果不错。

初始化的参数从均匀分布中采样,采样范围是。算法流程如下:

640?wx_fmt=png

3.2 并行化和共享内存系统

使用多个CPU并行计算,每个CPU独立进行计算。

3.3 增加领域信息

考虑我们常用的LIBSVM的数据格式:

label feat1:val1 feat2:val2 · · · ,

每个特征对(feat:val)表示了特征的索引和值。对于FFM,我们将这种数据格式进行扩展:

label field1:feat1:val1 field2:feat2:val2 · · ·

这样的话,我们需要为每个特征赋予一个领域字段,这对有些特征很容易,而对有些则比较麻烦,我们分三个不同类型的特征来讨论

类别特征

对于线性模型来说,表示类别的特征通常会进行离散化,并转换成几个二值特征。对于一个数据样本:

Yes P:ESPN A:Nike G:Male,

我们可以生成如下的LIBSVM数据格式:

Yes P-ESPN:1 A-Nike:1 G-Male:1

类别的数量是多少,就会生成多少个二值的特征,但是只有其中的一个为1,其余的都是0,在LIBSVM的数据格式中,值为0的特征是不需要写出来的。我们在所有的模型上都是这样使用的,本文中,我们将每个类别特征分解成几个二值特征,然后为每个二值特征加上领域字段。

Yes P:P-ESPN:1 A:A-Nike:1 G:G-Male:1

数值特征

我们考虑下面的数据集,预测一个文章是否能被会议接收。我们使用了3个数值特征,“会议的接受率”,“作者的h索引”,“作者的引用数量”。

640?wx_fmt=png

有两个方法来赋值领域,一个方法是将每个特征作为一个dummy的领域,生成的数据如下:

Yes AR:AR:45.73 Hidx:Hidx:2 Cite:Cite:3

而这些dummy的领域并不提供什么信息,因为只是赋值了特征的名字而已。

另一个方法就是对数值离散化,然后再分成不同的类别,再按类别数据的方式进行处理。生成的数据如下:

Yes AR:45:1 Hidx:2:1 Cite:3:1,

其中AR被四舍五入成整数,不过这种方式的缺点在于,我们很难找到合适的离散化的方式,比如说我们可以将45.73变换成45.7,45,40等等甚至是int(log(45.73)),另外,这样做会损失一点信息。

单领域特征

有些数据集中,所有的数据都是属于同一个领域的,比如NLP的场景,考虑下面的例子,通过一句话来预测这句话表达的情绪。

640?wx_fmt=png

这个例子中,唯一的领域就是句子,如果我们将这个领域赋值给所有的单词,那么FFM就变成了FM。FFM的复杂度是,使用dummy的领域是不现实的,因为f=n,而n是很大的。

4. 实验

在这部分,我们会先提供我们实验中的一些细节的设置,然后我们会研究超参数的影响。我们发现,和LM和Poly2不同的是,FFM对于epoch的数量很敏感,我们会详细的讨论这个问题,然后我们会用一个提前停止训练的trick,然后再说一说并行化的加速。

然后我们会对比不同的算法,包括FM和Poly2,还有比较不同的实现包,包括LIBLINEAR和LIBFM。

4.1 实验设置

数据集

我们主要考虑Kaggle上的两个点击率预测的数据集Criteo和Avazu,特征工程我们使用了比赛中的方案,见http://github.com/guestwalk/kaggle-2014-criteo and http://github.com/guestwalk/kaggle-avazu 。我们使用了哈希的方式产生了个特征,数据集的统计值如下:

640?wx_fmt=png

由于测试集没有标注数据,我们在已有的数据上划分训练集、验证集。

平台

实验平台为Intel Xeon E5-2620 2.0GHz处理器 和 128 GB 内存

评估

根据使用不同的模型,我们将变为,我们使用下面的logistic损失函数:

实现

我们使用c++实现了所有的算法,使用了OpenMP来进行并行化。我们的实现包括了线性项和偏置项。为了保持扩展性,不管使用什么模型,领域信息都会存在模型里。对于非FFM模型,不存储领域信息也许会快那么一点点,但是结果应该都是一样的。

4.2 参数的影响

我们进行了实验来研究不同的参数影响,这些参数包括,具体的结果可以见下图:

640?wx_fmt=png

从图中的曲线中可以看出,很多情况下的参数设置可能会出现过拟合的现象,因此,需要进行early stop的操作。

4.3 Early Stop

Early Stop是指在训练的过程中,在还没有达到最佳的结果之前就停止掉,可以用来防止过拟合。对于FFM,我们使用的策略如下:

  1. 将数据集划分成训练集和验证集

  2. 每个epoch结束之后,计算验证集的loss

  3. 如果loss变大了,记录下当前的epoch数,然后到第4步

  4. 如果需要,使用所有的数据重新训练模型,epoch的数量用第三步记录的epoch数

early stopping用起来很难,是因为logloss对于epoch数量很敏感,在验证集上最好的模型,在测试集上未必表现的最好。我们也用了一些其他的防止过拟合的方法,都不如early stopping好。

4.4 加速
4.5 和LM,Poly2,FM模型的对比

我们使用同样的梯度下降的方法,对比了另外的3个模型,然后,我们对比了两个业界领先的包:LIBLINEAR和LIBFM。结果如下:

640?wx_fmt=png

4.5 和其他数据集的对比

在其他的数据集上的对比:

640?wx_fmt=png

我们总结了将FFM应用在其他的数据集的一些指南:

  • FFM在有不同类别,并且可以转换成二值特征的数据集上是很有效的。

  • 如果数据集经过变换之后,稀疏程度不是很高,那么FFM的好处就不是很多。

  • 在数值特征的数据集上,FFM的效果不是很好。

5. 结论

本文中,我们讨论了FFM的实现,以及和其他模型的对比,并使用了不同的模型和不同的数据集进行了实验。在未来的工作中,如果解决过拟合线性是需要去研究的,我们在文中使用了SG作为优化器,其他的优化器在FFM的效果如何,也可以了解下。


这篇关于推荐系统《Field-aware Factorization Machines for CTR Prediction》 论文精读的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1080906

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

软考系统规划与管理师考试证书含金量高吗?

2024年软考系统规划与管理师考试报名时间节点: 报名时间:2024年上半年软考将于3月中旬陆续开始报名 考试时间:上半年5月25日到28日,下半年11月9日到12日 分数线:所有科目成绩均须达到45分以上(包括45分)方可通过考试 成绩查询:可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间:预计在11月左右 证书领取时间:一般在考试成绩公布后3~4个月,各地领取时间有所不同

防近视护眼台灯什么牌子好?五款防近视效果好的护眼台灯推荐

在家里,灯具是属于离不开的家具,每个大大小小的地方都需要的照亮,所以一盏好灯是必不可少的,每个发挥着作用。而护眼台灯就起了一个保护眼睛,预防近视的作用。可以保护我们在学习,阅读的时候提供一个合适的光线环境,保护我们的眼睛。防近视护眼台灯什么牌子好?那我们怎么选择一个优秀的护眼台灯也是很重要,才能起到最大的护眼效果。下面五款防近视效果好的护眼台灯推荐: 一:六个推荐防近视效果好的护眼台灯的