推荐系统论文粗读记录【一】

2024-02-26 02:18

本文主要是介绍推荐系统论文粗读记录【一】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.【FM】《Factorization Machines》
作者: Rendle, Steffen
发布时间: 2010-12
来源: 2010 IEEE International Conference on Data Mining
引用数: 2062
地址: https://doi.org/10.1109/ICDM.2010.127
笔记: FM将SVM模型的优势和因式分解模型结合。FM模型的优势:1、允许在数据稀疏的情况下参数估计。2、FM模型复杂度是线性的,3、FM模型是通用的预测模型,可以应用于任何实值向量。
FM模型被定义为: y ^ ( x ) : = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = i + 1 n < v i , v j > x i x j \hat y(\mathbf x):=w_0+\sum_{i=1}^{n}w_ix_i+\sum_{i=1}^{n}\sum_{j=i+1}^{n}<\mathbf v_i,\mathbf v_j>x_ix_j y^(x):=w0+i=1nwixi+i=1nj=i+1n<vi,vj>xixj其中 < v i , v j > : = ∑ f = 1 k v i , f ⋅ v j , f <\mathbf v_i,\mathbf v_j>:=\sum\limits_{f=1}^{k}v_{i,f}·v_{j,f} <vi,vj>:=f=1kvi,fvj,f k k k是定义的因子分解的维度,是一个超参数。模型的时间复杂度为 O ( k n 2 ) O(kn^2) O(kn2) 。通过数学转换变成线性复杂度 O ( k n ) O(kn) O(kn) ∑ i = 1 n ∑ j = i + 1 n < v i , v j > x i x j \sum_{i=1}^{n}\sum_{j=i+1}^{n}<\mathbf v_i,\mathbf v_j>x_ix_j\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space i=1nj=i+1n<vi,vj>xixj                                                        = 1 2 ∑ i = 1 n ∑ j = 1 n < v i , v j > x i x j − 1 2 ∑ i = 1 n < v i , v i > x i x i =\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}<\mathbf v_i,\mathbf v_j>x_ix_j-\frac{1}{2}\sum_{i=1}^{n}<\mathbf v_i,\mathbf v_i>x_ix_i\space\space\space\space\space\space\space\space =21i=1nj=1n<vi,vj>xixj21i=1n<vi,vi>xixi         = 1 2 ( ∑ i = 1 n ∑ j = 1 n ∑ f = 1 k v i , f v j , f x i x j − ∑ i = 1 n ∑ f = 1 k v i , f v i , f x i x i ) =\frac{1}{2}(\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{f=1}^{k}v_{i,f}v_{j,f}x_ix_j-\sum_{i=1}^{n}\sum_{f=1}^{k}v_{i,f}v_{i,f}x_ix_i)\space\space\space\space\space\space\space\space\space\space\space\space =21(i=1nj=1nf=1kvi,fvj,fxixji=1nf=1kvi,fvi,fxixi)             = 1 2 ∑ f = 1 k ( ( ∑ i = 1 n v i , f x i ) ( ∑ j = 1 n v j , f x j ) − ∑ i = 1 n v i , f 2 x i 2 ) =\frac{1}{2}\sum_{f=1}^{k}((\sum_{i=1}^{n}v_{i,f}x_i)(\sum_{j=1}^{n}v_{j,f}x_j)-\sum_{i=1}^{n}v_{i,f}^2x_i^2)\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space =21f=1k((i=1nvi,fxi)(j=1nvj,fxj)i=1nvi,f2xi2)                      = 1 2 ∑ f = 1 k ( ( ∑ i = 1 n v i , f x i ) 2 − ∑ i = 1 n v i , f 2 x i 2 ) =\frac{1}{2}\sum_{f=1}^{k}((\sum_{i=1}^{n}v_{i,f}x_i)^2-\sum_{i=1}^{n}v_{i,f}^2x_i^2)\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space =21f=1k((i=1nvi,fxi)2i=1nvi,f2xi2)                                     

2.【FFM】《Field-aware Factorization Machines for CTR Prediction》
作者: Juan, Yuchin and Zhuang, Yong and Chin, Wei-Sheng and Lin, Chih-Jen
发布时间: 2016-09
来源: Association for Computing Machinery Proceedings of the 10th ACM Conference on Recommender Systems
引用数: 273
地址: https://doi.org/10.1145/2959100.2959134
笔记: FFM模型的想法来源于【PITF模型】,加入了Field信息,之前的FM模型每个特征只有一个语义向量,FFM模型每个特征有多个语义向量对于不同的field。 Φ F F M ( ( w , v ) , x ) = w 0 + ∑ i = 1 m x i w i + ∑ i = 1 m ∑ j = i + 1 m x i x j < v i , F ( j ) , v j , F ( i ) > \Phi_{FFM}((w,v),x)=w_0+\sum_{i=1}^{m}x_iw_i+\sum_{i=1}^{m}\sum_{j=i+1}^{m}x_ix_j<v_{i,F(j)},v_{j,F(i)}> ΦFFM((w,v),x)=w0+i=1mxiwi+i=1mj=i+1mxixj<vi,F(j),vj,F(i)>相对于FM模型就是对后面的特征交互项进行了改进。

3.【FwFM】《Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising》
作者: Pan, Junwei and Xu, Jian and Ruiz, Alfonso Lobos and Zhao, Wenliang and Pan, Shengjun and Sun, Yu and Lu, Quan
发布时间: 2018-03
来源: Proceedings of the 2018 World Wide Web Conference on World Wide Web
引用数: 114
地址: https://arxiv.org/abs/1806.03514
笔记: FwFM模型在不同的field之间构建不同的特征交互。多类别特征数据的几个挑战:1、特征交互时普遍的,需要专门建模。2、不同field的不同特征交互是不同的。3、潜在的高模型复杂度。FwFM模型: Φ F w F M s ( ( w , v ) , x ) = w 0 + ∑ i = 1 m x i w i + ∑ i = 1 m ∑ j = i + 1 m x i x j < v i , v j > r F ( i ) , F ( j ) \Phi_{FwFMs}((w,v),x)=w_0+\sum_{i=1}^{m}x_iw_i+\sum_{i=1}^{m}\sum_{j=i+1}^{m}x_ix_j<v_i,v_j>r_{F(i),F(j)} ΦFwFMs((w,v),x)=w0+i=1mxiwi+i=1mj=i+1mxixj<vi,vj>rF(i),F(j)模型参数对比:在这里插入图片描述
模型的TensorFlow实现:在这里插入图片描述

4.【FmFM】《FM2: Field-Matrixed Factorization Machines for Recommender Systems》
作者: Sun, Yang and Pan, Junwei and Zhang, Alex and Flores, Aaron
发布时间: 2021-06
来源: Association for Computing Machinery Proceedings of the Web Conference 2021
引用数: 9
地址: https://doi.org/10.1145/3442381.3449930
笔记: 数据:多领域类别数据,每个特征属于一个领域。本文提出一个新颖的,高校准确地构建领域信息模型的方法。该方法是直接在FwFM的基础上进行改进。微调了交叉项,支持指定领域类型可变维度向量输入。论文对之前的一系列FM模型进行了分析:
1、最初的线性模型缺乏对特征交互的表示。
2、改进线性模型,增加特征之间的交互项,使用二次多项式模型。模型参数太多O(m^2)
3、使用FM替换二次多项式,使用特征向量的点积表示特征之间的交互信息。FM忽略了一个特征和不同类别中的特征之间的交互具有不同的行为结果。
4、FFM(Field-aware FM)为特征向量增加field类别信息F(i)。大量的参数使得模型在实际生产中不可用。
5、FwFM(Field-weighted FM)为特征之间不同领域增加权重。
FmFM(Field-matrix FM)通过二维矩阵表示两个领域类别的交互信息,把模型进行拆分三个步骤:1、feature embedding lookup;2、特征(i)和领域类别矩阵(M)交互的Transformation。3、特征(j)和步骤2的结果进行dot-product。 Φ F m F M ( ( w , v ) , x ) = w 0 + ∑ i = 1 m x i w i + ∑ i = 1 m ∑ j = i + 1 m x i x j < v i M F ( i ) , F ( j ) , v j > \Phi_{FmFM}((w,v),x)=w_0+\sum_{i=1}^{m}x_iw_i+\sum_{i=1}^{m}\sum_{j=i+1}^{m}x_ix_j<v_iM_{F(i),F(j)},v_j> ΦFmFM((w,v),x)=w0+i=1mxiwi+i=1mj=i+1mxixj<viMF(i),F(j),vj>
在这里插入图片描述

5.【TransFM】《Translation-Based Factorization Machines for Sequential Recommendation》
作者: Pasricha, Rajiv and McAuley, Julian
发布时间: 2018-09
来源: Association for Computing Machinery Proceedings of the 12th ACM Conference on Recommender Systems
引用数: 28
地址: https://doi.org/10.1145/3240323.3240356
笔记: 通过用户历史上的一系列行为预测未来的行为,从而进行推荐。TransFM模型将转换算法和基于FM的序列推荐算法结合起来。利用translation component 替代FM特征交互的内积,并使用平方欧式距离来比较特征维数对之间的兼容性(如下图)。在这里插入图片描述
模型被定义为: y ^ ( x ⃗ ) = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = i + 1 n d 2 ( v ⃗ i + v ⃗ i ′ , v ⃗ j ) x i x j \hat y(\vec x)=w_0+\sum_{i=1}^{n}w_ix_i+\sum_{i=1}^{n}\sum_{j=i+1}^{n}d^2(\vec v_i+\vec v'_i,\vec v_j)x_ix_j y^(x )=w0+i=1nwixi+i=1nj=i+1nd2(v i+v i,v j)xixj其中平方欧式距离: d 2 ( a ⃗ , b ⃗ ) = ( a ⃗ − b ⃗ ) ⋅ ( a ⃗ − b ⃗ ) = ∑ f = 1 k ( a f − b f ) 2 d^2(\vec a,\vec b)=(\vec a-\vec b)·(\vec a-\vec b)=\sum\limits_{f=1}^{k}(a_f-b_f)^2 d2(a ,b )=(a b )(a b )=f=1k(afbf)2下图提供了TransFM使用的预测方法和各种基线模型的比较:
在这里插入图片描述

这篇关于推荐系统论文粗读记录【一】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/747427

相关文章

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

在Spring Boot中浅尝内存泄漏的实战记录

《在SpringBoot中浅尝内存泄漏的实战记录》本文给大家分享在SpringBoot中浅尝内存泄漏的实战记录,结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录使用静态集合持有对象引用,阻止GC回收关键点:可执行代码:验证:1,运行程序(启动时添加JVM参数限制堆大小):2,访问 htt

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

mysql的基础语句和外键查询及其语句详解(推荐)

《mysql的基础语句和外键查询及其语句详解(推荐)》:本文主要介绍mysql的基础语句和外键查询及其语句详解(推荐),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录一、mysql 基础语句1. 数据库操作 创建数据库2. 表操作 创建表3. CRUD 操作二、外键

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio