推荐系统遇上深度学习(一二四)-[美团]面向大规模推荐系统的双重增强双塔模型...

本文主要是介绍推荐系统遇上深度学习(一二四)-[美团]面向大规模推荐系统的双重增强双塔模型...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

8aa958ce07556cb62c21ccfabe7d40e0.png

各位小伙伴们中秋快乐吖!今天给大家带来一篇美团在DLP-KDD 2021上中稿的一篇论文,主要的出发点是解决双塔模型中两塔之间缺乏信息交互,以及在美团首页推荐中,面临多场景、多业务融合且不同业务类别分布不均衡的特定业务问题。一起来学习一下。

1、背景

在大规模工业界推荐系统的召回阶段,大都采用的是双塔模型,即通过query tower(user tower)和item tower分别得到query(user)和item的向量表示,并通过cosine距离计算二者的相似度,进而选择相似度高的item进入到排序阶段。传统的双塔模型面临以下两方面的问题:

1)两个塔之间缺乏信息交互,影响模型的收益空间
2)在美团首页推荐或其他的推荐场景下,item的种类是十分丰富的且非常不平衡的,那么模型的训练由主要的种类所主导,对于数量较小的种类的item效果会受到影响。

为了解决以上两方面的问题,论文提出了双重增强双塔模型(Dual Augmented Two-tower Model,简称DAT)。论文设计了Adaptive-Mimic Mechanism,来为每一个query和item学习一个增强向量,增强向量代表了来自另一个塔的有用信息;同时,论文还在训练阶段引入了Category Alignment Loss来缓解类别不平衡的问题,一起来看一下。

2、DAT模型介绍

模型的整体结构如下图所示:

0d3387e4c8f9dce1f40f4e7afca93004.png

接下来,根据如上的模型结构图,我们进行详细的介绍:

2.1 Embedding layer

Embedding层无需进行过多的介绍,将query和item对应的离散特征转换为对应的Embedding。

2.2 Dual Augmented layer

对于每一个query和候选item,赋予一个对应的增强向量au和av,并与Embedding层得到的Embedding进行拼接,作为两个塔的输入。如对于uid=253,city=SH,gender=male的用户,以及iid=149,price=10,class=cate的item,对应的模型输入为:

2d27325066dd9fa80d481ba8224e60b1.png

随后,两个输入向量输入到各自的塔中,经过多层全连接网络,以及最后的L2标准化层,得到输出Embedding表示,计作pu和pv:

4ae3f11e27415c668e94b72db3fffa91.png

那么增强向量代表什么信息呢?同时如何对增强向量进行训练呢?论文设计了Adaptive-Mimic Mechanism (AMM),其中最主要的是设计了mimic loss,该loss的主要作用是让增强向量来拟合相应query或着item在另一个塔中所有正样本的输出向量表示。感觉比较绕,但通过下面的公式可以更加清楚的理解:

a100ec28a03cf9954efd76ddc42a0adf.png

以lossu为例,如果label即y=0,则不产生损失,若y=1,则增强向量与另一个塔的输出向量越接近,则损失越小。也就是说,增强向量是对该query或item所有可能匹配的正样本信息的综合表示。而在训练增强向量的过程中,需要使用stop gradient策略来冻结pu和pv。

2.3 Category Alignment

在工业场景下,不同item的类型多种多样,而且分布十分不均匀,双塔模型对于数量较少的类别的效果会较差。为了解决这个问题,论文在训练阶段引入了Category Alignment Loss (CAL),将从数量较多的类别中学习到的信息迁移到数量较小的类别中。CAL计算主类别和其他类别的协方差矩阵二阶矩,降低类别间的差距:

f67f369cbf5abdaf110a14e79d8caae4.png

ea306db920a07ece287e676968b2380b.png

其中,C()代表协方差矩阵,Smajor代表batch中主要类别的输出向量集合。S2,S3,..,Sn代表剩余类别的输出向量集合。

Alignment Loss在迁移学习中应用较多,来自论文《Deep CORAL: Correlation Alignment for Deep Domain Adaptation》。感兴趣的可以阅读论文

2.4 Model Training

对于任意正样本对,采样S个负样本对,那么双塔模型的主loss计算如下:

936b53f0360af9cc307f9e80670f35b7.png

加入上述的mimic loss和Category Alignment Loss后,总的loss计算如下:

d51d4718433671027b438ab201905b3f.png

3、实验结果

离线和在线实验都证明了DAT模型的有效性,实验结果如下:

8c3278f5590035edf6709e5160ba8790.png

162d691a018b0d966233253b442aae02.png

好了,本文就介绍到这里,感兴趣的同学可以阅读原文~

推荐系统遇上深度学习(一二三)-[阿里]去噪用户感知记忆网络DUMN

2021-09-21

bc8a6b6cae119e825771350cec36724d.png

推荐系统遇上深度学习(一二二)-[阿里]通过孪生掩码层来高效的学习特征表示向量

2021-08-28

cda53dba4eb93bfca5ec003b0b3f07d9.png

这篇关于推荐系统遇上深度学习(一二四)-[美团]面向大规模推荐系统的双重增强双塔模型...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/205425

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

Linux系统之dns域名解析全过程

《Linux系统之dns域名解析全过程》:本文主要介绍Linux系统之dns域名解析全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、dns域名解析介绍1、DNS核心概念1.1 区域 zone1.2 记录 record二、DNS服务的配置1、正向解析的配置

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES

Linux系统中配置静态IP地址的详细步骤

《Linux系统中配置静态IP地址的详细步骤》本文详细介绍了在Linux系统中配置静态IP地址的五个步骤,包括打开终端、编辑网络配置文件、配置IP地址、保存并重启网络服务,这对于系统管理员和新手都极具... 目录步骤一:打开终端步骤二:编辑网络配置文件步骤三:配置静态IP地址步骤四:保存并关闭文件步骤五:重

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《OpenManus本地部署实战亲测有效完全免费(最新推荐)》文章介绍了如何在本地部署OpenManus大语言模型,包括环境搭建、LLM编程接口配置和测试步骤,本文给大家讲解的非常详细,感兴趣的朋友一... 目录1.概况2.环境搭建2.1安装miniconda或者anaconda2.2 LLM编程接口配置2