精通推荐算法7:多任务学习 -- 总体架构

2024-05-30 22:36

本文主要是介绍精通推荐算法7:多任务学习 -- 总体架构,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1 多任务学习的总体架构

目前的互联网主流推荐场景在大多数情况下需要优化多个业务目标。例如在淘宝商品推荐中,需要兼顾点击率和转化率。在抖音短视频推荐中,需要考虑完播率、播放时长、点赞率、评论率、关注率等目标。为了提升各项业务目标,并降低维护成本,它们大多采用了多任务学习(Multi-Task Learning,MTL),并取得了非常不错的业务效果。

推荐算法多任务学习主要包括多任务建模多任务融合两部分。多任务建模主要解决如何同时学习多个任务的表征的问题,其核心在于需要平衡任务间的相关性和差异性,从而提升整体性能。多任务融合则主要解决如何利用多个预估值进行最终排序的问题,通常有融合公式排序模型强化学习等解决方案。推荐算法多任务学习的知识框架如图1所示。

图1 多任务学习知识框架

多任务学习在我的新书《精通推荐算法:核心模块+经典模型+代码详解》第7章中有详细讲解。包括ESSM、MMOE和PLE等面试常考的模型。详细请参见

《精通推荐算法:核心模块+经典模型+代码详解》(谢杨易)【摘要 书评 试读】- 京东图书

2 为什么需要多任务学习

多任务学习目前被广泛应用于搜索、推荐和广告等场景中。相比单任务学习,它的优点主要如下。

  • 降低训练、部署和维护成本。多任务学习利用一个模型联合训练和优化多个业务目标,进行模型训练、部署和维护。同时,任务间共享一部分参数,缩小了模型整体体积,并降低了内存开销。特别是Embedding层,拥有模型绝大部分参数。多任务学习通过共享Embedding的方式,可以显著缩小模型体积,节省离线和在线资源。
  • 数据增强。在某些情况下,一些任务的数据较难获得,例如电商中的购买行为,单独训练模型容易欠拟合,影响表达能力和业务效果。通过共享参数的方式,可以让模型学习到其他任务的特征和数据,例如电商中的点击行为,从而缓解该任务的数据稀疏问题,相当于一定程度的数据增强。
  • 减少过拟合。多任务模型需要同时优化所有子任务,尽量让它们都达到最优。对于某个特定子任务,其他任务相当于它的正则项,有利于降低过拟合风险。
  • 提升泛化能力。多任务学习可以让模型学到更多的任务和知识,在各个子任务上均表现良好。这有利于提升模型泛化能力,在处理新的子任务时鲁棒性更好。

3 多任务学习的基本框架

多任务学习主要有硬参数共享(Hard Parameter Sharing)和软参数共享(Soft Parameter Sharing)两大类。硬参数共享直接让多个子任务共享某些模型结构和参数,目前仍然是主流方法。最常见的硬参数共享方法是共享底层(Share Bottom),它让子任务共享模型底层,例如Embedding层和前几层DNN。而模型上层,例如后几层DNN和输出层,则是相互独立的。硬参数共享的模型结构如图2所示。

图2 硬参数共享的模型结构

软参数共享的每个任务都拥有独立的模型,通过在各子任务模型参数的距离中加入正则化约束来保证任务间的相关性和模型间的相似性。常用的正则化方法有L1正则和L2正则等。软参数共享的模型结构如图3所示。

图3 软参数共享的模型结构

相比于软参数共享,硬参数共享模型的参数更少,结构更为紧凑和简单,训练和维护成本更低,是目前推荐算法多任务学习的主流范式。ESMMMMOEPLE等经典多任务模型,均属于硬参数共享模型。ESMM利用用户行为顺序关系,建立了曝光、点击、转化三者之间的关联,有效解决了传统CVR任务的样本选择偏差和数据稀疏问题,取得了非常不错的效果。其模型结构如图4所示。

图4 ESSM的模型结构

MMOE 构建了多个底层专家(Experts)网络,可以抽取不同信息。每个子任务有一个独立门控(Gate)单元,将多个专家的输出融合到该子任务中。得益于采用了多个专家网络和门控单元,MMOE建模子任务差别较大的场景时,仍能取得不错的效果。目前它已被广泛应用于搜索、推荐和广告的各大业务场景中。MMOE模型结构如图5所示。

图5 MMOE的模型结构

PLE将由所有子任务共享的底层网络,拆解成共享部分和独立部分,从而平衡任务间的相关性和差异性。同时通过堆叠多层底层网络,渐进式分离出各子任务的深层语义信息。PLE在子任务相关性高和相关性低的场景,均表现良好,并成功应用在腾讯视频推荐场景,取得了非常不错的业务效果。PLE模型结构如图6所示。

图6 PLE的模型结构

4 多任务学习的难点和挑战

多任务学习具有维护成本低、数据增强、减少过拟合和提升泛化能力等优点,可以提升各项业务水平。多任务学习要解决的主要问题如下。

1)如何平衡子任务间的相关性和差异性。子任务间有一定的相似性和相关性,同时具备一定的差异性,甚至冲突。例如,淘宝商品推荐中的点击率和转化率。通过共享底层等硬参数共享方法,可以学习到各子任务间的相关性,但也容易带来信息串扰,导致子任务间差异较大时效果不佳,某些子任务的执行效果甚至不如单任务建模,这就是负迁移现象。MMOE模型在底层构建了多个专家(Experts)网络,用来提取多种不同信息,同时利用每个子任务独有的门控(Gate)单元,融合多个专家的输出,兼顾子任务间的相关性和差异性。PLE模型则更进一步,将专家网络拆分为子任务共享的和独占的,进一步缓解了负迁移问题。

2)如何融合子任务的损失。一般采用加权求和方式,如式(1)所示。

其中,L为模型总损失,是多任务学习的最终优化目标。w为融合权重,用来平衡各个子任务的影响,防止总损失被某些任务主导。 n 为子任务个数。损失函数融合的难点在于难以确定合适的融合权重,而且在训练过程中可能还需要动态调节。

3)如何融合子任务的输出。多任务模型的每个子任务均会有一个输出,需要将它们融合成一个输出,作为最终的排序分数。最为简便的方法是使用融合公式,PLE便采用了这一方法。但融合公式缺点明显,一方面基于非监督学习,难以获得准确的权重;另一方面难以随着数据分布的变化而动态更新。网格搜索、排序模型和强化学习等多种方案可以对其进行优化。其中BatchRL-MTF模型利用强化学习,将多模型融合看作一个马尔科夫决策过程,并在推荐会话中提出了一种基于批量强化学习的多任务融合框架。并通过对用户行为的全面研究,从用户粘性和用户活跃度两个方面,运用启发式算法对用户满意度反馈进行了建模。

6 作者新书推荐

历经两年多,花费不少心血,终于撰写完成了这部新书。

购书方式:新书发布,京东限时15天内5折优惠。原价89,现价44.5,一杯咖啡的价钱。

发货速度:京东自营,半天即可送到。

源代码:扫描图书封底二维码,进入读者群,群公告中有代码下载方式

微信群:图书封底有读者微信群,作者也在群里,任何技术、offer选择和职业规划的问题,都可以咨询

售后:支持京东七天无理由退货,售后无忧。

详细介绍和全书目录,详见

《精通推荐算法:核心模块+经典模型+代码详解》(谢杨易)【摘要 书评 试读】- 京东图书

这篇关于精通推荐算法7:多任务学习 -- 总体架构的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1016996

相关文章

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》:本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满

Qt QCustomPlot库简介(最新推荐)

《QtQCustomPlot库简介(最新推荐)》QCustomPlot是一款基于Qt的高性能C++绘图库,专为二维数据可视化设计,它具有轻量级、实时处理百万级数据和多图层支持等特点,适用于科学计算、... 目录核心特性概览核心组件解析1.绘图核心 (QCustomPlot类)2.数据容器 (QCPDataC

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.

从入门到精通C++11 <chrono> 库特性

《从入门到精通C++11<chrono>库特性》chrono库是C++11中一个非常强大和实用的库,它为时间处理提供了丰富的功能和类型安全的接口,通过本文的介绍,我们了解了chrono库的基本概念... 目录一、引言1.1 为什么需要<chrono>库1.2<chrono>库的基本概念二、时间段(Durat

Go语言中nil判断的注意事项(最新推荐)

《Go语言中nil判断的注意事项(最新推荐)》本文给大家介绍Go语言中nil判断的注意事项,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.接口变量的特殊行为2.nil的合法类型3.nil值的实用行为4.自定义类型与nil5.反射判断nil6.函数返回的

mysql中的服务器架构详解

《mysql中的服务器架构详解》:本文主要介绍mysql中的服务器架构,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、mysql服务器架构解释3、总结1、背景简单理解一下mysqphpl的服务器架构。2、mysjsql服务器架构解释mysql的架

解析C++11 static_assert及与Boost库的关联从入门到精通

《解析C++11static_assert及与Boost库的关联从入门到精通》static_assert是C++中强大的编译时验证工具,它能够在编译阶段拦截不符合预期的类型或值,增强代码的健壮性,通... 目录一、背景知识:传统断言方法的局限性1.1 assert宏1.2 #error指令1.3 第三方解决