联邦学习在腾讯微视广告投放中的实践

2024-03-23 18:38

本文主要是介绍联邦学习在腾讯微视广告投放中的实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图片

分享人:宋凯 博士

整理者:林宜蓁

导读:

本文从广告主的角度,分享联邦学习实践的经验跟思考。

先介绍业务与技术选型背景:团队项目为用户增长及成本控制,方式为广告渠道投放,投放目标分为拉新、拉活两类。

  • 拉新时,微视侧端内用户特征稀疏,而广告平台积累大量信息,但仅有有限性的oCPX标准化数据回传。

  • 拉活时,微视侧具备用户行为序列等宝贵画像数据,与广告平台特征有互补性,但又无法直接粗暴的与广告平台共享数据。

所以,希望微视侧能与广告平台侧利用双方数据,实现收益共赢,但保证数据的安全不出域。在这种背景下我们团队选择了“联邦学习”,其为多方安全合作提供了一种解决方案。

文章围绕下面五点展开:

  • 联邦学习

  • 腾讯联邦学习平台 PowerFL

  • 微视广告投放整体业务

  • 广告投放联邦学习架构

  • 建模实践和细节介绍

一、联邦学习

首先,简介联邦学习(Federated Learning,FL)的先导知识。

1. 联邦学习背景

机器学习模型都是 data-driven,但现实里数据皆为孤岛:公司与公司之间、甚至部门与部门之间无法共享数据;直接的共享会侵犯用户的隐私,也损伤公司的利益。2016年 Google 的文章以输入法 NLP 为背景,提出用安卓手机终端在本地更新模型,这篇文章一般被认为是联邦学习的开端。随即,我国微众银行、腾讯等公司也做了许多开创性的工作。

联邦学习的基本定义为:在进行机器学习的过程中,各参与方可借助其他方数据进行联合建模。各方无需直接触达他方数据资源,即数据不出本地的情况下,安全进行数据联合训练,建立共享的机器学习模型。

2. 联邦学习的两种架构

  • 中心化联邦架构:早期发展包括 Google、微众银行,皆是此类架构。由可信赖的第三方(中央服务器)负责加密策略、模型分发、梯度聚合等。

  • 去中心化联邦架构:有时双方合作,找不到可信赖的第三方,各方需参与对等计算。此架构需要更多的加解密和参数传输操作,比如:n方参与时,需进行2n(n-1)次传输。这里可以认为加解密算法实际上扮演了第三方的角色。

3. 联邦学习的三种分类

  • 横向联邦学习:样本的联合,适用于特征重叠多,用户重叠少时的场景。比如:两个业务相似的公司,用户正交多但画像相似,可进行横向联邦学习,更像是一种数据变形的分布式机器学习。

  • 纵向联邦学习:特征的联合,适用于用户重叠多,特征重叠少时的场景。比如:广告主与广告平台,希望结合两方的特征进行训练。

  • 联邦迁移学习:参与者间的特征和样本重叠都很少时,可以考虑使用,但难度较高。

三种联邦学习交互的信息有异,受到的困扰也不同;比如:横向联邦学习时,各参与方数据异构,因此数据非独立同分布,也是联邦学习的研究热点。

目前纵向联邦学习已在我们业务中落地,也在探索联邦迁移学习、横向纵向的结合。

图片

4. 联邦学习与分布式机器学习比较

精度上界:联邦学习不像优化其他具体的排序、召回模型,更像是在数据安全限制下,去推动整个建模。所以,理论上把共享数据下分布式机器学习(Distributed Machine Learning,DML)的结果作为上限。

联邦学习(FL)与分布式机器学习(DML)比较

虽然有人把联邦学习作为一种分布式机器学习的特殊情况,但是与一般的DML相比,联邦学习仍存在如下区别:

  • 存在数据不共享的限制;

  • 各server节点对worker节点控制弱;

  • 通讯频率和成本较高。

二、腾讯联邦学习平台Angel PowerFL

从联邦学习发展开始,腾讯参与度就非常高。包括:制定发布《联邦学习白皮书2.0》、《腾讯安全联邦学习应用服务白皮书》等;基建方面,基于腾讯开源的智能学习平台Angel(https://github.com/Angel-ML/angel),构建PowerFL,目前内部开源;实践方面,在金融、广告、推荐场景,有多次尝试和落地。

1. 工程特色

腾讯联邦学习平台PowerFL除了易部署、兼容性好等机器学习平台基本要求,还有以下五个工程特色:

  • 学习架构:使用去中心化联邦架构,不依赖第三方;

  • 加密算法:实现并改进了各种常见的同态加密、对称和非对称加密算法;

  • 分布式计算:基于 Spark on Angel 的分布式机器学习框架;

  • 跨网络通信:利用 Pulsar 对跨网通信优化,增强稳定性,提供多方跨网络传输接口;

  • 可信赖执行环境:TEE(SGX等)的探索和支持。

2. 算法优化

另外,针对算法侧也做了许多优化:

  • 密文运算重写:基于 C++ GMP 重写密文运算库;

  • 数据求交优化:分别就双方和多方优化,特别是多方侧进行了理论上的改造(改进的 FNP 协议);

  • GP

这篇关于联邦学习在腾讯微视广告投放中的实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/839187

相关文章

Nginx实现高并发的项目实践

《Nginx实现高并发的项目实践》本文主要介绍了Nginx实现高并发的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录使用最新稳定版本的Nginx合理配置工作进程(workers)配置工作进程连接数(worker_co

Spring Retry 实现乐观锁重试实践记录

《SpringRetry实现乐观锁重试实践记录》本文介绍了在秒杀商品SKU表中使用乐观锁和MybatisPlus配置乐观锁的方法,并分析了测试环境和生产环境的隔离级别对乐观锁的影响,通过简单验证,... 目录一、场景分析 二、简单验证 2.1、可重复读 2.2、读已提交 三、最佳实践 3.1、配置重试模板

mac安装nvm(node.js)多版本管理实践步骤

《mac安装nvm(node.js)多版本管理实践步骤》:本文主要介绍mac安装nvm(node.js)多版本管理的相关资料,NVM是一个用于管理多个Node.js版本的命令行工具,它允许开发者在... 目录NVM功能简介MAC安装实践一、下载nvm二、安装nvm三、安装node.js总结NVM功能简介N

Spring Boot 3 整合 Spring Cloud Gateway实践过程

《SpringBoot3整合SpringCloudGateway实践过程》本文介绍了如何使用SpringCloudAlibaba2023.0.0.0版本构建一个微服务网关,包括统一路由、限... 目录引子为什么需要微服务网关实践1.统一路由2.限流防刷3.登录鉴权小结引子当前微服务架构已成为中大型系统的标

Java调用DeepSeek API的最佳实践及详细代码示例

《Java调用DeepSeekAPI的最佳实践及详细代码示例》:本文主要介绍如何使用Java调用DeepSeekAPI,包括获取API密钥、添加HTTP客户端依赖、创建HTTP请求、处理响应、... 目录1. 获取API密钥2. 添加HTTP客户端依赖3. 创建HTTP请求4. 处理响应5. 错误处理6.

golang内存对齐的项目实践

《golang内存对齐的项目实践》本文主要介绍了golang内存对齐的项目实践,内存对齐不仅有助于提高内存访问效率,还确保了与硬件接口的兼容性,是Go语言编程中不可忽视的重要优化手段,下面就来介绍一下... 目录一、结构体中的字段顺序与内存对齐二、内存对齐的原理与规则三、调整结构体字段顺序优化内存对齐四、内

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

C++实现封装的顺序表的操作与实践

《C++实现封装的顺序表的操作与实践》在程序设计中,顺序表是一种常见的线性数据结构,通常用于存储具有固定顺序的元素,与链表不同,顺序表中的元素是连续存储的,因此访问速度较快,但插入和删除操作的效率可能... 目录一、顺序表的基本概念二、顺序表类的设计1. 顺序表类的成员变量2. 构造函数和析构函数三、顺序表

python实现简易SSL的项目实践

《python实现简易SSL的项目实践》本文主要介绍了python实现简易SSL的项目实践,包括CA.py、server.py和client.py三个模块,文中通过示例代码介绍的非常详细,对大家的学习... 目录运行环境运行前准备程序实现与流程说明运行截图代码CA.pyclient.pyserver.py参

使用C++实现单链表的操作与实践

《使用C++实现单链表的操作与实践》在程序设计中,链表是一种常见的数据结构,特别是在动态数据管理、频繁插入和删除元素的场景中,链表相比于数组,具有更高的灵活性和高效性,尤其是在需要频繁修改数据结构的应... 目录一、单链表的基本概念二、单链表类的设计1. 节点的定义2. 链表的类定义三、单链表的操作实现四、