【论文笔记 | 异步联邦】Asynchronous Federated Optimization

2024-04-16 18:28
文章标签 笔记 异步 论文 federated optimization asynchronous 联邦

本文主要是介绍【论文笔记 | 异步联邦】Asynchronous Federated Optimization，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

论文信息

Asynchronous Federated Optimization，OPT2020: 12th Annual Workshop on Optimization for Machine Learning，不属于ccfa

introduction

背景：联邦学习有三个关键性质

  1. 任务激活不频繁（比较难以达成条件）：对于弱边缘设备，学习任务只在设备空闲、充电、连接非计量网络时执行
  2. 通信不频繁：边缘设备和远程服务器之间的连接可能经常不可用、缓慢或昂贵(就通信成本或电池电量使用而言)
  3. 非iid训练数据： 联邦学习不同设备上的数据不相交，因此可能代表来自总体的非相同分布的样本

挑战：系统异构导致的“掉队者”问题

不同设备的计算和通信能力不同，可能会有很多弱设备无法按时完成本地更新任务

解决的问题：

  1. 解决正则化的局部问题保证收敛性
  2. 使用加权平均更新全局模型，其中混合权值作为过时性的函数自适应设置 α

贡献点：

  1. 提出了新的异步联邦优化算法，给出了原型系统设计
  2. 证明了该方法对于一类受限的非凸问题的收敛性
  3. 提出了控制由异步引起的错误的策略。引入一个混合超参数 α，可以自适应地控制收敛速度和方差减少之间的权衡
  4. 实验表明提出的算法收敛速度快，并且在实际设置中通常优于同步联邦优化。

问题描述：System model/架构/对问题的形式化描述

对问题的形式化描述

符号定义
在这里插入图片描述
在这里插入图片描述

0：调度程序通过协调程序触发训练
1,2: worker通过coordinator从server接收模型xt−τ
3 :worker按照算法1计算本地更新。Worker可以在工作和空闲两种状态之间切换
4,5,6:worker通过协调器将本地更新的模型推送到服务器。协调器将5中接收到的模型排成队列，并将它们依次提供给6中的更新程序。
7、8:服务器更新全局模型，并使其准备好在协调器中读取。在系统中，1和5是异步并行运行的

t：当前的全局模型版本
t - τ：设备接收到的全局模型版本
τ：过时度

解决方法

执行流程：

在这里插入图片描述

t：当前的全局模型版本
τ：设备接收到的全局模型版本
t - τ：过时度

挑战问题怎么解决：

  • 解决掉队者问题：允许异步聚合
  • 利用在这里插入图片描述
    ，调整 当前全局模型 与 从设备端接收到的模型 的 权重，完成对全局模型的更新在这里插入图片描述
    ，目的是降低陈旧模型的权重，减少陈旧模型对全局模型的负面影响

在这里插入图片描述
在这里插入图片描述

s( )需要满足两个条件

  • t = τ 时，模型是最新的，即 s（t-τ）=1
  • 随着 t-τ 的增加， s（t-τ）减少 s( ) 可以设置成以下三种形式 在这里插入图片描述

性能保证：

收敛性分析（略）

效果：重点是实验设计，每一部分实验在验证论文中的什么结论

实验设置

数据集：CIFAR-10 和 WikiText-2。训练集被划分为n = 100个设备。小批量分别为50个和20个。
Baseline：

  • FedAvg：在每个epoch中，随机选择k = 10个设备启动本地更新
  • 单线程SGD
  • FedAsync，通过从均匀分布中随机采样陈旧度(t−τ)来模拟异步
    每个实验重复10次，取平均值。

对比实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

实验效果：

  • FedAsync的收敛速度一般介于单线程SGD和fedavg之间。较大的α值和较小的陈旧度 使FedAsync更接近单线程SGD。较小的α和较大的陈旧度 使得FedAsync更接近fedavg。
  • 根据经验，FedAsync通常对超参数不敏感。当偏差较大时，可以通过调整α来提高收敛性。如果没有自适应α，则α越小越好。对于自适应α，经验上的最佳选择是 FedAsync+Hinge。FedAsync+Poly和FedAsync+Hinge具有类似的性能。
  • 与fedavg相比，FedAsync的性能与fedavg一样好，在大多数情况下甚至更好。当陈旧度较小时，FedAsync的收敛速度比fedag快得多。当陈旧度较大时，FedAsync仍然可以达到与fedag相似的性能。

(备选)自己的思考

异步 FL ：一个FL生态中有一个Server，多个Device，其中不同device 的计算能力、通信资源以及本地数据集不同，导致device 进行本地模型训练所需的时间不同，有快有慢。传统FL 需要等待所有的device 完成本地模型训练后，server 端才会按照选定的策略（eg：加权平均）进行聚合。但是异步FL 不需要等待，只要涉及训练的device 中有一个完成训练，就可以上传到Server 端完成聚合。

问题： server 端 updater 顺次从 coordinater上获取 Xnew 进行模型更新，假设当最新的模型为 X3
，但其他模型都没训练完成时，全局模型再次更新为 X4，X3是会轮空还是？ 思考：目前的论文大部分其实是半异步，就是 Server
端会等待一个固定时间 T 之后进行全局模型聚合，或者等待固定个数 n 个模型后进行聚合。而且一般情况下为了获得较好的模型，实验设定的
device 数都不会很少，基本不需要考虑这样的情况，也就是问题不存在 通过允许 Plato 代码得出， client 端和 fedavg
流程一致，只对算法进行修改 主要的修改在server

动机，通过什么方法解决，达到了什么效果，有什么可以改进的地方

论文对你的启发，包括但不限于解决某个问题的技术、该论文方法的优缺点、实验设计、源码积累等。
备注：

  1. 不是每一篇论文都有以上内容，但是尽可能按照以上思路读论文、总结论文。
  2. 注意用自己的话总结以上内容，不要整篇翻译论文，而且不推荐使用类似知云翻译这种软件读论文。建议直接读英文原文，有不理解或者不知道的词可以翻译记录。
  3. 读论文的过程中，一定要多问为什么，多考虑这个问题存不存在、这个方法能不能解决，不要盲目迷信论文作者。
  4. 读论文的目的在于调研本领域的研究内容，发现问题，提出自己的想法，刷论文数量没有意义，需要发现读过论文对自己研究的价值。
  5. 当发现论文中存在自己不了解的技术或者方法，首先进行调研，不要有畏难的心理，多掌握一门工具能帮助你解决自己的研究问题。

这篇关于【论文笔记 | 异步联邦】Asynchronous Federated Optimization的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/909562。

相关文章

AI hospital 论文Idea

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境，人类医生（即医学学习者）可以在其中与患者代理进行医学
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文阅读笔记: Segment Anything

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear
阅读更多...
数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中有一个或几个非线性函数的最优化问题的方法。运筹学的一个重要分支。2
阅读更多...
【C++学习笔记 20】C++中的智能指针

【C++学习笔记 20】C++中的智能指针

智能指针的功能 在上一篇笔记提到了在栈和堆上创建变量的区别，使用new关键字创建变量时，需要搭配delete关键字销毁变量。而智能指针的作用就是调用new分配内存时，不必自己去调用delete，甚至不用调用new。 智能指针实际上就是对原始指针的包装。 unique_ptr 最简单的智能指针，是一种作用域指针，意思是当指针超出该作用域时，会自动调用delete。它名为unique的原因是这个
阅读更多...
查看提交历史 —— Git 学习笔记 11

查看提交历史 —— Git 学习笔记 11

查看提交历史 查看提交历史 不带任何选项的git log-p选项--stat 选项--pretty=oneline选项--pretty=format选项git log常用选项列表参考资料 在提交了若干更新，又或者克隆了某个项目之后，你也许想回顾下提交历史。 完成这个任务最简单而又有效的 工具是 git log 命令。 接下来的例子会用一个用于演示的 simplegit
阅读更多...
记录每次更新到仓库 —— Git 学习笔记 10

记录每次更新到仓库 —— Git 学习笔记 10

记录每次更新到仓库 文章目录 文件的状态三个区域检查当前文件状态跟踪新文件取消跟踪（un-tracking）文件重新跟踪（re-tracking）文件暂存已修改文件忽略某些文件查看已暂存和未暂存的修改提交更新跳过暂存区删除文件移动文件参考资料 咱们接着很多天以前的 取得Git仓库 这篇文章继续说。 文件的状态 不管是通过哪种方法，现在我们已经有了一个仓库，并从这个仓
阅读更多...
忽略某些文件 —— Git 学习笔记 05

忽略某些文件 —— Git 学习笔记 05

忽略某些文件 忽略某些文件 通过.gitignore文件其他规则源如何选择规则源参考资料 对于某些文件，我们不希望把它们纳入 Git 的管理，也不希望它们总出现在未跟踪文件列表。通常它们都是些自动生成的文件，比如日志文件、编译过程中创建的临时文件等。 通过.gitignore文件 假设我们要忽略 lib.a 文件，那我们可以在 lib.a 所在目录下创建一个名为 .gi
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2