FedAsync Asynchronous Federated Optimization

2024-03-05 23:12

本文主要是介绍FedAsync Asynchronous Federated Optimization,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • Introduction
  • Methodology
  • Convergence analysis
  • Experiments

Introduction

联邦学习有三个关键属性:

  1. 不频繁的任务激活。对于弱边缘设备,学习任务只在设备空闲、充电、连接非计量网络时执行.
  2. 沟通不频繁。边缘设备和远程服务器之间的连接可能经常不可用、缓慢或昂贵(就通信成本或电池电量使用而言)。
  3. 非iid训练数据。对于联邦学习,不同设备上的数据是不相交的,因此可能代表来自总体的非相同分布的样本。

存在的问题:

  • 联邦学习通常是使用同步方法实现的,由于离散者的存在,同步方法可能会很慢。当处理大量边缘设备时,可能会有大量的掉队者。由于不同设备的可用性和完成时间不同,由于计算能力和电池时间的限制,全局同步是困难的,特别是在联邦学习场景中。

解决方案:

  • 异步训练[9,14,15]被广泛应用于传统的分布式随机梯度下降(SGD)算法中,以解决离散者和异构延迟问题[9,14,15]。在本文中,我们利用异步训练的优势,并将其与联邦优化相结合。提出了一种新的异步联邦优化算法。关键思想是:
  1. 解决正则化的局部问题以保证收敛性;
  2. 然后使用加权平均来更新全局模型,其中混合权值作为过时性的函数自适应设置。

本文贡献:

  • 提出了一种新的异步联邦优化算法和原型系统设计。
  • 我们证明了该方法对于一类受限的非凸问题的收敛性。
  • 我们提出了控制由异步引起的错误的策略。为此,我们引入了一个混合超参数,该参数可以自适应地控制收敛速度和方差减少之间的权衡。
  • 我们的经验表明,所提出的算法收敛速度快,并且在实际设置中通常优于同步联邦优化。

Methodology

服务器和工作器异步地进行更新,也就是说,服务器在接收到本地模型时立即更新全局模型。服务器和工作线程之间的通信是非阻塞的。因此,服务器和工作人员可以随时更新模型而不需要同步,这对于设备具有异构条件时是有利的。
在这里插入图片描述

  • 在服务器端,调度器和更新程序异步并行运行。调度程序周期性地触发训练任务,并控制训练任务的延迟(更新t-T)
  • 更新器从worker接收模型并更新全局模型。我们的架构允许在全局模型上使用读写锁的多个更新线程,这提高了吞吐量。
  • 更新全局模型时,更大的过时性会导致更大的错误
  • 对于陈旧度较大(t−τ)的局部模型,我们可以减小α来减轻陈旧度带来的误差。
  • 如算法1所示,我们可以选择使用函数s(t−τ)来确定α的值。一般来说,当t = τ时,s(t−τ)应为1,当(t−τ)增大时,s(t−τ)单调减小。
    在这里插入图片描述

Convergence analysis

收敛性证明,有心情的时候再看在这里插入图片描述

在这里插入图片描述

Experiments

数据集:CIFAR-10和WikiText-2。训练集被划分为n=100个设备。小批量大小分别为50和20。
基线算法是引入的FedAvg,它实现了同步联邦优化。对于fedag,在每个epoch中,随机选择k = 10个设备启动本地更新。我们还将单线程SGD作为基准。对于FedAsync,我们通过从均匀分布中随机采样陈旧度(t−τ)来模拟异步

我们用不同的学习率γ、正则化权值ρ、混合超参数α和过时性来测试FedAsync

这篇关于FedAsync Asynchronous Federated Optimization的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/778121

相关文章

【Derivation】Convex Optimization

Separation theorems and supporting hyperplanes(分离定理与支撑超平面)        Inner and outer polyhedral approximations.(内部与外部多面体逼近)        Let C belongs to Rn be a closed convex set.and suppose that x1,...xk a

[论文笔记]Circle Loss: A Unified Perspective of Pair Similarity Optimization

引言 为了理解CoSENT的loss,今天来读一下Circle Loss: A Unified Perspective of Pair Similarity Optimization。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 这篇论文从对深度特征学习的成对相似度优化角度出发,旨在最大化同类之间的相似度 s p s_p s

电路笔记(通信):UART Universal Asynchronous Receiver/Transmitter+电缆信号完整性改善

UART协议概述 URAT(Universal Asynchronous Receiver/Transmitter)协议用于在两个设备之间进行数据传输。UART协议因其简单性和广泛应用而成为串行通信的一个基本选择,适合各种数据传输需求的应用。 异步传输 定义: UART是一种异步串行通信协议,这意味着数据在传输过程中不依赖于时钟信号,而是通过约定的波特率(baud rate)来同步数据传输。

深入理解DPO(Direct Preference Optimization)算法

目录 1. 什么是DPO?2. Bradley-Terry模型2.1 奖励模型的训练 3. 从PPO到DPO4. DPO的简单实现5. 梯度分析Ref 1. 什么是DPO? 直接偏好优化(Direct Preference Optimization, DPO)是一种不需要强化学习的对齐算法。由于去除了复杂的强化学习算法,DPO 可以通过与有监督微调(SFT)相似的复杂度实现模型对

OS 64)指定的网络名不再可用 : winnt_accept: Asynchronous AcceptEx failed.

最近在Apache服务器上部署了php项目之后一直报:OS 64)指定的网络名不再可用  : winnt_accept: Asynchronous AcceptEx failed. 一分钟都会有两次这样的错误。 解决方法: 在Apache配置文件httpd.conf中添加: <IfModule mpm_winnt.c> ThreadsPerChild 1000 MaxRequestsPe

论文速览【LLM】 —— 【ORLM】Training Large Language Models for Optimization Modeling

标题:ORLM: Training Large Language Models for Optimization Modeling文章链接:ORLM: Training Large Language Models for Optimization Modeling代码:Cardinal-Operations/ORLM发表:2024领域:使用 LLM 解决运筹优化问题 摘要:得益于大型语言模型

Introduction to linear optimization 第二章全部课后题答案

费了好长时间,终于把这本经典理论教材第二章的课后题做完了。大部分都是证明题,很多都是比较有难度的。 不少题我参考了网上找到的一些资料的思路,但是有一些题目我觉得这些网上找到的答案也不太好,自己修正完善了下,少部分题目自己独立完成。 我把答案放在一个 Jupyter book 上,见链接:第二章答案

蛇优化算法(Snake Optimization, SO)优化RBF神经网络的扩散速度实现多数入多输出数据预测,可以更改数据集(MATLAB代码)

一、蛇优化算法优化RBF神经网络的扩散速度原理介绍 RBF神经网络的扩散速度通常与它的径向基函数的宽度参数(σ)有关,这个参数控制了函数的径向作用范围。在高斯核函数中,当σ值较大时,函数的扩散速度较快,即它的影响范围更广,对输入数据的局部变化不太敏感;而σ值较小时,函数的扩散速度较慢,影响范围较小,对输入数据的局部变化更加敏感 。 RBF神经网络通过使用高斯函数作为隐含层激活函数,实现了从低维

Introduction to linear optimization 第 2 章课后题答案 11-15

线性规划导论 Introduction to linear optimization (Dimitris Bertsimas and John N. Tsitsiklis, Athena Scientific, 1997), 这本书的课后题答案我整理成了一个 Jupyter book,发布在网址: https://robinchen121.github.io/manual-introductio

MySQL limit子句用法及优化(Limit Clause Optimization)

在MySQL中,如果只想获取select查询结果的一部分,可以使用limit子句来限制返回记录的数量,limit在获取到满足条件的数据量时即会立刻终止SQL的执行。相比于返回所有数据然后丢弃一部分,执行效率会更高。 文章目录 一、limit子句用法示例1.1 基本用法1.2 limit和order by1.2.1 排序瓶颈优化 二、limit分页优化2.1 延迟关联2.2 转换为位置查询2