详解FedProx：FedAvg的改进版 Federated optimization in heterogeneous networks

2024-06-10 22:36
文章标签 详解 federated optimization networks 改进版 heterogeneous fedavg fedprox

本文主要是介绍详解FedProx：FedAvg的改进版 Federated optimization in heterogeneous networks，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

FedProx：2020 FedAvg的改进

论文：《Federated Optimization in Heterogeneous Networks》
引用量：4445
源码地址：
官方实现（tensorflow）https://github.com/litian96/FedProx
几个pytorch实现：https://github.com/ki-ljl/FedProx-PyTorch ，https://github.com/rruisong/pytorch_federated_learning
针对的问题：
在FL中，多个client并行训练本地模型，然后server将这些局部模型聚合起来得到全局模型，在这个过程中，有两个困难点：

  1. 系统异构System Heterogeneity：各client的计算能力、存储能力、通信能力各不相同，等待落后的局部模型会拖慢整个系统的训练速度，但抛弃这些落后的client会影响全局模型的精度；
  2. 统计异构Statistical Heterogeneity：不同client间的数据是Non-IID的，此外还有数据unbalanced的情况；

FedAvg是FL中最基本的算法，但是针对上述两个难点，仍有一定问题，表现如下：

  1. 在系统异构方面：FedAvg几乎没有考虑系统异构，在实际中，当部分client在规定时间内没有完成训练时，不管是drop这些模型还是直接聚合未训练完成的模型，都会影响全局模型的acc。
  2. 在统计异构方面：FedAvg较好得解决了统计异构的难点，也正因此让它成为当时FL中的SOTA，但在算法上仍有改进的空间。
  3. 其他：FedAvg通过实验证明了其有效性，但缺少理论上对于收敛速度等指标的分析。

论文贡献：
针对FedAvg的不足，作者提出了FedProx算法，该算法能很好地处理异构性，且具有理论保障。在实验中，FedProx能比FedAvg更健壮地收敛，且在高异构地环境下，FedProx比FedAvg有更稳定和准确地收敛，平均提高22%的绝对测试精度。
算法介绍：
FedProx算法在FedAvg算法的基础上进行了两个改动，分别是：

  1. 针对系统异构性问题，FedProx允许出现训练不充分的局部模型（γ-inexact solution）。

不论一个局部模型是否完成了“本地训练”（固定epoch），FedProx会整合所有参与训练的局部模型，这意味着FedProx不需要所有局部模型训练得很精确。
定义1
首先，作者给出了定义1，提出了γ-inexact solution，对于一个待优化的目标函数 h ( w ; w 0 ) h(w;w_0) h(w;w0​)，如果有：
∣ ∣ ∇ h ( w ∗ ; w 0 ) ∣ ∣ ≤ γ ∣ ∣ ∇ h ( w 0 ; w 0 ) ∣ ∣ ||\nabla h(w^*;w_0)||\leq\gamma||\nabla h(w_0;w_0)|| ∣∣∇h(w∗;w0​)∣∣≤γ∣∣∇h(w0​;w0​)∣∣
这里的 γ ∈ [ 0 , 1 ] \gamma\in[0,1] γ∈[0,1]，我们就说 w ∗ w^* w∗是 h h h的一个 γ-不精确解。
对这个定义，我们可以这样理解：梯度越小越精确，因为梯度大了，模型就需要更多的时间去收敛。那么在这里的 γ 如果越小，我们的解 w ∗ w^* w∗就越精确。这个 γ 就是用于描述在优化问题中的近似解的准确程度。
简单来说就是，这里的 γ 对应着局部模型的训练完成度，γ 越小，局部模型训练完成度就越高。
定义2
在FedProx中，允许随着 k 和 t 的不同，有不同的精确解，所以作者提出了定义2。 γ k t \gamma_k^t γkt​衡量了第 k 个client在全局第 t 次迭代（或者说通信）中本地计算量。总之，定义2中的 γ 和定义1中的含义仍是一致的，只不过相比于定义1，定义2中将目标函数和梯度的计算方法引入到分布式场景上，这样定义的 γ k t \gamma_k^t γkt​近似解适用于衡量每个client的解在近似程度上的准确度。也就是说在不同轮的FL中，每个client不用都完成相同的epoch次本地训练，而是可以根据自己的算力等情况去决定自己在当前通信轮要完成几个epoch次本地训练。
注意：作者在实验中并没有真正自适应地去设置 γ 的大小，而是让不同的client去完成不同epoch次本地训练来模拟不同client算力不同的场景。（所以这个 γ 只是作者用来说明问题而提出的一个概念而已）

  1. 针对统计异构，局部模型的目标函数在原损失函数基础上加上了近端项（proximal term）。

这里的近端项Proximal term正是算法名FedProx的由来。
我们知道，在FedAvg中，k号client在本地训练时，需要最小化的目标函数为：
F k ( w ) = 1 n k ∑ i ∈ P k f i ( w ) F_k(w)=\frac{1}{n_k}\sum_{i\in P_k}f_i(w) Fk​(w)=nk​1​∑i∈Pk​​fi​(w)
简单来说就是，每个client都是优化自己的所有样本的损失和，这是个正常的思路，目的是让全局模型在自己本地数据集上表现更好。
但是，当client之间各自的数据是Non-IID时，每个client优化之后的局部模型就会跟全局模型相去甚远了，局部模型会偏离全局模型，这会减缓全局模型的收敛。
为了限制这种偏差，作者提出了新的方案，修改了k号client在本地训练时需要最小化的目标函数为：
h k ( w ; w t ) = F k ( w ) + μ 2 ∣ ∣ w − w t ∣ ∣ 2 h_k(w;w^t)=F_k(w)+\frac{\mu}{2}||w-w^t||^2 hk​(w;wt)=Fk​(w)+2μ​∣∣w−wt∣∣2
加号的左边就是原来FedAvg的损失函数，作者在其基础上，加上了一个近端项proximal term。引入近端项之后，client在本地训练后得到的模型参数 w w w将不会与初始时server下发的参数 w t w^t wt偏离太多。
作者指出引入近端项的两个优点：

  1. 通过限制局部更新，让其更接近全局模型的方式，而不需要手动设置局部epoch，解决了统计异构性的问题；
  2. 允许安全合并由系统异构产生的可变数量的局部工作。

观察上式，当 μ =0 时，FedProx的优化目标就和FedAvg一致了。
这种思路还是很常见的，在机器学习中，为了防止过调节，亦或者为了限制参数变化，会在损失函数里加上一个类型的项，用于惩罚那些偏离过大的情况。
FedProx算法伪代码
输入：client总数 K、通信轮数 T、μ 和 γ、server初始化参数 w 0 w^0 w0，被选中的client个数 N、第 k 个client被选中的概率 p k p_k pk​。（注意：相比于FedAvg那篇论文是随机选client，本文是有概率的选择，作者说这样对两种算法更稳定，但这会不会造成不公平呢？）
对每一轮通信：

  1. server首先根据概率 p k p_k pk​随机选出一批client，它们的集合为 S t S_t St​。
  2. server将当前全局模型的参数 w t w^t wt发送给被选中的clients。
  3. 每一个被选中的client需要寻找到一个 w k t + 1 w_k^{t+1} wkt+1​，这里的 w k t + 1 w_k^{t+1} wkt+1​不再是FedAvg中根据本地SGD优化得到的，而是优化 h k ( w ; w t ) = F k ( w ) + μ 2 ∣ ∣ w − w t ∣ ∣ 2 h_k(w;w^t)=F_k(w)+\frac{\mu}{2}||w-w^t||^2 hk​(w;wt)=Fk​(w)+2μ​∣∣w−wt∣∣2后得到的 γ-不精确解。
  4. 每个client将得到的不精确解传递回server，server聚合这些参数得到下一轮的初始参数。

综上，总结一下来说就是，FedProx在FedAvg上做了两点改进：

  • 引入近端项，限制了因为统计异构性导致的模型偏离；
  • 引入了不精确解，各个client不再需要训练相同的轮数，只需要得到一个不精确解，这有效缓解了某些设备的计算压力；

实验：
数据集方面，本文实验使用了5个数据集，包含1个合成数据集和4个经典数据集。合成数据集Synthetic data（α；β），其中 α 控制局部模型之间的差异，β 控制每个client的本地数据之间的差异。经典数据集为：MNIST、FEMNIST（Non-IID版的MNIST，由不同作者手写的0-9、A-Z、a-z的数据集）、Shakespeare（莎士比亚作品数据集，同FedAvg）、Sent140（Non-IID，一个文本数据集，内容为一条条推文，标签为positive/negative二分类）。
关于系统异构的实验：
Baseline：FedProx会为0%、50%、90%的被选定的client分别设定 x 个epoch（ x 是在 [1, E]之间均匀随机选择）。而FedAvg会简单放弃这些0%、50%、90%的clients。这模拟的是不同client之间的算力不同。
系统异构
橙线为标准的FedAvg、粉线为近端项为0的FedProx（相当于有系统异构但没有近端项的FedAvg）、蓝线为FedProx。
第一行相当于消融实验，证明了近端项Proximal term对FedProx具有优化作用。
第二、三行，证明了FedProx收敛效果基本比FedAvg要好。

关于统计异构的实验：
统计异构
合成数据集的两个参数越大，表明client数据分布越Non-IID。
第一列，说明当数据分布IID时，FedProx收敛速度和最终结果是不如FedAvg的，作者解释说是在IID情况下，FedProx包含的近端项没有带来改善。
第二、三、四列，可见在数据分布Non-IID时，FedProx比FedAvg更有优势。
注意：上面只是论文正文中的实验结果，附录中也有不少实验结果图，大致看了一下发现，在某些数据集的Non-IID条件下，FedProx也没有特别明显的优势。
此外，作者还给出了一个trick：μ 可以根据模型当前的情况自适应去选择，一种简单的做法是当loss增加时增加 μ，当loss减少时减少 μ。这种动态变化的 μ 会使FedProx的收敛效果更好。
总结展望：
系统异构和统计异构对FedAvg提出了挑战，作者在FedAvg的基础上提出了FedProx，主要有两点改进：

  1. 系统异构方面，考虑到不同client间的算力差异，引入了不精确解，不同的client不需要训练相同的epoch，只需要得到一个不精确解即可。
  2. 统计异构方面，引入了近端项，限制了局部模型训练时对全局模型的偏离。

本文在系统异构方面主要关注的是算力的差异，如果是其他资源比如网络，有没有处理方法？

这篇关于详解FedProx：FedAvg的改进版 Federated optimization in heterogeneous networks的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1049457。

相关文章

Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息，即可快速实现设备配网，是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递，利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力，实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后，即可发送相关配网数据。同时还支持与常规Sof
阅读更多...
6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

上篇：6.1.数据结构-c/c++模拟实现堆上篇（向下，上调整算法，建堆，增删数据）-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小)： 2.2 C语言代码（手写堆） 2.3 C++代码（使用优先级队列 priority_queue）
阅读更多...
K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述： 安装步骤： 安装Docker：K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master：在集群中选择一台主机作为Master节点，安装K8S的控制平面组件，如AP
阅读更多...
嵌入式Openharmony系统构建与启动详解

嵌入式Openharmony系统构建与启动详解

大家好，今天主要给大家分享一下，如何构建Openharmony子系统以及系统的启动过程分解。 第一：OpenHarmony系统构建      首先熟悉一下，构建系统是一种自动化处理工具的集合，通过将源代码文件进行一系列处理，最终生成和用户可以使用的目标文件。这里的目标文件包括静态链接库文件、动态链接库文件、可执行文件、脚本文件、配置文件等。      我们在编写hellowor
阅读更多...
LabVIEW FIFO详解

LabVIEW FIFO详解

在LabVIEW的FPGA开发中，FIFO（先入先出队列）是常用的数据传输机制。通过配置FIFO的属性，工程师可以在FPGA和主机之间，或不同FPGA VIs之间进行高效的数据传输。根据具体需求，FIFO有多种类型与实现方式，包括目标范围内FIFO（Target-Scoped）、DMA FIFO以及点对点流（Peer-to-Peer）。 FIFO类型 **目标范围FIFO（Target-Sc
阅读更多...
019、JOptionPane类的常用静态方法详解

019、JOptionPane类的常用静态方法详解

目录 JOptionPane类的常用静态方法详解 1. showInputDialog()方法 1.1基本用法 1.2带有默认值的输入框 1.3带有选项的输入对话框 1.4自定义图标的输入对话框 2. showConfirmDialog()方法 2.1基本用法 2.2自定义按钮和图标 2.3带有自定义组件的确认对话框 3. showMessageDialog()方法 3.1
阅读更多...
脏页的标记方式详解

脏页的标记方式详解

脏页的标记方式 一、引言 在数据库系统中，脏页是指那些被修改过但还未写入磁盘的数据页。为了有效地管理这些脏页并确保数据的一致性，数据库需要对脏页进行标记。了解脏页的标记方式对于理解数据库的内部工作机制和优化性能至关重要。 二、脏页产生的过程 当数据库中的数据被修改时，这些修改首先会在内存中的缓冲池（Buffer Pool）中进行。例如，执行一条 UPDATE 语句修改了某一行数据，对应的缓
阅读更多...
OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配） 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super
阅读更多...
web群集--nginx配置文件location匹配符的优先级顺序详解及验证

web群集--nginx配置文件location匹配符的优先级顺序详解及验证

文章目录 前言优先级顺序优先级顺序(详解)1. 精确匹配（Exact Match）2. 正则表达式匹配（Regex Match）3. 前缀匹配（Prefix Match） 匹配规则的综合应用验证优先级 前言 location的作用 在 NGINX 中，location 指令用于定义如何处理特定的请求 URI。由于网站往往需要不同的处理方式来适应各种请求，NGINX 提供了多种匹
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2