本文主要是介绍联邦学习论文阅读:Asynchronous Federated Optimization,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
这是UIUC的一篇刚刚挂在arXiv上的文章:Asynchronous Federated Optimization。
我对边缘计算和异步算法不太了解,直观的理解是作为一个user,我上传的梯度参数是延迟的,也就是说central server当前已经更新过这次的梯度了,并且已经开始计算下一次甚至下下次的global gradient了,那么我这次的参数实际上是混在其他用户下一次更新的数据中的。
需要考虑的问题可能有:
1)有延迟后是否还能最终收敛? 2)有延迟是否会让收敛变慢?
作者主要也是考虑这两个问题,提出了一个超参 α {\alpha} α,用于控制延迟的更新参数的权重。
摘要
之前联邦学习都是同步更新模型,对于横向联邦学习框架,手机端由于内存小,通信问题很容易造成上传延迟或是丢包等
这篇关于联邦学习论文阅读:Asynchronous Federated Optimization的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!