READ-2319 FedEraser: Enabling Efficient Client-Level Data

本文主要是介绍READ-2319 FedEraser: Enabling Efficient Client-Level Data，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

READ-2319 FedEraser: Enabling Efficient Client-Level Data

论文名称	FedEraser: Enabling Efficient Client-Level Data
作者	Gaoyang Liu; Xiaoqiang Ma; Yang Yang; Chen Wang; Jiangchuan Liu
来源	IEEE IWQOS 2021
领域	Machine Learning - Federal learning - Security - Defence – Data poisoning attack
问题	ML中通过遗忘消除投毒攻击影响的方法不能很好的应用在FL领域
方法	利用客户端的历史参数更新来重建非学习模型，并进一步开发了一种校准保留更新的方法，用中央服务器的存储换取未学习模型的构建时间
创新	遗忘恶意客户端的数据

阅读记录

一、总框架

标准FL过程：服务器每隔几轮就保留一次客户端模型，以及其对应的轮次
矫正训练：Calibration Training

初始的矫正全局模型：因为标准FL的初始模型未被目标客户端训练，FedEraser可以直接更新全局模型，而无需在第一个重建时期校准剩余客户端的参数
方法
①让矫正客户端在前一轮校正后的全局模型上进行矫正训练
②在矫正训练后，每个矫正客户端计算当前的更新，并发送给服务器进行矫正

更新矫正：Update Calibrating

方法
①服务器获得每个客户端关于校准的全局模型的当前更新
②使用当前更新计算矫正值
矫正

U：服务器保留的客户端更新
^：客户端在前一轮矫正全局模型上训练得到的更新
~：保留的客户端更新需要矫正的值
绝对值：表示需要矫正的全局模型参数的值
范数：需要矫正的全局模型的方向

矫正更新聚合：Calibrated Update Aggregating
聚合矫正值

w：由数据量占比计算的客户端权重
未学习的模型更新：Unlearned Model Updating
矫正全局模型

M：当前的全局模型
U：聚合的矫正更新
伪代码

在这里插入图片描述

二、时间损耗分析

1.服务器保留了几轮更新就需要重训练几轮
2.矫正客户端只需要训练少量epoch

总结

FedEraser通过在标准FL之后，附加矫正训练，消除某一个客户端在训练过程中对全局模型的影响。在标准FL中，服务器每隔一段时间就保留一次客户端更新。在矫正训练中，良性客户端重新训练，根据重训练更新确定方向，根据收集的更新确定更新值，最终服务器聚合矫正值，获得矫正模型。
在这个过程中存在一些问题：