FedDefender: Client-Side Attack-Tolerant Federated Learning

2024-03-07 03:28

本文主要是介绍FedDefender: Client-Side Attack-Tolerant Federated Learning,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

与现有的大部分方法不同,FedDefender是在客户端层面的防御机制。
方法叠的有点多

在这里插入图片描述
大部分方法都在④这一步防御,通过设计鲁邦的聚合策略等,但是本文通过修改本地训练策略,来更新模型,文章主要基于两个观点:

  1. 本地模型不容易过拟合噪声
  2. 知识蒸馏传递正确的全局信息

在这里插入图片描述

Step 1. 本地元更新

我们通过元学习以鲁棒的方式训练良性局部模型。目标是发现模型的参数,即使在被噪声信息干扰后也能产生准确的预测。为了实现这一点,首先生成一个有噪声的合成标签,然后应用一个梯度更新来扰动局部网络参数。然后,计算扰动网络预测正确输出的梯度,并利用梯度优化原始局部模型。

作者认为,用传统的损失函数训练得到的模型,很容易会对恶意用户产生的噪声过拟合,因此可以给局部模型“打疫苗”,先用生成的噪声去训练。

过多的扰动会使模型的决策边界过度变形,导致性能下降。为了减轻这种严重变形的风险,我们通过转移来自类似样本的标签来创建更逼真的噪声标签,这些标签类似于y的分布。

1. 得到 θ ~ k \tilde{\theta}_k θ~k

怎么做呢,就是用模型的特征提取层,就是中间随便找一层,得到特征分布,然后计算与他特征分布最接近top-k个,然后随机选择一个作为他的新标签。

因为是top-k个中随机选择一个,因此大部分选中的还是和他一样的标签,小概率选中其他的标签,就防止噪声过大了。

得到这个带有噪声的数据集之后,用这个数据集进行一次正常的梯度下降。
在这里插入图片描述

2. 用 θ ~ k \tilde{\theta}_k θ~k在原始数据集上训练,得到的梯度给 θ k \theta_k θk

进行了一次正常的梯度下降,得到的模型我们称之为 θ ~ k \tilde{\theta}_k θ~k

然后就是,用这个使用噪声数据集训练一步的模型 θ ~ k \tilde{\theta}_k θ~k,去原始数据集 X \mathcal{X} X上算一个分类的损失,然后用这个损失,去更新原来的模型 θ k {\theta}_k θk。反正 θ ~ k \tilde{\theta}_k θ~k就只是个工具人,只是为了训练出来,然后计算他在原始数据集上的梯度,将它的梯度给本来的模型用。具体为什么论文也没说。就说这样可以防止局部模型在训练过程中受到合成噪声的污染。
因为 θ ~ k \tilde{\theta}_k θ~k可以将噪声正确的区分?所以 θ ~ k \tilde{\theta}_k θ~k的梯度比较好用吗。
在这里插入图片描述

Step 2. 全局知识蒸馏

1. 辅助网络知识蒸馏

考虑到上一步的元更新局部模型,我们使用中间特征映射将全局知识蒸馏应用于辅助分类器,以抵消对污染全局模型的不利影响。在辅助分类器和原始分类器之间进行自知识蒸馏,进一步将全局知识整合到局部模型的更深层中。

深层神经网络中的深层更容易过度拟合噪声(即记忆),这是由于基于梯度下降的优化的固有性质。在这种情况下,FedDefender将全局知识转移到局部模型的浅层中间部分,以减少虚假信息的不利影响。

在这里插入图片描述
将一个模型分成两部分,全部模型和中间部分,用全部模型的输出当教师网络去训练中间层,这一部分设计知识蒸馏,不太懂。

然后又生成一个新的数据集 X ^ \hat{\mathcal{X}} X^ X ^ \hat{\mathcal{X}} X^里的 y ^ \hat{y} y^是如下公式替换的:
在这里插入图片描述

就是计算全局模型的输出和真实的标签的余弦相似度,修正一下标签。
然后上面的公式11就变成了
在这里插入图片描述

2. 辅助自蒸馏

在这里插入图片描述
看不下去了,这部分先放着

这一套组合拳,光损失就有五个,我都不敢想时间复杂度有多高。

这篇关于FedDefender: Client-Side Attack-Tolerant Federated Learning的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/782254

相关文章

简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(1) 简单的Q-learning|小明的一维世界(2) 一维的加速度世界 这个世界,小明只能控制自己的加速度,并且只能对加速度进行如下三种操作:增加1、减少1、或者不变。所以行动空间为: { u 1 = − 1 , u 2 = 0 , u 3 = 1 } \{u_1=-1, u_2=0, u_3=1\} {u1​=−1,u2​=0,u3​=1}

简单的Q-learning|小明的一维世界(2)

上篇介绍了小明的一维世界模型 、Q-learning的状态空间、行动空间、奖励函数、Q-table、Q table更新公式、以及从Q值导出策略的公式等。最后给出最简单的一维位置世界的Q-learning例子,从给出其状态空间、行动空间、以及稠密与稀疏两种奖励函数的设置方式。下面将继续深入,GO! 一维的速度世界 这个世界,小明只能控制自己的速度,并且只能对速度进行如下三种操作:增加1、减

Learning Memory-guided Normality for Anomaly Detection——学习记忆引导的常态异常检测

又是一篇在自编码器框架中研究使用记忆模块的论文,可以看做19年的iccv的论文的衍生,在我的博客中对19年iccv这篇论文也做了简单介绍。韩国人写的,应该是吧,这名字听起来就像。 摘要abstract 我们解决异常检测的问题,即检测视频序列中的异常事件。基于卷积神经网络的异常检测方法通常利用代理任务(如重建输入视频帧)来学习描述正常情况的模型,而在训练时看不到异常样本,并在测试时使用重建误

Learning Temporal Regularity in Video Sequences——视频序列的时间规则性学习

Learning Temporal Regularity in Video Sequences CVPR2016 无监督视频异常事件检测早期工作 摘要 由于对“有意义”的定义不明确以及场景混乱,因此在较长的视频序列中感知有意义的活动是一个具有挑战性的问题。我们通过在非常有限的监督下使用多种来源学习常规运动模式的生成模型(称为规律性)来解决此问题。体来说,我们提出了两种基于自动编码器的方法,以

COD论文笔记 Adaptive Guidance Learning for Camouflaged Object Detection

论文的主要动机、现有方法的不足、拟解决的问题、主要贡献和创新点如下: 动机: 论文的核心动机是解决伪装目标检测(COD)中的挑战性任务。伪装目标检测旨在识别和分割那些在视觉上与周围环境高度相似的目标,这对于计算机视觉来说是非常困难的任务。尽管深度学习方法在该领域取得了一定进展,但现有方法仍面临有效分离目标和背景的难题,尤其是在伪装目标与背景特征高度相似的情况下。 现有方法的不足之处: 过于

One-Shot Imitation Learning

发表时间:NIPS2017 论文链接:https://readpaper.com/pdf-annotate/note?pdfId=4557560538297540609&noteId=2424799047081637376 作者单位:Berkeley AI Research Lab, Work done while at OpenAI Yan Duan†§ , Marcin Andrychow

Introduction to Deep Learning with PyTorch

1、Introduction to PyTorch, a Deep Learning Library 1.1、Importing PyTorch and related packages import torch# supports:## image data with torchvision## audio data with torchaudio## text data with t

《Learning To Count Everything》CVPR2021

摘要 论文提出了一种新的方法来解决视觉计数问题,即在给定类别中仅有少量标注实例的情况下,对任何类别的对象进行计数。将计数问题视为一个少样本回归任务,并提出了一种新颖的方法,该方法通过查询图像和查询图像中的少量示例对象来预测图像中所有感兴趣对象的存在密度图。此外,还提出了一种新颖的适应策略,使网络能够在测试时仅使用新类别中的少量示例对象来适应任何新的视觉类别。为了支持这一任务,作者还引入了一个包含

spring mvc 数据绑定问题 提交表单提示HTTP status 400, The request sent by the client was syntactically incorrect

我们在spring mvc 中controller方法中的参数,spring mvc会自动为我们进行数据绑定。 spring mvc 方法中不一定要全部都有 form表单提交的属性, 也可以有 请求属性中 没有的参数(这时候只会把对应不上的参数设为null),这两种情况都不会报错。 但是有几种情况会报错,可能会提示HTTP status 400,  The request sent by th

One-Shot Imitation Learning with Invariance Matching for Robotic Manipulation

发表时间:5 Jun 2024 论文链接:https://readpaper.com/pdf-annotate/note?pdfId=2408639872513958656&noteId=2408640378699078912 作者单位:Rutgers University Motivation:学习一个通用的policy,可以执行一组不同的操作任务,是机器人技术中一个有前途的新方向。然而,