BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning-基于自监督学习预训练编码器的后门攻击

本文主要是介绍BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning-基于自监督学习预训练编码器的后门攻击，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning

摘要

本文提出了 BadEncoder，这是针对自监督学习的第一个后门攻击方法。用 BadEncoder 将后门注入到预训练的图像编码器中，基于该编码器进行微调的不同下游任务会继承该后门行为。我们将 BadEncoder 描述为一个优化问题，提出了一种基于梯度下降的方法来解决它。

1 模型

1.1 攻击者的目标

**有效性目标（攻击有效）： **下游任务中的带后门的分类器可以继承预训练模型的后门行为，对带 trigger 的给出相应错误结果
实用性目标（干净样本正常）： 带后门的分类器对干净样本可以保持正确率

1.2 名词定义

shadow dataset： 攻击者可以获得的无标签的用于进行后门攻击的训练数据集（图像）。有两种情形，shadow dataset 和预训练中使用的数据集同分布（来自一个）或不同分布（不是一个数据集）。
reference inputs： 从互联网上收集的，用于后门攻击训练中作为目标类的图像

1.3 模型架构

在这里插入图片描述

为了达到攻击有效性的目标，需要训练该模型完成这两件事情：

shadow data + trigger ~ reference input： 告诉模型加 trigger 的图像要被分类为 reference input 中的错误目标，达到攻击有效性
对 reference input：后门模型的预测输出 ~ 干净模型的预测输出： 让后门模型可以正确预测 reference input 的目标类

第一步做到带 trigger 的图像可以被识别为错的，第二步做到带后门的图像编码器仍然“认”这些图像，即将其正确识别为攻击的目标类。从而达到最终目的。

从而得到有效性损失函数 loss 如下：

在这里插入图片描述

f‘ 为带后门的图像编码器，f 为不带后门的图像编码器，ei 为加 trigger，s 是余弦相似度函数，分母为归一化操作

为了保证模型的实用性目标，还定义了第三个损失函数 loss ：

在这里插入图片描述

即保证带后门的图像编码器和不带后门的图像编码器对干净样本的 embedding 相似

最终的 loss 定义如下：

在这里插入图片描述

作者使用梯度下降法解决这一优化问题，算法如下：

在这里插入图片描述

2 模型评估

2.1 实验设置

使用的数据集

CIFAR10、STL10 作为两个预训练数据集

GTSRB、SVHN、Food101 作为下游任务的微调数据集
使用 cross-entropy loss 损失函数和 Adam 优化器
评价指标

CA（Clean Accuracy）：干净分类器（未加后门微调）的测试准确率

BA（Backdoored Accuracy）：后门分类器的测试准确率

ASR（Attack Success Rate）：后门分类器的攻击准确率（对带 trigger 的进行测试）

ASR-B（ASR-Baseline）：干净分类器的攻击准确率
参数设置

λ1 和 λ2 默认为1

shadow dataset：从预训练数据集中选取一部分

trigger 的 size：10 ✖ 10 的颜色方块

reference input：从互联网上找的

2.2 实验结果

BadEncoder 可以达到很高的 ASR

在这里插入图片描述

BadEncoder 在下游任务中保持着准确率（干净样本）

在这里插入图片描述

各损失函数的影响

在这里插入图片描述

移除其中某个损失函数进行消融实验，发现每个 L 都是必要的，且 L2 对于 BA 指标很重要，这是因为 L2 主要为了实现效用性目标

在这里插入图片描述

λ 参数方面，对 λ2 更加敏感，这是因为 shadow dataset 的大小（和 L2相关）比 reference inputs 要大（和 L1相关）

shadow dataset 的影响
- shadow dataset的大小

在这里插入图片描述

为了达到一个理想的 ASR，至少要比预训练数据集大 20%

shadow dataset的分配（来源）

在这里插入图片描述

> 一共三种：预训练集的子集、预训练集的一部分（和预训练集没有重叠）、来自其他数据集三种方式的效果都很好

trigger size的影响

以 GTSRB 作为下游任务数据集的结果

在这里插入图片描述

针对不同的下游任务数据集，需要取不同的值。当 size 取不小于该值就会有很好的效果

多样的 reference inputs：

可能找到的某个 reference input不能被后门模型正确预测目标类，可以找多个（如：找多种卡车）作为 reference input，只要其中至少有一个能被后门模型正确预测目标类即可保证效果

在这里插入图片描述

多样的目标类和下游任务
- BadEncoder 可以在一个下游任务中攻击多个目标类，即注入多个后门攻击

在这里插入图片描述

也可以同时攻击多个下游任务，我的理解是多个数据集一起微调

在这里插入图片描述

和 LBA 后门攻击方法的比较

比 LBA 效果要好，作者解释原因为 BadEncoder 通过直接优化预训练的图像编码器注入后门，而 LAB 将后门注入基于图像编码器构建的 teacher classifier。

3 两个真实案例研究

3.1 攻击在 ImageNet 上预训练的图像编码器

在 ImageNet 上随机采样 1% 的数据作为 shadow dataset
微调该编码器的设置如下：

epoch：200

学习率：0.0001

batch size：16 （由于 ImageNet 中图像的分辨率较高，使用了小 batch size）

在这里插入图片描述

实验结果表明，我们的 BadEncoder 在应用于对大量未标记图像进行预训练的图像编码器时是有效的

3.2 攻击 CLIP

由于没有 CLIP 的预训练数据集，使用 CIFAR10 中的训练图片作为 shadow dataset
微调该编码器的设置如下：

epoch：200

学习率：10^-6

batch size：16

在这里插入图片描述

CLIP 支持两种分类器模式：multi-shot（加分类头，图像分类）和 zero-shot（匹配图像和文本）

实验结果表明，我们的BadEncoder在应用于对大量（图像、文本）对进行预训练的图像编码器时，它是有效的

4 防御

这一节作者测试了最先进的三种防御方法，并通过实验说明了它们无法防御 BadEncoder

防御方法可以分为两类：

基于经验的防御（empirical defense）：目的为去检测分类其中是否存在后门（或 trigger）

基于证明的防御（provable defense）：可以针对后门攻击提供可证明的鲁棒性保证
测试的三种防御方法如下：Neural Cleanse、MNTD（第1类）和 PatchGuard（第二类）