论文那些事—DECISION-BASED ADVERSARIAL ATTACKS:RELIABLE ATTACKS AGAINST BLACK-BOX MACHINE LEARNING MODELS

本文主要是介绍论文那些事—DECISION-BASED ADVERSARIAL ATTACKS:RELIABLE ATTACKS AGAINST BLACK-BOX MACHINE LEARNING MODELS,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

DECISION-BASED ADVERSARIAL ATTACKS:RELIABLE  ATTACKS AGAINST BLACK-BOX MACHINE LEARNING MODELS(ICLR2018)

1、摘要/背景

目前用于生成对抗扰动的大多数方法要么依赖于详细的模型信息(基于梯度的攻击),要么依赖于置信度分数,例如类概率(基于分数的攻击),这两种能力在大多数现实世界场景中都不可用在许多此类情况下,人们目前需要退回到基于迁移的攻击,这些攻击依赖于繁琐的替代模型,而且需要访问训练数据并且可以防御在这里,我们强调完全依赖于最终模型决策的攻击的重要性这种基于决策的攻击是 (1) 适用于现实世界的黑盒模型,例如自动驾驶汽车(2) 需要更少的知识,并且比基于移的攻击更容易应用 (3) 对于一些简单防御来说,基于梯度或基于分数的攻击更健壮此类以前的攻击仅限于简单模型或简单数据集

主要贡献:

  • 我们强调基于决策的攻击是对抗攻击的一个重要类别,与现实世界的应用程序高度相关,并且对于衡量模型的鲁棒性很重要。
  • 我们引入了第一个有效的基于决策的攻击,可扩展到复杂的机器学习模型和自然数据集。边界攻击 (1) 在概念上非常简单;(2) 非常灵活;(3) 几乎不需要超参数调整;(4) 在目标和非目标的计算机视觉场景中,可与最佳的基于梯度的攻击媲美。
  • 我们表明边界攻击能够打破先前提出的防御方法(防御蒸馏)
  • 我们在 Clarifai.com 上提供的用于品牌和名人识别的两个黑盒机器学习模型上展示了边界攻击的实际适用性。

2、boundary attack-边界攻击

2.1 原理

 

 边界攻击算法背后的基本原理如图所示:该算法从一个已经是对抗样本点初始化,然后沿着对抗和非对抗区域之间的边界执行随机游走,使得 (1) 它停留在对抗区域并且(2)减少了与目标图像的距离换句话说,我们使用合适的提议分布 P 执行拒绝采样,以根据给定的对抗标准 c(.) 找到逐渐变小的对抗扰动

输入:原始图片+对抗扰动准则,模型的决策

输出:满足条件最小的对抗样本

  • 选择一个对抗样本作为初始点(start from a point that is already adversarial);这里有个问题,初始的对抗样本如何获得?需不需要满足对抗样本的两个特征?人眼不可察觉和机器识别错误
  • 然后进行随机游走(random walk),一方面要使得图片仍然是对抗样本;另一方面和原始图片的距离不能太远

 以下是伪代码:

 o指代原始输入(即一张图片)

y=F(o)指代模型F ( ⋅ ) 的全部输出(即logits或probabilities)

ymax​指代预测的标签(即类别标签)

\bar{o}指代对抗扰动后的图片,\bar{o}^{k}指代攻击算法第k kk步处理过的扰动图片

2.2 初始化

如何选择初始点——这个问题其实论文中没有很清楚,边界攻击需要用一个已经是对抗的样本进行初始化

  • 非目标攻击中,我们只是从给定输入的有效域 (如图片,则为[0,255]) 的最大熵分布中采样
  • 在目标场景中,我们从模型分类为目标类的任何样本开始。

  • CV中,因为图片约束在[0,255],因此直接从[0,255]中均匀抽样得到初始点。(拒绝不是对抗样本的图片)

2.3 Proposal distribution

算法的效率关键取决于提议分布 P,即在算法的每个步骤中如何选择游走方向。最佳提议分布通常取决于要攻击的域模型,但对于此处测试的所有与视觉相关的问题,一个非常简单的提议分布效果出奇地好该提议分布背后的基本思想如下:在第 k 步中,我们希望从受以下约束的最大熵分布中绘制扰动 ηk

1、扰动样本在输入域内:

 2、扰动的相对大小为:

 3、扰动将扰动图像与原始输入的距离减少了一个相对量 ϵ

 边界攻击只有两个相关参数:总扰动的长度 δ 和朝原始输入的步长 ϵ 。根据边界的局部几何形状动态调整这两个参数调整的灵感来自 Trust Region 方法。

2.4 Comparison with other attacks

 后面一些实验结果不贴了...........太多了

3、总结

 我们还介绍了该类别中第一个适用于通用机器学习算法和复杂自然数据集的有效攻击:边界攻击。边界攻击的核心是使用非常简单的拒绝采样算法结合简单的提议分布和受信任区域方法启发的动态步长调整来使其遵循对抗样本和非对抗样本之间的决策边界它的基本操作原理从一个大的扰动开始,然后依次减少基本上颠倒了以前所有对抗攻击的逻辑除了令人惊讶的简单之外,边界攻击在可能的对抗标准方面也非常灵活,并且在最小扰动的大小方面与标准计算机视觉任务的基于梯度的攻击相当。

这篇关于论文那些事—DECISION-BASED ADVERSARIAL ATTACKS:RELIABLE ATTACKS AGAINST BLACK-BOX MACHINE LEARNING MODELS的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/328334

相关文章

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型,提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练,提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的?使用了哪些 NLP 已有的技术和思想?哪些是 BERT 的创新? 1标题 + 作者 BERT: Pre-trainin

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 大语言模型已被广泛采用,但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程,用于Transformer中的前馈和注意力投影层,这可以将推理所需

速通GPT-3:Language Models are Few-Shot Learners全文解读

文章目录 论文实验总览1. 任务设置与测试策略2. 任务类别3. 关键实验结果4. 数据污染与实验局限性5. 总结与贡献 Abstract1. 概括2. 具体分析3. 摘要全文翻译4. 为什么不需要梯度更新或微调⭐ Introduction1. 概括2. 具体分析3. 进一步分析 Approach1. 概括2. 具体分析3. 进一步分析 Results1. 概括2. 具体分析2.1 语言模型

简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(1) 简单的Q-learning|小明的一维世界(2) 一维的加速度世界 这个世界,小明只能控制自己的加速度,并且只能对加速度进行如下三种操作:增加1、减少1、或者不变。所以行动空间为: { u 1 = − 1 , u 2 = 0 , u 3 = 1 } \{u_1=-1, u_2=0, u_3=1\} {u1​=−1,u2​=0,u3​=1}