ColorFool: Semantic Adversarial Colorization

2023-12-26 20:38

本文主要是介绍ColorFool: Semantic Adversarial Colorization,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ColorFool: Semantic Adversarial Colorization

文章目录

    • ColorFool: Semantic Adversarial Colorization
    • 问题
    • 之前的攻击方法
        • BigAdv:
        • SemanticAdv:
    • ColorFool

论文收录于CVPR 2020

问题

作者将对抗扰动分为 restricted 和 unrestricted

  • restricted 是指通过 Lp 范式控制扰动的大小。这种攻击方式对去噪滤波器、对抗训练等防御并不健壮,因为这种扰动通常具有高的空间频率(spatial frequencies),容易被检测到。

  • unrestricted 并不控制扰动的大小,对防御具有健壮性,且生成的对抗样本更具有迁移性。但是也更容易被人眼识别。

所以,作者提出了一种基于内容的、unrestricted的黑盒攻击方法,通过语义分割技术将图片分为人眼敏感区域和不敏感区域,有选择地修改区域内的颜色

之前的攻击方法

BigAdv:
SemanticAdv:

unrestricted、black-box attack 改变HSV颜色空间中的颜色,且只改变H和S通道。
该方法的问题是对所有区域都添加扰动,所以会产生一些对人眼来说不自然的颜色。

  • HSV:

    • H: hue 色调
    • S: saturation 饱和度
    • V: value 值

ColorFool

1、作者使用的颜色形式不是RGB,而是Lab,且只在a、b通道上添加扰动。生成的对抗样本与干净样本的大小一致。

  • Lab:

    • a ranges from green(-128) to red (+127)
    • b ranges from blue(-128) to yellow(+127)
    • L ranges from black(0) to white(100)

2、作者定义四种人眼对颜色敏感的区域,在敏感区域上添加的扰动为了符合人眼自然视觉感知,添加的扰动是有条件的,如下表
在这里插入图片描述

  • S1: 人 person 人不进行扰动

  • S2: 天空 sky

  • S3: 植被 vegetation(e.g. grass and tree)

  • S4: 水 water(e.g. sea, river, waterfall, swimming pool and lake)

3、方法步骤

1)图片通过训练好的语义分割模型,得到敏感区域和不敏感区域

2)敏感区域 S = {Sk:Sk= γ \gamma γ(Sk) + α \alpha α[0, Nak, Nbk]T}Sk=1

γ \gamma γ(.)将RGB图像转换成Lab, Nak, Nbk是添加在a, b通道上的扰动,扰动范围如上表所示。为了避免第一次迭代在原样本上增加太大的扰动,令 α \alpha

这篇关于ColorFool: Semantic Adversarial Colorization的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/540698

相关文章

深度学习--对抗生成网络(GAN, Generative Adversarial Network)

对抗生成网络(GAN, Generative Adversarial Network)是一种深度学习模型,由Ian Goodfellow等人在2014年提出。GAN主要用于生成数据,通过两个神经网络相互对抗,来生成以假乱真的新数据。以下是对GAN的详细阐述,包括其概念、作用、核心要点、实现过程、代码实现和适用场景。 1. 概念 GAN由两个神经网络组成:生成器(Generator)和判别器(D

【机器学习】生成对抗网络(Generative Adversarial Networks, GANs)详解

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 生成对抗网络(Generative Adversarial Networks, GANs)详解GANs的基本原理GANs的训练过程GANs的发展历程GANs在实际任务中的应用小结 生成对

Segmentation简记-Multi-stream CNN based Video Semantic Segmentation for Automated Driving

创新点 1.RFCN & MSFCN 总结 网络结构如图所示。输入视频得到图像分割结果。 简单粗暴

Image Transformation can make Neural Networks more robust against Adversarial Examples

Image Transformation can make Neural Networks more robust against Adversarial Examples 创新点 1.旋转解决误分类 总结 可以说简单粗暴有效

Segmentation简记5-AuxNet: Auxiliary tasks enhanced Semantic Segmentation for Automated Driving

创新点 1.分割网络为主任务,深度估计网络为辅任务 2.loss的设计 总结如图所示 网络结构如图所示 其实很容易理解。 backbone是基于ResNet50 分割网络是基于FCN8 深度估计网络与分割网络类似,最后一层是回归深度层。 最有意思的是两种任务的loss的合并。 分割的loss很常见:cross entropy 深度loss:mean absolute error 算法一:

DS简记1-Real-time Joint Object Detection and Semantic Segmentation Network for Automated Driving

创新点 1.更小的网络,更多的类别,更复杂的实验 2. 一体化 总结 终于看到一篇检测跟踪一体化的文章 网络结构如下: ResNet10是共享的Encoder,yolov2 是检测的Deconder,FCN8 是分割的Deconder。 其实很简单,论文作者也指出:Our work is closest to the recent MultiNet. We differ by focus

[论文解读]Genre Separation Network with Adversarial Training for Cross-genre Relation Extraction

论文地址:https://www.aclweb.org/anthology/D18-1125.pdf发表会议:EMNLP2019 本论文的主要任务是跨领域的关系抽取,具体来说,利用某个领域的数据训练好的关系抽取模型,很难去直接抽取另一个领域中的关系,比如我们拿某个领域训练好的模型,把另一个领域的数据直接输入整个模型,很难抽取出来正确的实体关系。这主要是因为源领域和目标领域特征表达的不同,在源

Self-Attention Generative Adversarial Networks解读+部分代码

Self-Attention Generative Adversarial Networks解读+部分代码   引言 这篇是文章是Ian goodfellow他们的新工作,在GAN中引入Attention。 在文章的摘要中作者主要突出了三点。 Self-Attention Generative Adversarial Network(SAGAN)是一个注意力驱动,长范围 关联模型(a

论文《Adversarial Examples on Graph Data: Deep Insights into Attack and Defense》笔记

【IG-Attack 2019 IJCAI】本文提出了一种基于integrated gradients的对抗攻击和防御算法。对于攻击,本文证明了通过引入integrated gradients可以很容易解决离散问题,integrated gradients可以准确反映扰动某些特征或边的影响,同时仍然受益于并行计算。对于防御,本文观察到目标攻击的被攻击图在统计上不同于正常图。在此基础上,本文提出了一

监控领域的物理对抗攻击综述——Physical Adversarial Attacks for Surveillance: A Survey

介绍 文章贡献 框架提出:提出了一个新的分析框架,用于理解和评估生成和设计物理对抗性攻击的方法。全面调查:对物理对抗性攻击在监控系统中的四个关键任务—检测、识别、跟踪和行为识别—进行了全面的调查和分析。跨领域探索:讨论了物理对抗性攻击在可见光域之外的应用,包括红外、LiDAR和多光谱谱段。方法分析:从四个关键任务的角度回顾、讨论、总结了现有的攻防策略。未来研究方向:从监控角度指出生成成功的物理