Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images

本文主要是介绍Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    在卷积神经网络如日中天的现在,重要会议上的论文自然成了广大学者研究的对象。苦苦寻觅,然而并不能搜到“大家们”对论文的见解。痛定思痛,决定对自己看过的论文写点小感。只是个人看法,如有瑕疵,欢迎指正。一是为了督促自己看论文要仔细认真,二是希望有人指正自己的错误。

Abstract

       深度神经网络(DNNs)在各种模式识别任务中取得了一定的成就,其中最显著的是视觉分类问题。鉴于,DNNs现在能够以接近人类的水平对对象进行分类,那么问题自然上升为电脑和人的视觉之间的差别是什么。最近的一项研究表明,及其细微的改变一副图像,会引起DNN贴以完全不同的标签。在这里,我们展示相关的结果:有些图像对人类来说是完全不可识别的,但DNNs以99.99%的置信度来识别物体。具体来说,卷积神经网络在ImageNet或MNIST数据集上训练都表现良好,但发现通过进化算法或梯度上升处理的图片,DNNs以很高的置信度贴以标签属于某个数据集类(其实不属于这个数据集类)。我们的研究结果揭示了人的视觉和目前DNNs的差异。

1. Introduction

       在这片论文中,我们以另外一种方式展示DNN和人类视觉的区别:及其细微的改变 一副图片,对人类来说肉眼不可识别,但DNN以很高的置信水平认为它完全属于不同的类。我们还发现,对于MNIST的DNNs,避免DNNs被(被有fooling images标签重训练)愚弄是不容易的。即使经过多次重训练迭代,fooling images新的块仍然可以被产生去愚弄新网络。我们的研究结果揭示了人的视觉和目前DNNs的差异,并提出DNNs对一般跨不同类的图片(不是已经训练或测试的图片)怎样处理。

2. Methods

     2.1. Deep neural network models​

            两种网络在两种库上的训练:

            “AlexNet” trained on the 1.3-million-image ILSVRC 2012 ImageNetDataset

            LeNet model  trained on the MNIST datase

   2.2. Generating images with evolution

           EAs(evolutionary algorithms): 是进化算法,来处理图片,将Selection(keeping the best )和perturation(mutation and/or crossover)交替进行。 传统的EAs针对一个目标上优化效果好,这里我们选用MAP-Elites算法,工作原理是每次迭代,它随机的选择,随机变异它,如果新的个体具有较高的适应,就取代目前的冠军目标。​

         EAs的两种编码方式

         第一种:直接编码direct encoding 

处理对象:只有一个灰度值的MNIST图片和有三个值(H,S,V)的ImageNet图片          处理过程:被0-255的随机噪声初始化,每个数字有0.1的几率被选择来突变,每经过一千次运算被选择的几率减小一半,被选择的数字通过多项式突变操作进行突变。

       第二种:间接编码indirect encoding

处理过程:有规则的图片,意味可以可压缩的,例如对称与重复。在论文中使用的indirect encoding是一种  compositional pattern-producing network(CPPN)。

3. Results

    3.1. Evolving irregular images to match MNIST:易被愚弄

    3.2. Evolving regular images to match MNIST:​

       数字1往往有竖线,而图像分类作为2的往往在下半部有水平杆的图像。这一结果表明,EA利用特定的有识别力的特征匹配手写体数字。​​

   3.4. Evolving regular images to match ImageNet

       我们假设MNIST DNNs可能很容易上当,因为它们是在一个小数据集上训练的,会出现过度拟合。为了检验这一假设,我们在一个更大的数据集上训练ImageNet。​

通过实验得出以下的做出总结:

        1.经过CPPN的某种处理的一类图片,会产生独一无二的特征,而不是包含了这一类的所有特征。

        2.相关类的图片在CPPN的处理之后会产生相似的图像。另外同一图像经过不同的处理,会显示出不同的特征。

        3.经过CPPN处理的图像,会重复出现某些特征,这些特征的重复率会影响confidence.→  the larger datasets are a way to ameliorat the problem of DNNs being easily fooled.​

   3.5. Images that fool one DNN generalize to others​

       是否不同的DNNs对每一个类学习相同的特征,一个骗了DNNs a的图像,是不是也能欺骗其他的DNN? 实验:通过控制变量法,实验比较DNNa和DNNb→99.9% confidence scores by both DNNa and DNNb。​​

   3.6. Training networks to recognize fooling images

      新增一个类别,把fooling images加到这个类别中,用这个新的dataset训练其他DNN。   ​​

   3.7. Training MNIST DNNs with fooling images​

      MNIST数据库是60000副手写数字,分为10类,即0-9。因此我们如果想加fooling images类,也需要加入6000副。运行300个独立进化,每个进化产出20副进化图片。 ​结果:LeNet通过fooling images作为反面例子重训练并不能提高不被愚弄的能力​

   3.8. Training ImageNet DNNs with fooling images​

      ImageNet 分1000个类,每个类1300副,增加一个类,并没有像在MNIST一样,这次是增加了9000副图片,是每个类的7倍。目的是突出fooling images ,类似于ImageNet 中猫和狗。结果:效果比MNIST上的要好。​

   3.9. Producing fooling images via gradient ascent

      用另外一种方式处理图像,在像素空间运用梯度上升法(using gradient ascent in pixel space)。测试结果:the images are also classified by DNNs with 99.9%​

5. Conclusion

     1、解释结论以及相关的讨论                                                                                     

     2、Why evolution produced high-confidence,yet unrecognizable images? Result:判别模型(p(y|X))and 生成模型(p(y,X))的不同                                                          

     3、这种容易被欺骗的特点有什么作用?例如,一个基于人脸或语音识别的摄像头容易被攻破。用白噪声处理脸部、指纹或声音然后传递可能是不安全的,因为附近其他人可能不知道有人企图破坏系统。

这篇关于Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1020840

相关文章

MonoHuman: Animatable Human Neural Field from Monocular Video 翻译

MonoHuman:来自单目视频的可动画人类神经场 摘要。利用自由视图控制来动画化虚拟化身对于诸如虚拟现实和数字娱乐之类的各种应用来说是至关重要的。已有的研究试图利用神经辐射场(NeRF)的表征能力从单目视频中重建人体。最近的工作提出将变形网络移植到NeRF中,以进一步模拟人类神经场的动力学,从而动画化逼真的人类运动。然而,这种流水线要么依赖于姿态相关的表示,要么由于帧无关的优化而缺乏运动一致性

A Comprehensive Survey on Graph Neural Networks笔记

一、摘要-Abstract 1、传统的深度学习模型主要处理欧几里得数据(如图像、文本),而图神经网络的出现和发展是为了有效处理和学习非欧几里得域(即图结构数据)的信息。 2、将GNN划分为四类:recurrent GNNs(RecGNN), convolutional GNNs,(GCN), graph autoencoders(GAE), and spatial–temporal GNNs(S

Deep Ocr

1.圈出内容,文本那里要有内容.然后你保存,并'导出数据集'. 2.找出deep_ocr_recognition_training_workflow.hdev 文件.修改“DatasetFilename := 'Test.hdict'” 310行 write_deep_ocr (DeepOcrHandle, BestModelDeepOCRFilename) 3.推理test.hdev

docker images

docker 装好docker之后,先掌握一下docker启动与停止 docker启动关闭状态 systemctl 命令是系统服务管理器指令,它是 service 和 chkconfig 两个命令组合。 查看 docker 的启动状态 systemctl status docker 关闭 docker systemctl stop docker 启动 docker syste

OpenSNN推文:神经网络(Neural Network)相关论文最新推荐(九月份)(一)

基于卷积神经网络的活动识别分析系统及应用 论文链接:oalib简介:  活动识别技术在智能家居、运动评估和社交等领域得到广泛应用。本文设计了一种基于卷积神经网络的活动识别分析与应用系统,通过分析基于Android搭建的前端采所集的三向加速度传感器数据,对用户的当前活动进行识别。实验表明活动识别准确率满足了应用需求。本文基于识别的活动进行卡路里消耗计算,根据用户具体的活动、时间以及体重计算出相应活

Complex Networks Package for MatLab

http://www.levmuchnik.net/Content/Networks/ComplexNetworksPackage.html 翻译: 复杂网络的MATLAB工具包提供了一个高效、可扩展的框架,用于在MATLAB上的网络研究。 可以帮助描述经验网络的成千上万的节点,生成人工网络,运行鲁棒性实验,测试网络在不同的攻击下的可靠性,模拟任意复杂的传染病的传

Convolutional Neural Networks for Sentence Classification论文解读

基本信息 作者Yoon Kimdoi发表时间2014期刊EMNLP网址https://doi.org/10.48550/arXiv.1408.5882 研究背景 1. What’s known 既往研究已证实 CV领域著名的CNN。 2. What’s new 创新点 将CNN应用于NLP,打破了传统NLP任务主要依赖循环神经网络(RNN)及其变体的局面。 用预训练的词向量(如word2v

【机器学习】生成对抗网络(Generative Adversarial Networks, GANs)详解

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 生成对抗网络(Generative Adversarial Networks, GANs)详解GANs的基本原理GANs的训练过程GANs的发展历程GANs在实际任务中的应用小结 生成对

Kafka【十一】数据一致性与高水位(HW :High Watermark)机制

【1】数据一致性 Kafka的设计目标是:高吞吐、高并发、高性能。为了做到以上三点,它必须设计成分布式的,多台机器可以同时提供读写,并且需要为数据的存储做冗余备份。 图中的主题有3个分区,每个分区有3个副本,这样数据可以冗余存储,提高了数据的可用性。并且3个副本有两种角色,Leader和Follower,Follower副本会同步Leader副本的数据。 一旦Leader副本挂了,Follo

Show,Attend and Tell: Neural Image Caption Generation with Visual Attention

简单的翻译阅读了一下 Abstract 受机器翻译和对象检测领域最新工作的启发,我们引入了一种基于注意力的模型,该模型可以自动学习描述图像的内容。我们描述了如何使用标准的反向传播技术,以确定性的方式训练模型,并通过最大化变分下界随机地训练模型。我们还通过可视化展示了模型如何能够自动学习将注视固定在显着对象上,同时在输出序列中生成相应的单词。我们通过三个基准数据集(Flickr9k,Flickr