Adversarial Complementary Learning for Weakly Supervised Object Localization模型解析(基于对抗互补学习的弱监督目标定位)

本文主要是介绍Adversarial Complementary Learning for Weakly Supervised Object Localization模型解析(基于对抗互补学习的弱监督目标定位),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GitHub - junkwhinger/adversarial_complementary_learning

1.背景:

学习仅使用图像级监督来定位感兴趣的对象的深度模型非常困难

早先处理方式:

根据预先训练的卷积分类网络生成类的定位图,通过用一个全局平均池化层和一个全连接层来替换分类网络的最后几层(AlexNet和VGG-16),从而聚合最后一个卷积层的特征用来生成CAM.

存在的问题:

  1. 在图像分类时过度依赖那些对分类有帮助的明显的特征
  2. 不能在图像中密集地定位目标物体的积分区域.

这两个问题主要是由于分类网络倾向于从最具辨别力的部分识别模式以进行识别,这不可避免地导致第二个问题。 例如,给定包含猫的图像,网络可以通过识别头部来识别它,而不管诸如身体和腿部的其余部分。

解决方法及弊端:

方法1:对抗性擦除(Adversarial erasing (AE))方法来发现整体对象区域,对抗擦除,学习到部分特征,我把这个部分擦除掉,再训练一个新的网络,从而使用多个网络学习到全部特征。但这种方式网络太多;

方法2:.随机遮挡图像的一部分,强行让网络学习完整的特征。但这种随机的方式,不能保证每次能学习到新的特征

2.本文提出的方法:

对抗互补学习(ACoL),以便在弱监督下自动定位语义兴趣的整体对象.

本文证明了

  • location map可以通过选择最后一个卷积层的class-specific feature maps直接获得,从而提供了一个简单的方式识别目标区域.
  • 本文采用两个平行的分类器来获得object-location.

ACoL的演示过程:

  1. 先训练A分类,然后找出对应类别的feature map.
  2. 在训练B的过程中把这A部分的feature map擦除,因此B可以再学到该类别的其他区域.
  3. 然后再把B的特征图拿去擦除A,让A去学习B的补集,这样循环互补.最后,将两个分支的目标定位图进行融合,得到完整的目标区域。

如图所示:

图片输入到CNN网络,提取到特征图(公共特征层)后将输入两个CNN分支(我认为这张图画的不是很严谨,因为三个CNN从代码里面看并不是同一个网络.)

提取出的特征进入第一个分支后会检测出某些内容,如图检测出了马的头和尾巴.

之后再把已经定位到的位置(头和尾巴)擦除(erase),再将新的特征图输入第二个CNN分支.因为擦除操作所以无法检测出头和尾巴,因此在第二个分支中检测到了前腿.

最终通过将两个分支融合得到了完整的定位图.

ACoL与AE相比的优势:

  1. 将两个分类器整合成一个网络,而AE独立地训练三个网络来进行对抗性擦除;

  2. AE需要不断迭代的产生map,他必须forward network多次,但是本文只用一次

  3. AE采用CAM来产生localisation map图,因此需要分为两步,本文只用一步, 参考Learning Deep Features for Discriminative Localization.

3.ACoL结构:

        

提出的ACoL共有三个组成部分

  • Backbone:一个全卷积网络用来特征提取.可以是VGG;ResNet etc(这里用的是Resnet). 用来检测特征(mid-level feature map).因为前面不会把特征提取的很详细.
  • ClassifierA
  • ClassifierB
def forward(self, inputs, labels):x = self.backbone(inputs)  #middle level future mapscls_output = []cams = []for idx, cls in enumerate(self.cls_recipe): #pp模型 #[p,p] 1,poutput = self.classifiers[idx](x).squeeze(-1).squeeze(-1) ##将middle level特征图分别传进两个分支cls_output.append(output)cam = self.generate_cam(idx, x, labels)
#[0.9,0.91,0.80]  [F,T,F]  [0,1.0] (热力图中红色的部分是1) 
#[0.9,0,0.8] (擦除操作:用0替代1)cams.append(cam)if idx < len(self.cls_recipe) - 1:mask = (cam > self.deltas[idx]).unsqueeze(1).byte() #deltas的值设置为0.9x = x.masked_fill(mask, value=0) #擦除. else:v_cls_output = torch.stack(cls_output) #将两个分支得到的结果融合v_cams = torch.stack(cams) #热力图叠加return v_cls_output, v_cams

        

这篇关于Adversarial Complementary Learning for Weakly Supervised Object Localization模型解析(基于对抗互补学习的弱监督目标定位)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/824202

相关文章

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Springboot @Autowired和@Resource的区别解析

《Springboot@Autowired和@Resource的区别解析》@Resource是JDK提供的注解,只是Spring在实现上提供了这个注解的功能支持,本文给大家介绍Springboot@... 目录【一】定义【1】@Autowired【2】@Resource【二】区别【1】包含的属性不同【2】@

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图