CAM论文笔记--Learning Deep Features for Discriminative Localization

CAM：Learning Deep Features for Discriminative Localization

背景

 论文主要针对图片中不同类别物体定位的弱监督学习问题，提出了基于分类网络的图片识别与定位。
 分类网络如VGGnet和Alexnet等基本由卷积操作对图片的特征进行提取，在网络末端使用全连接层进行信息综合和分类。在监督学习中，分类问题需要带类别标签的数据集，定位问题需要带BBox（BoundingBox）标签的数据集，分别计算预测与真值之间的loss并进行优化，达到网络训练的目的。而对于只提供分类标签的数据集，但需要完成分类和定位两个功能的网络训练时，就属于弱监督学习问题。

论文笔记

 论文中提出，CNN网络中各卷积核除了提取特征外，其实本身已经具有物体检测功能，即使没有单独对物体的位置检测进行监督学习，而这种能力在使用全连接层进行分类的时候会丧失。通过使用GAP（global average pooling）替代全连接层，可以保持网络定位物体的能力，且相对于全连接网络而言参数更少。论文中提出一种CAM（Class Activation Mapping）方法，可以将CNN在分类时使用的分类依据（图中对应的类别特征）在原图的位置进行可视化，并绘制成热图，以此作为物体定位的依据。

1、全连接层和卷积层对空间信息影响

 卷积操作是在空间维度（Spatial Dimension）上进行特征抽提，所以可以保留语义和空间维度上的信息。如图1所示，该图片的分类标签为猫、狗、相机，对于分类为猫的结果而言，卷积之后图片右边内容由于具备更多猫的属性特征，故得到的feature-map激活值更大，而对于分类为狗的结果而言，卷积后图片左边的feature-map激活值更大。故网络在做分类的前向传播过程中，其实已经保留了物体的位置信息。对于全连接层而言，是将得到的feature-map信息进行综合，最后送到分类器中（常用softmax）进行分类，全连接得到的信息主要关注物体的类别特征而不是位置，即使将图片中的狗和猫对换位置，对全连接层后的分类结果也不会有太大影响。

图 1 类别标签为猫、狗、相机的图片

2、全局平均池化层（GAP）和全局最大池化层（GMP）对比

 GAP和GMP都是全局池化的方法，