CV-笔记-重读Fast R-CNN的ROI pooling

本文主要是介绍CV-笔记-重读Fast R-CNN的ROI pooling，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

- 1 原图上的ROI坐标如何映射到feature map上？
- 2 ROI Pooling是如何做？
- 3 ROI Pooling的梯度反向传播是怎么做的？
- 4 那么多的ROI Pooling做完以后是怎么进入到全连接层进行训练的？
- 5 正负样本怎么制作？
- 6 loss怎么计算？
- - smooth L1
- 7回归的数值是什么？
- 引用

Fast R-CNN主要是使用了一个ROI Pooling操作来对候选区域进行分类和包围框的微调。

这里主要说明一下ROI pooling是怎么做的，主要包括：

原图上的ROI坐标如何映射到feature map上？
ROI Pooling是如何做？
ROI Pooling的梯度反向传播是怎么做的？
那么多的ROI Pooling做完以后是怎么进入到全连接层进行训练的？
正负样本怎么制作？
loss怎么计算？
回归的数值是什么？

以上就是我这篇文章看下来的疑问或文章中的重点，然后查找资料和阅读相关论文来寻找答案。
下面一个个来说明。

1 原图上的ROI坐标如何映射到feature map上？

这个问题相对简单，可以这样理解，最后一层的feature map是网络多次下采样得到的，所以只要对原图上的坐标进行相同倍数的缩放即可。vgg16最后一个特征图是经过4次下采样，即缩小16倍得到的，所以坐标x' = [x/下采样倍数] + 1 中括号表示向下取整，vgg16的下采样倍数就是16。这里为什么要+1还不清楚。

2 ROI Pooling是如何做？

因为物体有大有小，所以物体的ROI映射到特征图上以后也是有大有小尺寸不一样，所以如果想输入到全连接层进行分类，那么就必须要同样的神经元个数，因为全连接的输入大小是固定的。

所以这里使用了一个max pooling方式将任意大小的roi对应的featuremap（这里的对应的roi featuremap只是最后输出的featuremap中切下的一小块）弄到一个尺度，比如文章中就是都弄到了7x7 。

其实很简单，就是将roi feature map隔成7x7的格子，然后每个格子里取最大的数（max pooling) 。如下图所示，图中的黑框就是原图中的roi在featuremap中对应的特征区域：
在这里插入图片描述

3 ROI Pooling的梯度反向传播是怎么做的？

这个梯度计算在文章中的公式写的很难看懂，但是看了其他人的博客解释就比较清晰了，其实还是很简单的。

首先，了解一下max pooling是怎么反向传播的，其实就是max的区域有梯度，为1。
在这里插入图片描述

在这里插入图片描述
有了上面的了解，再来看ROI pooling，其中不一样的是特征图中的一个像素可能是多个感兴趣区域的重合部分。例如：

那么这个个像素的位置的梯度就累积就可以了，比如假设3个roi pooling都用到了这个像素，那么梯度就是3了。

4 那么多的ROI Pooling做完以后是怎么进入到全连接层进行训练的？

这一点细节其实文章中没提到，但是我想文章中是说到了每次选择2张图片，然后每张图片中选择64个roi进行训练，那么可以看出最后预测的全连接层的batch size是128，其实可以把roi pooling去掉，那么后面的网络其实就是一个输入一个7x7个神经元个数的全连接神经网络，batchsize为128。

所以这里是对选择的128个区域做ROI Pooling，然后把128个特征作为batchsize的形式传到网络中训练的。可以看下图：
在这里插入图片描述