本文主要是介绍R-CNN系列学习笔记，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
迄今为止，我也没有用过R-CNN系列。。。看理论是一回事，实际用是另外一回事。
之前准备用，看理论时候的一些摘录笔记，都忘的差不多了。
实际用的时候，里面的每一个细节就很关键了，尤其是在自己项目需要的特定应用场景下。
细节包括理论细节和代码处理细节，都挺花时间，也都挺关键。
一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
https://cloud.tencent.com/developer/news/281788
R-CNN文章详细解读
https://www.jianshu.com/p/5056e6143ed5
R-CNN（Selective Search + CNN + SVM）
SPP-net（ROI Pooling）
Fast R-CNN（Selective Search + CNN + ROI）
Faster R-CNN（RPN + CNN + ROI）
R-CNN
先Selective Search许多候选框Region Proposal（比如两千个）-->CNN-->得到每个候选框的特征-->SVM分类--> box regression
（注意：每个候选框都要进行一次CNN）
Fast R-CNN （借鉴了SPPNet的思想，通过ROI Pooling的结构）
一张完整图片-->CNN-->得到Selective Search（原图）的每张候选框的特征-->多任务损失函数：softmax分类+边框回归
（注意：仍然要对原图进行Selective Search许多候选框Region Proposal。并把这些候选区域按照空间位置关系映射到最后的卷积特征层。）
Faster R-CNN
一张完整图片-->CNN-->Region Proposal Network（RPN）得到每张候选框的特征-->多任务损失函数：softmax分类+边框回归
Mask R-CNN
Fine-tuning
https://www.julyedu.com/question/big/kp_id/26/ques_id/2137
通常，前面的层提取的是图像的通用特征（generic features）（例如边缘检测，色彩检测），这些特征对许多任务都有用。后面的层提取的是与特定类别有关的特征，因此fine-tune时常常只需要Fine-tuning后面的层。
网络前几层学到的是通用特征，后面几层学到的是与类别相关的特征。
关于什么是边框回归，请参看本深度学习分类下第56题：https://www.julyedu.com/question/big/kp_id/26/ques_id/2139
SPP Net（spatial pyramid pooling layer）
ROI pooling layer实际上是SPP-NET的一个精简版，SPP-NET对每个proposal使用了不同大小的金字塔映射。
加入这个神奇的ROI Pooling层，对每个region都提取一个固定维度的特征表示，再通过正常的softmax进行类型识别。
ROI Pooling 与 SPP 理解：https://blog.csdn.net/qq_35586657/article/details/97885290
ROI Pooling是针对RoIs的Pooling，其特点是输入特征图尺寸不固定，但是输出特征图尺寸固定。
ROI Pooling的思想来自于SPPNet中的Spatial Pyramid Pooling，在Fast RCNN中使用时，将SPPNet中多尺度的池化简化了为单尺度。
ROI Pooling 与 SPP 的区别：
两者起到的作用是相同的，把不同尺寸的特征输入转化为相同尺寸的特征输出。SPP针对同一个输入使用了多个不同尺寸的池化操作，把不同尺度的结果拼接作为输出；而ROI Pooling可看作单尺度的SPP，对于一个输入只进行一次池化操作。
在Fast RCNN中， RoI是指Selective Search完成后得到的“候选框”在特征图上的映射。
在Faster RCNN中，候选框是经过RPN产生的，然后再把各个“候选框”映射到特征图上，得到RoIs。
Region Proposal Networks(RPN)
其实RPN最终就是在原图尺度上，设置了密密麻麻的候选Anchor。然后用cnn去判断哪些Anchor是里面有目标的positive anchor，哪些是没目标的negative anchor。所以，仅仅是个二分类而已。
Feature Pyramid Network (FPN) （maskRNN中使用）
FPN的提出是为了实现更好的feature maps融合，一般的网络都是直接使用最后一层的feature maps，虽然最后一层的feature maps 语义强，但是位置和分辨率都比较低，容易检测不到比较小的物体。FPN的功能就是融合了底层到高层的feature maps ，从而充分的利用了提取到的各个阶段的特征（ResNet中的C2-C5）。
FPN是一种精心设计的多尺度检测方法。FPN实际上是一种通用架构，可以结合各种骨架网络使用，比如VGG，ResNet等。
物体探测的两类方法：
two stage 的目标检测算法是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类；
one stage 的目标检测算法。则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理。
正是由于两种方法的差异，在性能上也有不同，前者在检测准确率和定位精度上占优，后者在算法速度上占优。
一文读懂Faster RCNN
https://zhuanlan.zhihu.com/p/31426458
令人拍案称奇的Mask RCNN
https://zhuanlan.zhihu.com/p/37998710
Code：
https://github.com/matterport/Mask_RCNN
https://github.com/facebookresearch/Detectron
这篇关于R-CNN系列学习笔记的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
