目标检测困难样本挖掘OHEM:Online Hard Example Mining

0 前言

OHEM是CVPR2016的文章，它提出一种通过online hard example mining 算法训练Region-based Object Detectors，其优点：
1.对于数据的类别不平衡问题不需要采用设置正负样本比例的方式来解决，这种在线选择方式针对性更强。
2.当数据集增大，算法可以在原来基础上提升更大。
当我们遇到数据集少，且目标检测positive proposal少时，一般实验效果会不如人意，咱们可以试试OHEM这个trick，也许可以带来不错的效果。

1 相关工作

Hard example mining：主要有2种参见Hard example mining算法，优化SVM时候的算法和非SVM时的利用。
在优化SVM中使用Hard example mining时，训练算法主要维持训练SVM和在工作集上收敛的平衡迭代过程，同时在更新过程中去除一些工作集中样本并添加其他特殊的标准。这里的标准即去掉一些很容易区分的样本类，并添加一些用现有的模型不能判断的样本类，进行新的训练。工作集为整个训练集中的一小部分数据。
非SVM中使用时，该Hard example mining算法开始于正样本数据集和随机的负样本数据集，机器学习模型在这些数据集中进行训练使其达到该数据集上收敛，并将其应用到其他未训练的负样本集中，将判断错误的负样本数据（false positives）加入训练集，重新对模型进行训练。这种过程通常只迭代一次，并不获得大量的再训练收敛过程。

2 Online Hard example mining

OHEM算法的核心是选择一些hard example作为训练的样本从而改善网络参数效果，hard example指的是有多样性和高损失的样本。
hard example是根据每个ROI 的损失来选择的，选择损失最大的一些ROI。但是这里有一个问题：重合率比较大的ROI之间的损失也比较相似。因此这里作者采用NMS（non-maximum suppresison）去除重合率较大的ROI，这里作者给的阈值是当IOU大于0.7就认为重合率较高，需去除。
注意，这里作者没有采用设定背景和目标样本数的比例方式处理数据的类别不平衡问题。因为如果哪个类别不平衡，那么这个类别的损失就会比较大，这样被采样的可能性也比较大。
论文中把OHEM应用在Fast R-CNN中具体参看博文，是因为Fast R-CNN相当于目标检测各大框架的母体，很多框架都是它的变形，所以作者在Fast R-CNN上应用很有说明性。

2.1 Fast R-CNN框架简述

简单的说，Fast R-CNN框架是将224×224的图片当作输入，经过conv，pooling等操作输出feature map，通过selective search 创建2000个region proposal，将其一起输入ROI pooling层，接上全连接层与两个损失层。

2.2 OHEM应用于FRCNN

作者将OHEM应用在Fast RCNN的网络结构，如上图。这里包含两个ROI network，上面一个ROI network是只读的，为所有的ROI在前向传递的时候分配空间。下面一个ROI network则同时为前向和后向分配空间。
首先，ROI经过ROI plooling层生成feature map，然后进入只读的ROI network得到所有ROI的loss；然后是hard ROI sampler结构根据损失排序选出hard example，并把这些hard example作为下面那个ROI network的输入。
实际训练的时候，每个mini-batch包含N个图像，共|R|个ROI，也就是每张图像包含|R|/N个ROI。经过hard ROI sampler筛选后得到B个hard example。作者在文中采用N=2，|R|=4000，B=128。
另外关于正负样本的选择：当一个ROI和一个ground truth的IOU大于0.5，则为正样本；当一个ROI和所有ground truth的IOU的最大值小于0.5时为负样本。
总结来说，对于给定图像，经过selective search RoIs，同样计算出卷积特征图。但是在绿色部分的（a）中，一个只读的RoI网络对特征图和所有RoI进行前向传播，然后Hard RoI module利用这些RoI的loss选择B个样本。在红色部分（b）中，这些选择出的样本（hard examples）进入RoI网络，进一步进行前向和后向传播。

原文链接：深度学习不可忽略之OHEM:Online Hard Example Mining