context augmentation and feature refinement network for tiny object detection的一些理解

abstract

本文提出了一种结合增强上下文和细化特征的特征金字塔，将多尺度扩张卷积得到的特征自上向下融合注入特征金字塔，不同上下文信息，引入通道和空间特征细化机制，抑制多尺度特征融合中的冲突形成，防止微小目标消失在冲突信息中，此外提出了一种copy-reduction-paste的数据增强方法，该方法可以增加微小对象在训练过程中损失的贡献，确保训练更加均衡。

直接重点！！！

本文是针对FPN来进行改进的，改进网络结构如下图：

CEM模块

CEM的灵感来自于人类识别物体的模式，例如在非常高的天空中，人类很难分辨出一只鸟，但是将天空作为上下文信息时，人类就很容易分辨出来，因此作者认为上下文信息有助于微小目标的检测。（个人理解：小目标只要背景纯粹，无大量噪音下，还是比较容易检测到的。）
CEM采用不同膨胀率的空洞卷积来获取不同感受野的上下文信息，并从上到下注入FPN中以丰富上下文信息。但由于FPN不同层次之间的语义差异，在共享信息时，会引入冗余信息和冲突信息。

FPM模块

FPM被用来过滤冲突信息，减少语义差异。通过自适应融合不同层间的特征，消除层间的冲突信息，防止小目标消失在冲突信息中。

为了证明FRM的有效性，作者可视化了一些特征图。微小目标的检测主要由FPN的底层主导，因此仅对底层特征进行可视化。将特征图缩放到相同的尺寸。如图所示，最左边的一列是待检测的输入图像。F3、L3、P3为中对应标签的特征图可视化结果。

从可视化分析，本文提出的FRM可以大大减少冲突信息（可以理解为减少背景噪音），提高微小目标的检测精度。

Copy-Reduction-Paste

为了保证网络整体在训练过程中不会向较大目标倾斜，作者提出了一种Copy-Reduction-Paste的方法增加训练中微小目标丢失的比列。（个人理解为：变相增加训练过程中微小目标loss的重要性）

将小目标物体截取出来，粘贴到数据集图片上随机地方，强行增大小目标样本数量，变相增加小目标物体在loss计算中的贡献。

随机粘贴一次效果最好，与baseline相比，APs提高了2.5%，APm提高了1.9%，对大中型目标的检测性能也略有提高。

消融实验

总体而言，本文提出的模块可以显著提高目标检测性能，特别是对于微小目标和中等目标，这也符合设计的初衣。如表所示，APs增加了5.4%。APm增加 , APl增加1.0%。同时，不同尺度目标的召回率也有不同程度的提高。具体而言，ARs增加6.9% ARm增加2.3% ，ARl增加1.1%。

总结

从上表可以看出，本文提出的算法在VOC数据集上的mAP值高于近年来大多数算法。比 PFPNet-R512 高1.3%。但比IPG-RCNN低1.2% 。这主要是由于Backbone较差，图像尺寸较小，使得检测性能略低于IPG-RCNN。如果用多尺度方法测试算法，VOC数据集上的mAP可以达到85.1%，高于所有参与对比的算法。

从上表可以看出，本文提出的算法在微小目标的AP和AR方面具有绝对优势。

本文算法比YOLOV4算法提高3.9% (16.9%vs.13%)，在比较算法中最高。与RefineDet相比在上高9.2%(29.4% vs. 20.2%)，而在上低1.5%。

同时，本文提出的算法对中等目标的AR值最高，对中等目标具有较强的检测能力。

通过以上可以看到，本文提出的算法在微小目标检测方面有很大的优势。微小目标的AP和AR算法都有较好的性能，优于大多数目标检测算法。