Concealed Object Detection阅读笔记

arXiv 2021
Deng-Ping Fan, Ge-Peng Ji, Ming-Ming Cheng, Ling Shao
https://arxiv.org/abs/2102.10274

一、简介

收集了COD10K数据集，这项工作已经在SINet中提出。

提出了SINet-V2框架，总训练时间为4小时使用搜索和识别的策略，该策略适用于COD任务。

二、SINet-V2

2.1 Search Phase（搜索阶段）

2.1.1 Feature Extraction（特征提取）

输入图像I（W×H×3），经过Res2Net-50（去除顶部全连接层）得到特征{f1，f2，f3，f4，f5}，其分辨率大小为H/2^k×W/2^k。

2.1.2 Texture Enhanced Module（TEM）

TEM是纹理增强模块，用于捕捉细粒度的纹理和放大上下文线索。

神经科学实验已经证实，在人类视觉系统中，一组不同大小的人群感受野有助于突出视网膜中心凹附近的区域，该区域对微小的空间移动非常敏感。这促使我们在搜索阶段(通常在小/局部空间)使用TEM来合并更具区分性的特征表示。

与标准感受野块结构相比，TEM多增加了一条扩张率更大的分支来扩大感受野，并进一步用两个不对称的卷积层代替了标准的卷积。

2.1.3 Neighbor Connection Decoder (NCD)

NCD是相邻连接解码器，它能够提供位置信息。

底层特征由于其较大的空间分辨率消耗了更多的计算资源，但对性能贡献相对较小。因此我们仅聚合f3，f4和f5 以获得更有效的学习能力。

然而，在聚合多个特征金字塔时，仍然有两个关键问题，即如何保持层内的语义一致性和如何跨层拼接上下文。这里，我们提出使用相邻连接解码器(NCD)来解决这些问题。

g[]表示一个3×3的带有bn操作的卷积层。
δ表示采样操作，为了确保形状一致。箭头向上表示上采样，箭头向下表示下采样。
⊗是按元素相乘操作。

这样就生成了粗略的位置图C6。

2.2 Identification Phase（识别阶段）

2.2.1 Reverse Guidance

在搜索阶段得到的C6只能够捕捉隐藏物体的相对粗略位置，而忽略了结构和纹理细节。

为了解决这个问题，我们引入了一种原则性的策略，通过删除对象来挖掘有区别的隐含区域。如图14(B)所示，我们通过Sigmoid和反向运算获得输出反向注意引导r1。

σ是sigmoid函数。

2.2.2 Group Guidance Operation (GGO)

通过从侧向输出特征中删除现有的估计目标区域，反向注意被用于挖掘互补区域和细节。我们提出了一种新的GroupWise操作来更有效地利用先验反向引导。如图14(A)所示，团体引导操作包含两个主要步骤。首先，我们沿着通道维度将候选特征p分成N组。然后，在分割特征p，之间周期性地内插先验引导rk。

相反，[7]更强调确保候选特征直接与先验相乘，这可能会引起两个问题：a)由于网络的分辨能力有限，特征混淆；b)简单的乘法引入真假先验，因此容易积累不准确。与文献[7]相比，我们的GGO可以在后续的精化过程之前显式地分离先验和候选特征。

2.2.3 Group-Reversal Attention (GRA)

级联反向注意(GRA)块，它协同工作从更深的层改进粗略的预测。通过不同的特征金字塔逐步细化粗略预测。

三、实验

四、伪装目标检测应用

4.1 医学

息肉分割。

肺部感染分割。

4.2 制造业

表面缺陷检测。

4.3 农业

有害生物检测。

水果成熟度检测。

4.4 艺术

休闲艺术。

从隐蔽的物体到显眼的物体。

4.5 日常生活

透明物品/物体检测。

搜索引擎。

五、潜在研究方向

5.1 弱/半监督学习

现有的基于深度的方法以完全监督的方式从带有对象级标签的图像中提取特征。但是，像素级标注通常由LabelMe或Adobe Photoshop工具手动标记，具有密集的专业交互，要耗费大量的精力。因此，必须利用弱/半(部分)标注数据进行训练，以避免巨大的标注成本。

5.2 自监督学习

5.3 其他模态的伪装目标检测

现有的伪装数据仅基于静态图像或动态视频。然而，其他形式的伪装对象检测可能与诸如黑夜害虫监测、机器人和艺术家设计等领域密切相关。与RGB-D SOD、RGB-T SOD和VSOD中的类似，这些模式可以是音频、热或深度数据，在特定场景下提出了新的挑战。

5.4 伪装目标分类

通用目标分类是计算机视觉中的一项基本任务。因此，隐蔽对象分类在未来也可能获得关注。利用COD10K提供的类和子类标签，可以构建大规模、细粒度的分类任务。

5.5 伪装目标跟踪

5.6 伪装对象排序

目前，伪装目标检测算法都是建立在二值化的基础上，生成伪装目标的掩模，而不分析伪装程度。然而，了解伪装的程度有助于更好地探索模型背后的机制，提供对它们的更深层次的洞察力。

5.7 伪装对象实例分割

5.8 多任务通用网络

不同的视觉任务之间有很强的联系。因此，它们的监管可以在一个通用系统中重用，而不会增加复杂性。考虑设计一个通用网络来同时定位、分割和排序隐藏对象是很自然的。

5.9 神经网络搜索

无论是传统算法还是基于深度学习的隐蔽目标检测模型，都需要具有强大先验知识或熟练专业知识的人类专家。有时，由算法工程师设计的手工制作的功能和体系结构可能不是最优的。因此，神经结构搜索技术，如流行的自动机器学习，提供了一个潜在的方向。

5.10 将突出对象转换为隐藏对象

将显著对象转换为隐藏对象以增加训练数据，以及在SOD和COD任务之间引入生成性对抗机制以提高网络的特征提取能力。