《Defect detection on new samples with siamese defect-aware attention network》论文阅读笔记

这篇文章2022年四月接受的。

摘要

目前基于深度学习的缺陷检测方法大多依赖于大规模的标注数据，无法使经过训练的深度学习模型适应训练期间未观察到的新样本。作者提出一种新的感知注意网络（SDANet），该网络具有模板比较检测策略，以匹配新样本，而无需快速收集新数据和重新训练模型。在SDANet中，使用连体特征金字塔网络从输入图像和模板图像中提取多尺度特征，提出缺陷感知注意模块以获取输入特征和模板特征之间的不一致性，并使用它增强输入图像特征中的异常，开发了自校准模块，用于校准输入特征和模板特征之间的对齐误差。SDANet可以用作插件模块，使大多数现有主流检测算法不仅能够利用缺陷的特征，而且能够利用被检测图像的特征与模板图像的特征之间的不一致性来检测缺陷。在两个公开的工业缺陷检测基准上进行的大量实验突出了我们方法的有效性。SDANet可以无缝地集成到主流检测方法中，并将主流检测算法在陌生样本上的映射平均提高12%，比当前最先进的方法高出7.7%。它还可以将可见样本中的性能平均提高4.3%。SDANet可用于工业制造的一般缺陷检测应用 。

问题背景

为了检测看不见样本中的缺陷，现有的深度学习方法需要重新收集和标记相应的数据，并重新训练模型，这很难在制造业中实现，因为收集足够的看不见样本数据非常困难，并且标记这些数据需要高级专业技能和成本。因此，如何在不收集新数据和进行再训练的情况下，无缝地调整训练后的深度学习模型以适应看不见的样本已成为一个迫切的问题。在本文中，陌生样本是指具有训练期间未观察到的新背景的样本，例如具有新颜色或样式的样本，并且要检测的缺陷是用其自身的模式预定义的。当在陌生的样本上测试时，现有方法无法识别与陌生的背景高度相似的异常。

主要贡献

1.我们提出了一种新的暹罗缺陷感知注意网络（SDANet），该网络具有模板比较检测策略，使现有的对象检测方法能够检测新样本中的缺陷，而无需重新收集数据或重新训练模型，这有助于解决工业缺陷检测任务中的数据稀缺问题。
2. 在SDANet中，我们将原始孪生网络转换并创建为多尺度金字塔双孪生神经网络，该网络可以利用多尺度特征检测不同尺度的缺陷。为了充分利用输入图像和模板图像之间的特征差异，我们提出了一种缺陷感知注意模块，该模块可以获得输入和模板特征之间的不一致性，并使用它来增强输入图像特征中的异常。通过自注意力机制开发了自校准模块，用于校准输入特征和模板特征之间的对齐误差。
3.提出的SDANet可以作为各种主流目标检测算法的轻量级插件，以提高其在新样本中的检测性能，这有助于在现有缺陷检测算法上进行工程部署。我们提出了一种预存模板特征策略来提高测试效率。
4.在包含实际工业生产图像的两个公共数据集上进行了广泛的实验和烧蚀研究，以评估该方法。将其作为插件应用于各种主流的目标检测算法时，实验结果表明，我们的方法在不牺牲速率的情况下显著提高了对未知样本的检测性能，并且大大优于当前的技术水平。