ECCV2020 | DDBNet:目标检测中的Box优化

2023-12-18 12:38

本文主要是介绍ECCV2020 | DDBNet:目标检测中的Box优化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击上方“AI算法修炼营”,选择“星标”公众号

精选作品,第一时间送达


这篇文章收录于ECCV2020,作者团队是香港中文大学、腾讯优图、思谋科技等。整体文章思路通过深入了解box来优化anchor-free目标检测的性能,整体分为box分解和重组(D&R)模块和语义一致性模块,首先进行边界框的重组选择更准确的边界框,之后选择一致性强的像素来更精确地拟合目标范围,从而提高目标检测性能。思路还是不错,只是效果一般般。

论文地址:https://arxiv.org/abs/2007.14350.pdf

Anchor-free目标检测方法中精确的边界框估计是这些方法成功的关键。但是,即使边界框具有最高的置信度得分,在定位环节仍然有一些瑕疵。为此,本文提出了一种box reorganization方法(DDBNet),该方法可以深入到box中以进行更准确的定位。具体来说,第一步将漂移的框(drifted box)过滤掉,因为这些框中的内容与目标语义不一致。接下来,将选定的框划分为边界(boundaries),并搜索排列整齐的边界,将其分组为更精确的框,从而更精确地拟合目标实例范围。实验结果表明,本文的方法是有效的,可实现最新的物体检测性能。

简介

在目标检测领域,尽管anchor-free方法取得了成功,但应注意的是,这些方法在准确性方面仍存在局限性,其局限性在于其以atomic fashion方式学习边界框的方式。因此,anchor-free方法的存在两个问题:首先,中心关键点的定义与其语义不一致。众所周知,中心关键点对于anchor-free目标检测器是必不可少的,通常,在其训练阶段将目标包围盒内的正中心关键点嵌入到均匀或高斯分布中,典型的算法有:FCOS 和CornerNet。但是,如图1所示,不可避免地会错误地将背景中的噪点像素视为正样本值。即采用 trivial 的策略来定义正目标会导致明显的语义不一致,从而降低检测器的回归精度。

图1:边界框内的中心关键点的语义与其标注之间不一致。红色中心区域的背景像素被视为正中心关键点,这是不正确的。

第二,局部回归( local wise regression)是受限的。具体而言,中心关键点通常以区域/局部方式提供框预测,这可能会影响检测精度。局部预测是由于卷积核的感受野的限制,以及将每个中心关键点的每个box预测视为原子操作而设计的。如图2所示,虚线的预测框和相应的中心关键点以相同的颜色显示。尽管每个预测的box都围绕着对象,但这是不完美的,因为四个边界不能同时正确地与ground truth对齐。因此,在推断阶段选择高分的box作为最终检测结果有时是较差的。

图2:普通anchor-free目标检测器的box预测中边界漂移现象的示意图。受区域感受野的限制以及将每个box预测视为原子操作的设计,每个带虚线的预测框box都不完美,其中四个边界不能同时适应ground truth。经过box的分解和组合后,重组后的红色box的定位效果更好。

为了解决检测不准确的问题,本文提出了一种新型的边界框重组方法,该方法深入到中心键点的box框回归过程中,并考虑了中心关键点的语义一致性。该重组方法包含两个模块,分别表示为box分解与重组(D&R)模块和语义一致性模块。 具体来说,一个实例内部的中心关键点的边界框box预测形成了一个实例定位的初始粗分布,这种分布与理想的实例定位并不一致,通常会出现边界漂移的问题。D&R模块首先将这些box预测分解为四组边界,在较低的精度水平上建立实例定位模型,每个边界的置信度根据与ground truth的偏差进行评估。接下来,对这些边界进行排序和重新组合,形成一种对每个实例更精确的边界box预测,如图2所述。然后,这些优化后的边界框预测有助于最终的边界框回归。

同时,提出了语义一致性模块来排除背景中的噪声中心关键点,这使本文的方法可以将重点放在与目标实例语义上密切相关的关键点上,并形成与目标实例定位相关的更紧密和可靠的分布,从而进一步提高了D&R模块的性能。语义一致性模块是一种针对预定义空间约束的无额外超参数的自适应策略。

本文方法:DDBNet

在本文中,基于FCOS构建了DDBNet,这是一种先进的anchor-free方法。如图3所示,本文的创新在于box分解和重组(D&R)模块和语义一致性模块。

图3:网络架构示意图。D&R模块和一致性模块被合并到通用检测网络中。D&R模块在训练阶段根据IoU损失进行框分解和重组,并预测由边界偏差监督的边界置信度。一致性模块选择语义与目标实例一致的有意义像素,以提高训练阶段的网络收敛性。

具体来说,D&R模块通过将预测的框划分为边界进行训练来重组预测框,该边界在回归分支后面进行连接。在训练阶段,一旦边界框预测在每个像素处回归,D&R模块会将每个边界框分解为四个方向边界。然后,根据它们与ground truth的实际边界偏差对同类边界进行排序。因此,通过重新组合排位边界,可以期望得到更准确的box框预测,然后通过IoU loss对其进行优化。

至于语义一致性模块将一个新的分支估计语义一致性而不是中心性纳入了框架,并在语义一致性模块的监督下对其进行了优化。该模块基于分类和回归分支的输出,提出了一种自适应过滤策略。

1 Box Decomposition and Recombination

IoU就是所说的交并比,是目标检测中最常用的指标,在anchor-based的方法中,他的作用不仅用来确定正样本和负样本,还可以用来评价输出框(predict box)和ground-truth的距离。

IoU可以反映预测检测框与真实检测框的检测效果。还有一个很好的特性就是尺度不变性,也就是对尺度不敏感(scale invariant), 在regression任务中,判断predict box和gt的距离最直接的指标就是IoU。(满足非负性;同一性;对称性;三角不等性)

如图4所示,D&R模块由四个步骤组成,然后根据IoU回归对最终的box预测进行正则化。

Step 1: Decomposition

如图4(a)所示,将一个预测的box划分为四个边界的置信度。然后将四种边界分为四组,分别是:left = {l0,l1,...,ln},right = {r0,r1,...,rn},bottom = {b0,b1,..., bn},top = {t0,t1,...,tn}。

Step 2: Ranking

考虑到IoU损失的约束,有利于具有较小并集和较大交集区域的预测框,最佳框预测的IoU损失预计最低。因此,在第二步中可以直接遍历所有边界后进行重新排列以获得最优的框,然而,以这种方式,计算复杂度非常高。为了避免这种暴力方法带来的繁重计算,本文采用了一种简单有效的排序策略。对于目标实例的每个边界集,计算到目标边界集合的偏差。然后,将每个集合中的边界按相应的偏差排序,如图4(b)所示。因此,靠近ground truth的边界比远处的边界具有更高的等级。作者发现这种排序策略效果很好,并且排序噪声不会影响网络训练的稳定性。

Step 3: Recombination

如图4(c)所示,将具有相同等级的四个集合的边界重新组合为新框。然后,将分解后的边界集合和目标边界集合之间的IoU看作为四个边界的重组置信度。重组边界的置信度表示为形状为N×4的矩阵。

Step 4: Assignment

现在得到了原始边界和重组后的边界两组边界得分。如图4(d)所示,每个边界的最终置信度是使用两组边界得分中的较高得分来分配的,而不是完全使用其中一组。如果重新组合后的低位框包含的边界离ground truth很远,这会导致重组后四个边界的置信度远低于其原始边界,这些严重漂移的置信度分数会导致训练阶段的梯度反向传播不稳定,因此选择得分较高的一组。

因此,为了进行可靠的网络训练,在基于ground truth和最优box以及相应的更好边界得分估算的IoU损失的监督下来优化每个边界。最终的回归损失包括两个部分:

主要思想是根据原始框和重组框之间较高的IoU分数,选择每个边界的梯度以更新网络。

2、Semantic Consistency Module

由于D&R模块的性能在一定程度上取决于目标实例中密集的box预测,因此需要一种自适应滤波方法来帮助网络学习将注意力集中在正样本的像素上,而排除负样本。也就是说,期望目标实例内像素的标签空间与其语义相一致。本文的网络在训练阶段无需额外的空间假设就可以学习准确的标记空间。

其中RI是背景真实度与目标实例I内像素的预测框之间的IoU得分,RI↓表示IoU置信度低于平均IoURI的像素。相反,RI↑表示具有比RI更高的IoU置信度的像素。元素ci∈CI是第i个像素的所有类别中的最大分类得分,表示类别数。类似地,CI↓表示具有比CI的平均得分低的分类得分的像素。在这种方法中,类别标签是不可知的,因此在训练期间不会抵制不正确类别的预测。最后,如图5所示,RI↓和CI↓中的交点像素被指定为负,而RI↑和CI↑中的并集像素被指定为正。同时,如果像素被多个实例覆盖,则它们优先选择表示最小的实例。

更重要的是,由上面等式确定的滤波方法能够在训练阶段自适应地控制具有不同大小的实例的正负像素的比率,这对网络的检测能力有显著影响。在实验中,研究了不同固定比率的性能,然后发现平均阈值的自适应选择效果最佳。

在根据语义一致性自主确定像素的标签后,网络在学习过程中考虑了每个正向像素的内在重要性,类似于FCOS中的中心度得分。因此,DDBNet网络能够强调一个实例中更重要的部分,学习起来更加有效。具体地,将每个像素的内在重要性定义为预测框与ground truth之间的IoU。然后,在内在重要性的监督下,将估计每个像素语义一致性的额外分支添加到网络中。语义一致性的损失表示为:

网络整体训练过程中的损失函数为:

其中,分类损失为Focal loss。

实验与结果

数据集:COCO detection  benchmark

评价指标:average precision (AP)、 ten  IoU  thresholds  (i.e.,  0.5  :  0.05  :  0.95)

1、对比实验

 

2、消融实验

4、可视化与PR曲线


更多细节可参考论文原文。


这篇关于ECCV2020 | DDBNet:目标检测中的Box优化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/508393

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

基于 YOLOv5 的积水检测系统:打造高效智能的智慧城市应用

在城市发展中,积水问题日益严重,特别是在大雨过后,积水往往会影响交通甚至威胁人们的安全。通过现代计算机视觉技术,我们能够智能化地检测和识别积水区域,减少潜在危险。本文将介绍如何使用 YOLOv5 和 PyQt5 搭建一个积水检测系统,结合深度学习和直观的图形界面,为用户提供高效的解决方案。 源码地址: PyQt5+YoloV5 实现积水检测系统 预览: 项目背景

JavaFX应用更新检测功能(在线自动更新方案)

JavaFX开发的桌面应用属于C端,一般来说需要版本检测和自动更新功能,这里记录一下一种版本检测和自动更新的方法。 1. 整体方案 JavaFX.应用版本检测、自动更新主要涉及一下步骤: 读取本地应用版本拉取远程版本并比较两个版本如果需要升级,那么拉取更新历史弹出升级控制窗口用户选择升级时,拉取升级包解压,重启应用用户选择忽略时,本地版本标志为忽略版本用户选择取消时,隐藏升级控制窗口 2.

从状态管理到性能优化:全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动