CEASC:基于全局上下文增强的自适应稀疏卷积网络在无人机图像上的快速目标检测

本文主要是介绍CEASC:基于全局上下文增强的自适应稀疏卷积网络在无人机图像上的快速目标检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Adaptive Sparse Convolutional Networks with Global Context Enhancement for
Faster Object Detection on Drone Images

摘要

        提出了一种基于稀疏卷积的探测头优化方法,该方法在精度和效率之间取得了较好的平衡。然而,该算法对微小物体的上下文信息融合不足,且在前景尺度变化时,对遮挡比例的控制不灵活。针对上述问题,提出了一种新的全局上下文增强自适应稀疏卷积网络(CEASC)该算法首先利用全局背景统计量代替稀疏采样特征统计量,构建了背景增强的组归一化(CE-GN)层,然后设计了一种自适应的多层掩膜策略,在不同尺度下生成最优的掩膜比例,以获得更紧凑的前景覆盖,提高了算法的准确性和效率。具体来说,首先开发一个上下文增强稀疏卷积(CESC)来捕获全局信息并增强焦点特征,它由具有上下文增强组规范化(CE-GN)层的残差结构组成。由于CE-GN专门保留了一组整体特征,并将其应用于归一化,因此它补偿了稀疏卷积造成的上下文损失,并稳定了前景区域的分布,从而绕过了准确性的急剧下降。然后,提出了一个自适应多层掩蔽(AMM)计划,它分别估计最佳的掩模比通过最小化精心设计的损失在不同层次的特征金字塔网络(FPN),平衡检测精度和效率。在VisDrone和UAVDT两个主要测试平台上的实验结果表明,CEASC能够显著降低GFLOPs,加快推理过程,并具有较好的性能。

创新点

        1)提出了一种新的基于稀疏卷积的检测头优化方法,即CEASC,以有效的无人机目标检测。

        2)引入了一个上下文增强的稀疏卷积层和一个自适应多层掩蔽方案来优化掩码比,从而在检测精度和效率之间实现最佳平衡。

网络模型

        方法如图2所示,给定一个基本检测器,整个CEASC网络的目标是通过开发上下文增强稀疏卷积(CESC)来优化FPN中不同层的检测头,CESC通过一个轻量级卷积模块以及上下文增强组归一化(CEGN)层将焦点信息与全局上下文相结合。设计了一个自适应多层掩模(AMM)模块,使模型能够自适应地产生具有适当掩模比的掩模,从而在精度和效率上达到更好的平衡。

1.上下文增强稀疏卷积
1.1稀疏卷积

        无人机图像上的大多数现有检测器都使用密集的检测头,在整个特征图上进行卷积。虽然充分探索视觉线索有助于检测微小物体,但密集头部需要更多的计算,这不适用于资源受限的UAV平台。同时,前景区域仅占据无人机获取的帧的一小部分,这表明密集头部在背景上进行了大量计算操作,其中包含的用于对象检测的有用信息少得多。该观察揭示了通过仅在前景区域上计算来加速检测头的潜力。

        稀疏卷积(SC)通过使用稀疏掩模来学习对前景区域进行操作,并证明可以有效加快各种视觉任务的推理阶段。受其启发,构建了基于SC的网络。具体地说,给定来自FPN的第i层的特征映射Xi ,SC采用由共享核Wmask组成的掩码网络。基于Wmask对Xi进行卷积生成软特征Si ,通过使用Gumbel-Softmax技巧将其进一步转化为掩码矩阵Hi ∈ {0,1}B×1×H×W,公式如下:

其中g1,g2 ∈ RB×1×H×W表示随机Gumbel噪声,σ表示sigmoid函数,τ是Gumbel-Softmax中相应的温度参数。

        根据等式(1)在推理期间,只有掩码值为1的区域参与卷积,从而降低了总的计算成本。Hi的稀疏性由掩模比r ∈ [0,1]控制,通常手动设置为大于0.9。由于基本检测器在检测框架中有一个分类头和一个回归头,考虑到它们通常关注不同的区域,为每个头分别引入一个掩码网络。每个探测头采用四个卷积-GN-ReLU层和一个卷积层来进行预测,其中,用SC层取代传统的卷积层。

1.2上下文增强

        上下文线索有利于目标检测然而,SC仅对前景执行卷积,并放弃具有有用信息的背景,这可能会破坏整体准确性,特别是在无人机图像中存在微小对象的情况下。为了解决这个问题,提出了一个轻量级的CESC模块,共同利用焦点信息和全局上下文进行增强,同时提高后续计算的稳定性。如图2所示,对特征图Xi应用逐点卷积,生成全局上下文特征Gi。由于SC只处理Xi中的少数元素,因此经过多轮SC后,GI往往会变得稳定,而不会花费太多额外的计算成本。

        作为SC的重要组成部分,将全局上下文信息Gi嵌入到SparseConvolution-GN-ReLU层中,其将特征映射Xij,掩码Hi和全局特征Gi作为输入,其中j表示第j个SparseConvolution-GN-ReLU层。采用Gi的平均值和标准差进行归一化,而不是像传统SC那样使用激活的元素来计算组归一化的统计数据,旨在补偿缺失的上下文。假设Li,j是在对Xi,j应用SC之后的输出特征图,通过CE-GN如下获得上下文增强的特征Fij

其中mean[·]和std[·]分别表示均值和标准差,w和B是可学习参数。

        为了进一步减轻SC中的信息损失并使训练过程更加稳定,在训练期间除了稀疏卷积之外还额外保持正常的密集卷积,生成在完整输入特征图上卷积的特征图Cij。然后,采用Cij通过优化MSE损失来增强稀疏特征图Fij,如下所示:

其中L是FPN中的层数。

        最终通过将Gi添加到Fij来在激活层之前采用残差结构,即Fij= Fij + Gi,这加强了上下文保持。CESC模块和CE-GN层的完整架构如图2所示。

2.自适应多层掩蔽

        在没有任何额外约束的情况下,稀疏检测器倾向于生成具有大激活比(或小掩模比)的掩模以获得更高的精度,从而增加了总体计算成本。为了解决这个问题,大提出了AMM方案来自适应地控制激活率(或抑制掩模率)。

        具体地,AMM首先基于地面实况标签来估计最优掩模比率。通过利用标签分配技术,对于第i个FPN层,获得地面实况分类结果Ci,其中c表示包括背景的类别数量; hi和wi分别表示特征图的高度和宽度。第i个FPN层中的最佳激活比率Pi估计为

其中Pos(Ci)和Numel(Ci)分别指示属于正(前景)实例的像素的数量和所有像素的数量。

        为了引导网络自适应地生成具有适当掩码比的掩码,采用以下损失

其中,Pos(Hi)/Numel(Hi)表示掩模Hi的活化率。通过使Lamm最小化,Hi被迫遵守与地面真实前景比率Pi相同的激活比率,从而便于生成足够的掩模比率。

        通过添加常规检测损失Ldet,将总体训练损失公式化如下:

其中α、β是平衡Lnorm和Lamm重要性的超参数。

这篇关于CEASC:基于全局上下文增强的自适应稀疏卷积网络在无人机图像上的快速目标检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1121283

相关文章

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

C++快速排序超详细讲解

《C++快速排序超详细讲解》快速排序是一种高效的排序算法,通过分治法将数组划分为两部分,递归排序,直到整个数组有序,通过代码解析和示例,详细解释了快速排序的工作原理和实现过程,需要的朋友可以参考下... 目录一、快速排序原理二、快速排序标准代码三、代码解析四、使用while循环的快速排序1.代码代码1.由快

Win32下C++实现快速获取硬盘分区信息

《Win32下C++实现快速获取硬盘分区信息》这篇文章主要为大家详细介绍了Win32下C++如何实现快速获取硬盘分区信息,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 实现代码CDiskDriveUtils.h#pragma once #include <wtypesbase

Python中__new__()方法适应及注意事项详解

《Python中__new__()方法适应及注意事项详解》:本文主要介绍Python中__new__()方法适应及注意事项的相关资料,new()方法是Python中的一个特殊构造方法,用于在创建对... 目录前言基本用法返回值单例模式自定义对象创建注意事项总结前言new() 方法在 python 中是一个

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像