遥感论文 | Scientific Reports | 一种显著提升遥感影像小目标检测的网络!

本文主要是介绍遥感论文 | Scientific Reports | 一种显著提升遥感影像小目标检测的网络!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  • 论文题目:MwdpNet: towards improving the recognition accuracy of tiny targets in high-resolution remote sensing image
  • 论文网址:https://www.nature.com/articles/s41598-023-41021-8

摘要

提出MwdpNet,以提高对高分辨率遥感(HRS)图像中微小目标的识别准确性。提出了一种新颖的多级加权深度感知网络,4个方面

  • 提出了一种多级特征加权融合策略,充分利用浅层特征信息来提高检测性能,特别是对于微小目标。
  • 为了充分描述图像的高级语义信息,实现更好的分类性能,我们设计了一个深度感知模块(DPModule)。
  • 提出了通道注意引导模块(CAGM),用于获取每个尺度的注意特征图,增强微小目标的召回率并更有效地生成候选区域。
  • 我们创建了四个微小目标数据集,并对其进行了比较实验。

结果表明,我们提出的MwdpNet在这四个数据集上的平均精度(mAP)分别达到了87.0%、89.2%、78.3%和76.0%,优于九种主流目标检测算法。我们提出的方法为在HRS图像上检测微小目标提供了一种有效的手段和策略。

背景

在高分辨率遥感(HRS)图像中进行目标检测目前是遥感图像智能解译领域的一个重要研究方向。在HRS图像中准确识别微小目标是遥感图像目标检测的主要任务。然而,在HRS图像中,微小目标仅占据少数像素,具有模糊的特征,并且容易受到背景干扰的影响。这些因素使得现有的网络检测模型难以提取足够的语义信息用于这些目标,导致检测和识别性能差,存在显著的局限性。因此,在HRS图像中检测微小目标仍然是一个重大挑战。

方法

模型总体框架

  • backbone在原有DarkNet53基础上进行了改进,借用了Res2Net33的结构,用分组残差替换了原始的残差结构。(改动见Figure1的f到g)

模块1:Multi‑level feature weighted fusion

  • 首先,图像被送入骨干增强网络,输出不同层级的特征图C = {C1,C2,C3,C4}。
  • C1通过BN和ReLU处理,得到具有恒定大小通道的M1特征图。然后,通过1×1卷积减少C2的通道数,并通过BN、ReLU和双线性插值进行上采样,得到具有不同维度的M2。
  • 上述步骤重复进行,得到M3、M4特征图。

所提出策略的主要思想是加权基础融合特征图的不同维度通道,从而选择融合特征图的重要特征信息。这使得语义特征和早期特征的融合更为有效,并允许充分增强浅层卷积层的语义信息。

模块2:Deeper Perception Module

DPModule主要包括两个步骤。

  • (1) 附近尺度平均:将前一节中获得的浅层增强特征和相邻的卷积层集成在一起,变成一个特征向量,并通过主成分分析进行降维。
  • (2) 浅层增强特征向量和深层特征向量的融合:降维后的浅层增强特征向量和深层特征向量从上到下级联,形成一个新的密集特征向量。

模块3:Channel Attention Guided module

CAGM专注于位置信息,并旨在增强高分辨率遥感(HRS)图像中多层次特征的表示能力。CAGM模块的设计如图所示。

Loss

**损失函数优化:**由于在微小目标和背景之间难以分类困难样本,模型可能面临正负样本不平衡的问题。因此,有必要考虑不同样本对损失的贡献比例,并在损失函数中给予微小目标样本更多的权重。在本文中,损失函数定义为:

其中:pt表示一个样本属于真实标签的概率

数据集

  • 数据集1:基于DOTA数据集,我们选择了小型车辆、小船和飞机作为微小目标。我们手动选择了总共1022张包含小型车辆和飞机类别的图像,其中小型车辆的尺寸范围从24.7×24.7到40.9×40.9,飞机的尺寸范围从37.1×37.1到51.2×51.2。
  • 数据集2:基于VEDAI数据集,我们将包括汽车、露营车、卡车和卡车在内的最小尺寸的车辆合并为一类,并选择尺寸范围从11.5×11.5到18.7×18.7的目标。
  • 数据集3:基于VEDAI数据集,我们评估了9个目标类别(小船、汽车、露营车、飞机、航天飞机、拖拉机、卡车、货车和其他类别)的检测性能。显示的目标尺寸范围从13.5×13.5到24.9×24.9。
  • 数据集4:基于NWPU VHR-10数据集,我们手动选择了包含飞机、小船、坦克和车辆的526张图像。显示的目标尺寸范围从42.28×42.28到48.32×48.32,创建了一个微小目标数据集。每个数据集的详细信息见表1。

实验

  • 评价指标采用常见目标检测指标,如下所示

实验一:

  • 通过输入两种尺寸的图像来评估MwdpNet的性能,其中"m"表示1000×1000的图像,"l"表示2000×2000的图像(例如,SSDm:将1000×1000的图像输入到SSD中)。比较的算法包括单级检测算法(SSD17、RSSD19、FFESSD20、MDSSD37)。SSD使用的骨干网络是VGG16,而RSSD、FFESSD和MDSSD使用ResNet-101。结果如表2所示。

实验二:

  • 基于丰富的经验,作者发现YOLO系列算法在VEDAI数据集上表现良好,因此将我们的模型与它们进行了比较。我们使用两种不同的输入尺寸(512×512和1024×1024)以及单级检测算法(YOLOV421、YOLOV522、YOLOV6-M23)进行了比较性实验。YOLOV4、YOLOV5和YOLOV6-M使用的骨干网络是Darknet-53。结果如表3所示。

实验三:

  • 为了全面评估我们网络的有效性,我们在实验1和实验2中将其与两级检测算法进行了比较,而不是与单级算法。两级算法在识别微小目标方面更为出色,因此我们在数据集3上进行了此实验。实验3的输入图像尺寸设置为1024×1024。比较的算法包括Faster-RCNN15、OHEM38、ION39和R-FCN31。Faster-RCNN、OHEM和ION使用的骨干网络是VGG16,而R-FCN使用的是ResNet-101。结果如表4所示。

实验四:

  • 实验四在数据集4上进行。比较的算法包括RSSD、FFESSD、MDSSD、YOLOV5和YOLOV6-M等单级检测算法,以及Faster-RCNN、OHEM、ION和R-FCN等两级检测算法。结果如表5所示,其中APs、APm

模型复杂度对比

模型消融实验

对比有无DP和**CAGM(图中的CM)**的效果

评价指标随着训练epoch的对比图

特征图可视化热力图

小结

本文提出了一种新颖而有效的 MwdpNet 框架,用于检测高分辨率遥感图像中的微小目标。

  • 设计了一种多层次特征加权融合策略。
  • 引入了深度感知模块(DPModule)和通道注意引导模块(CAGM)到 MwdpNet 中,

可以借鉴两个模块中的思路,提高特征提取的效果。

这篇关于遥感论文 | Scientific Reports | 一种显著提升遥感影像小目标检测的网络!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/506190

相关文章

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今,数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》:本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为

使用DeepSeek API 结合VSCode提升开发效率

《使用DeepSeekAPI结合VSCode提升开发效率》:本文主要介绍DeepSeekAPI与VisualStudioCode(VSCode)结合使用,以提升软件开发效率,具有一定的参考价值... 目录引言准备工作安装必要的 VSCode 扩展配置 DeepSeek API1. 创建 API 请求文件2.

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

SpringBoot使用Apache Tika检测敏感信息

《SpringBoot使用ApacheTika检测敏感信息》ApacheTika是一个功能强大的内容分析工具,它能够从多种文件格式中提取文本、元数据以及其他结构化信息,下面我们来看看如何使用Ap... 目录Tika 主要特性1. 多格式支持2. 自动文件类型检测3. 文本和元数据提取4. 支持 OCR(光学

C#使用yield关键字实现提升迭代性能与效率

《C#使用yield关键字实现提升迭代性能与效率》yield关键字在C#中简化了数据迭代的方式,实现了按需生成数据,自动维护迭代状态,本文主要来聊聊如何使用yield关键字实现提升迭代性能与效率,感兴... 目录前言传统迭代和yield迭代方式对比yield延迟加载按需获取数据yield break显式示迭