深度学习小目标检测问题——(转载)对于ssd对小目标检测效果的思考

2024-06-13 10:38

本文主要是介绍深度学习小目标检测问题——(转载)对于ssd对小目标检测效果的思考,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

版权声明:本文为CSDN博主「mazinkaiser1991」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u012927281/article/details/87426473

对于ssd模型对于小目标检测效果不好的问题,我认为可以结合.prototxt文件进行分析,以conv4_3_norm_mbox_priorbox为例:

prior_box_param {
min_size: 30.0
max_size: 60.0
aspect_ratio: 2
flip: true
clip: false
variance: 0.1
variance: 0.1
variance: 0.2
variance: 0.2
step: 8
offset: 0.5
}

其中min_size比较明确为30pixel,若以IOU 0.5为例,则原物体大小至少为21.21pixel,才能与原物体有0.5以上的IOU。也因此小于21pixel的物体,ssd无法检测。因为没有办法生成anchor。针对这个问题其实可以通过min_size与step的方式进行解决。

但仅生成anchor还不够,若要检测小物体,既需要一张足够大的featuremap来提供更加精细的特征和做更加密集的采样,同时也需要足够的semantic meaning来与背景区分开。当前conv4_3_norm_mbox_priorbox一方面featuremap不够大,特征信息不够,另一方面conv4_3_norm_mbox_priorbox属于比较靠近输入的卷积层,semantic信息同时不够。以上两方面的原因都造成了conv4_3_norm_mbox_priorbox无法用于检测小目标。

但对于conv9_2_mbox_priorbox层:

prior_box_param {
min_size: 264.0
max_size: 315.0
aspect_ratio: 2
flip: true
clip: false
variance: 0.1
variance: 0.1
variance: 0.2
variance: 0.2
step: 300
offset: 0.5
}

最小的框是264pixel,同理最小物体的尺寸是186.67pixel,conv9_2_mbox_priorbox包含语义信息较多,但可以检测的最小物体过大,也造成了conv9_2_mbox_priorbox无法用于检测小目标。
针对既要较大的featuremap,又要较为丰富的语义信息的问题,FPN、retinanet、yolov3等采用的方法比较一致,使用较小的featuremap通过upsample操作与较大的featuremap concat在一起,即保留了深层featuremap的语义信息,又利用了浅层featuremap较为精细的特征。yolov2同样使用了多尺度特征融合。

除了多尺度特征融合之外,还可以采用的另一个思路是detnet。使用专门的目标检测主干网络,代替当前针对分类任务的主干网络。针对分类任务的主干网络有以下问题:当前主干网络基于较大的降采样因子产生较大的感受野,较大的感受野对分类任务有利。(Traditional backbone produces higher receptive field based on large downsampling factor, which is beneficial to the visual classification)然而以上做法造成了空间分辨率的让步,这造成了大目标的定位不准确与小目标的识别困难(However, the spatial resolution is compromised which will fail to accurately localize the large objects and recognize the small objects.)

其核心思想是空洞瓶颈结构(dilated bottleneck structure),总结起来就是一句话:DetNet不仅保持较高分辨率的特征图,同时具有较大的感受野。(DetNet not only maintains high resolution feature maps but also keeps large receptive field)

论文中认为FPN在较深的层次生成并预测较大的物体,上述物体的边界可能会过于模糊以致于不能准确的回归。(large object is generated and predicted within deeper layers, the boundary of these object may be too blurry to get an accurate regression)。较大的步长的另一个缺点是小物体的丢失。(Another drawback of large stride is the missing of small objects.)

PS:FPN使用P2-P6层,retinanet使用P3-P7层。在retinanet中anchor与gt的IOU大于0.5为正样本,小于0.4为背景,大于0.4小于0.5的在训练过程中忽略。FPN仍然使用与faster-rcnn相同的原则,与某个gt有最高的IOU,或者与任何gt的IOU大于0.7,则认为是正样本,与任何gt IOU都小于0.3,则认为是负样本。

最后回到核心内容上来,detnet的实现就是将resnet中原来的33卷积换成33,dilate为2的空洞卷积,网络结构见下图:
在这里插入图片描述

参考:
重要
知乎:https://www.zhihu.com/question/49455386

githubMobileNet-SSD-windows:https://github.com/eric612/MobileNet-SSD-windows/blob/master/models/VGGNet/VOC0712/SSD_300x300/train.prototxt

这篇关于深度学习小目标检测问题——(转载)对于ssd对小目标检测效果的思考的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1057071

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss