【论文解读】单目3D目标检测 MonoDLE(CVPR2021)

2024-02-01 11:10

本文主要是介绍【论文解读】单目3D目标检测 MonoDLE(CVPR2021),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文分享单目3D目标检测,MonoDLE模型的论文解读,了解它的设计思路,论文核心观点,模型结构,以及效果和性能。

目录

一、MonoDLE简介

二、论文核心观点

三、模型框架

四、模型预测信息与3D框联系

五、损失函数

六、核心内容——3D框中心点偏差分析

七、忽略远距离目标

八、实验对比与模型效果


一、MonoDLE简介

MonoDLE作为一个延续CenterNet框架的单目3d检测器,在不依赖dcn的情况下获得了较好的性能,可以作为baseline。

MonoDLE和SMOKE有些像,都是单目实现3D目标检测,通过几何约束和回归3D框信息,得到3D框的中心点、尺寸、朝向,但是它反驳了SMOKE提出的2D检测对3D检测没有帮助的论点。

开源地址:https://github.com/xinzhuma/monodle

论文地址:【CVPR2021】Delving into Localization Errors for Monocular 3D Object Detection

二、论文核心观点

论文核心观点,主要包括为三点:

  1. 2d box中心点与投影下来的3d box中心点,存在不可忽视的差异优先使用3d box投影下来的中心点
  2. 较远目标,会带偏模型训练在训练时,可以过滤这些过远的物体标签
  3. 提出了一种面向 3D IoU 的损失,用于对象的大小估计,不受“定位误差”的影响。

三、模型框架

MonoDLE是基于CenterNet框架,实现单目3d检测的。模型结构如下:

Backbone:DLA34

Neck:DLAUp

2D 框检测:3个分支

  • 分支一 通过输出heatmap,预测2D框中心点的粗略坐标,以及类别分数。(CenterNet用的是标签中2D框中心作为GT值来监督,MonoDLE采用了3D投影坐标作为粗坐标的监督
  • 分支二 预测的2D框中心点粗坐标与真实坐标之间的偏移。
  • 分支三 预测2D框的size。

3D Detection:4个分支

  •  分支一 预测2D框中心点粗坐标的深度值。
  •  分支二 预测2D框中心点粗坐标与真实的3D投影坐标之间的偏移。
  •  分支三 预测3D框的size。
  •  分支四 预测偏航角。

模型结构如下图所示:

四、模型预测信息与3D框联系

3D框相关的信息

1、3D中心点坐标(cw, yw, zw):通过预测3D中心在像素坐标系下的坐标,结合相机内参可以获得中心点在图像物理坐标系下的坐标(x,y,z)。再结合预测深度zw,获得zw/z的比例系数,就能求出xw,yw。由此可见,深度估计对整体定位精度的影响还是很大的。

2、深度估计:基于端到端的思路实现;同时在输出上做了一个不确定性建模,在预测深度d的基础上同时预测标准差σ。对于σ的分布,文中做了拉普拉斯分布和高斯分布,起到一定优化作用。

3、尺寸估计:以往的尺寸估计,应用的损失函数都是通过计算和真值框之间的交并比来约束尺寸。这样带来的问题就是,由于中心点的预测误差导致的损失偏大,会给尺寸估计带来不必要的负担。所以作者提出了尺寸估计并专门设计了损失函数,只针对尺寸的预测误差对这个分支进行优化。并且根据长宽高对于IOU影响的比例不同,对参数优化的权重也按比例进行了设置。

4、航向角估计:用的是multi-bin loss。

 模型预测信息,如下图所示:

五、损失函数

MonoDLE的损失由7部分组成,

  • 分类损失:Focal Loss
  • 2D 中心点损失:L1 Loss
  • 2D size损失:L1 Loss
  • 3D 深度估计损失:
  • 3D 中心点损失:L1 Loss
  • 3D heading angle:multi-bin Loss
  • 3D size:普通的L1 Loss & MonoDLE提出的 IoU Loss

六、核心内容——3D框中心点偏差分析

作者做了实验,分析3D框中心点偏差,以CenterNet作为baseline ,它是使用2D框的中心点,作为3D框在图像中的坐标,进行指导训练。AP只有9.97。

  • 当使用3D投影坐标作为图像中坐标的监督时,AP有16.54。
  • 当把模型预测的深度值,替换为真实的深度,AP有35.11。
  • 当把模型输出的3D中心坐标,替换为激光雷达的真实3D中心坐标,AP有72.36。

由此可以知道影响单目相机做3D目标检测的主要原因:深度3D中心点偏差。同时使用3D投影的中心坐标,有助于估计粗略的中心感知 3D 几何信息,提高模型精度。

由此分析问题得到的结论: 

  • 2D框中心与3D对象的投影中心之间的偏差,证实了保持2D检测相关分支的必要性,通过这种方式,2D 检测被用作相关的辅助任务来帮助学习与 3D 检测共享的特征,这与SMOKE中丢弃 2D 检测的现有工作不同。
  • 观察到检测精度随着距离的增加而显著下降,认为由于不可避免的定位错误,几乎不可能使用现有技术准确地检测远距离对象,为此,提出了两种方案:从训练集中去除远距离样本,以及降低了这些样本的训练损失权重。
  • 以往的尺寸估计,应用的损失函数都是通过计算和真值框之间的交并比来约束尺寸。这样带来的问题就是,由于中心点的预测误差导致的损失偏大,会给尺寸估计带来不必要的负担。所以作者提出了尺寸估计并专门设计了损失函数,只针对尺寸的预测误差对这个分支进行优化。并且根据长宽高对于IOU影响的比例不同,对参数优化的权重也按比例进行了设置。

下面进一步分析:2D框中心与3D框的投影中心之间的偏差

蓝色点是 2D框中心红色是3D框的投影中心,能明显看到偏差。

看一下模型预测的heatmap,分别使用2D Center和3D 投影中心作为粗坐标监督的影响,可以看出使用3D 投影中心作为监督效果更好。

  • 第二行为2D Center监督下,网络输出粗坐标的特征可视化结果
  • 第三行为3D 投影中心监督下,网络输出粗坐标的特征可视化结果

七、忽略远距离目标

作者认为忽略远距离目标有助于提高3D目标检测的整体性能,为此提出了两个对应的方案:

方案一 Hard coding:当样本的深度超过给定值,就直接舍弃,不会在训练阶段使用。

方案二 Soft coding:距离越远,样本的权重值越小,c 和T分别为调整对称性和弯曲度中心的超参数,默认为c = 60 , T = 1。

八、实验对比与模型效果

在Kitti验证集做实验,评价指标为Car类别的AP40(BEV / 3D)

  • p 表示使用3D 投影中心作为粗中心坐标的监督
  • I 表示使用对3D size估计的IOU oriented optimization
  • s 表示忽略远距离目标

模型预测效果:

用蓝色、绿色和红色的方框来表示汽车、行人和骑自行车的人。激光雷达信号仅用于可视化。

效果对比:M3D-RPN (left) and MonoDLE (right).

分享完成~

单目3D目标检测系列文章:

单目3D目标检测——SMOKE 模型推理 | 可视化结果-CSDN博客

单目3D目标检测——SMOKE 环境搭建|模型训练_一颗小树x的博客-CSDN博客

【论文解读】SMOKE 单目相机 3D目标检测(CVPR2020)_相机smoke-CSDN博客

3D目标检测数据集 KITTI(标签格式解析、3D框可视化、点云转图像、BEV鸟瞰图)_kitti标签_一颗小树x的博客-CSDN博客

3D目标检测数据集 DAIR-V2X-V_一颗小树x的博客-CSDN博客

后面计划分享,实时性的单目3D目标检测:MonoCon、MonoFlex、MonoEF、MonoDistillI、GUPNet、DEVIANT

这篇关于【论文解读】单目3D目标检测 MonoDLE(CVPR2021)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/667089

相关文章

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

MCU7.keil中build产生的hex文件解读

1.hex文件大致解读 闲来无事,查看了MCU6.用keil新建项目的hex文件 用FlexHex打开 给我的第一印象是:经过软件的解释之后,发现这些数据排列地十分整齐 :02000F0080FE71:03000000020003F8:0C000300787FE4F6D8FD75810702000F3D:00000001FF 把解释后的数据当作十六进制来观察 1.每一行数据

Java ArrayList扩容机制 (源码解读)

结论:初始长度为10,若所需长度小于1.5倍原长度,则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1:数组默认长度         2:这是一个共享的空数组实例,用于明确创建长度为0时的ArrayList ,比如通过 new ArrayList<>(0),ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL

基于 YOLOv5 的积水检测系统:打造高效智能的智慧城市应用

在城市发展中,积水问题日益严重,特别是在大雨过后,积水往往会影响交通甚至威胁人们的安全。通过现代计算机视觉技术,我们能够智能化地检测和识别积水区域,减少潜在危险。本文将介绍如何使用 YOLOv5 和 PyQt5 搭建一个积水检测系统,结合深度学习和直观的图形界面,为用户提供高效的解决方案。 源码地址: PyQt5+YoloV5 实现积水检测系统 预览: 项目背景

JavaFX应用更新检测功能(在线自动更新方案)

JavaFX开发的桌面应用属于C端,一般来说需要版本检测和自动更新功能,这里记录一下一种版本检测和自动更新的方法。 1. 整体方案 JavaFX.应用版本检测、自动更新主要涉及一下步骤: 读取本地应用版本拉取远程版本并比较两个版本如果需要升级,那么拉取更新历史弹出升级控制窗口用户选择升级时,拉取升级包解压,重启应用用户选择忽略时,本地版本标志为忽略版本用户选择取消时,隐藏升级控制窗口 2.

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear