#每天一篇论文 Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

本文主要是介绍#每天一篇论文 Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud
单目伪激光雷达点云3D目标检测
摘要

单目3D场景理解任务,例如目标大小估计,车头角度估计和3D位置估计,非常具有挑战性。当前成功的三维场景理解方法需要使用三维传感器。另一方面,基于单一图像的方法性能明显较差。在这项工作中,我们的目标是通过增强基于激光雷达的算法来处理单个图像输入,从而弥合3D传感和2D传感在3D目标检测方面的性能差距。具体来说,我们进行单目深度估计,并将输入图像提升到点云表示,我们称之为伪激光雷达点云。然后我们可以用我们的伪激光雷达端到端训练一个基于激光雷达的三维检测网络。按照两阶段3D检测算法的流程,我们在输入图像中检测2D目标建议,并从伪激光雷达中为每个建议提取一个点云截锥。然后为每个截锥检测一个定向的三维边界框。为了处理大量噪音伪激光雷达,我们提出了两个创新点:(1)使用二维-三维包围盒一致性约束,调整预测的三维包围盒,使其投影到图像上后与其对应的二维方案有较高的重叠度;(2)使用实例遮罩代替包围盒作为二维方案的表示,以减少点云视景中不属于对象的点的数量。通过对KITTI基准的评估,我们在所有单目视觉方法中,鸟瞰和3D目标检测方面都取得了一流的性能,有效地将性能提高了四倍于以前的最先进水平。

贡献

(1)提出了一种单目三维目标检测流水线,增强了基于激光雷达的单目图像检测方法;
(2)通过实验证明了该框架的瓶颈在于单目深度估计不准确导致的伪激光雷达噪声;
(3)提出在训练过程中使用包围盒一致性损失和在测试过程中使用一致性优化来调整三维包围盒预测;
(4)证明了使用实例掩码作为二维检测方案表示的优点;
(5)在标准的三维目标检测基准上,我们实现了最先进的性能,并且比所有的单目方法都有了前所未有的改进。

方法

目标是仅从一个RGB图像估计对象的定向3D边界框
在这里插入图片描述

1.深度估计

本文采用单目深度估计DORN算法

2.深度图–点云图生成

在这里插入图片描述
(cx, cy) 像素中心. fx and fy are the focal length of the camera along x and y axes

3.伪激光雷达和激光雷达区别

伪激光雷达与激光雷达点云的区别在于点云的密度。虽然高成本的激光雷达可以提供高分辨率的点云,但激光雷达点的数量仍然比伪激光雷达点云少至少一个数量级。

2D实例Mask检测

为了为每个对象生成一个点云截面,我们首先在2D中检测一个对象建议。
在这里插入图片描述

Amodel 3D目标检测

基于生成的伪激光雷达和二维实例Mask,可以提取一组点云截头体,然后通过这些截面体训练出一种基于两级激光雷达的三维边界检测算法。

2D - 3D 边界盒关联

为了缓解局部失准问题,本文作者使用边界盒一致性的几何约束来改进三维边界盒估计。由于三维包围盒估计不准确,其二维投影也很可能与相应的二维方案不匹配。首先估计三维8个点顶点,然后将2D估计的边框投影到3D边框,通过关联3D和2D边框,通过几何一致性约束三维边界盒。
在这里插入图片描述

边界框一致性损失

在训练过程中,我们提出了一个基于点网的三维盒子修正模块2,用于包围盒的细化。3D盒校正模块以分割后的点云和3D盒估计模块提取的特征作为输入,输出3D包围盒参数的校正。在这里插入图片描述

实验结果

1.数据集

实例分割先用Cityspace训练然后用kitti训练

在这里插入图片描述

在这里插入图片描述

这篇关于#每天一篇论文 Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/412557

相关文章

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

每天认识几个maven依赖(ActiveMQ+activemq-jaxb+activesoap+activespace+adarwin)

八、ActiveMQ 1、是什么? ActiveMQ 是一个开源的消息中间件(Message Broker),由 Apache 软件基金会开发和维护。它实现了 Java 消息服务(Java Message Service, JMS)规范,并支持多种消息传递协议,包括 AMQP、MQTT 和 OpenWire 等。 2、有什么用? 可靠性:ActiveMQ 提供了消息持久性和事务支持,确保消

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

MiniGPT-3D, 首个高效的3D点云大语言模型,仅需一张RTX3090显卡,训练一天时间,已开源

项目主页:https://tangyuan96.github.io/minigpt_3d_project_page/ 代码:https://github.com/TangYuan96/MiniGPT-3D 论文:https://arxiv.org/pdf/2405.01413 MiniGPT-3D在多个任务上取得了SoTA,被ACM MM2024接收,只拥有47.8M的可训练参数,在一张RTX

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型,提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练,提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的?使用了哪些 NLP 已有的技术和思想?哪些是 BERT 的创新? 1标题 + 作者 BERT: Pre-trainin

SAM2POINT:以zero-shot且快速的方式将任何 3D 视频分割为视频

摘要 我们介绍 SAM2POINT,这是一种采用 Segment Anything Model 2 (SAM 2) 进行零样本和快速 3D 分割的初步探索。 SAM2POINT 将任何 3D 数据解释为一系列多向视频,并利用 SAM 2 进行 3D 空间分割,无需进一步训练或 2D-3D 投影。 我们的框架支持各种提示类型,包括 3D 点、框和掩模,并且可以泛化到不同的场景,例如 3D 对象、室