地平线Sparse4D论文解析(含论文原文)

2024-09-05 09:20

本文主要是介绍地平线Sparse4D论文解析(含论文原文),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

0. 摘要

在自动驾驶感知系统中,3D 检测和跟踪是两个基本任务。本文深入研究了这一领域,并在 Sparse4D 框架的基础上进行了扩展。我们引入了两个辅助训练任务(时间实例去噪和质量估计),并提出了解耦注意力机制,以进行结构性改进,从而显著提升了检测性能。此外,我们通过在推理过程中分配实例 ID 的简单方法,将检测器扩展为跟踪器,进一步突出基于查询的算法的优势。在 nuScenes 基准测试上的广泛实验验证了所提出改进的有效性。以 ResNet50 作为骨干网络,我们在 mAP、NDS 和 AMOTA 上分别提升了 3.0%、2.2% 和 7.6%,达到了 46.9%、56.1% 和 49.0%。我们的最佳模型在 nuScenes 测试集上取得了 71.9% 的 NDS 和 67.7% 的 AMOTA。
代码将发布在 github工程链接。
论文免费下载链接

1. 前言

在时序多视角感知研究领域,基于稀疏的算法取得了显著进展 ,其感知性能已达到与基于密集 BEV 的算法相当的水平,同时提供了几个优势:
1) 自由视角转换。这些稀疏方法无需将图像空间转换为 3D 向量空间。
2) 检测头的计算负载恒定,与感知距离和图像分辨率无关。
3) 更容易通过端到端的方式实现下游任务的集成。

在本文研究中,我们选择了基于稀疏的算法 Sparse4Dv2 作为我们改进的基准。该算法的整体结构如图 1 所示。图像编码器将多视角图像转换为多尺度特征图,而解码器模块则利用这些图像特征来优化实例并生成感知结果。
图1Sparse4D 框架-多视角视频作为输入并输出所有帧的感知结果
首先,我们观察到与基于密集的方法相比,基于稀疏的方法在收敛上面临更大的挑战,最终影响了它们的最终性能。这一问题在二维检测领域已得到充分研究,主要归因于一对一的正样本匹配。这种匹配方式在训练的初期阶段不稳定,并且与一对多匹配相比,正样本的数量也较少,从而降低了解码器训练的效率。此外,Sparse4D 采用了稀疏特征采样,而不是全局交叉注意力,这进一步阻碍了编码器的收敛,因为正样本稀少。在 Sparse4Dv2 中,引入了密集的深度监督,以部分缓解图像编码器面临的这些收敛问题。本文主要旨在通过关注解码器训练的稳定性来提高模型性能。我们将去噪任务作为辅助监督,并将去噪技术从二维单帧检测扩展到三维时间序列检测。这不仅确保了稳定的正样本匹配,还显著增加了正样本的数量。此外,我们引入了质量估计任务作为辅助监督,这使得输出的置信度评分更加合理,改进了检测结果排名的准确性,并导致更高的评估指标。

此外,我们对 Sparse4D 中的实例自注意力和时间交叉注意力模块进行了结构增强,引入了一种解耦注意力机制,旨在减少计算注意力权重过程中特征干扰。当锚点嵌入和实例特征作为注意力计算的输入时,结果注意力权重中存在异常值。这未能准确反映目标特征之间的相互关联,导致无法聚合正确的特征。通过将加法替换为拼接,我们显著减轻了这一错误现象的发生。这一改进与 Conditional DETR 有相似之处。然而,关键的不同在于我们强调查询之间的注意力,而不是 Conditional DETR 关注查询和图像特征之间的交叉注意力。此外,我们的方法涉及一种不同的编码方法。
最后,为了提升感知系统的端到端能力,我们探索了将3D多目标跟踪任务集成到Sparse4D框架中,从而直接输出目标运动轨迹。与基于检测的跟踪方法不同,我们消除了对数据关联和滤波的需求,将所有跟踪功能整合到检测器中。此外,与现有的联合检测和跟踪方法不同,我们的跟踪器不需要修改训练过程或损失函数。它无需提供真实的ID标注,却能实现预定义的实例到跟踪的回归。我们的跟踪实现最大限度地整合了检测器和跟踪器,不需要修改检测器的训练过程,也无需额外的微调。我们的贡献可以总结如下:

  1. 我们提出了Sparse4D-v3,一个强大的3D感知框架,包含三种有效的策略:时间实例去噪、质量估计和解耦注意力。
  2. 我们将Sparse4D扩展为一个端到端的跟踪模型。
  3. 我们在nuScenes上展示了我们改进的有效性,在检测和跟踪任务中实现了最先进的性能。

这篇关于地平线Sparse4D论文解析(含论文原文)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1138561

相关文章

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图

利用Python和C++解析gltf文件的示例详解

《利用Python和C++解析gltf文件的示例详解》gltf,全称是GLTransmissionFormat,是一种开放的3D文件格式,Python和C++是两个非常强大的工具,下面我们就来看看如何... 目录什么是gltf文件选择语言的原因安装必要的库解析gltf文件的步骤1. 读取gltf文件2. 提

Java中的runnable 和 callable 区别解析

《Java中的runnable和callable区别解析》Runnable接口用于定义不需要返回结果的任务,而Callable接口可以返回结果并抛出异常,通常与Future结合使用,Runnab... 目录1. Runnable接口1.1 Runnable的定义1.2 Runnable的特点1.3 使用Ru

使用EasyExcel实现简单的Excel表格解析操作

《使用EasyExcel实现简单的Excel表格解析操作》:本文主要介绍如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,感兴... 目录前言固定模板及表数据格式的解析实现Excel模板内容对应的实体类实现AnalysisEventLis

Java的volatile和sychronized底层实现原理解析

《Java的volatile和sychronized底层实现原理解析》文章详细介绍了Java中的synchronized和volatile关键字的底层实现原理,包括字节码层面、JVM层面的实现细节,以... 目录1. 概览2. Synchronized2.1 字节码层面2.2 JVM层面2.2.1 ente