SparseDrive - 清华地平线开源的e2e的框架

2024-09-06 19:20

本文主要是介绍SparseDrive - 清华地平线开源的e2e的框架,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

清华地平线合作开发的e2e的框架

SparseDrive资源
论文 https://arxiv.org/pdf/2405.19620
git https://github.com/swc-17/SparseDrive

个人觉得该文章厉害的地方

  1. 纯sparse mapping, 3d detection方案, 用的检测头sparse4D V3 sparsev1v2v3基本一致,map也是稀疏检测。这对落地的可能性大大提升。
  2. 使用两阶段实现了e2e,第一阶段mapping和3d detection的训练,第二阶段固定mapping和3d detection对planning和motion prediction训练。 这解决收敛难得问题,虽然分了两步,但是是比较实际得方案。

之前只关注了obstacle得部分,和个人得工作内容有关,最近看它得map实现也是基于sparse实现得,觉得还挺神奇得,看了它得消融实验和maptr比还是掉点得。58.7降低到56.2。 sparse得细节内容看 sparsev1v2v3

SparseDrive

整体结构

在这里插入图片描述

整体的SparseDrive的框架结构包含image encoder, symmetric sparse perception and parallel motion planner

  • image encoder:包含backbone和neck;
  • symmetric sparse perception module:特征图 I 由两组实例组成。这两组实例分别代表周围的obstacle和map,然后被输入到并行motion planner中,与初始化的自车实例进行交互。
  • motion planner:同时预测周围obstacle和自车的轨迹,并通过分层规划选择策略选择一条安全的轨迹作为最终的规划结果。

Symmetric Sparse Perception

代码实现内容: map和detection都有个InstanceBank
  • get: 拿anchor,feature,cached_feature,cached_anchor,time_interval
  • update: reffine后根据cls得分update anchor和feature
  • Cache: 该bs结束后,cache topk(confidence, self.num_temp_instances, instance_feature, anchor)
  • get_instance_id
  • update_instance_id
    MotionPlanning中有一个InstanceQueue来负责管理map和detection的结果的储存
  • get:输入detection的检测结果和map的mask以及feature等,
    • prepare_motion:使用detection结果对instance_feature_queue,anchor_queue更新
    • prepare_planning:使用feature_maps,map的mask对ego_feature_queue,ego_anchor_queue,ego_period进行更新
    • 融合temperal信息输出ego_feature, ego_anchor, temp_instance_feature, temp_anchor, temp_mask也就是planning的输入
  • cache_motion
  • cache_planning
anchor的理解

针对这个模块,是sparse头得基础实现,是由6层这样的模块重复实现而生,每次都在更新anchor和feature来获得最终得feature和anchor。bs是batch size.

  • 3d anchor: bs * 900 * 11 表征方式 [x,y,z,w,h,l,yaw,vx,vy,vz] (vcs坐标系)
    • 900 是3D的num query的数目
    • 11是代表一个3D检测框的属性,中心点,长宽高,角度,3个维度的速度
  • map anchor: bs * instance num * sample num * 2 (vcs坐标系) => reshape成 bs* [ instance num * sample num] * 2
    • instance num 最大instance的数目
    • sample num 每个instance采样的点
    • 2点的x,y坐标系
      在这里插入图片描述
      anchor会经过投影获得图像上的点在deformable aggregation在feature上进行采样,获得2D和3D的链接,这deformable aggregation这个方案的最重要理解的地方。

Parallel Motion Planner

  • Ego Instance Initialization: 对于ego feature Fe使用前视相机的最小featuremap进行初始化;对于ego anchor Be和车辆差不多一致初始化
  • Spatial-Temporal Interactions:由于自车实例在初始化时没有时间信息,而时间对于规划非常重要,设计了一个的实例记忆队列进行时间建模,H是4存储帧的数量。自车实例与周围的参与者进行拼接,以获得参与者级别的实例
    在这里插入图片描述
    下图是周围物体和自车的轨迹预测和对应得分:
    在这里插入图片描述

Km是Kp是运动预测和规划的模式数量,Tm 和 Tp 是运动预测和规划的未来时间戳数量,Ncmd 是规划的驾驶命令数量。

End-to-End Learning

  • 分阶段训练
    • stage1 从头开始训练对称稀疏感知模块,以学习稀疏场景表示;
    • stage2 稀疏感知模块和并行motion planer一起训练,没有冻结模型权重,充分利用端到端优化的优势。
  • Loss Functions: det+map+motion+plan+depth

消融实验

Backbone SparseDrive-S ResNet50 image size is 256×704. SparseDrive-B, ResNet101 512×1408
3D detection:49.6% mAP and 58.8% NDS;
multi-object tracking:50.1% AMOTA, ID switch of 632
online mapping: mAP of 56.2%
motion prediction: minADE 0.60 EPA↑ 0.555
planning: L2↓ 1s 0.29m; 3s 0.91m; Col. Rate(碰撞率)↓ 1s 0.01 3s 0.13
在这里插入图片描述

这篇关于SparseDrive - 清华地平线开源的e2e的框架的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1142891

相关文章

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

安全管理体系化的智慧油站开源了。

AI视频监控平台简介 AI视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒,省去繁琐重复的适配流程,实现芯片、算法、应用的全流程组合,从而大大减少企业级应用约95%的开发成本。用户只需在界面上进行简单的操作,就可以实现全视频的接入及布控。摄像头管理模块用于多种终端设备、智能设备的接入及管理。平台支持包括摄像头等终端感知设备接入,为整个平台提

cross-plateform 跨平台应用程序-03-如果只选择一个框架,应该选择哪一个?

跨平台系列 cross-plateform 跨平台应用程序-01-概览 cross-plateform 跨平台应用程序-02-有哪些主流技术栈? cross-plateform 跨平台应用程序-03-如果只选择一个框架,应该选择哪一个? cross-plateform 跨平台应用程序-04-React Native 介绍 cross-plateform 跨平台应用程序-05-Flutte

K8S(Kubernetes)开源的容器编排平台安装步骤详解

K8S(Kubernetes)是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述: 安装步骤: 安装Docker:K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master:在集群中选择一台主机作为Master节点,安装K8S的控制平面组件,如AP

Spring框架5 - 容器的扩展功能 (ApplicationContext)

private static ApplicationContext applicationContext;static {applicationContext = new ClassPathXmlApplicationContext("bean.xml");} BeanFactory的功能扩展类ApplicationContext进行深度的分析。ApplicationConext与 BeanF

数据治理框架-ISO数据治理标准

引言 "数据治理"并不是一个新的概念,国内外有很多组织专注于数据治理理论和实践的研究。目前国际上,主要的数据治理框架有ISO数据治理标准、GDI数据治理框架、DAMA数据治理管理框架等。 ISO数据治理标准 改标准阐述了数据治理的标准、基本原则和数据治理模型,是一套完整的数据治理方法论。 ISO/IEC 38505标准的数据治理方法论的核心内容如下: 数据治理的目标:促进组织高效、合理地

MiniGPT-3D, 首个高效的3D点云大语言模型,仅需一张RTX3090显卡,训练一天时间,已开源

项目主页:https://tangyuan96.github.io/minigpt_3d_project_page/ 代码:https://github.com/TangYuan96/MiniGPT-3D 论文:https://arxiv.org/pdf/2405.01413 MiniGPT-3D在多个任务上取得了SoTA,被ACM MM2024接收,只拥有47.8M的可训练参数,在一张RTX

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时,Curator 是一个非常流行的客户端库,它简化了 ZooKeeper 的使用,提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架,包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1

【Kubernetes】K8s 的安全框架和用户认证

K8s 的安全框架和用户认证 1.Kubernetes 的安全框架1.1 认证:Authentication1.2 鉴权:Authorization1.3 准入控制:Admission Control 2.Kubernetes 的用户认证2.1 Kubernetes 的用户认证方式2.2 配置 Kubernetes 集群使用密码认证 Kubernetes 作为一个分布式的虚拟