数据闭环与AutoLabeling方案总结!(Waymo/Uber/Open MMLab)

2023-10-11 02:40

本文主要是介绍数据闭环与AutoLabeling方案总结!(Waymo/Uber/Open MMLab),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者 | AmazingRoad  编辑 | 汽车人

原文链接:zhuanlan.zhihu.com/p/587140851

点击下方卡片,关注“自动驾驶之心”公众号

ADAS巨卷干货,即可获取

点击进入→自动驾驶之心【全栈算法】技术交流群

后台回复【标定工具】获取2D检测/分割/关键点,3D点云检测分割标注工具!

1什么是数据闭环

自动驾驶中的数据闭环,是指算法研发由case-driven转向data-driven的核心步骤。我大概整理了下数据闭环的链路,如下图所示:

282f345fe17c60cb77bb797d869995bc.png
数据闭环链路
  • 链路中的环节包含工具链路打通和算法开发两部分。

  • 算法开发主要有数据挖掘、数据标注、模型优化这三部分。

  • 这里面数据标注中的自动标注,即AutoLabeling是目前数据闭环中最为核心的部分。

  • 数据挖掘和模型优化,也是需要攻克和解决的点,只不过从成本和效率上,目前优先级没有自动标注高。

2AutoLabeling方案

以下的讨论以目标检测任务为例。

Pipeline

  • 目标检测任务的主要pipeline流程包含目标检测、轨迹生成、轨迹优化三部分

  • 其中目标检测模型、MOT算法,都有比较成熟的算法,所以AutoLabeling中创新点主要体现在轨迹优化这个步骤。

47574e2b3c7425c779468080e1896466.png
AutoLabeling Pipeline

学术界的SOTA

目前关于AutoLabeling的完整方案方面的论文不是很多,这里面比较有代表性的有:

  • 谷歌的Waymo在2021年发表的:《Offboard 3D Object Detection from Point Cloud Sequences》

  • Uber的ATG(Advanced Technology Group)在2021年发表的:《Auto4D: Learning to Label 4D Objects from Sequential Point Clouds》

  • Open MMLab在2022年发表的:《MPPNet: Multi-Frame Feature Intertwining with Proxy Points for 3D Temporal Object Detection》

下面对这三篇文章做了个简单地总结和对比:

论文机构轨迹优化的方法发表年限
Auto4DUberBEV空间特征2021.01
Offboard3DWaymoPoint-Based2021.03
MPPNetOpenMMLabFormer(基于Attention)2022

Auto4D的轨迹优化

  • Size Branch: 累积全轨迹点(时域信息忽略),BEV编码,得到全局的稳定size。

  • Update:基于最近corner align,更新全轨迹的box属性。

  • Path Branch:累积全轨迹点(保留时域信息,但时域和高度channel合并),BEV编码,得到相邻帧位移

c64c071162481fbcc9db3009d7f3fdfc.png

Offboard3D的轨迹优化处理

  • 动静态判断:box中心点方差<1m/s^2,首尾帧中心点偏移<1m,则为静态,否则为动态。

  • 静态轨迹优化:前背景分割网络对box周围的原始点进行分割,box回归网络得到box属性(基于PointNet)

  • 动态轨迹优化:对于点进行前背景分割+点序列编码,对于框进行序列编码,最后加2层box回归网络。

3d3805cf630388042770d4562a0bd5bb.png

MPPNet

  • 选取代理点:每个框均匀选择代理点(4x4x4)

  • 单帧提取特征:提取几何特征、运动特征

  • 组内特征编码:x、y、z、c通道分割使用MLP进行feature mixing

  • 组间特征编码:使用Former结构,共享K、V,进行feature mixing

  • 3D检测头:使用Tranformer Decoder

fb87d373145edfe2bfa3ce568e351799.png

往期回顾

Make RepVGG Greater Again!揭示重参化量化崩溃根因并解决(美团)

788b9ae924c7b4fb895ba282629b930a.png

自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、规划控制、模型部署落地、自动驾驶仿真测试、硬件配置、AI求职交流等方向;

2962b098f70c63cabb1a3c35e0ee411a.jpeg

添加汽车人助理微信邀请入群

备注:学校/公司+方向+昵称

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知(分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测)、自动驾驶定位建图(SLAM、高精地图)、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球(三天内无条件退款),日常分享论文+代码,这里汇聚行业和学术界大佬,前沿技术方向尽在掌握中,期待交流!

996732cc82675b44cf5e845e197c0187.jpeg

这篇关于数据闭环与AutoLabeling方案总结!(Waymo/Uber/Open MMLab)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/184945

相关文章

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Windows Docker端口占用错误及解决方案总结

《WindowsDocker端口占用错误及解决方案总结》在Windows环境下使用Docker容器时,端口占用错误是开发和运维中常见且棘手的问题,本文将深入剖析该问题的成因,介绍如何通过查看端口分配... 目录引言Windows docker 端口占用错误及解决方案汇总端口冲突形成原因解析诊断当前端口情况解

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1

Python 中的 with open文件操作的最佳实践

《Python中的withopen文件操作的最佳实践》在Python中,withopen()提供了一个简洁而安全的方式来处理文件操作,它不仅能确保文件在操作完成后自动关闭,还能处理文件操作中的异... 目录什么是 with open()?为什么使用 with open()?使用 with open() 进行

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用