自动驾驶场景中的长尾问题怎么解决?

2024-05-26 09:04

本文主要是介绍自动驾驶场景中的长尾问题怎么解决?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

自动驾驶长尾问题是指自动驾驶汽车中的边缘情况,即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原因之一。自动驾驶的底层架构和大部分技术问题已经被解决,剩下的5%的长尾问题,逐渐成了制约自动驾驶发展的关键。这些问题包括各种零碎的场景、极端的情况和无法预测的人类行为。

自动驾驶中的边缘场景

长尾”是指自动驾驶汽车 (AV) 中的边缘情况,边缘情况是发生概率较低的可能场景。这些罕见的事件因为出现率较低且比较特殊,因此在数据集中经常被遗漏。虽然人类天生擅长处理边缘情况,但人工智能却不是这样。可能引起边缘场景的因素有:带有突起的卡车或者异形车辆、车辆急转弯、在拥挤的人群中行驶、乱穿马路的行人、极端天气或极差光照条件、打伞的人,人在车后搬箱子、树倒在路中央等等。

例子:

  1. 放透明薄膜在车前,透明物体是否可以被识别,车辆是否会减速
  2. 激光雷达公司Aeye就做了一次挑战,自动驾驶如何处理一个漂浮在路中央的气球。L4级无人驾驶汽车往往偏向避免碰撞,在这种情况下,它们会采取规避动作或者踩刹车,来避免不必要的事故。而气球是个软性的物体,可以直接无障碍的通过。

解决长尾问题的方法

合成数据是个大概念,而感知数据(nerf, camera/sensor sim)只是其中一个比较出圈的分支。在业界,合成数据在longtail behavior sim早已成为标准答案。合成数据,或者说sparse signal upsampling是解决长尾问题的第一性解法之一。长尾能力是模型泛化能力与数据内含信息量的乘积。

特斯拉解决方案:

用合成数据(synthetic data)生成边缘场景来扩充数据集
数据引擎的原理:首先,检测现有模型中的不准确之处,随后将此类案例添加到其单元测试中。它还收集更多类似案例的数据来重新训练模型。这种迭代方法允许它捕获尽可能多的边缘情况。制作边缘案例的主要挑战是收集和标注边缘情况的成本比较高,再一个就是收集行为有可能非常危险甚至无法实现。

NVIDIA解决方案:

NVIDIA 最近提出了一种名为“模仿训练”的战略方法(下图)。在这种方法中,真实世界中的系统故障案例在模拟环境中被重现,然后将它们用作自动驾驶汽车的训练数据。重复此循环,直到模型的性能收敛。

以下真实场景中由于卡车高度过高(上)、车辆凸出部分遮挡后车(下)导致模型输出时车框丢失,成为边缘场景,过NVIDIA改进后的模型可以在此边缘情况下生成正确的边界框:

一些思考:

Q:合成数据是否有价值?

A: 这里的价值分为两种 , 第一种是测试有效性, 即在生成的场景中测试 是否能发现探测算法中的一些不足, 第二种是训练有效性, 即生成的场景用于算法的训练是否也能够有效提升性能。

Q: 如何使用虚拟数据提升性能?虚拟数据真的有必要添加到训练集中去吗?添加进去了是否会产生性能回退?

A: 这些问题都难以回答, 于是产生了很多不一样的提高训练精度的方案:

  • 混合训练:在真实数据中添加不同比例的虚拟数据, 以求性能提升,
  • Transfer Learning:使用真实数据预训练好的模型,然后Freeze 某些layer, 再添加混合数据进行训练。
  • Imitation Learning:针对性设计一些模型失误的场景, 并由此产生一些数据,进而逐步提升模型的性能, 这一点也是非常自然的。在实际的数据采集和模型训练中, 也是针对性采集一些补充数据, 进而提升性能。
一些扩展:

为了彻底评估 AI 系统的稳健性,单元测试必须包括一般情况和边缘情况。然而,某些边缘案例可能无法从现有的真实世界数据集中获得。为此,人工智能从业者可以使用合成数据进行测试。

一个例子是ParallelEye-CS,这是一种用于测试自动驾驶汽车视觉智能的合成数据集。与使用真实世界数据相比,创建合成数据的好处是可以对每个图像的场景进行多维度控制。

合成数据将作为生产 AV 模型中边缘情况的可行解决方案。它用边缘案例补充现实世界的数据集,确保 AV 即使在异常事件下也能保持稳健。它也比真实世界的数据更具可扩展性,更不容易出错,并且更便宜。 

这篇关于自动驾驶场景中的长尾问题怎么解决?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1004021

相关文章

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

W外链微信推广短连接怎么做?

制作微信推广链接的难点分析 一、内容创作难度 制作微信推广链接时,首先需要创作有吸引力的内容。这不仅要求内容本身有趣、有价值,还要能够激起人们的分享欲望。对于许多企业和个人来说,尤其是那些缺乏创意和写作能力的人来说,这是制作微信推广链接的一大难点。 二、精准定位难度 微信用户群体庞大,不同用户的需求和兴趣各异。因此,制作推广链接时需要精准定位目标受众,以便更有效地吸引他们点击并分享链接

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

电脑桌面文件删除了怎么找回来?别急,快速恢复攻略在此

在日常使用电脑的过程中,我们经常会遇到这样的情况:一不小心,桌面上的某个重要文件被删除了。这时,大多数人可能会感到惊慌失措,不知所措。 其实,不必过于担心,因为有很多方法可以帮助我们找回被删除的桌面文件。下面,就让我们一起来了解一下这些恢复桌面文件的方法吧。 一、使用撤销操作 如果我们刚刚删除了桌面上的文件,并且还没有进行其他操作,那么可以尝试使用撤销操作来恢复文件。在键盘上同时按下“C

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

webm怎么转换成mp4?这几种方法超多人在用!

webm怎么转换成mp4?WebM作为一种新兴的视频编码格式,近年来逐渐进入大众视野,其背后承载着诸多优势,但同时也伴随着不容忽视的局限性,首要挑战在于其兼容性边界,尽管WebM已广泛适应于众多网站与软件平台,但在特定应用环境或老旧设备上,其兼容难题依旧凸显,为用户体验带来不便,再者,WebM格式的非普适性也体现在编辑流程上,由于它并非行业内的通用标准,编辑过程中可能会遭遇格式不兼容的障碍,导致操

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。 解决方案: 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内,大量缓存数据同时失效,导致所有请求直接涌向数据库,瞬间增加数据库的负载压力,可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k