AVM-SLAM:用于代客泊车的多传感器融合的语义视觉SLAM

2023-12-12 08:50

本文主要是介绍AVM-SLAM:用于代客泊车的多传感器融合的语义视觉SLAM,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章:AVM-SLAM: Semantic Visual SLAM with Multi-Sensor Fusion in a Bird’s Eye View for Automated Valet Parking

作者:Ye Li, Wenchao Yang , Ju Tao , Qianlei Wang , Zhe Cui , and Xiaolin Qin

编辑:点云PCL

欢迎各位加入知识星球,获取PDF论文,欢迎转发朋友圈。文章仅做学术分享,如有侵权联系删文。

公众号致力于点云处理,SLAM,三维视觉,高精地图等领域相关内容的干货分享,欢迎各位加入,有兴趣的可联系dianyunpcl@163.com。侵权或转载联系微信cloudpoint9527。

摘要

代客泊车(AVP)要求在具有挑战性的车库环境中进行精确的定位,包括光线不足、纹理稀疏、结构重复、动态场景以及缺乏GPS信号,这些常常对传统的定位方法造成困难。为了解决这些难题,我们提出了AVM-SLAM,这是一个具有多传感器融合的语义视觉SLAM框架,采用了鸟瞰图(BEV)。我们的框架集成了四个鱼眼摄像头、四个车轮编码器和一个惯性测量单元(IMU),鱼眼摄像头形成了一个环视图监视(AVM)系统,生成了BEV图像。卷积神经网络(CNNs)从这些图像中提取语义特征,有助于地图绘制和定位任务。这些语义特征提供了长期的稳定性和透视不变性,有效地减轻了环境挑战。此外来自车轮编码器和IMU的数据融合通过改善运动估计和减少漂移来增强了系统的稳健性。为了验证AVM-SLAM的效果和稳健性,我们提供了一个大规模、高分辨率的地下停车场数据集,可以在https://github.com/yale-cv/avm-slam上获取。这个数据集使研究人员能够在类似的环境中进一步探索和评估AVM-SLAM。

d7d0e134463fb78a6f5497f397c96000.png

图1:由AVM-SLAM系统构建的车库的语义视觉地图,它在鸟瞰图中融合了环视相机、车轮编码器和IMU的数据。

主要贡献

本文创建并发布了一个大规模且高分辨率的数据集,其中包括在地下停车场收集的同步多传感器数据。该数据集用于验证上述方法的有效性和稳健性。总之,本文的主要贡献可以总结如下: 

  • 开发了一个实用和创新的语义视觉SLAM框架,称为AVM-SLAM。它集成了多个传感器,并采用了鸟瞰视图透视,使其能够在地下停车场内稳健高效地运行。

  • 开发了一种多传感器混合融合策略,旨在提高稳健性和效率,与松散和紧密方法都不同。该策略旨在最大化多传感器融合的优势。 

  • 创建了一个典型地下停车场数据的大规模高分辨率数据集,包括四个环绕摄像机的图像、一个合成的鸟瞰图、四个车轮编码器的测量数据和一个IMU的测量数据。这个数据集将有助于进一步研究SLAM,特别是在地下停车场中的自动驾驶车辆定位。

内容概述

概述

本文介绍了AVM-SLAM系统,包括两个核心模块:VIWFusion和Mapping,如图2所示。我们的设计采用了一种独特的多传感器混合融合策略,与传统方法不同,确保这些模块之间的无缝协作,以实现最大的多传感器融合效益。

aae2fc49651c83d7d7e03f2f6e7122d5.png

图2:所提出的AVM-SLAM系统的框架包括两个核心模块:VIWFusion和Mapping,VIWFusion是一个松散的多传感器加权融合前端,而Mapping模块则作为一个紧密集成的语义地图后端。w1和w2分别是IMU和车轮编码器的融合权重。

  1. VIWFusion是一个松散耦合的多传感器加权融合前端,包括AVM子系统、语义提取器和匹配器、IMU跟踪器、车轮编码器、姿态预测器和关键帧过滤器。它基于扩展卡尔曼滤波器(EKF)理论,对来自环视相机、车轮编码器和IMU传感器的数据应用加权融合,为视觉语义匹配提供初始值,并通过在相邻语义关键帧之间预集成(IMU和车轮)值提供运动学约束,以进行后端优化。

  2. Mapping模块是一个紧耦合的语义地图后端,包括Loop Detector、Global Optimizer、Sub Mapper和Global Mapper。我们利用语义ICP配准进行回环检测,还加入了语义预先验证(SPQ)机制,以简化回环检测并减少不匹配。额外的多传感器运动学约束,如相邻关键帧之间IMU和Wheel的预集成值,加快了全局优化的收敛速度并提高了地图的准确性。

AVM图生成

AVM对于生成鸟瞰图像以及增强SLAM系统的感知范围和稳健性至关重要。它对来自四个周围摄像头的鱼眼图像进行去畸变处理,并应用逆透视变换(IPM),将它们合并成综合的鸟瞰图像(见图3)。四个环视摄像头被放置在车辆周围,具有离线校准的内参和外参。虚拟的鸟瞰视角摄像头精确地位于车辆中心正上方,其光学轴垂直向下对齐,通过IPM过程获得了这个虚拟摄像头的相关内参和外参。

f05e1a85c37a79117ece086427e5c195.png

图3,由环视相机生成的鸟瞰图

语义信息提取与匹配 

消除光晕:地面的光反射会在鸟瞰图中产生分散的光晕,干扰了道路标线的提取(图4a)。为了解决这个问题,我们提出了一种基于U-Net架构的光晕去除模型,结合了感知[28]和L1损失以提高性能。我们通过使用镜面高光检测算法[29]生成了用于模型训练的去光晕数据,以创建高光掩码(图4b)。然后,通过将其与手动注释的前景信息合并来细化此掩码以消除错误检测(图4c)。最后,我们应用图像修补算法有效去除了高光(图4d)。这种方法简化了标注去光晕数据的费力过程。

f37d1f0148dc0220d3caf9e5bd8b9523.png

图4:光晕去除和语义分割

语义信息提取 :车库的道路标线,包括车道线、停车位、斑马线和指示箭头,具有持久的稳定性,保持透视不变性。这些特点使它们非常适合用于语义视觉建图和车辆定位。我们对语义分割网络进行了比较分析,最终选择了DDRnet,它在效率和准确性之间取得了平衡,用于从鸟瞰图像中提取道路标线。图4e展示了语义标签,图4f展示了分割结果。

语义匹配器:在这个任务中,我们采用迭代最近点(ICP)算法来匹配3D语义特征。通过实现帧对地图的匹配来减轻帧对帧匹配中固有的累积误差问题,这种方法在配备可靠的初始姿态估计时,具有高效性和鲁棒性,初始姿态估计由一个融合来自IMU和轮编码器的数据的姿态预测器实现。

位姿预测 

系统初始化:所提出的AVM-SLAM系统以BEV语义特征为中心。因此,位姿预测器始终将BEV语义帧数据队列deqBevCam中的第一帧的时间t0视为初始化的初始候选时间。为了确定是否可能进行系统初始化,我们评估融合模式设置,并检查在时间t0之前选择的传感器数据队列中是否有数据。仅当时间t0和之前在所有选择的传感器数据队列中都有数据时,系统才会进行初始化。如果不满足这些条件,我们将从deqBevCam中移除第一帧,并继续评估下一个语义帧的时间t1。当满足指定条件时,系统初始化成功。在这一点上,车辆坐标系统既用作全局地图的初始坐标系统,也用作第一个子地图的初始坐标系统。为了提高初始化的准确性,我们对选择的传感器数据队列中的数据进行线性插值,以获得与相关语义帧的时间相对应的数据。 

位姿预测:有证据表明当车辆做直线运动时,轮编码器的线速度精度较高,当车辆做旋转运动时,IMU的角速度精度较高,而这两者明显是互补的。为了提高姿态预测的准确性和鲁棒性,本文采用了EKF方法来对多传感器数据进行加权融合,融合过程分为预测步骤和更新步骤。除了多传感器加权融合的位姿预测,我们还在连续两个关键帧之间预先集成了IMU和轮编码器的数据,以进一步优化全局位姿图。

子地图和全局地图 

为了增强帧与地图之间语义特征的ICP匹配效率,我们采用了关键帧-子地图-全局地图结构来构建语义地图(见图5)。语义帧经过关键帧过滤器进行筛选,如果它们与前一关键帧的差异超过50%,则将其插入到子地图中。每个子地图包含固定数量的关键帧,通常为10帧,但根据需要可以进行调整。子地图中的语义点数量明显低于全局地图,从而在帧到子地图语义特征ICP匹配过程中提高了效率,并减少了帧到帧匹配中的误差积累。 

在建图模块内,我们维护两个子地图:当前子地图和即将到来的子地图,确保相邻子地图之间有足够的共视区域。关键帧同时插入到两个子地图中。一旦当前子地图中达到了最大数量的关键帧,我们执行点云校正和局部优化。然后,当前子地图被合并到全局地图中,下一个子地图取而代之,开始创建新的后续子地图。

45a8c9f9e8ade745a56ba5b1b36aecd5.png

图5:青色子地图和灰色全局地图。全局地图由子地图组成,子地图由关键帧组成。

回环检测

回环检测对于全局优化至关重要,影响着地图尺度和SLAM速度。在复杂环境中,如具有重复结构的地下车库,不是所有关键帧和子地图都适用于回环检测。为了解决这个问题,我们开发了SPQ(Semantic Prequalification)机制,以过滤潜在的环路帧和子地图,减少检测并防止不匹配。SPQ根据关键帧和子地图中语义特征的类别数和权重来评估候选帧。超过预设阈值的候选帧和子地图将符合环路帧和子地图的资格,并随后加入到回环序列中,以进行后续的ICP语义匹配。

全局优化

采用了一种位姿图方法进行全局优化。如图6所示,位姿图的节点包括关键帧和子地图,而边代表了涉及关键帧到关键帧和关键帧到子地图的约束。关键帧到关键帧的约束包括相邻关键帧之间的语义视觉约束,以及从预积分值(IMU和轮胎)导出的额外运动学约束。关键帧到子地图的约束涉及关键帧和子地图之间的语义视觉约束,以及从语义环路检测中获取的语义回环约束。全局优化器周期性地对收集到的节点和边执行优化操作,随后更新每个关键帧和子地图的结果。

ea3ef3f092a6936380bb74ade9abeb1b.png

图6: 运动学约束的姿态图的示意图

实验

A. 基准数据集 

为验证所提出的AVM-SLAM系统,我们在一个面积为220m×110m的地下车库中进行了测试,该车库拥有超过430个停车位,并使用了一辆装备有四个环视鱼眼摄像头、四个轮速编码器和一个IMU的测试车辆,所有这些设备都在离线情况下进行了同步和校准。四个鱼眼摄像头形成了一个AVM子系统,以30Hz的实时速度生成鸟瞰图。所提出的基准数据集将公开包含四个鱼眼图像序列、一个鸟瞰图像序列、四个轮速编码器数据和一个IMU数据。

B. 地图的稳健性和精确性 

众所周知,地下车库没有GPS信号,无法使用基于GPS的实时差分测量(RTK)构建地面真值,而且它们的重复结构和多变的环境不允许使用基于结构的激光雷达构建地面真值。因此,我们设计了以下方法来验证所提出的方法的稳健性和精确性。 

稳健性:我们使用前置鱼眼摄像头的图像作为输入,尝试运行基于特征的ORB-SLAM3、基于光流的SVO和DSO,以及基于视觉惯性融合的VINS-Mono。令人意外的是,以上最先进的(SOTA)传统视觉SLAM都因照明不足、纹理稀疏和场景变化等地下车库的困境而遭受初始化失败、频繁跟踪丢失和运行时失败。另一方面,本文中的方法非常稳定,因为它采用了视觉惯性轮融合方法进行姿态跟踪,并使用从鸟瞰图中提取的道路标线的语义特征来构建地图。在不同条件下使用数据,跟踪和地图构建都是稳定的,这证实了我们算法的稳健性和可靠性。

b6284d02bd25dc484bbdada485e4dee8.png

图7:从VIWFusion模块的姿态构建的语义地图

精度:首先基于基准数据集进行了一项比较实验。从VIWFusion模块输出的姿势构建的地图如图7所示。很明显,前端存在无法避免的积累误差。Mapping的后端使用了回环检测和全局优化技术,有效消除了长期漂移并提高了地图的精度。图8a显示了通过常规循环检测进行的姿态图优化的结果,没有额外的运动学约束。图8b显示了通过SPQ循环检测进行的姿态图优化的结果,附带了额外的运动学约束。可以看出,使用SPQ循环检测和额外的运动学约束的姿态图优化可以构建更加逼真的地图。

a054310acf49e79137a2d761d61c8a5c.png

图8:位姿图优化结果

其次进行了定性分析,使用车库平面结构的示意图(如图9a所示)与我们构建的语义地图进行比较。通过缩放,使两者具有相同的大小,并进行叠加比较,如图9b所示。显然系统构建的语义地图与车库示意图完美对齐,地图精度非常高。

63286730a43c5a46d278acd44c925476.png

图9:重叠比较的定性结果

最后进行了定量分析,比较了图9a中标记为ABCDEF的六个点之间的世界距离与相应的地图距离。世界距离是使用高精度激光测距仪测量的,而地图距离是从各自的三维点坐标计算的。

72ff3a42f0740bb7f871f398dada301a.png

表I列出了世界距离和地图距离的多次测量的均值。表II显示了这些地图距离和世界距离之间的平均绝对误差、最大误差和均方根误差(RMSE),从表II中可以明显看出,我们的多传感器融合AVM-SLAM系统具有更高的地图精度。

总结

本文提出了一种用于AVP任务的AVM-SLAM框架,配备了四个环视鱼眼摄像头、四个轮速编码器和一个IMU。系统使用AVM子系统生成BEV图像,卷积神经网络提取车库的道路标线以进行地图绘制和定位。我们采用了一种松耦合加权融合的前端和一个紧密耦合的后端优化,通过融合轮速编码器和IMU数据来增强系统的稳健性和准确性。此外,我们提供了一个大规模高分辨率的车库定位和地图开发和评估的基准数据集。实验结果验证了我们的方法在车库AVP任务中的有效性。未来的工作包括完善AVM-SLAM,优化多传感器融合,改进光晕去除和语义分割模型。

资源

自动驾驶及定位相关分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

自动驾驶中基于光流的运动物体检测

基于语义分割的相机外参标定

综述:用于自动驾驶的全景鱼眼相机的理论模型和感知介绍

高速场景下自动驾驶车辆定位方法综述

Patchwork++:基于点云的快速、稳健的地面分割方法

PaGO-LOAM:基于地面优化的激光雷达里程计

多模态路沿检测与滤波方法

多个激光雷达同时校准、定位和建图的框架

动态的城市环境中杆状物的提取建图与长期定位

非重复型扫描激光雷达的运动畸变矫正

快速紧耦合的稀疏直接雷达-惯性-视觉里程计

基于相机和低分辨率激光雷达的三维车辆检测

用于三维点云语义分割的标注工具和城市数据集

ROS2入门之基本介绍

固态激光雷达和相机系统的自动标定

激光雷达+GPS+IMU+轮速计的传感器融合定位方案

基于稀疏语义视觉特征的道路场景的建图与定位

自动驾驶中基于激光雷达的车辆道路和人行道实时检测(代码开源)

用于三维点云语义分割的标注工具和城市数据集

更多文章可查看:点云学习历史文章大汇总

SLAM及AR相关分享

TOF相机原理介绍

TOF飞行时间深度相机介绍

结构化PLP-SLAM:单目、RGB-D和双目相机使用点线面的高效稀疏建图与定位方案

开源又优化的F-LOAM方案:基于优化的SC-F-LOAM

【开源方案共享】ORB-SLAM3开源啦!

【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔:非结构化道路激光SLAM中的挑战

基于鱼眼相机的SLAM方法介绍

以上内容如有错误请留言评论,欢迎指正交流。如有侵权,请联系删除

f03111e1295f1676166c25ca73296b87.png

扫描二维码

                   关注我们

让我们一起分享一起学习吧!期待有想法,乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉,点云,高精地图,自动驾驶,以及机器人等相关的领域。

分享与合作方式:微信“cloudpoint9527”(备注:姓名+学校/公司+研究方向) 联系邮箱:dianyunpcl@163.com。

为分享的伙伴们点赞吧!

24227138d69ebcd0f1c6e894ec44d837.gif

这篇关于AVM-SLAM:用于代客泊车的多传感器融合的语义视觉SLAM的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/483983

相关文章

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

韦季李输入法_输入法和鼠标的深度融合

在数字化输入的新纪元,传统键盘输入方式正悄然进化。以往,面对实体键盘,我们常需目光游离于屏幕与键盘之间,以确认指尖下的精准位置。而屏幕键盘虽直观可见,却常因占据屏幕空间,迫使我们在操作与视野间做出妥协,频繁调整布局以兼顾输入与界面浏览。 幸而,韦季李输入法的横空出世,彻底颠覆了这一现状。它不仅对输入界面进行了革命性的重构,更巧妙地将鼠标这一传统外设融入其中,开创了一种前所未有的交互体验。 想象

理解分类器(linear)为什么可以做语义方向的指导?(解纠缠)

Attribute Manipulation(属性编辑)、disentanglement(解纠缠)常用的两种做法:线性探针和PCA_disentanglement和alignment-CSDN博客 在解纠缠的过程中,有一种非常简单的方法来引导G向某个方向进行生成,然后我们通过向不同的方向进行行走,那么就会得到这个属性上的图像。那么你利用多个方向进行生成,便得到了各种方向的图像,每个方向对应了很多

计算机视觉工程师所需的基本技能

一、编程技能 熟练掌握编程语言 Python:在计算机视觉领域广泛应用,有丰富的库如 OpenCV、TensorFlow、PyTorch 等,方便进行算法实现和模型开发。 C++:运行效率高,适用于对性能要求严格的计算机视觉应用。 数据结构与算法 掌握常见的数据结构(如数组、链表、栈、队列、树、图等)和算法(如排序、搜索、动态规划等),能够优化代码性能,提高算法效率。 二、数学基础

《计算机视觉工程师养成计划》 ·数字图像处理·数字图像处理特征·概述~

1 定义         从哲学角度看:特征是从事物当中抽象出来用于区别其他类别事物的属性集合,图像特征则是从图像中抽取出来用于区别其他类别图像的属性集合。         从获取方式看:图像特征是通过对图像进行测量或借助算法计算得到的一组表达特性集合的向量。 2 认识         有些特征是视觉直观感受到的自然特征,例如亮度、边缘轮廓、纹理、色彩等。         有些特征需要通

【python计算机视觉编程——7.图像搜索】

python计算机视觉编程——7.图像搜索 7.图像搜索7.1 基于内容的图像检索(CBIR)从文本挖掘中获取灵感——矢量空间模型(BOW表示模型)7.2 视觉单词**思想****特征提取**: 创建词汇7.3 图像索引7.3.1 建立数据库7.3.2 添加图像 7.4 在数据库中搜索图像7.4.1 利用索引获取获选图像7.4.2 用一幅图像进行查询7.4.3 确定对比基准并绘制结果 7.

参会邀请 | 第二届机器视觉、图像处理与影像技术国际会议(MVIPIT 2024)

第二届机器视觉、图像处理与影像技术国际会议(MVIPIT 2024)将于2024年9月13日-15日在中国张家口召开。 MVIPIT 2024聚焦机器视觉、图像处理与影像技术,旨在为专家、学者和研究人员提供一个国际平台,分享研究成果,讨论问题和挑战,探索前沿技术。诚邀高校、科研院所、企业等有关方面的专家学者参加会议。 9月13日(周五):签到日 9月14日(周六):会议日 9月15日(周日

【python计算机视觉编程——8.图像内容分类】

python计算机视觉编程——8.图像内容分类 8.图像内容分类8.1 K邻近分类法(KNN)8.1.1 一个简单的二维示例8.1.2 用稠密SIFT作为图像特征8.1.3 图像分类:手势识别 8.2贝叶斯分类器用PCA降维 8.3 支持向量机8.3.2 再论手势识别 8.4 光学字符识别8.4.2 选取特征8.4.3 多类支持向量机8.4.4 提取单元格并识别字符8.4.5 图像校正

AI和新基建赋能智慧工地超融合管理平台解决方案

1. 项目背景与需求 电力行业的工程管理正朝着智慧化发展,但目前仍处于起步阶段。为满足数字化、网络化、智能化的发展需求,需要构建一个高效综合监控平台,实现对电力项目全过程的精益化管控。 2. 综合管理平台的构建 该平台集成了超融合实景监控、安全智能监测、公共安全防范、技术管理、人员管控和绿色施工等多个方面,通过BIM协同优化设计,提升项目质量和进度管理。 3. 安全智能监测的重要性 安全

Python计算机视觉编程 第十章

目录 一、OpenCv基础知识 1.读取和写入图像 2.颜色空间 3.显示图像和结果 二、处理视频 1.输入视频 2.将视频读取到NumPy数组中 三、跟踪 1.光流 2.Lucas-Kanade算法 一、OpenCv基础知识 OpenCV 自带读取、写入图像函数以及矩阵操作和数学库。 1.读取和写入图像 import cv2# 读取图像im = c