基于道路标线的城市环境单目定位

文章：Monocular Localization in Urban Environments using Road Markings

作者：Yan Lu Jiawei Huang Yi-Ting Chen Bernd Heisele

编译：点云PCL

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！

对本文以及俯视图生成点云，及点云路标地图感兴趣的。与此相关的内容分享有：

AVP-SLAM：自动泊车系统中的语义SLAM

RoadMap：面向自动驾驶的轻型语义地图视觉定位方法

LaneLoc：基于高精地图的车道线定位

其中有很多地方可以讨论交流，欢迎各位大佬赐教！同时公众号也将分享更多与此类型相关的文章,包括其引用文献，敬请期待。

欢迎自动驾驶行业的小伙伴，按照“姓名+学校/公司”备注，添加微信“ly920177957”交流或者加入群聊。

摘要

定位问题是自动驾驶汽车自主导航的一个基本问题，本文提出了一种基于单目视觉的道路标记定位方法，利用道路标记作为地标，而不是传统的视觉特征（如SIFT）来解决定位问题，因为道路标记对时间、季节、视角和照明变化更具鲁棒性，具体来说是使用倒角匹配将从图像中检测到的道路标记边界配准到轻型3D地图上，其中道路标记表示为一组稀疏点，仅通过匹配道路几何图形，我们的光度匹配算法的鲁棒性将进一步提高，此外，还考虑了车辆里程计和极线几何约束，并提出了一个非线性优化问题来估计6自由度相机的姿态，采集的现实的数据评估了所提出的方法，实验结果表明，该方法在有足够道路标线的区域实现了亚米级的定位误差。

主要内容

在这项工作中，主要利用一个单目相机实现定位，地图不是由相机生成，该地图通过在配准3D激光雷达点云创建的场景环境后手动标记地标来构建，如图1所示

图1 :（a）我们提出的基于优化的定位系统概述

          (b） 通过优化获得的相机位姿，将点云（红点）投影到相机视图中。

该地图由地标（如道路标记）的稀疏3D点云组成，这里只匹配道路特征的几何体，而不是光度学，原因有两个，首先，该地图不包含很多关于地标的外观信息；其次，匹配几何体允许针对外观或照明变化进行鲁棒定位，在本文中提出了一种在给定地图内跟踪6自由度相机姿态的方法，给定一幅图像，该系统检测道路标线的边缘，并计算检测到的边缘与图像空间中投影的道路标线点之间的倒角距离，然后，提出了一个非线性优化问题来估计摄像机的姿态，该公式包含倒角距离、车辆里程计和极线约束的信息，我们的系统还检测定位失败，并在失败后重新定位自身，实验结果表明，该方法在有足够道路标线的区域实现了亚米级的定位误差。

A 地图

本文的地图由地图公司提供，由各种元素组成，包括道路标记、路沿、交通标志等，在本文中，我们仅使用两种类型的道路标记：实线和虚线。如图所示，实线通常来自车道或人行横道边界，而折线通常存在于车道之间，选择地图元素子集的理由有两个，首先，它们比限速标志和转向箭头等其他元素更容易被观察到，其次，由于其独特的外观（与路沿相比）和较大的尺寸（与交通标志相比），它们相对容易从图像中检测出来。

用于定位的道路要素地图

“道路标记”仅指选定类型的道路标记，道路标记简明地存储在文本文件中，并按地理位置分组，如图所示，道路标记特征由一组3D点（沿其中心线采样）以及其他信息（如宽度和颜色）表示。

道路要素的存储形式表达

B.特征检测

通过提取道路标记的轮廓来进行边缘提取，在这里，采用了基于随机森林的边缘检测器，并使用我们自己的图像数据对其进行重新训练，随机森林是独立决策树的集合，每个树都有相同的输入样本，并通过将其从根节点向下传播到叶节点来对其进行分类，通过给出一个初始未经训练的具有多个输入输出映射的决策树，其内部分裂函数的参数将逐渐演化并产生相似的输入输出映射，通过定义信息获取标准，可以实现此学习过程。

C 特征匹配

根据里程计信息，我们可以在时间k预测相机的姿势p0k，然后将道路标记点投影到图像空间，为了评估投影点与检测到的特征的匹配程度，使用了倒角匹配，该匹配基本上将每个投影点与最近的边缘像素相关联，通过距离变换可以有效地计算倒角距离，为了说明方向，根据边缘像素的梯度方向将其划分为不同的组，并相应地计算距离变换。

D 地图检索

给定预测的相机位置，从地图中选择距离相机一定距离（80m）内的道路标记子集，由于我们没有来自地图的中心岛信息，我们无法预测是否存在遮挡，除非使用复杂的视觉技术，我们解决这个问题的方法是，在宽阔的道路上（超过15米），只在车辆行驶的一侧使用道路标记，这是因为即使是宽阔道路的一侧也有多条车道，因此有足够的道路标记用于定位。

E 优化

为了估计相机的姿态，我们不仅使用了 Chamfer匹配，还考虑了其他约束。如下：

• Chamfer distance

• Epipolar constraint

• Odometry constraint

• Optimization formulation

实验

A 特征检测测试

我们将的道路标记检测结果与以下算法进行比较：Canny边缘检测、由RF-org表示的原始基于随机森林的边缘检测器和车道标记检测（LMD）算法，我们使用RF-re表示使用我们的道路标记数据重新训练的基于随机森林的边缘检测器。其结果对比如下

用于特征检测比较的样本图像

边缘检测算法的精度召回曲线比较

B 定位测试

左：定位测试图。右：测试路线叠加在谷歌地图上的显示

测试数据中面临的定位挑战

总结

定位问题是自动驾驶的关键问题，本文提出了一种基于单目视觉的道路标线定位算法，我们选择道路标记作为定位的地标，而不是传统的视觉特征（如SIFT），因为道路标记对时间、视角和照明变化更具鲁棒性，这里采用Chamfer匹配将图像中检测到的道路标记与其在轻型地图中的表示进行配准。我们进一步考虑了车辆里程计和极线几何约束，并制定了一个非线性优化问题，以获得6自由度相机姿态。我们根据真实环境中收集的数据对所提出的方法进行了评估，实验结果表明，尽管数据收集间隔数月，我们的方法实现了亚米定位误差，同时，我们知道，当道路标线缺失或稀疏时，提出的的方法将不适用，因此，我们将研究在未来使用其他类型的地标来实现更稳健的定位。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶