SemSegMap ：基于3D点云语义信息的定位

点云PCL免费知识星球，点云论文速读。

文章：SemSegMap - 3D Segment-Based Semantic Localization

作者：Andrei Cramariuc, Florian Tschopp, Nikhilesh Alatur, Stefan Benz

代码：https://github.com/ethz-asl/segmap

编译：点云PCL

欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

定位是移动机器人或自动驾驶汽车的一项基本任务，如今，许多机器人平台都配备了高精度的3D激光雷达传感器，可以进行环境测绘建图，而摄像机则能够提供环境的语义信息，基于分割的建图和定位已成功应用于三维点云数据，而语义理解已被证明可以提高基于视觉系统的定位性能，在本文中，我们在SemSegMap中结合了这两种模式，将SegMap扩展为一个基于分割的建图框架，该框架还能够利用环境中的颜色和语义数据来提高定位精度和鲁棒性，特别是，我们提出了新的分割和描述子提取方法，分割过程得益于来自颜色和语义类一致性的额外距离信息，从而在访问回环的某个位置后产生更多可重复的分割信息和更多重叠信息，对于描述子，在深度学习的描述子提取网络中执行紧密融合方法，从而提高路标匹配的描述子，我们在多个模拟和真实数据集上演示了这种融合的优势，并将其性能与各种基线方案进行了比较，实验表明，在使用非常稠密的具有挑战的点云地图数据集上，与SegMap相比，我们能够得到50.9%的高精度和更少的全局定位，同时还可以实时提供精确的6自由度姿势估计。

介绍

在本文中介绍了SemSegMap，一种利用相机提供的视觉和语义信息并将其与标准3D激光雷达的几何信息融合的方法，作为定位框架的基础，我们使用SegMap，这是一种基于激光雷达的SLAM流程，使用环境的3D部分作为路标，并允许从大比例尺地图中的稠密的描述子中检索6D姿势，与SegMap[1]不同，在SemSegMap中，如图1所示，首先点云使用语义分割RGB图像的反投影来丰富颜色和语义信息。

图1：此图显示正在运行的SemSegMap流程。SemSegMap能够在点云数据上执行基于分割的语义定位，该点云数据包含来自可视相机的语义和颜色信息，当前观察到的机器人周围的局部地图显示为下图所示的全局地图顶部的彩色点云，每个部分具有唯一的颜色。绿线表示定位的匹配分割对应部分，而橙色线表示机器人轨迹。

此外，基于几何、颜色和语义信息对点云进行分割，以创建一致且有意义的语义信息，我们在多个实验中表明，由于这种融合，分割过程和生成的描述子对视点和外观的变化更加鲁棒，从而使机器人的重定位更加一致，我们的贡献如下：

• 实验表明，将相机中的颜色和语义信息集成到点云中可以改进分割和描述子生成过程，从而在SLAM流程中实现更一致的6D定位

• 我们介绍了一个基于模拟的学习流程，用于使用地面真相关联来训练分割描述子，并展示了它们在现实场景中的可迁移性

• 我们在模拟和真实世界数据的广泛评估中展示了SemSegMap的性能，其表现优于各种基线方案

• 为了社区的利益，我们开放整个代码：https://github.com/ethz-asl/segmap.

主要内容

A.丰富的语义信息

整个方案的输入由彩色图像流和点云组成，彩色图像通过语义分割网络获得每个像素的语义类别，使用相机和激光雷达之间的外参以及相机的内参，将每个像素的颜色和语义分割投影到点云数据上，结果是一组p=fx形式的丰富点云 p = f（x; y; z; h; s; v; c），其中x、y和z是空间坐标，还具有HSV空间中的颜色值h、s和v（结果在图1中可见）和语义类标签c，如图2所示。

图2:SemSegMap流程概览，整个流程可以在从磁盘加载已经建立好的点云地图中进行的定位的模式下运行，也可以在回环闭合模式下运行

B. 语义分割

为了去除噪声并实现更稠密的数据表示这里将丰富的点云数据处理到固定大小的体素网格中，体素网格是一个半径为R的圆柱体，动态跟踪机器人并以其为中心，对于每个体素，多个点的颜色信息通过使用传入值的运行平均值进行融合，以获得体素的当前值，相反，语义类标签不能平均，因此，存储所有值，并通过多数投票确定体素的语义标签，可以通过排除属于已知动态类别（如人和汽车）的点来进行进一步过滤。可以使用增量欧几里德分割，每一步都不需要在整个点云书中上重新运行，而是只在新激活的体素上增量的计算。在分割过程中，在每一步，机器人都会在自身周围的局部地图中提取一组语义信息，当从不同的角度进行更多的观察时，这些分割出来的语义信息会慢慢积累点云，与跟踪关键点的方式类似，一个分割段将具有多个累积观测值。

C.描述子

对于每个分割出来的语义信息的观测，计算一个学习描述子，并通过将每个描述子与相应分段质心点关联来构建局部地图，出于效率原因，我们只保留每个分割信息的最后一次观测值的描述子，以创建用于后续定位或回环检测的目标地图。

图3：彩色点云的描述子提取基于Pointnet++主干，而语义融合在语义类直方图的粗略体素网格中，该网络使用重建损耗和三重态损耗进行训练

新的描述子网络（如图3所示）使用基于分层点集特征学习的Pointnet++体系结构，Pointnet++主干网的输入是彩色点云分割信息，该分段随机二次采样为固定大小的2048个点，相反，类标签被累积到一个非常粗糙的3×3×3空间体素网格中，其中每个单元包含属于点云分割段该部分的类标签的标准化直方图，这种非常粗糙的描述就足够了，因为由于语义分割过程，大多数片段中的类标签是相同的，为了提高计算效率，该类表示由一个小型三维卷积网络单独处理，其输出随后与Pointnet++主干连接，最后，我们还向网络中输入了点云坐标归一化的比例因子，这有助于网络更好地区分不匹配但在视觉上或几何上相似的线段。

D.定位和回环

为了执行定位或回环，分别在定位构建的分段建图和先前或全局建图之间确定候选对应关系，使用每个局部可见段的描述子从全局图中检索k个最相似的描述符来识别候选项，最后，基于目标和查询匹配候选的质心执行几何验证步骤，以识别导致使用随机样本一致性（RANSAC）的最大内联线集的6自由度（DoF）变换，生成的转换既可以用作从先前构建的地图进行定位的结果，也可以用作SLAM场景中的循环闭合约束，在后一种情况下，回路闭合约束和机器人里程计约束都被置于基于iSAM2的在线姿势图中。

实验

实验部分在模拟和公共真实数据集上对SemSegMap进行了全面评估，证明了与不同基线相比，SemSegMap在分割、描述子质量、定位精度和鲁棒性方面具有更高的性能。

图4：包括模拟轨迹和模拟环境鸟瞰图（蓝色：S0，绿色：S1，红色：S2，黄色：S3）

图5：模拟传感器模式和环境条件概述

图6：使用SemSegMap相对于SegMap改变模拟数据集S1（左）和NCLT N0（右）的分割的IoU

图7：模拟数据集S0（左）和NCLT数据集N0（右）上描述子质量的比较

定位精度结果概述

总结

在本文中，我们介绍了SemSegMap，它是SegMap的一个扩展，将RGB相机的颜色和语义信息与激光雷达数据实时融合，在现实世界的机器人应用中，由于相机的价格相对较低，因此通常很容易将相机添加到配备激光雷达的平台上，尤其是在执行语义分割以提高场景理解的情况下，我们加入了这个额外的模式来提高分割和描述子的质量，这是在一个具有精确地面真实性的模拟数据集和一个具有挑战性的真实数据集中展示的，通过使用所述扩展，SemSegMap能够在重新访问某个位置时生成更少的不一致片段和更多高度重叠的语义分割段，从而优于几何分割方法，描述子中附加信息的紧密融合也提高了描述子质量，其中SemSegMap不仅优于SegMap基线方案，还优于其他最先进的点云描述子，如FPFH和3DSmoothNet，其k-NN是找到正确匹配所需的，这些改进还提高了定位精度和稳健性，使得SemSegMap在模拟数据集和真实数据集的定位精度分别比SegMap高102%和50.9%。

参考文献

[1] R. Dube, A. Cramariuc, D. Dugas, H. Sommer, M. Dymczyk, J. Nieto, ´ R. Siegwart, and C. Cadena, “SegMap: Segment-based mapping and localization using data-driven descriptors,” The International Journal of Robotics Research, vol. 39, no. 2-3, 2019.

本文仅做简单分享介绍，详情可查看具体论文！

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

往期线上分享录播汇总

第一期B站录播之三维模型检索技术

第二期B站录播之深度学习在3D场景中的应用

第三期B站录播之CMake进阶学习

第四期B站录播之点云物体及六自由度姿态估计

第五期B站录播之点云深度学习语义分割拓展

第六期B站录播之Pointnetlk解读

[线上分享录播]点云配准概述及其在激光SLAM中的应用

[线上分享录播]cloudcompare插件开发

[线上分享录播]基于点云数据的 Mesh重建与处理

[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享

[线上分享录播]地面点云配准与机载点云航带平差

点云PCL更多活动请查看：点云PCL活动之应届生校招群

扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：

如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶