使用自己的TUM数据集来实现ORBSLAM稠密建图

2024-02-01 15:10
文章标签 数据 实现 使用 建图 稠密 tum 集来 orbslam

本文主要是介绍使用自己的TUM数据集来实现ORBSLAM稠密建图，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

​

简介

  • 项目链接：https://github.com/LeonardoDiCaprio1/Map_ORBSLAM_ROS
  • 奥比中光ROS功能驱动包：https://github.com/LeonardoDiCaprio1/astra_camera
  • 笔者参照很多大佬的文章和相关代码并添加了一些功能而且最终编译出来，现在分享给大家

硬件设备

  • 奥比中光深度相机（Astra）
  • 笔记本电脑（AMD）

操作环境

  • Ubuntu 20.04
  • ROS Noetic

额外依赖

  • pcl-1.13
  • Pangolin-0.6
  • boost-1.79.0
  • realsense2
注：Ubuntu 20.04 ROS Noetic自带OpenCV-4.2.0

安装依赖

1.安装git，g++，python

  • ORBSLAM3需要C++11和C++0x 编译器
sudo apt-get install git
sudo apt install g++
sudo apt install libpython2.7-dev

2.安装EIGEN库

sudo apt-get install libeigen3-dev
  • 检查是否安装成功
cat /usr/include/eigen3/Eigen/src/Core/util/Macros.h

3.安装Pangolin-0.6

  • 安装依赖
sudo apt install libgl1-mesa-dev
sudo apt install libglew-dev
sudo apt install libpython2.7-dev
sudo apt install pkg-config
sudo apt install libegl1-mesa-dev libwayland-dev libxkbcommon-dev wayland-protocols
  • 编译与安装
cd Pangolin-0.6
mkdir build
cd build 
cmake ..
make 
sudo make install
  • 卸载说明
cd build 
sudo make uninstall
  • 查看是否安装成功
cd examples/HelloPangolin
./HelloPangolin
  • 注：pcl-1.13的编译与下载和Pangolin-0.6操作相同，后续不在叙述

4.安装OpenCV依赖

sudo apt-get install build-essential libgtk2.0-dev libgtk-3-dev libavcodec-dev libavformat-dev libjpeg-dev libswscale-dev libtiff5-dev
sudo apt install python3-dev python3-numpy
sudo apt install libgstreamer-plugins-base1.0-dev libgstreamer1.0-dev
sudo apt install libpng-dev libopenexr-dev libtiff-dev libwebp-dev
  • 检查OpenCV版本号
pkg-config --modversion opencv4

5.安装boost库

  • 链接
sudo ./bootstrap.sh
sudo ./b2 install

6.安装realsense2

  • 注册public key
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
  • 添加apt源
sudo add-apt-repository "deb https://librealsense.intel.com/Debian/apt-repo $(lsb_release -cs) main" -u
  • 安装
sudo apt install librealsense2-dkms librealsense2-utils librealsense2-dev

7.安装编译Map_ORBSLAM_ROS

cd Map_ORBSLAM_ROS
chmod +x *.sh
./build.sh
注：这里为了防止线程卡死，你可以在build.sh文件中将其相关代码改为make

8.TUM数据集稠密建图

./run_rgb_mapping.sh
或者
source build/devel/setup.bash
roslaunch orb_slam3 rgbd_mapping_1.launch

制作TUM数据集

  • 奥比中光bag包录制
rosbag record -O image.bag /camera/rgb/image_raw /camera/depth/image_raw
  • 查看奥比中光订阅话题
rosbag info image.bag
  • 首先创建rgb和depth文件夹和txt文件
mkdir rgb
mkdir depth
touch rgb.txt
touch depth.txt
  • 使用脚本get_TUM_better.py或者get_TUM.py或者get_tum.py获取深度图和彩色图并分别得到txt文件
  • 若是TUM官方数据集的bag文件请使用TUM_official.py文件
python3 get_TUM_better.py
  • 使用官方脚本得到associate.txt文件
python3 associate.py rgb.txt depth.txt  > associate.txt
  • 执行指令例子
./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt Examples/RGB-D/TUM1.yaml /home/zhao/script /home/zhao/script/associate.txt

  • 效果展示
    result

  • TUM官方数据集bag文件信息

bag TUM

注：你可以使用其他的深度相机制作TUM数据集，但要注意相机的规格参数，实验过程中使用的是奥比中光深度相机，TUM官方数据集给的bag文件除了相机深度话题和彩色话题以外还有imu和tf话题。

制作TUM数据集-稠密建图

  • 首先在当级目录下创建rgb.txt和depth.txt以及rgb和depth文件夹
mkdir rgb
mkdir depth
touch rgb.txt
touch depth.txt
  • 运行scripts中的get_TUM.py文件或者get_TUM_better.py文件
python3 get_TUM_better.py
  • 若是TUM官方数据集的bag文件请使用scripts中的TUM_official.py文件
python3 TUM_official.py
  • 运行associate.py得到associate.txt文件
python3 associate.py rgb.txt depth.txt  > associate.txt
  • 使用自己的数据集稠密建图
./run_rgb_mapping.sh
  • 运行样例
    Example

稠密建图效果

  • 建完图后pcd文件默认保存在.ros隐藏文件夹中
  • Ctrl + H 能够快速的调出隐藏文件
  • 安装pcl工具
sudo apt-get install libpcl-dev pcl-tools
  • pcl查看建图效果
pcl_viewer vslam.pcd
  • 开源项目scripts文件夹中有matlab脚本
  • 你也可以使用CouldCompare软件打开pcd文件
  • 笔者默认使用matlab打开pcd文件

效果展示

在这里插入图片描述

相机内参标定

  • 将以下的照片打印在A4纸上，拍摄20张左右的图片
  • 可以通过rosbag录制1-2秒，用get_tum.py或者get_TUM.py获取彩色图像
  • 存放在cameraCalib.py同一级目录下

内参标定

  • 执行代码
python3 cameraCalib.py
  • 注：例子Example.yaml在scripts里

使用EVO测评TUM官方数据集

  • evo_ape：计算绝对位姿误差(absolute pose error)，用于整体评估整条轨迹的全局一致性
  • evo_rpe：计算相对位姿误差(relative pose error)，用于评价轨迹局部的准确性
  • -a轨迹对齐，-s尺度缩放，-p绘制误差相关曲线，-v开启详细的输出或日志记录
  • 在执行完以下指令后可以获得CameraTrajectory.txt和KeyFrameTrajectory.txt
./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt Examples/RGB-D/TUM1.yaml /home/zhao/script /home/zhao/script/associate.txt
  • 注意事项：本文是针对CameraTrajectory.txt和KeyFrameTrajectory.txt进行评估的，因为后面评估自己的TUM数据集只有这两个文件，groundtruth.txt可能需要特殊处理来生成，笔者暂时没有方法去实现，这可能需要额外的设备去获取相对位姿
  • 如果出现以下情况请不要担心！
       max	0.000000mean	0.000000median	0.000000min	0.000000rmse	0.000000sse	0.000000std	0.000000
  • 一般而言可以使用groundtruth.txt和CameraTrajectory.txt或者KeyFrameTrajectory.txt进行对比评估
  • 以下是一个样例
evo_ape tum groundtruth.txt CameraTrajectory.txt -p --plot -s --correct_scale -a --align -v

在这里插入图片描述

  • pip安装evo工具
pip install evo --upgrade --no-binary evo

绘制多条轨迹

  • evo_traj绘制轨迹
evo_traj tum CameraTrajectory.txt KeyFrameTrajectory.txt  -p --plot_mode=xyz
  • TUM数据集有groundtruth.txt文件，可以执行以下指令：
evo_traj tum CameraTrajectory.txt KeyFrameTrajectory.txt groundtruth.txt -p --plot_mode=xyz
  • trajectories
    在这里插入图片描述
  • xyz_view
    在这里插入图片描述
  • rpy_view
    在这里插入图片描述
  • 欧拉角（roll，pitch，yaw）分别表示滚动角，俯仰角，偏航角

评估绝对位姿误差

  • evo_ape评估绝对位姿误差指令
evo_ape tum CameraTrajectory.txt KeyFrameTrajectory.txt -p --plot -s --correct_scale -a --align -v --save_results ~/path/to/ape.zip
  • 当然你可以省略–save_results ~/path/to/ape.zip
evo_ape tum CameraTrajectory.txt KeyFrameTrajectory.txt -p --plot -s --correct_scale -a --align -v

结果展示

在这里插入图片描述

  • APE平均百分误差
  • rmse均方根误差
  • median中位数
  • mean算术平均数
  • std标准差

在这里插入图片描述

评估相对位姿误差

  • evo_rpe评估相对误差指令
 evo_rpe tum CameraTrajectory.txt KeyFrameTrajectory.txt -p -a -s -v --save_results ~/path/to/rpe.zip
  • 当然你可以省略–save_results ~/path/to/rpe.zip
 evo_rpe tum CameraTrajectory.txt KeyFrameTrajectory.txt -p -a -s -v

结果展示

在这里插入图片描述

  • APE平均百分误差
  • rmse均方根误差
  • median中位数
  • mean算术平均数
  • std标准差
    在这里插入图片描述
  • 输出ape结果进行比较
evo_res ape.zip -p --save_table ape.csv
  • 当然你可以省略–save_table ape.csv
evo_res ape.zip -p
结果展示

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

使用EVO工具测评自己的TUM数据集

  • evo_traj绘制多条轨迹指令如下：
evo_traj tum CameraTrajectory.txt KeyFrameTrajectory.txt  -p --plot_mode=xyz
  • trajectories
    在这里插入图片描述
  • xyz_view
    在这里插入图片描述
  • rpy_view
    在这里插入图片描述

注：evo评估自己的TUM数据集结果不做过多演示，后续可以自己操作并输出自己的TUM数据集的评估结果

项目链接展示

  • TUM官方数据集-哔哩哔哩

  • 自己的TUM数据集-哔哩哔哩

  • TUM数据集

主要参考链接

  • https://blog.csdn.net/kuvinxu/article/details/125992909
  • https://blog.csdn.net/kuvinxu/article/details/126233165
  • https://github.com/lturing/ORB_SLAM3_ROS
  • https://blog.csdn.net/peng_258/article/details/127414959
  • https://blog.csdn.net/zardforever123/article/details/127138151
  • https://blog.csdn.net/weixin_47074246/article/details/109134740
  • https://blog.csdn.net/qq_43265072/article/details/104715515

​

这篇关于使用自己的TUM数据集来实现ORBSLAM稠密建图的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/667634。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题：墙体两侧特征混淆误匹配，导致建图和定位偏差，表现为过门跳变、外月台走歪等 ·解决思路：预期的根治方案IGICP需要较长时间完成上线，先使用切分地图的工程化方案，即墙体两侧切分为不同地图，在某一侧只使用该侧地图进行定位 方案思路 切分原理：切分地图基于关键帧位置，而非点云。 理论基础：光照是直线的，一帧点云必定只能照射到墙的一侧，无法同时照到两侧实践考虑：关
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2