TUM VIO数据集介绍与尝试 The TUM VI Benchmark for Evaluating Visual-Inertial Odometry论文翻译

前言

做SLAM或是CV方向的应该大都接触过TUM提供的各种数据集，如RGBD数据集、单目数据集等。最近TUM发布了关于VIO即视觉惯性状态估计的对应数据集，成为了继飞行数据集EuRoc、MAV、车辆数据集Kitti等之后的又一个常用大型数据集。
本博客将就其数据集的论文《The TUM VI Benchmark for Evaluating Visual-Inertial Odometry》对TUM VIO数据集进行简要介绍，并用VINS跑跑看。

数据集链接：https://vision.in.tum.de/data/datasets/visual-inertial-dataset

摘要

视觉里程计和SLAM方法在诸如AR或机器人之类的领域中具有广泛的应用。惯性测量辅助视觉传感器极大地提高了跟踪精度和鲁棒性，引发了对视觉惯性（VI）里程计开发的极大兴趣。在本文中，我们提出了TUM VI基准测试集，这是一种新颖的数据集，在不同的场景中具有多种序列，用于评估VIO。它提供具有1024x1024分辨率，20 Hz，高动态范围和光度校准的相机图像。 IMU以200 Hz的频率测量3个轴上的加速度和角速度，而摄像机和IMU传感器在硬件中进行时间同步。对于轨迹评估，我们还在序列的开始和结束处以高频率（120 Hz）从运动捕捉系统中提供准确的姿态地面真值，我们准确地将其与摄像机和IMU测量对准。具有原始数据和校准数据的完整数据集可公开获取。我们还在数据集上评估了最先进的VIO方法。

相关工作

表I介绍了包含视觉和IMU数据的最相关数据集。

The EuRoC MAV、PennCOSYVIO 、Zurich Urban MAV等数据集并不包含光度校准，也不包含IMU和相机图像的准确ground truth（即真值）或时间同步，而TUM的基准测试集就具备。

数据集

序列

校准序列

• calib-cam
  用于校准相机内参和深度相机的外参。 以低帧速率记录了AprilTags网格，其中视角和摄像机运动变化较小。
• calib-imu
  用于cam-imu校准以找到相机和IMU之间的相对位姿。 包括激发所有6个自由度April网格前的快速运动。 选择短时曝光以避免运动模糊。
• calib-vignette
  用于晕影校准。 带有校准标签的特征运动在白墙前方。
• imu-static
  只有IMU数据以估算噪声和随机游走参数（静止111小时）。

数据集序列

• room
  房间内带有运动捕捉系统的序列，可以在整个轨迹中提供 ground truth。
• corridor
  走廊和几个办公室中的序列，可以为开始和结束段提供 ground truth。
• magistrale
  在大学建筑的中央大厅移动的序列，开始和结束段提供ground truth。
• outdoors
  在大学校园外移动的序列，开始和结束段提供ground truth。
• slides
  在大学建筑的中央大厅移动的序列，其中小部分在没有视觉特征的封闭管中运动，开始和结束段提供ground truth。

格式

1）ROS Bag Files
对于每个序列，我们提供三种不同的ROS包文件，原始包和两种校准后的包。

原始包包含在手眼标定、时移或IMU校准之前已记录的数据。 它们包括以下topic：
/cam0/image raw
/cam1/image raw
/imu0
/vrpn client/raw transform
前两个包含有相机的图像。 消息中的大多数字段都是一目了然的并遵循标准约定。但请注意frame_id提供以纳秒为单位的曝光时间。
在IMU topic中，我们没有给出方向，但我们使用orientation covariance的第二项来提供IMU的摄氏度温度。 最后一个topic包含原始动作捕捉位姿T_WM。 对于每个位姿，动作捕捉时间中都有一个时间戳，一个平移向量和一个旋转四元数。

校准包包含与原始包相同的主题，但具有校准数据。 不同之处是：
1、动作捕捉位姿已与IMU坐标系对齐（通过手眼校准，T_WI）
2、使用中值滤波器移除动作捕捉位姿的异常值
3、通过使用时移校准，动作捕捉位姿的时间戳与IMU时间同步
4、IMU数据已根据以下两式进行处理

提供两种校准包：一种具有全分辨率，一种具有四分之一分辨率（每个尺寸的半分辨率）。 下采样版本有助于使用存储或带宽受限制的用户。
其中校准包下载地址：
Bag 1024×1024: http://vision.in.tum.de/tumvi/calibrated/1024_16/
Bag 512×512: http://vision.in.tum.de/tumvi/calibrated/512_16/

传感器设置与校准参数

如图2，传感器设置包括两个单色相机组成的深度相机和IMU。左图显示了所有相关坐标系的示意图。 我们规定：位姿变换矩阵$T_{BA}\in$SE(3)表示从A坐标系$p_A\in R^3$到B坐标系$p_B=T_{BA}{p}_A$的变换。对于坐标系，使用以下缩写：

Time Alignment, Hand-Eye Calibration, IMU Axis Scaling and Misalignment

Please note that the calibrated datasets already have corrected IMU measurements and Ground Truth in IMU frame.

T_i_c0:-0.999506  0.00759167   -0.030488   0.04476590.0302105  -0.0343071   -0.998955  -0.0755245
-0.00862969   -0.999383   0.0340608  -0.04654190           0           0           1
T_i_c1:-0.999497  0.00813335  -0.0306525  -0.05611780.0307588   0.0132798   -0.999439  -0.0738562
-0.00772172   -0.999879  -0.0135233  -0.04941020           0           0           1
T_w_moc:-0.999641   0.0266075 -0.00313757    0.146549
-0.00698843   -0.145899    0.989275   -0.1929520.0258644    0.988942    0.146032    0.7664710           0           0           1
T_mark_i:0.99975  -0.0167084   0.0148858  -0.01050730.0166986     0.99986 0.000784897  -0.0596456-0.0148968 -0.00053613    0.999889  -0.03896060           0           0           1
cam_time_offset_ns: 126788
mocap_time_offset_ns: -6022600
accel_bias:  -1.30318 -0.391441  0.380509
accel_scale:1.00422            0            0
-7.82123e-05      1.00136            0-0.0097745 -0.000976476     0.970467
gyro_bias:  0.0283122 0.00723077  0.0165292
gyro_scale:0.943611  0.00148681 0.000824366
0.000369694     1.09413 -0.00273521
-0.00175252  0.00834754     1.01588

IMU参数校准

在参数配置中加速度计和陀螺仪的噪声和随机游走给标定值乘以一个系数（20倍、10倍）等。

rostopic: /imu0
update_rate: 200.0  # Hz# Values from allan plots
# sequence: dataset-calib-imu-static2.bag (full data range)
#accelerometer_noise_density: 0.0014     # m/s^1.5
#accelerometer_random_walk:   0.000086   # m/s^2.5
#gyroscope_noise_density:     0.000080   # rad/s^0.5
#gyroscope_random_walk:       0.0000022  # rad/s^1.5# Inflated values (to account for unmodelled effects)
# Those values work well with Kalibr cam-imu calibration.
#  - white noise multiplied by 2
#  - bias random walk multiplied by 10
accelerometer_noise_density: 0.0028     # m/s^1.5
accelerometer_random_walk:   0.00086    # m/s^2.5
gyroscope_noise_density:     0.00016    # rad/s^0.5
gyroscope_random_walk:       0.000022   # rad/s^1.5

评估结果

下表为使用TUM的基准数据集来评估最先进的单目和双目视觉惯性方法的性能。

其中对于ROVIO和OKVIS，TUM还提供了对应的配置文件：
configuration file we used for OKVIS
inflated 50 times for white noise and 20 times for bias random walk, which gave the best result in a simple parameter search

configuration file we used for ROVIO
default parameters, synchronous, no real-time enforcement, noise values from Allan plot inflated 10 times for all parameters as determined by a simple parameter search

我的实验

TUM的网站上并没有提供VINS的配置文件，原本以为还需要自己写，后来发现最新的VINS-Mono已经配置好了图像下采样版本的yaml，直接用就可以。这里我使用了corridor4的校准数据集，因为其最小。

    roslaunch vins_estimator tum.launch roslaunch vins_estimator vins_rviz.launchrosbag play /home/your path/dataset/dataset-corridor4_512_16.bag

运行结果图
过程中可以看到设备在一个房间中乱晃，然后经过一条长走廊再往回走，最后仍能回到最初的房间。

这个是TUM对corridor4使用不同的VIO算法得到的轨迹图。

接下来还需要再研究一下如何与动作捕捉的 ground truth以衡量误差。