一种应用于卷帘快门相机的视觉惯性融合连续时间表示方法

一、论文总结

论文总结：
样条融合：一种应用于卷帘快门相机的视觉-惯性融合连续时间表示方法本文介绍了一种利用卷帘式CMOS相机和MEMS IMUs等传感器进行SLAM和视觉惯性标定的方法。利用相机轨迹的连续时间模型，融合来自其它不同步的高速率传感器的信息，同时限制状态大小。对相机的卷帘快门进行建模，并能在惯性测量中产生误差。该模型不局限于视觉惯性SLAM，还可以简化其他传感器的集成，如旋转SICK激光雷达。
本文方法的核心是一个SLAM系统连续的轨迹表示。我们假设系统需满足如下性质：
1） 允许系统在线和批量运行
2） 系统具有C2的连续性，使我们能够预测IMU的测量值
3） 具有一个很好的近似最小扭矩轨迹
4） 是可参数化且无奇异点的刚体运动
为满足以上性质，本文选择累积B样条插值法，这种方法允许在样条曲线上的任意一点计算解析时间倒数。可以很容易地合成加速度计和陀螺仪的测量值，反过来利用他们对观测到的测量值形成直接误差。
连续时间框架的另一个优点是处理卷帘快门相机。虽然卷帘快门相机的射影几何形状与全局快门相机相同，但图像的每一行都是在不同的时间内曝光的，每一行都比上一行延迟得更久。当相机在运动时，这可能导致图像出现扭曲和倾斜。使用相机运动的连续时间模型，将图像的每一行看作是单独曝光的，如图1所示。

此外本文还给出了视觉和惯性数据的生成模型，通过最小化观测值和预测值之间的差值所形成的目标函数，可批量的求解样条曲线和相机参数，利用连续时间公式，可以对重投影误差和惯性误差进行均匀处理，并根据设备规格或校准计算出它们各自的信息矩阵进行加权。
文章实验部分，进行了仿真和实际数据的对比。首先在一个模拟的单目卷帘相机数据集上给出滑动窗口的视觉测试结果。然后在实际视惯SLAM系统采集的数据集上做了相应测试。结果验证了本文提出的基于连续时间下的B-样条插值方法具有良好的预测效果。

一、基于累积B样条插值公式推到如下

注：为了描述方便以下公式是以截图形式展现

1. 累积 B-样条插值基本公式如下：
   （1）

值得注意的是B为基函数，p为控制点。
用矩阵的形式表达：
(2)

(3)
其中
(4)
基于累积B-样条插值法公式，在SE(3)下的表达如下：
(5)
指数对数映射之后得到：
(6)
假控制点个数k=4,得到：
（7）
展开得到：
(8)
其中B(u(t))表达如下：
(9)
上式(9)中红色方框矩阵的计算过程手动推到如下：

最终得到SE(3)下三次累积B-样条的公式变成了如下形式：
(10)

基于以上B-样条公式可以对IMU数据进行插值，推导过程如下：
首先IMU误差模型表达如下：
(11)
用B-样条方法可以得到连续时间下的陀螺仪角速率和加表的加速度值，重新表达以上公式，如下：
(12)
其中R,P是矩阵T的子集，要求出R的一介导和P的二阶导，需求出T矩阵的一介二阶导。将矩阵T表示公式简化如下：
(13)
其中对T矩阵求一介二阶偏导如下：
(14)
求出这个公式，需要求出Ai的一阶二阶导数，计算公式如下：
(15)
这里以A0计算推导为例，A1，A2推导步骤类似，这里就只推导A0：
首先对A0泰勒展开：
(16)
求一阶导如下：
(17)
求二阶导如下：
(18)
其中要求出A0以及A0的一介二阶导数，需要先求出B0以及它的一阶二阶导数。求解过程如下：
(19)
(20)
(21)

同样基于以上步骤可以推导出A1,A2以及它们的一阶二阶导数。
如果将这个过程反推上去，就可以计算出连续时间下imu的角速率和加速度信息啦！！！

参考文献：
1.Spline Fusion: A continuous-time representation for visual-inertial fusion with application to rolling shutter cameras
2.A Spline-Based Trajectory Representation for Sensor Fusion
and Rolling Shutter Cameras
3.Research Notes and Jacobians:Continuous-Time Visual-Inertial Trajectory Estimation with Event Cameras
4.Sigma-Point Kalman Filtering for Integrated GPS and Inertial Navigation
5.General matrix representations for Bsplines
友情提示：代码下载需要C币，请事先判断是否对您有帮助，谨慎下载哦！！！