每天一篇论文 305/365 Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements

Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements

摘要

我们提出了一种深度估计方法，该方法将来自立体对的信息与来自激光雷达传感器或距离相机的稀疏距离测量相融合。这项工作的目标是利用两种传感器模式的互补优势，精确但稀疏的距离测量和模糊但密集的立体信息。结合各向异性扩散和半全局匹配的思想，有效地融合了这两种源。我们对KITTI 2015和Middlebury 2014数据集的方法进行了评估，使用随机抽样的地面真值范围测量作为稀疏深度输入。我们通过对两个数据集进行少量的范围测量，实现了显著的性能改进。我们还使用PMDTec Monstar传感器从我们的平台提供定性结果。我们的整个流水线运行在NVIDIA TX-2平台上，5Hz，1280×1024立体图像，128个视差级别。

贡献

本文的主要工作有：
（1）结合传统的立体距离融合和深度插值技术，提出了一种将稀疏精确的深度测量数据集成到稠密立体深度估计框架中的方法；
（2） 对我们的方法在KITTI 2015和Middlebury 2014数据集上的定量评估，以及允许在计算受限的移动机器人上进行实时密集深度估计的小计算足迹。

方法

处理过程输入一对校正后的立体图像I（左摄像机）和J（右摄像机）。利用校准后的内、外图像，我们将深度传感器的距离测量值转换成具有匹配焦距的左相机参考帧中的深度图像。设置cost volume:：正如在许多立体算法中常见的那样，我们首先将灰度强度图像转换为对强度变化更为鲁棒的特征空间。对左右图像中每个像素周围的窗口应用 census 变换，得到的位向量用Icen（x，y）和Jcen（x，y）表示。
然后计算3D cost volume，其中X和Y轴对应于2D图像坐标和Z轴到视差范围。这个卷C（（x，y），d）的每个元素表示一个成本，或者左图像中的变换值与其右边的对应值之间的相似性，在y轴中以D移位，其中在EQ中看到D＝1

对3D cost volume做简化

聚合步骤被描述为一个能量最小化方程，类似于基于扫描线优化的立体方法，在每个像素上沿多个不同方向进行。为了降低计算复杂度，我们考虑4-8个方向，而不是原来的16个方向。SGM算法通过计算沿若干不同说明如下：

Cost volume

成本量创建阶段引入范围度量，在存在测量差异值的点上更新成本量中的元素（x，y，z）。我们用（（xm，ym），dm）表示这些元素。
些测量读数被视为高置信差异估计值，并用于修改原始成本量条目。我们提出了三种不同的方法，

1)Na¨ıve Fusion

2）Neighborhood Promotion:

3）Diffusion Based Update:

结果