本文主要是介绍【CVPR‘24】深度补全:Flexible Depth Completion for Sparse and Varying Point Densities,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
【CVPR'24】深度补全:Flexible Depth Completion for Sparse and Varying Point Densities
- 摘要
- 1. 引言
- 3. 方法
- 3.1 基础深度估计架构
- 3.2 基于亲和度的偏移校正
- 3.3 校正置信度预测
- 3.4 联合深度估计与完成
- 3.5 损失
- 4. 实验
- 4.1 数据集和评估指标
- 4.2 实验概述
- 4.3 消融研究
- 参考文献
摘要
近年来,深度补全方法在填充相对密集的深度图(例如,在 KITTI 数据集上投影的 64 线 LiDAR 或 NYUv2 上采样的 500 个点)时取得了显著的成果。然而,这些方法在处理非常稀疏的输入(例如 4 线 LiDAR 或 32 个深度点测量值)时的表现尚未得到验证。这些更稀疏的场景带来了新的挑战,例如与 64 线 LiDAR 相比,4 线 LiDAR 使得没有深度的像素与其最近的深度点之间的距离增加了六倍,从 5 个像素增加到 30 个像素。观察到现有方法在处理稀疏和可变分布的深度图时表现不佳,我们提出了一种基于亲和度的偏移校正(ASC)模块,该模块通过预测的图像像素与深度点之间的亲和度,迭代地将深度预测与输入深度对齐。我们的框架使每个深度点能够自适应地影响并改进整个图像的预测,从而在更少线、更少点和可变稀疏设置中获得大幅改进的结果。此外,我们展示了从 KITTI 到 nuScenes 以及从随机采样到不规则点分布的域迁移中性能的改进。我们的校正模块可以轻松添加到任何深度补全或仅 RGB 深度估计模型中,特别是允许后者使用单个模型执行完成和估计任务。
1. 引言
最近在深度补全方面的进展主要集中在对 KITTI 数据集中通过投影 64 线 LiDAR 到 RGB 图像上或从 NYUv2 数据集中随机采样 500 个深度点进行密集化处理。虽然这些方法在
这篇关于【CVPR‘24】深度补全:Flexible Depth Completion for Sparse and Varying Point Densities的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!