[深度估计]RIDERS: Radar-Infrared Depth Estimation for Robust Sensing

2024-02-15 07:12

本文主要是介绍[深度估计]RIDERS: Radar-Infrared Depth Estimation for Robust Sensing,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

RIDERS: 恶劣天气及环境下鲁棒的密集深度估计

论文链接:https://arxiv.org/pdf/2402.02067.pdf
作者单位:浙江大学, 慕尼黑工业大学
代码链接:https://github.com/MMOCKING/RIDERS

1. 摘要(Abstract)

     恶劣的天气条件, 包括雾霾、灰尘、雨雪和黑暗, 给准确的密集深度估计带来了巨大挑战。对于依赖于短电磁波传感器(如可见光谱相机和近红外激光雷达)的传统深度估计方法而言,在这种环境中容易受到衍射噪声和遮挡的影响。
     为了从根本上解决这个问题, 作者提出了一种新颖的方法, 通过融合毫米波雷达单目红外热成像相机实现鲁棒的度量深度估计,这两种传感器能够穿透大气颗粒, 并且不受照明条件的影响
在这里插入图片描述

  • 图左:所提出方法可以提供超出可见光谱的高质量深度估计
  • 图右:毫米波雷达和红外热感相机的工作波长比激光雷达和RGB相机更长,可以穿透大气粒 子。

文章主要贡献:

  • 1.提出第一个集成毫米波雷达和热感相机的密集深度估计方法,在烟雾和低光照等不利条件下具有无与伦比的深度感知鲁棒性。
  • 2.提出一种新的度量密集深度估计框架,有效融合异质雷达和热数据。所提出的三阶段框架包括单目估计和全局对齐、准密集雷达增强和密集尺度学习,最终从稀疏和噪声长波数据中恢复密集深度。
  • 3.所提方法在公开的NTU数据集和自采集的ZJU- Multispectrum数据集上SOTA
  • 4.ZJU-Multispectrum数据集:包含具有挑 战性的场景,包括4D雷达,热相机,RGB相机数据 和3D激光雷达的参考深度

2. 相关工作(Related Work)

2.1. 单目红外+图像的深度

红外光谱波段对恶劣天气和光照条件表现出高水平的鲁棒性。然而,红外图像缺乏纹理信息,显得更加模糊
现有方法:

  • 1.试图将可见光谱的知识转移到热深度估计任务中:[缺点:RGB图像和热图像需要密切的匹配]
    • 多光谱传输网络(MTN):用来自RGB图像的色度线索进行训练的,能够从单 目热图像中进行稳定的深度预测
    • Lu:使用基于cyclegan的生成器将RGB图像转换为假热图像,创建 一个用于监督视差预测的热相机立体对(An alternative of lidar in nighttime: Unsupervised depth estimation based on single thermal image)
  • 2.不需要配对多光谱数据的方法:
    • Shin:提出了一种不需要配对多光谱数据 的方法。他们的网络由特定模态的特征提取器和模态无关解码器。他们训练网络以实现特征级对抗适应,最小化RGB和热特征之间的差距 (Joint self-supervised learning and adversarial adaptation for monocular depth estimation from thermal image)
    • ThermalMonoDepth:是一种自监督深度估计方法,无需额外的RGB参与训练。 引入时间一致的图像映射方法重组热辐射值并保证时间 一致性,最大化热图像深度估计的自监督
    • 条件随机场方法:提出了一种统一的深度网络,从条件随机场方法的 角度有效地连接了单目热深度和立体热深度任务(Deep Depth Estimation From Thermal Image)

2.2. 雷达-相机融合深度

  • 主要针对车辆目标,没有将所有雷达点与较大的图像区域完全关联,导致深度精度较低
    • Radar-2- pixel, R2P:利用径向多普勒速度和来 自图像的诱导光流将雷达点与相应的像素区域相关联, 从而能够合成全速度信息
    • R4dyn:创造性地将雷达作为弱监督信号纳入自监 督框架,并将雷达作为额外的输入以增强鲁棒性

这些方法直接对多模态输入进行编码并学习目标深度。 然而,直接编码和级联固有的模糊雷达深度和图像会混淆学习,导致估计深度出现混叠和其他不良的伪影


3. 文章主体

在这里插入图片描述

单目深度预测与尺度对齐

  • 1.单目深度预测:在RGB图像上训练的单目深度预测模型,直接在热图像上训练
  • 2.全局尺度对齐: 为了提高在前进阶段SML细化像素尺度的效率,我们使用全局缩放因子 s ^ g \hat{s}_g s^g无尺度单目深 度预测 d ^ m \hat{\mathbf{d}}_m d^m与雷达点的深度P对齐,从而生成全局对齐深度 d ^ g a \hat{\mathbf{d}}_{ga} d^ga
    在这里插入图片描述

准密集雷达增强

  • 1.网络体系结构:本文使用了一个基于transformer的 雷达-相机数据关联网络(简称RC-Net),它可以预测雷达- 像素关联的置信度
    在这里插入图片描述

  • 2.跨模态关联的置信度:对于雷达点 p i p_i pi和其投影附近裁剪的图像块 Z i ∈ R C × H × W Z_i ∈ R^{C×H×W} ZiRC×H×W ,我们利用RC-Net h θ h_θ hθ生成置信图 y i = h θ ( Z i , p i ) ∈ [ 0 , 1 ] H × W y^i = h_θ(Z_i,p_i) ∈ [0,1]^{H×W} yi=hθ(Zipi)[0,1]H×W,表示 Z i Z_i Zi中的像素是否对应于 p i p_i pi的概率。使用雷达点云P中的所有k点,正向传递为单个雷达点生成k置信图。因此, I ( u ∈ [ 0 , W 0 − 1 ] , v ∈ [ 0 , H 0 − 1 ] ) I(u∈[0,W_0−1],v∈[0,H_0−1]) I(u[0,W01],v[0,H01])内的每个像素 x u v x_{uv} xuv都有 n ∈ [ 0 , k ] n ∈ [0,k] n[0,k]相关的雷达候选点。通过选择高于阈值的置信度分数,我们可以识别像素 x u v x_{uv} xuv的潜在关联雷达点 P μ P_μ Pμ。 然后,我们通过使用其归一化置信度分数作为权重对所有 P μ P_μ Pμ深度进行加权平均来计算像素的深度 x u v x_{uv} xuv,从而产生一个准稠密深度图 d q d^q dq
    在这里插入图片描述

尺度学习器细化密集深度局部尺度

我们构建了一个基于MiDaS-small架构的比例尺地图学习器(SML)网 络。SML旨在为ˆzga学习一个像素级的密集比例尺地图,从而完成准密集比例尺地图并细化 z g a z_{ga} zga的度量精 度 。SML需 要连接I、 z g a z_{ga} zga 1 / ˆ s q 1/ˆs_{q} 1/ˆsq作 为 输 入 。 s q s_q sq中的空部件被1填满。SML对密集尺度残差图r进行回归,其中值可以为负。最终的比例尺地图导出为 1 / s = R e L U ( 1 + r ) 1/s = ReLU(1 + r) 1/s=ReLU(1+r),最终的度量深度估计计算为 d = s / z g a d = s/z_{ga} d=s/zga

4. 实验效果

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这篇关于[深度估计]RIDERS: Radar-Infrared Depth Estimation for Robust Sensing的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/710726

相关文章

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操

五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布

《五大特性引领创新!深度操作系统deepin25Preview预览版发布》今日,深度操作系统正式推出deepin25Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Tr... 深度操作系统今日发布了 deepin 25 Preview,新版本囊括五大特性:磐石系统、全新 DDE、Tree