[深度估计]RIDERS: Radar-Infrared Depth Estimation for Robust Sensing

2024-02-15 07:12

本文主要是介绍[深度估计]RIDERS: Radar-Infrared Depth Estimation for Robust Sensing,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

RIDERS: 恶劣天气及环境下鲁棒的密集深度估计

论文链接:https://arxiv.org/pdf/2402.02067.pdf
作者单位:浙江大学, 慕尼黑工业大学
代码链接:https://github.com/MMOCKING/RIDERS

1. 摘要(Abstract)

     恶劣的天气条件, 包括雾霾、灰尘、雨雪和黑暗, 给准确的密集深度估计带来了巨大挑战。对于依赖于短电磁波传感器(如可见光谱相机和近红外激光雷达)的传统深度估计方法而言,在这种环境中容易受到衍射噪声和遮挡的影响。
     为了从根本上解决这个问题, 作者提出了一种新颖的方法, 通过融合毫米波雷达单目红外热成像相机实现鲁棒的度量深度估计,这两种传感器能够穿透大气颗粒, 并且不受照明条件的影响
在这里插入图片描述

  • 图左:所提出方法可以提供超出可见光谱的高质量深度估计
  • 图右:毫米波雷达和红外热感相机的工作波长比激光雷达和RGB相机更长,可以穿透大气粒 子。

文章主要贡献:

  • 1.提出第一个集成毫米波雷达和热感相机的密集深度估计方法,在烟雾和低光照等不利条件下具有无与伦比的深度感知鲁棒性。
  • 2.提出一种新的度量密集深度估计框架,有效融合异质雷达和热数据。所提出的三阶段框架包括单目估计和全局对齐、准密集雷达增强和密集尺度学习,最终从稀疏和噪声长波数据中恢复密集深度。
  • 3.所提方法在公开的NTU数据集和自采集的ZJU- Multispectrum数据集上SOTA
  • 4.ZJU-Multispectrum数据集:包含具有挑 战性的场景,包括4D雷达,热相机,RGB相机数据 和3D激光雷达的参考深度

2. 相关工作(Related Work)

2.1. 单目红外+图像的深度

红外光谱波段对恶劣天气和光照条件表现出高水平的鲁棒性。然而,红外图像缺乏纹理信息,显得更加模糊
现有方法:

  • 1.试图将可见光谱的知识转移到热深度估计任务中:[缺点:RGB图像和热图像需要密切的匹配]
    • 多光谱传输网络(MTN):用来自RGB图像的色度线索进行训练的,能够从单 目热图像中进行稳定的深度预测
    • Lu:使用基于cyclegan的生成器将RGB图像转换为假热图像,创建 一个用于监督视差预测的热相机立体对(An alternative of lidar in nighttime: Unsupervised depth estimation based on single thermal image)
  • 2.不需要配对多光谱数据的方法:
    • Shin:提出了一种不需要配对多光谱数据 的方法。他们的网络由特定模态的特征提取器和模态无关解码器。他们训练网络以实现特征级对抗适应,最小化RGB和热特征之间的差距 (Joint self-supervised learning and adversarial adaptation for monocular depth estimation from thermal image)
    • ThermalMonoDepth:是一种自监督深度估计方法,无需额外的RGB参与训练。 引入时间一致的图像映射方法重组热辐射值并保证时间 一致性,最大化热图像深度估计的自监督
    • 条件随机场方法:提出了一种统一的深度网络,从条件随机场方法的 角度有效地连接了单目热深度和立体热深度任务(Deep Depth Estimation From Thermal Image)

2.2. 雷达-相机融合深度

  • 主要针对车辆目标,没有将所有雷达点与较大的图像区域完全关联,导致深度精度较低
    • Radar-2- pixel, R2P:利用径向多普勒速度和来 自图像的诱导光流将雷达点与相应的像素区域相关联, 从而能够合成全速度信息
    • R4dyn:创造性地将雷达作为弱监督信号纳入自监 督框架,并将雷达作为额外的输入以增强鲁棒性

这些方法直接对多模态输入进行编码并学习目标深度。 然而,直接编码和级联固有的模糊雷达深度和图像会混淆学习,导致估计深度出现混叠和其他不良的伪影


3. 文章主体

在这里插入图片描述

单目深度预测与尺度对齐

  • 1.单目深度预测:在RGB图像上训练的单目深度预测模型,直接在热图像上训练
  • 2.全局尺度对齐: 为了提高在前进阶段SML细化像素尺度的效率,我们使用全局缩放因子 s ^ g \hat{s}_g s^g无尺度单目深 度预测 d ^ m \hat{\mathbf{d}}_m d^m与雷达点的深度P对齐,从而生成全局对齐深度 d ^ g a \hat{\mathbf{d}}_{ga} d^ga
    在这里插入图片描述

准密集雷达增强

  • 1.网络体系结构:本文使用了一个基于transformer的 雷达-相机数据关联网络(简称RC-Net),它可以预测雷达- 像素关联的置信度
    在这里插入图片描述

  • 2.跨模态关联的置信度:对于雷达点 p i p_i pi和其投影附近裁剪的图像块 Z i ∈ R C × H × W Z_i ∈ R^{C×H×W} ZiRC×H×W ,我们利用RC-Net h θ h_θ hθ生成置信图 y i = h θ ( Z i , p i ) ∈ [ 0 , 1 ] H × W y^i = h_θ(Z_i,p_i) ∈ [0,1]^{H×W} yi=hθ(Zipi)[0,1]H×W,表示 Z i Z_i Zi中的像素是否对应于 p i p_i pi的概率。使用雷达点云P中的所有k点,正向传递为单个雷达点生成k置信图。因此, I ( u ∈ [ 0 , W 0 − 1 ] , v ∈ [ 0 , H 0 − 1 ] ) I(u∈[0,W_0−1],v∈[0,H_0−1]) I(u[0,W01],v[0,H01])内的每个像素 x u v x_{uv} xuv都有 n ∈ [ 0 , k ] n ∈ [0,k] n[0,k]相关的雷达候选点。通过选择高于阈值的置信度分数,我们可以识别像素 x u v x_{uv} xuv的潜在关联雷达点 P μ P_μ Pμ。 然后,我们通过使用其归一化置信度分数作为权重对所有 P μ P_μ Pμ深度进行加权平均来计算像素的深度 x u v x_{uv} xuv,从而产生一个准稠密深度图 d q d^q dq
    在这里插入图片描述

尺度学习器细化密集深度局部尺度

我们构建了一个基于MiDaS-small架构的比例尺地图学习器(SML)网 络。SML旨在为ˆzga学习一个像素级的密集比例尺地图,从而完成准密集比例尺地图并细化 z g a z_{ga} zga的度量精 度 。SML需 要连接I、 z g a z_{ga} zga 1 / ˆ s q 1/ˆs_{q} 1/ˆsq作 为 输 入 。 s q s_q sq中的空部件被1填满。SML对密集尺度残差图r进行回归,其中值可以为负。最终的比例尺地图导出为 1 / s = R e L U ( 1 + r ) 1/s = ReLU(1 + r) 1/s=ReLU(1+r),最终的度量深度估计计算为 d = s / z g a d = s/z_{ga} d=s/zga

4. 实验效果

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这篇关于[深度估计]RIDERS: Radar-Infrared Depth Estimation for Robust Sensing的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/710726

相关文章

基于UE5和ROS2的激光雷达+深度RGBD相机小车的仿真指南(五):Blender锥桶建模

前言 本系列教程旨在使用UE5配置一个具备激光雷达+深度摄像机的仿真小车,并使用通过跨平台的方式进行ROS2和UE5仿真的通讯,达到小车自主导航的目的。本教程默认有ROS2导航及其gazebo仿真相关方面基础,Nav2相关的学习教程可以参考本人的其他博客Nav2代价地图实现和原理–Nav2源码解读之CostMap2D(上)-CSDN博客往期教程: 第一期:基于UE5和ROS2的激光雷达+深度RG

韦季李输入法_输入法和鼠标的深度融合

在数字化输入的新纪元,传统键盘输入方式正悄然进化。以往,面对实体键盘,我们常需目光游离于屏幕与键盘之间,以确认指尖下的精准位置。而屏幕键盘虽直观可见,却常因占据屏幕空间,迫使我们在操作与视野间做出妥协,频繁调整布局以兼顾输入与界面浏览。 幸而,韦季李输入法的横空出世,彻底颠覆了这一现状。它不仅对输入界面进行了革命性的重构,更巧妙地将鼠标这一传统外设融入其中,开创了一种前所未有的交互体验。 想象

免费也能高质量!2024年免费录屏软件深度对比评测

我公司因为客户覆盖面广的原因经常会开远程会议,有时候说的内容比较广需要引用多份的数据,我记录起来有一定难度,所以一般都用录屏工具来记录会议内容。这次我们来一起探索有什么免费录屏工具可以提高我们的工作效率吧。 1.福晰录屏大师 链接直达:https://www.foxitsoftware.cn/REC/  录屏软件录屏功能就是本职,这款录屏工具在录屏模式上提供了多种选项,可以选择屏幕录制、窗口

动手学深度学习【数据操作+数据预处理】

import osos.makedirs(os.path.join('.', 'data'), exist_ok=True)data_file = os.path.join('.', 'data', 'house_tiny.csv')with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price\n') # 列名f.write('NA

深度优先(DFS)和广度优先(BFS)——算法

深度优先 深度优先搜索算法(英语:Depth-First-Search,DFS)是一种用于遍历或搜索树或图的算法。 沿着树的深度遍历树的节点,尽可能深的搜索树的分支,当节点v的所在边都己被探寻过,搜索将回溯到发现节点v的那条边的起始节点。这一过程一直进行到已发现从源节点可达的所有节点为止。如果还存在未被发现的节点,则选择其中一个作为源节点并重复以上过程,整个进程反复进行直到所有节点都被访

图解TCP三次握手|深度解析|为什么是三次

写在前面 这篇文章我们来讲解析 TCP三次握手。 TCP 报文段 传输控制块TCB:存储了每一个连接中的一些重要信息。比如TCP连接表,指向发送和接收缓冲的指针,指向重传队列的指针,当前的发送和接收序列等等。 我们再来看一下TCP报文段的组成结构 TCP 三次握手 过程 假设有一台客户端,B有一台服务器。最初两端的TCP进程都是处于CLOSED关闭状态,客户端A打开链接,服务器端

java线程深度解析(六)——线程池技术

http://blog.csdn.net/Daybreak1209/article/details/51382604 一种最为简单的线程创建和回收的方法: [html]  view plain copy new Thread(new Runnable(){                @Override               public voi

java线程深度解析(五)——并发模型(生产者-消费者)

http://blog.csdn.net/Daybreak1209/article/details/51378055 三、生产者-消费者模式     在经典的多线程模式中,生产者-消费者为多线程间协作提供了良好的解决方案。基本原理是两类线程,即若干个生产者和若干个消费者,生产者负责提交用户请求任务(到内存缓冲区),消费者线程负责处理任务(从内存缓冲区中取任务进行处理),两类线程之

java线程深度解析(四)——并发模型(Master-Worker)

http://blog.csdn.net/daybreak1209/article/details/51372929 二、Master-worker ——分而治之      Master-worker常用的并行模式之一,核心思想是由两个进程协作工作,master负责接收和分配任务,worker负责处理任务,并把处理结果返回给Master进程,由Master进行汇总,返回给客

java线程深度解析(二)——线程互斥技术与线程间通信

http://blog.csdn.net/daybreak1209/article/details/51307679      在java多线程——线程同步问题中,对于多线程下程序启动时出现的线程安全问题的背景和初步解决方案已经有了详细的介绍。本文将再度深入解析对线程代码块和方法的同步控制和多线程间通信的实例。 一、再现多线程下安全问题 先看开启两条线程,分别按序打印字符串的