End-to-End视觉里程计新突破:从运动模糊图像中精确估计相机姿态

本文主要是介绍End-to-End视觉里程计新突破:从运动模糊图像中精确估计相机姿态,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

更多优质内容,请关注公众号:智驾机器人技术前线

1.论文信息

  • 论文标题:MBRVO: A Blur Robust Visual Odometry Based on Motion Blurred Artifact Prior

  • 作者:Jialu Zhang, Jituo Li*, Jiaqi Li, Yue Sun, Xinqi Liu, Zhi Zheng, and Guodong Lu

  • 作者单位:浙江大学机械工程学院流体动力与机电系统国家重点实验室,设计工程及数字孪生浙江省工程研究中心

  • 论文地址:https://ieeexplore.ieee.org/abstract/document/10636188

  • 项目地址:https://github.com/zhangcv123/MBRVO-Dataset

2.摘要

如何从运动模糊的图像中估计相机姿态仍然是视觉里程计的一个挑战。由于相机运动期间的曝光,模糊伪影是不可避免的。虽然当前的视觉里程计将它们视为噪声,我们认为有必要从模糊伪影中提取潜在信息,因为它们包含了相机运动的先验知识。基于此,我们提出了一种抗模糊的视觉里程计,它通过曝光轨迹提高了相机姿态估计的准确性。具体来说,我们首先使用曝光轨迹来指导相邻帧之间的像素匹配。然后根据曝光轨迹的大小生成模糊掩模。该掩模使姿态模块对严重模糊区域的特征信息关注较少。实验表明,我们提出端到端视觉里程计在大多数运动模糊数据集的序列上都取得了有竞争力的性能。

3.主要贡献

  • 本文首先提出了一种方法,通过利用运动模糊中包含的先验来提高视觉里程计的性能。匹配约束指导光流的方向,模糊掩模使得姿态模块更多地关注在清晰区域的特征;

  • 提出了第一个大规模运动模糊合成数据集,并已开源。它为解决模糊问题的视觉里程计研究提供了基础;

  • 实验表明,我们提出的视觉里程计在运动模糊数据集上实现了有竞争力的性能。

4.核心思想与方法

本文的端到端视觉里程计通过使用模糊图像中包含的先验信息,在运动模糊场景中实现了更准确的位姿估计。如下图所示,本文的方法由两个模块组成。匹配模块估计代表图像运动信息的光流。姿态模块基于匹配模块提供的光流估计相机姿态。

MBR-VO(运动模糊鲁棒视觉里程计)框架的概述

MBR-VO(运动模糊鲁棒视觉里程计)框架的概述

匹配模块由两部分组成:MotionNet和FlowNet。MotionNet从运动模糊图像中提取曝光轨迹,而FlowNet利用曝光轨迹来限制相邻帧之间像素匹配的方向。

姿态模块由掩模分支和光流到姿态分支组成,如下图所示。掩模分支基于曝光轨迹生成掩模。光流到姿态分支使用光流、内在层和掩模作为输入来估计相机姿态。

姿态模块结构

姿态模块结构

5.实验仿真验证

6.总结 && 展望

本文提出了一种抗模糊的视觉里程计,它能够从运动模糊的图像中稳健地估计相机姿态。与之前忽略模糊图像内运动信息的方法不同,本文的方法从运动伪影中提取曝光轨迹作为先验信息。这使本文的方法在运动模糊数据集上实现了有竞争力的性能。此外,本文还提出了并发布了一个大规模运动模糊的SLAM数据集。

目前,MotionNet在低纹理区域生成的错误先验会降低某些序列上的视觉里程计性能。在未来,我们计划设计一个子网络来忽略这些区域。此外,我们将探索使用多帧图像估计相机姿态。通过具有低级别模糊的前帧,有可能从严重模糊的帧中估计运动。

近期知识星球部分文章分享

文章一:多模态传感器数据融合在无人机SLAM中的应用研究综述

文章二:四层因子图优化技术,提升机器人在复杂环境中的定位与情境感知能力

文章三:瑞典皇家理工学院学位论文,探索多自主水下航行器的同时定位与地图构建

文章四:提高LIO在激烈运动场景中的精度:基于SOD的自适应框架

文章五:1%的顶尖软件工程师与其他99%的不同之处在哪里?

文章六:主动SLAM的前沿:历史视角与未来研究方向

文章七:首个全面综述!移动机器人的全局激光雷达定位:最新进展与未来方向综述

本文仅做学术分享,如有侵权,请联系删文!

更多优质内容,请关注公众号:智驾机器人技术前线

这篇关于End-to-End视觉里程计新突破:从运动模糊图像中精确估计相机姿态的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1110521

相关文章

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

OpenCV图像形态学的实现

《OpenCV图像形态学的实现》本文主要介绍了OpenCV图像形态学的实现,包括腐蚀、膨胀、开运算、闭运算、梯度运算、顶帽运算和黑帽运算,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起... 目录一、图像形态学简介二、腐蚀(Erosion)1. 原理2. OpenCV 实现三、膨胀China编程(

Mybatis 传参与排序模糊查询功能实现

《Mybatis传参与排序模糊查询功能实现》:本文主要介绍Mybatis传参与排序模糊查询功能实现,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、#{ }和${ }传参的区别二、排序三、like查询四、数据库连接池五、mysql 开发企业规范一、#{ }和${ }传参的

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

基于WinForm+Halcon实现图像缩放与交互功能

《基于WinForm+Halcon实现图像缩放与交互功能》本文主要讲述在WinForm中结合Halcon实现图像缩放、平移及实时显示灰度值等交互功能,包括初始化窗口的不同方式,以及通过特定事件添加相应... 目录前言初始化窗口添加图像缩放功能添加图像平移功能添加实时显示灰度值功能示例代码总结最后前言本文将

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

黑神话,XSKY 星飞全闪单卷性能突破310万

当下,云计算仍然是企业主要的基础架构,随着关键业务的逐步虚拟化和云化,对于块存储的性能要求也日益提高。企业对于低延迟、高稳定性的存储解决方案的需求日益迫切。为了满足这些日益增长的 IO 密集型应用场景,众多云服务提供商正在不断推陈出新,推出具有更低时延和更高 IOPS 性能的云硬盘产品。 8 月 22 日 2024 DTCC 大会上(第十五届中国数据库技术大会),XSKY星辰天合正式公布了基于星

基于UE5和ROS2的激光雷达+深度RGBD相机小车的仿真指南(五):Blender锥桶建模

前言 本系列教程旨在使用UE5配置一个具备激光雷达+深度摄像机的仿真小车,并使用通过跨平台的方式进行ROS2和UE5仿真的通讯,达到小车自主导航的目的。本教程默认有ROS2导航及其gazebo仿真相关方面基础,Nav2相关的学习教程可以参考本人的其他博客Nav2代价地图实现和原理–Nav2源码解读之CostMap2D(上)-CSDN博客往期教程: 第一期:基于UE5和ROS2的激光雷达+深度RG

Unity3D 运动之Move函数和translate

CharacterController.Move 移动 function Move (motion : Vector3) : CollisionFlags Description描述 A more complex move function taking absolute movement deltas. 一个更加复杂的运动函数,每次都绝对运动。 Attempts to