End-to-End视觉里程计新突破:从运动模糊图像中精确估计相机姿态

本文主要是介绍End-to-End视觉里程计新突破:从运动模糊图像中精确估计相机姿态,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

更多优质内容,请关注公众号:智驾机器人技术前线

1.论文信息

  • 论文标题:MBRVO: A Blur Robust Visual Odometry Based on Motion Blurred Artifact Prior

  • 作者:Jialu Zhang, Jituo Li*, Jiaqi Li, Yue Sun, Xinqi Liu, Zhi Zheng, and Guodong Lu

  • 作者单位:浙江大学机械工程学院流体动力与机电系统国家重点实验室,设计工程及数字孪生浙江省工程研究中心

  • 论文地址:https://ieeexplore.ieee.org/abstract/document/10636188

  • 项目地址:https://github.com/zhangcv123/MBRVO-Dataset

2.摘要

如何从运动模糊的图像中估计相机姿态仍然是视觉里程计的一个挑战。由于相机运动期间的曝光,模糊伪影是不可避免的。虽然当前的视觉里程计将它们视为噪声,我们认为有必要从模糊伪影中提取潜在信息,因为它们包含了相机运动的先验知识。基于此,我们提出了一种抗模糊的视觉里程计,它通过曝光轨迹提高了相机姿态估计的准确性。具体来说,我们首先使用曝光轨迹来指导相邻帧之间的像素匹配。然后根据曝光轨迹的大小生成模糊掩模。该掩模使姿态模块对严重模糊区域的特征信息关注较少。实验表明,我们提出端到端视觉里程计在大多数运动模糊数据集的序列上都取得了有竞争力的性能。

3.主要贡献

  • 本文首先提出了一种方法,通过利用运动模糊中包含的先验来提高视觉里程计的性能。匹配约束指导光流的方向,模糊掩模使得姿态模块更多地关注在清晰区域的特征;

  • 提出了第一个大规模运动模糊合成数据集,并已开源。它为解决模糊问题的视觉里程计研究提供了基础;

  • 实验表明,我们提出的视觉里程计在运动模糊数据集上实现了有竞争力的性能。

4.核心思想与方法

本文的端到端视觉里程计通过使用模糊图像中包含的先验信息,在运动模糊场景中实现了更准确的位姿估计。如下图所示,本文的方法由两个模块组成。匹配模块估计代表图像运动信息的光流。姿态模块基于匹配模块提供的光流估计相机姿态。

MBR-VO(运动模糊鲁棒视觉里程计)框架的概述

MBR-VO(运动模糊鲁棒视觉里程计)框架的概述

匹配模块由两部分组成:MotionNet和FlowNet。MotionNet从运动模糊图像中提取曝光轨迹,而FlowNet利用曝光轨迹来限制相邻帧之间像素匹配的方向。

姿态模块由掩模分支和光流到姿态分支组成,如下图所示。掩模分支基于曝光轨迹生成掩模。光流到姿态分支使用光流、内在层和掩模作为输入来估计相机姿态。

姿态模块结构

姿态模块结构

5.实验仿真验证

6.总结 && 展望

本文提出了一种抗模糊的视觉里程计,它能够从运动模糊的图像中稳健地估计相机姿态。与之前忽略模糊图像内运动信息的方法不同,本文的方法从运动伪影中提取曝光轨迹作为先验信息。这使本文的方法在运动模糊数据集上实现了有竞争力的性能。此外,本文还提出了并发布了一个大规模运动模糊的SLAM数据集。

目前,MotionNet在低纹理区域生成的错误先验会降低某些序列上的视觉里程计性能。在未来,我们计划设计一个子网络来忽略这些区域。此外,我们将探索使用多帧图像估计相机姿态。通过具有低级别模糊的前帧,有可能从严重模糊的帧中估计运动。

近期知识星球部分文章分享

文章一:多模态传感器数据融合在无人机SLAM中的应用研究综述

文章二:四层因子图优化技术,提升机器人在复杂环境中的定位与情境感知能力

文章三:瑞典皇家理工学院学位论文,探索多自主水下航行器的同时定位与地图构建

文章四:提高LIO在激烈运动场景中的精度:基于SOD的自适应框架

文章五:1%的顶尖软件工程师与其他99%的不同之处在哪里?

文章六:主动SLAM的前沿:历史视角与未来研究方向

文章七:首个全面综述!移动机器人的全局激光雷达定位:最新进展与未来方向综述

本文仅做学术分享,如有侵权,请联系删文!

更多优质内容,请关注公众号:智驾机器人技术前线

这篇关于End-to-End视觉里程计新突破:从运动模糊图像中精确估计相机姿态的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1110521

相关文章

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

黑神话,XSKY 星飞全闪单卷性能突破310万

当下,云计算仍然是企业主要的基础架构,随着关键业务的逐步虚拟化和云化,对于块存储的性能要求也日益提高。企业对于低延迟、高稳定性的存储解决方案的需求日益迫切。为了满足这些日益增长的 IO 密集型应用场景,众多云服务提供商正在不断推陈出新,推出具有更低时延和更高 IOPS 性能的云硬盘产品。 8 月 22 日 2024 DTCC 大会上(第十五届中国数据库技术大会),XSKY星辰天合正式公布了基于星

基于UE5和ROS2的激光雷达+深度RGBD相机小车的仿真指南(五):Blender锥桶建模

前言 本系列教程旨在使用UE5配置一个具备激光雷达+深度摄像机的仿真小车,并使用通过跨平台的方式进行ROS2和UE5仿真的通讯,达到小车自主导航的目的。本教程默认有ROS2导航及其gazebo仿真相关方面基础,Nav2相关的学习教程可以参考本人的其他博客Nav2代价地图实现和原理–Nav2源码解读之CostMap2D(上)-CSDN博客往期教程: 第一期:基于UE5和ROS2的激光雷达+深度RG

Unity3D 运动之Move函数和translate

CharacterController.Move 移动 function Move (motion : Vector3) : CollisionFlags Description描述 A more complex move function taking absolute movement deltas. 一个更加复杂的运动函数,每次都绝对运动。 Attempts to

计算机视觉工程师所需的基本技能

一、编程技能 熟练掌握编程语言 Python:在计算机视觉领域广泛应用,有丰富的库如 OpenCV、TensorFlow、PyTorch 等,方便进行算法实现和模型开发。 C++:运行效率高,适用于对性能要求严格的计算机视觉应用。 数据结构与算法 掌握常见的数据结构(如数组、链表、栈、队列、树、图等)和算法(如排序、搜索、动态规划等),能够优化代码性能,提高算法效率。 二、数学基础

Verybot之OpenCV应用一:安装与图像采集测试

在Verybot上安装OpenCV是很简单的,只需要执行:         sudo apt-get update         sudo apt-get install libopencv-dev         sudo apt-get install python-opencv         下面就对安装好的OpenCV进行一下测试,编写一个通过USB摄像头采

《计算机视觉工程师养成计划》 ·数字图像处理·数字图像处理特征·概述~

1 定义         从哲学角度看:特征是从事物当中抽象出来用于区别其他类别事物的属性集合,图像特征则是从图像中抽取出来用于区别其他类别图像的属性集合。         从获取方式看:图像特征是通过对图像进行测量或借助算法计算得到的一组表达特性集合的向量。 2 认识         有些特征是视觉直观感受到的自然特征,例如亮度、边缘轮廓、纹理、色彩等。         有些特征需要通

【python计算机视觉编程——7.图像搜索】

python计算机视觉编程——7.图像搜索 7.图像搜索7.1 基于内容的图像检索(CBIR)从文本挖掘中获取灵感——矢量空间模型(BOW表示模型)7.2 视觉单词**思想****特征提取**: 创建词汇7.3 图像索引7.3.1 建立数据库7.3.2 添加图像 7.4 在数据库中搜索图像7.4.1 利用索引获取获选图像7.4.2 用一幅图像进行查询7.4.3 确定对比基准并绘制结果 7.

参会邀请 | 第二届机器视觉、图像处理与影像技术国际会议(MVIPIT 2024)

第二届机器视觉、图像处理与影像技术国际会议(MVIPIT 2024)将于2024年9月13日-15日在中国张家口召开。 MVIPIT 2024聚焦机器视觉、图像处理与影像技术,旨在为专家、学者和研究人员提供一个国际平台,分享研究成果,讨论问题和挑战,探索前沿技术。诚邀高校、科研院所、企业等有关方面的专家学者参加会议。 9月13日(周五):签到日 9月14日(周六):会议日 9月15日(周日

海鸥相机存储卡格式化如何恢复数据

在摄影的世界里,‌每一张照片都承载着独特的记忆与故事。‌然而,‌当我们不慎将海鸥相机的存储卡格式化后,‌那些珍贵的瞬间似乎瞬间消逝,‌让人心急如焚。‌但请不要绝望,‌数据恢复并非遥不可及。‌本文将详细介绍在海鸥相机存储卡格式化后,‌如何高效地恢复丢失的数据,‌帮助您重新找回那些宝贵的记忆。‌ 图片来源于网络,如有侵权请告知 一、‌回忆备份情况 ‌海鸥相机存储卡格式化如何恢复数据?在意