事件相机仿真器v2e:原理与安装使用

2023-11-08 15:20

本文主要是介绍事件相机仿真器v2e:原理与安装使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

事件相机仿真器模拟事件相机,生成事件数据供不同任务使用。本文简介一款仿真器v2e。

Before v2e

在v2e出现之前,也出现过不少仿真器,从uzh的repo上可以找到:https://github.com/uzh-rpg/event-based_vision_resources#datasets。

比较出名的一个是2017年的Event Camera Dataset[1]附带的仿真器,其根据最基本的事件生成模型进行仿真。

另一个是ESIM[2],相对于之前的仿真能力强大,仿真技术上的一项改进是将均匀采样改变了自适应采样,使光强变化更快的时候时间采样率更高。见下图右。

左图:[1]的采样原理;[2]ESIM的自适应采样

同时,ESIM由于可以自行设置图片或3D场景进行自定义的相机运动,可以获取包括普通图像、深度图等信息在内的数据,广泛的应用于SLAM、光流估计等任务。可以在ROS运行,使用较为方便。

图:ESIM配置后的和运行结果

About v2e

最后出现了本文的重点v2e[3]。在ESIM和vid2e中,生成机制是事件生成模型,考虑了噪声和对比度阈值的影响,但与实际具有较大差距。v2e相比于前者,增加了更多的功能:暗光仿真、运动模糊、时间延迟等。(以下内容来自本人之前的博客,直接进行了搬运。博客连接点击文末“获取原文”)


v2e的安装与使用(windows)

v2e的完整安装可参考github的repo:https://github.com/SensorsINI/v2e/

本人在windows11 RTX3050笔记本上进行了安装测试,进行整理如下:

1. 安装环境

首先需要安装v2e的运行环境,推荐采用conda安装python3.9的虚拟环境。windows下安装anaconda推荐一个教程:https://zhuanlan.zhihu.com/p/61639212;

之后官方说需要有GPU和CUDA加速,我不清楚没有GPU是否可以,但我觉得哪怕可以仿真也会非常慢,不能忍受,所以还是需要有GPU;

最后安装v2e依赖项:下载v2e后采用pip进行安装依赖项。

2. 数据准备

v2e采用SuperSloMo网络首先对原始视频进行慢放,所以需要下载SuperSloMo的模型,并创建一个input路径将模型放在input路径下备用;

之后需要放待仿真的数据,v2e可以对视频进行仿真,也可以对一组图片进行仿真,只需要给定的是视频文件路径或图片文件夹路径即可自动选择。

3. 运行与参数选择

v2e的参数极其多,毕竟仿真的功能很多,包括DVS的参数(时间戳/像素分辨率、噪声水平、对比度阈值、截止频率等)、SuperSloMo的参数、输入输出参数(可以输出视频、文本、hdf5、aedat等多种格式)等,详见v2e的repo。

4. 使用感受:

v2e的内容虽然非常复杂,但是使用起来较为简单,只需要按照文档把参数设置好就可,而且如果遇到错误在运行时给出的报错信息也非常完整,基本可以根据报错信息快速定位问题原因并解决。


后记

我配置过ESIM和v2e,感觉v2e虽然功能复杂,但使用起来更为方便,开发的较为完善,而ESIM配置过程中印象里踩了不少的坑。v2e的另一个好处就是可以windows下使用,对ubuntu和ros不熟悉的朋友更加友好。当然,最重要的是,v2e的仿真更加科学、真实。所以如果有仿真需求的朋友,可以考虑直接用v2e。

参考文献:

1. E.    Mueggler, H. Rebecq, G. Gallego, T. Delbruck, D. Scaramuzza, The Event-Camera    Dataset and Simulator: Event-based Data for Pose Estimation, Visual Odometry,    and SLAM, Int. J. Robotics Research, 36:2, pp. 142-149, 2017.

2. H.    Rebecq, D. Gehrig, D. Scaramuzza, ESIM: an Open Event Camera Simulator, Conf.    on Robot Learning (CoRL), 2018.

3. Hu,    Y., S.-C., Liu, Delbruck, T., v2e: From Video Frames to Realistic DVS Events,    IEEE Conf. Computer Vision and Pattern Recognition Workshops (CVPRW), 2021.

这篇关于事件相机仿真器v2e:原理与安装使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/370731

相关文章

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

C 语言中enum枚举的定义和使用小结

《C语言中enum枚举的定义和使用小结》在C语言里,enum(枚举)是一种用户自定义的数据类型,它能够让你创建一组具名的整数常量,下面我会从定义、使用、特性等方面详细介绍enum,感兴趣的朋友一起看... 目录1、引言2、基本定义3、定义枚举变量4、自定义枚举常量的值5、枚举与switch语句结合使用6、枚

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》:本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文