事件相机与传统相机融合的相关研究

本文首发于公众号：【事件相机】，事件相机与传统相机融合的相关学术研究介绍

前言

多传感器数据融合理论指出，所要融合的传感器数据应该具有互补性与差异性，否则融合没有太多意义。事件相机与传统相机的数据特性不同，不少研究是关于二者融合。本文介绍事件相机与传统相机融合的相关研究，主要内容来自本人毕设时的调研，并稍作补充。在写毕设时，基本上覆盖了当时具有代表性的研究。

早期研究阶段

在2016年以前，事件相机由于无法独立完成某一特定任务，常常与传统相机共同完成任务[1, 2]。（多说一句，至于我为啥以2016年分界，是因为16年出现了一些事件相机独立完成的复杂任务，但不是本文重点就不展开介绍了）。之后事件相机的研究工作不断完善，逐渐抛弃了其他传感器的辅助，能够独立完成特征跟踪、建图、光流估计以及目标检测等任务。由于事件相机数据形式具有信息不完整等局限性，与传统相机的融合仍然非常重要，但鉴于二者数据形式差异性较大，研究工作相对较少。

目标检测

文章[3]在一帧图像中检测出目标物体后，通过事件相机的数据预测目标物体的运动方向，从而在下一帧图像到来时在预测区域进行目标检测，提高检测的速度与准确度。文章[4]训练了两个目标检测网络，分别在传统图像和事件帧中对行人进行检测，生成置信图后融合得到最终的行人检测结果，提高了在昏暗环境下行人检测的准确率。

特征跟踪

文章[5]使用传统相机的图像提取特征，之后通过事件流进行跟踪，并在新的图像到来时进行修正，充分利用了传统图像，与纯事件流的跟踪相比取得了一定的优势。

双目深度估计

文章[6]通过双目图像计算出稠密的视差图，之后利用两帧图像之间的数据跟踪视差，得到了仅依靠传统图像无法获得两帧之间的深度信息。

语义分割

文章[7]提出Ev-Segnet，实验表明结合事件相机的数据后，能够对行人、车辆等动态物体实现更精确的分割结果。

SLAM

UltimateSLAM[8]分别在传统图像和事件积累图中提取特征点，之后优化重投影误差估计相机运动轨迹。在高速运动、光照情况剧烈变化的情况下，事件相机能够发挥重要的作用，提高了轨迹跟踪的鲁棒性。

视频图像合成

为解决传统相机拍摄图像动态范围低的问题，文章[9]采用U-Net结构网络融合了事件相机数据流和传统图像，获得了HDR图像。可以看到，融合后车身反光部分的图像细节得到了补充

参考文献

[1]. Kueng B, Mueggler E, Gallego G, et al.Low-latency visual odometry using event-based feature tracks[C/OL]//2016IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).2016: 16-23.
[2]. Censi A, Scaramuzza D. Low-latencyevent-based visual odometry[C/OL]//2014 IEEE International Conference onRobotics and Automation (ICRA). 2014: 703-710. DOI: 10.1109/IC RA.2014.6906931.
[3]. Liu H, Moeys D P, Das G, et al.Combined frame- and event-based detection and tracking [C/OL]//2016 IEEE International Symposiumon Circuits and Systems (ISCAS). 2016: 2511-2514. DOI: 10.1109/ISCAS.2016.7539103.
[4]. Jiang Z, Xia P, Huang K, et al. Mixedframe-/event-driven fast pedestrian detection[C/OL]//2019 International Conference on Roboticsand Automation (ICRA). 2019: 8332-8338. DOI:10.1109/ICRA.2019.8793924.
[5]. Y. Dong and T. Zhang. Standardand Event Cameras Fusion for Feature Tracking. In 2021 International Conferenceon Machine Vision and Applications (ICMVA 2021).
[6]. Hadviger A, Marković I, Petrović I. Stereo dense depthtracking based on optical flow using frames and events[J/OL]. Advanced Robotics,2021, 35(3-4): 141-152. https://doi.org/10.108 0/01691864.2020.1821770.
[7]. Alonso I, Murillo A C. Ev-segnet:Semantic segmentation for event-based cameras[C]// Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition(CVPR) Workshops. 2019.
[8]. Vidal A R, Rebecq H, Horstschaefer T,et al. Ultimate slam? combining events, images, and imu for robust visual slamin hdr and high-speed scenarios[J/OL]. IEEE Robotics and Automation Letters,2018, 3(2): 994-1001.
[9]. Han, J., Zhou, C., Duan, P., Tang, Y.,Xu, C., Xu, C., Huang, T., Shi, B., Neuromorphic Camera Guided High DynamicRange Imaging, IEEE Conf. Computer Vision and Pattern Recognition (CVPR), 2020

欢迎关注微信公众号【事件相机】，分享和交流事件相机的相关研究与应用。