论文阅读 | Learning Event-Driven Video Deblurring and Interpolation

2023-10-31 10:59
文章标签 阅读 论文 learning video event interpolation driven deblurring

本文主要是介绍论文阅读 | Learning Event-Driven Video Deblurring and Interpolation，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言：利用事件相机作的视频去糊和视频插帧文章，发表在ECCV2020
论文地址：【here】

Learning Event-Driven Video Deblurring and Interpolation

引言

目前去糊的方法没有办法解决特别糊的情况，因此可以利用一种低时延的新型相机解决特别糊的图片的去糊问题
目前主要有两种方法：

第一种pan等人的传统方法（CVPR2019），通过优化的思想还原出阈值C，但是这种方法假设阈值是固定的，但其实阈值由于硬件设备和和环境影响并不一定是固定的
比如：作者对下图的示例估计了全局的阈值，并不是一样的
在这里插入图片描述
第二种是Jiang等人提出的基于CNN的去糊方法（CVPR2020），这种方法网络架构大，并且去糊和细化是分开的，效果一般

本人提出了一个生成高速视频的方法，用动态滤波器的思想解决了全局阈值自适应的问题

方法动机

这一部分作者通过阐释了事件相机的原理，利用残差的思想推出，两张清晰帧与中间事件点之间的关系 和 模糊帧和清晰帧与事件点的关系
两张清晰帧与中间事件点之间的关系
在这里插入图片描述
模糊帧和清晰帧与事件点的关系
由于模糊帧可以看成一段时间内的清晰帧的积分，这里直接平均
在这里插入图片描述
各个清晰帧之间由可以由事件点关联起来
即模糊帧和清晰帧与事件点的关系
在这里插入图片描述

网络设计

在这里插入图片描述
从左自右依次是四个部分，残差估计、关键帧去糊、插帧、帧融合
残差估计
由模糊帧、事件点、和上一时刻阶段i-1求出的清晰帧作为输入，到网络integralNet
在这里插入图片描述
其中主网络的输入还是有事件点拍成的图片作输入，但是粗尺度下的动态滤波器的生成，由三个输入共同决定
在这里插入图片描述
残差估计一共出三个残差，其中两个残差作为去糊残差，一个残差作为插帧残差

关键帧去糊
去糊残差1
在这里插入图片描述
清晰帧S=D* B
去糊残差2
这个残差不是由模糊图像来的，是由上一曝光时刻i-1求得的清晰帧来的，通过上一个时刻到这一时刻的事件点，可以再求一个残差
清晰帧 Si = R * Si-1

由于去糊算出的结果都cat起来，最后得到了2N +1个结果

插帧

插帧残差
即这一段曝光时刻的各个时间的值，跟去糊残差2一个算法
最后生成了2N个值

帧融合
这里的帧融合作者采用3D网络
在这里插入图片描述
其中，由于插帧的输出是四维， E和B都被展开成四维，最后生成需要插帧数的清晰图片

实验

对比实验
Gopro数据集
在这里插入图片描述
真实数据集
在这里插入图片描述

（这个值高得属实有些离谱了）
在这里插入图片描述

总结

这篇在性能上大幅超过之前的方法，用到的网络也不复杂，在19年的那篇文章提出的公式上进行CNN网络化的比较成功的方法

这篇关于论文阅读 | Learning Event-Driven Video Deblurring and Interpolation的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/314871。

相关文章

JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟 开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚 第一站：海量资源，应有尽有 走进“智听
阅读更多...
AI hospital 论文Idea

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境，人类医生（即医学学习者）可以在其中与患者代理进行医学
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文阅读笔记: Segment Anything

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear
阅读更多...
论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已
阅读更多...
OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配） 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super
阅读更多...
软件架构模式：5 分钟阅读

软件架构模式：5 分钟阅读

原文： https://orkhanscience.medium.com/software-architecture-patterns-5-mins-read-e9e3c8eb47d2 软件架构模式：5 分钟阅读 当有人潜入软件工程世界时，有一天他需要学习软件架构模式的基础知识。当我刚接触编码时，我不知道从哪里获得简要介绍现有架构模式的资源，这样它就不会太详细和混乱，而是非常抽象和易
阅读更多...
Apple quietly slips WebRTC audio, video into Safari's WebKit spec

Apple quietly slips WebRTC audio, video into Safari's WebKit spec

转自：http://www.zdnet.com/article/apple-quietly-slips-webrtc-audio-video-into-safaris-webkit-spec/?from=timeline&isappinstalled=0 http://www.zdnet.com/article/apple-quietly-slips-webrtc-audio-video-
阅读更多...
BERT 论文逐段精读【论文精读】

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型，提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练，提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的？使用了哪些 NLP 已有的技术和思想？哪些是 BERT 的创新？ 1标题 + 作者 BERT: Pre-trainin
阅读更多...
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 大语言模型已被广泛采用，但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程，用于Transformer中的前馈和注意力投影层，这可以将推理所需
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2