【视频超分】《Frame and Feature-Context Video Super-Resolution》Fudan University 2019

本文主要是介绍【视频超分】《Frame and Feature-Context Video Super-Resolution》Fudan University 2019,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

摘要:对于视频超分任务,当前的SOTA方法要么通过处理一个滑动窗口中的低分辨率(LR)视频帧产生高分辨率(HR)视频帧,要么递归地利用之前输出的HR视频帧超分子序列帧。这些方法的主要缺点是:(1)虽然独立产生每一个视频帧可能获得高质量的HR视频帧,但是它会产生不满意的闪烁结果。(2)虽然递归利用之前的评估HR视频帧在短时间段的信息流中获得时间连续性较好的结果,但是它会产生明显的晃动和锯齿状异常。在这篇文章中,我们提出一种端到端训练的帧和特征上下文视频超分网络,该网络包含两个关键子网络:局部网络(local network)和特征上下文网络(feature-context network)。前者利用一系列的LR视频帧产生局部特征和局部超分辨率(SR)帧。后者利用局部网络的输出和之前的评估HR帧以及特征,超分子序列帧。我们的方法充分利用了多帧LR帧的帧间信息和之前的评估HR帧的上下文信息,在产生时间连续的高质量结果的同时保持实时的速度(通过直接利用之前的特征和评估帧)。

 

主要贡献点

1. 所提局部网络能够有效利用多帧LR帧的帧间信息,产生高质量的超分辨率帧(局部SR帧)和参考特征(局部特征)。这些局部特征为特征上下文网络提供了高质量的数据。

2. 通过利用之前评估(HR)帧的上下文信息和特征以及局部网络的输出,我们的网络框架自然引导视频超分网络产生时间一致性较好的结果和学习输出SR帧之间的对齐。

3.得益于递归利用之前的评估帧和特征以及没有显示地运动补偿模块,我们的方法不需要很高的计算代价。

综合性能如下,我们的方法PSNR比SOTA的DUF和FRVSR方法高0.5dB左右,并且速度比它们更快,比DUF快20ms左右。

一、方法

主网络结构图如下

其中NET_L为局部网络(local network),NET_C为上下文网络。NET_L产生局部超分辨率帧SR_t^{Locl}和局部特征F_t^{Local}NET_C输出超分结果SR_t和附加特征F_t

SR_t^{Local},F_t^{Local}=NET_L\left ( LR_{t-1}, LR_t, LR_{t+1}, W_L} \right )

特别地,在实际训练过程中,特征更新使用抑制更新算法(Suppression Update Algorithm)。如下图所示

每隔T=50个时间步, 使用SR_{t-1}=SR_t^{Local}F_{t-1}=F_t^{Local}。该策略的主要作用是解决递归方案中的误差累积效应。

1.1 局部网络

1.2 上下文网络

其中 SR_t,F_t=NET_C\left ( SR_{t-1},F_{t-1},SR_t^{Local}, F_t^{Local};W_C \right )

1.3 损失函数  Loss\left ( W_L, W_C \right )=\left \| SR_t^{Local}-HR_t \right \|_2^2+\left \| SR_t-HR_t \right \|_2^2.

 

二、实验结果,与SOTA比较。注:本文实验的LR图像由BI(bilinear interpolation) 4倍下采样获得。

 

这篇关于【视频超分】《Frame and Feature-Context Video Super-Resolution》Fudan University 2019的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/961897

相关文章

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Java如何获取视频文件的视频时长

《Java如何获取视频文件的视频时长》文章介绍了如何使用Java获取视频文件的视频时长,包括导入maven依赖和代码案例,同时,也讨论了在运行过程中遇到的SLF4J加载问题,并给出了解决方案... 目录Java获取视频文件的视频时长1、导入maven依赖2、代码案例3、SLF4J: Failed to lo

Python实现多路视频多窗口播放功能

《Python实现多路视频多窗口播放功能》这篇文章主要为大家详细介绍了Python实现多路视频多窗口播放功能的相关知识,文中的示例代码讲解详细,有需要的小伙伴可以跟随小编一起学习一下... 目录一、python实现多路视频播放功能二、代码实现三、打包代码实现总结一、python实现多路视频播放功能服务端开

Python实现视频转换为音频的方法详解

《Python实现视频转换为音频的方法详解》这篇文章主要为大家详细Python如何将视频转换为音频并将音频文件保存到特定文件夹下,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. python需求的任务2. Python代码的实现3. 代码修改的位置4. 运行结果5. 注意事项

Python视频处理库VidGear使用小结

《Python视频处理库VidGear使用小结》VidGear是一个高性能的Python视频处理库,本文主要介绍了Python视频处理库VidGear使用小结,文中通过示例代码介绍的非常详细,对大家的... 目录一、VidGear的安装二、VidGear的主要功能三、VidGear的使用示例四、VidGea

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

BUUCTF靶场[web][极客大挑战 2019]Http、[HCTF 2018]admin

目录   [web][极客大挑战 2019]Http 考点:Referer协议、UA协议、X-Forwarded-For协议 [web][HCTF 2018]admin 考点:弱密码字典爆破 四种方法:   [web][极客大挑战 2019]Http 考点:Referer协议、UA协议、X-Forwarded-For协议 访问环境 老规矩,我们先查看源代码

2014 Multi-University Training Contest 8小记

1002 计算几何 最大的速度才可能拥有无限的面积。 最大的速度的点 求凸包, 凸包上的点( 注意不是端点 ) 才拥有无限的面积 注意 :  凸包上如果有重点则不满足。 另外最大的速度为0也不行的。 int cmp(double x){if(fabs(x) < 1e-8) return 0 ;if(x > 0) return 1 ;return -1 ;}struct poin