视频超分：FFCVSR（Frame and Feature-Context Video Super-Resolution）

本文主要是介绍视频超分：FFCVSR（Frame and Feature-Context Video Super-Resolution），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在这里插入图片描述
论文：帧和特征上下文的视频超分辨率
文章检索出处：AAAI 2019

摘要

对于视频超分辨率，当前的方法要么是以滑动窗口的方式去处理多个相邻帧，要么是利用先前估计的HR帧来超分下一帧。这些方法的主要缺点是：1）单独生成每个输出帧可以获得高质量的HR帧，但是会导致令人不满意的伪影；2）组合先前生成的HR帧可以产生时间上一致的结果，但是，由于之前的超分误差不断累积到后续帧中，会造成明显的抖动和锯齿状伪影。本文提出了基于帧和特征上下文的视频超分辨率网络（FFCVSR），该网络由两个子网络组成：局部网络和上下文网络。局部网络显式地利用连续的LR帧序列生成局部特征和局部SR帧。上下文网络结合局部网络的输出和先前估计的HR帧和特征，对后续帧进行超分。该方法充分利用了多个LR帧的帧间信息和先前预测的HR帧的上下文信息，通过直接重用先前的特征和帧，在保持实时速度的同时产生了时间一致的高质量结果。
在这里插入图片描述

方法

overview

FFCVSR由两个可训练组件组成：局部网络 $NET_L$ 和上下文网络 $NET_C$ 。给定一个LR帧序列，局部网络利用帧间固有的局部相关性信息，输出局部帧 $SR_t^{Local}$ 和局部特征 $F^{Local}_t$ ，帮助后续的上下文网络恢复丢失的高频细节。考虑到超分结果应保持时间一致性，上下文网络不仅利用了局部帧和之前生成的SR帧，而且结合了局部特征和之前的SR特征，得到了视觉上令人满意的时间一致性结果。需要注意的是，FFCVSR框架没有以前方法中常用的运动补偿模块，这在降低计算成本方面有额外的优势。
在这里插入图片描述

局部网络

局部网络以局部相关的形式利用帧间固有的信息，通过对LR帧序列的处理输出局部帧和特征。simple $NET_L$ 由5个卷积（核大小=3×3，步长=1）、1个反卷积（核大小=8×8，步长=4）和8个残差块组成。使用反卷积结果和LR帧的双三次插值结果之和作为输出局部SR帧。局部特征输出是通过带有两个卷积运算的方式来产生的，如下图所示。
在这里插入图片描述

上下文网络

利用来自先前预测的HR帧和特征和局部网络的输出来预测HR帧。其中，上下文信息意味着生成HR帧将参考先前的HR帧和特征以保持时间一致性。我们的 $NET_C$ 由5个卷积（核大小=3×3，步长=1）、1个反卷积（核大小=8×8，步长=4）、4个残差块和2个space-to-depth变换。在这使用space-to-depth的转换来减少计算量。使用反卷积的结果和局部网络输出的SR帧的和作为最终输出。此外，还通过添加带有两个卷积运算的输出，为后续超分提供特征，如下如所示。
在这里插入图片描述

抑制更新算法

一个关键的观察结果是，当使用先前推断的HR帧作为参考信息来生成后续帧时，超分辨率视频具有显著的抖动和锯齿伪影，因为先前的超分辨率误差不断累积到后续帧。针对这一问题，本文提出了一种简单的抑制更新算法。具体来说，将 $NET_C$ 的输入 $SR_{t−1}$ 和 $F_{t−1}$ 替换 $SR_t^{Local}$ 和 $F_t^{Local}$ 。因为经过多次迭代之后， $NET_C$ 的输出积累了大量的超分辨误差，而 $NET_L$ 的输出仍然保持了当前LR帧的准确信息，而没有引入先前SR帧的累积误差。在实验中观察到T=50可以产生良好的结果。

损失函数

在FFCVSR框架中，提议的局部网络和上下文网络是无缝结合和联合训练的，损失函数定义为：
在这里插入图片描述

实验

数据集

训练数据集包括两个高分辨率视频：从harmonic下载的Venice和Myanmar。这两段视频的长度分别为1077秒和527秒。选择它们作为训练集是因为它们包含了140多个不同的场景，包括人类场景、自然场景、建筑场景、交通场景等。为了生成HR视频，首先将原始视频按4（960×540）、6（640×360）、8（480×270）、12（320×180）和16（240×135）的因子进行降尺度，以获得各种各样的高分辨率地面真实感感受野。然后提取大小为128×128的补丁来生成HR视频，使用BI降质降采样四倍生成LR。