RIFE-实时视频插帧算法 | RIFE：Real-Time Intermediate Flow Estimation for Video Frame Interpolation

关注一下实时视频插帧算法
论文地址：https://arxiv.org/pdf/2011.06294.pdf
Github地址：https://github.com/hzwer/arXiv2020-RIFE

Abstract:

我们为视频帧插值（VFI）提出了一种实时中间流估计算法RIFE (Real-Time Intermediate Flow Estimation）。 现有的大多数方法首先估计双向光流，然后将它们线性组合以近似中间流，从而导致运动边界周围出现伪影。 我们设计了一个中间流模型IFNet，它可以直接估计从粗到细的中间流。 然后，我们根据估计的中间流对输入帧进行warp，并采用融合过程来计算最终结果。 基于我们提出的leakage蒸馏技术，RIFE可以进行端到端的训练并获得出色的性能。 实验表明，RIFE比现有的基于流的VFI方法要快得多，并且可以在多个基准上达到最新的指标。

Introduction：

视频帧插值（VFI）：

旨在合成视频的两个连续帧之间的中间帧，并广泛用于提高帧速率和增强视觉质量。VFI还支持各种应用，例如慢动作生成，视频压缩和用于视频运动去模糊的训练数据生成。 此外，以实时速度运行在高分辨率视频（例如720p和1080p）上的VFI算法具有更多潜在的应用，例如在客户端播放器上播放更高帧频的视频，为有限的用户提供视频编辑服务 计算资源。

目前VFI的常用方法包括两个步骤：

1）根据近似的光流对输入帧进行warping；

2）使用卷积神经网络（CNN）融合和完善warped的帧。

依据输入帧如何warping，基于流的VFI算法可以分为基于forward warping的方法和基于backward warping的方法。目前主要采用后者的warping方式。给定输入帧$I_0$，$I_1$，基于backward warping的方法需要从我们希望进行合成的帧It的角度近似中间流Ft-> 0，Ft-> 1。双向流的方法过于繁杂，无法达到实时。此外，也不能很好地消除运动边界伪影问题。

为了解决这些问题，本文首先提出了一个名为IFNet的专门高效的中间流网络，以直接估算中间流。 IFNet采取从粗到精的策略，并逐步提高分辨率。 它通过以递增分辨率运行的连续IFBlock迭代地更新流场。

如上图所示，RIFE是第一个基于流的实时VFI算法，以每秒30帧的速度处理720p视频。 实验表明，RIFE可以在多个公共基准上取得令人印象深刻的性能。

RIFE：

A.Pipeline Overview

如图2所示，给定两帧输入$I_0$，$I_1$，VFI的目的是生成$t->(0,1)$的中间帧$\widehat{I_t}$。首先，本文算法通过将输入帧输入到IFNet来直接估计中间流$F_{t->0}$，然后使用线性运动假设近似$F_{t->1}$：

其次，通过backward warping输入帧得到两个粗略结果${\hat{I}}_{0->t}$，${\hat{I}}_{1->t}$。 为了消除warp后的伪像，本文使用FusionNet等编解码器将输入帧，近似流和warp后帧馈入融合过程，以生成最终的插帧图像。

B.Efficient Architecture Design

RIFE有两个主要组成部分：

（1）使用IFNet进行有效的中间流估算。

（2）使用FusionNet对warp后的帧进行融合处理。

（1）IFNet：

网络结构上图所示，IFNet采用了“Coarse-to-Fine”方式逐渐提升分辨率，也就是先在低分辨率上计算粗糙的光流，然后在高分辨率上计算精细的光流。主要组成部分就是IFBlock，降采样和上采样模块。

在上图中，本文提供了IFNet的视觉结果，并将它们与由预训练的LiteFlowNet 成的线性组合双向光流进行比较。可以看出，IFNet产生清晰而清晰的运动边界，而线性组合流会遇到像素重叠以及运动边界周围模糊的问题。

（2）Fusion process：

通过IFNet和对输入帧backward warping得到两个粗略结果${\hat{I}}_{0->t}$，${\hat{I}}_{1->t}$后，为降低仿射结果的伪影问题，作者提出了如下的调整与融合方式：

其中$M$是用于融合两个warp帧的软融合图，$\Delta$是用于细化图像细节的重建残差项。

融合网络包括上下文提取器ContextNet和具有类似于U-Net的编解-码器架构的FusionNet。 FusionNet的上下文提取器和编码器部分具有相似的架构，由4个步幅为2的ResNet块组成。FusionNet的解码器部分具有四个转置卷积层。 使用sigmoid形函数来限制FusionNet的输出。

结合代码，具体来说：

class ContextNet(nn.Module):def __init__(self):super(ContextNet, self).__init__()self.conv1 = ResBlock(3, c)self.conv2 = ResBlock(c, 2*c)self.conv3 = ResBlock(2*c, 4*c)self.conv4 = ResBlock(4*c, 8*c)def forward(self, x, flow):x = self.conv1(x)f1 = warp(x, flow)x = self.conv2(x)flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear",align_corners=False) * 0.5f2 = warp(x, flow)x = self.conv3(x)flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear",align_corners=False) * 0.5f3 = warp(x, flow)x = self.conv4(x)flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear",align_corners=False) * 0.5f4 = warp(x, flow)return [f1, f2, f3, f4]

ContextNet主要做的：

1.对原始输入图像$I_0$，$I_1$通过上下文提取器分别提取金字塔上下文特征，文中表示为$C_0$，$C_1$；

2.对以上特征和对应的IFNet估计流一起使用backward warping，得到估计的中间流以生成对齐的金字塔特征$C_{0->t}$和$C_{1->t}$；每个金字塔上下文特征包含4个尺度的特征$f_1$->$f_4$

class FusionNet(nn.Module):def __init__(self):super(FusionNet, self).__init__()self.down0 = ResBlock(8, 2*c)self.down1 = ResBlock(4*c, 4*c)self.down2 = ResBlock(8*c, 8*c)self.down3 = ResBlock(16*c, 16*c)self.up0 = deconv(32*c, 8*c)self.up1 = deconv(16*c, 4*c)self.up2 = deconv(8*c, 2*c)self.up3 = deconv(4*c, c)self.conv = nn.Conv2d(c, 4, 3, 1, 1)def forward(self, img0, img1, flow, c0, c1, flow_gt):warped_img0 = warp(img0, flow)warped_img1 = warp(img1, -flow)if flow_gt == None:warped_img0_gt, warped_img1_gt = None, Noneelse:warped_img0_gt = warp(img0, flow_gt[:, :2])warped_img1_gt = warp(img1, flow_gt[:, 2:4])s0 = self.down0(torch.cat((warped_img0, warped_img1, flow), 1))s1 = self.down1(torch.cat((s0, c0[0], c1[0]), 1))s2 = self.down2(torch.cat((s1, c0[1], c1[1]), 1))s3 = self.down3(torch.cat((s2, c0[2], c1[2]), 1))x = self.up0(torch.cat((s3, c0[3], c1[3]), 1))x = self.up1(torch.cat((x, s2), 1))x = self.up2(torch.cat((x, s1), 1))x = self.up3(torch.cat((x, s0), 1))x = self.conv(x)return x, warped_img0, warped_img1, warped_img0_gt, warped_img1_gt

然后，将另外两个输入：warp后的的帧和IFNet估计的中间流输入到FusionNet，将FusionNet编码器部分中每个块的输出与相应的对齐金字塔特征连接起来，然后馈入下一个块。最后输出的x包含4个通，其中前3个通道是生成的重建残差$\Delta$，第4个是融合图M。其他返回的4个warped_img0, warped_img1, warped_img0_gt, warped_img1_gt主要是被下面所介绍的Leakage Distillation使用。

C.Leakage Distillation for IFNet

为了使得IFNet预测的中间流结果比较准，采用一个预训练的光流模型提供额外的中间流信息作为监督信息训练。

Experiments：

1.UCF101, Vimeo90K, Middlebury OTHER set and HD benchmarks：

2.Increase model complexity：

3.Ablation Study：