【光流评估】《Optical Flow Estimation using a Spatial Pyramid Network》2016 Tubingen, Germany

本文主要是介绍【光流评估】《Optical Flow Estimation using a Spatial Pyramid Network》2016 Tubingen, Germany，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

摘要：我们通过结合深度学习和经典空间金字塔结构的方式来计算光流。通过使用每个金字塔级别的光流评估warp图像和更新光流，这种方法以一个粗到精的方式评估图像中的大运动。不同于在每个金字塔层级最小化对象函数。我们在每个层级训练网络，以计算光流更新。不像最近的FlowNet光流网络，本网络不需要处理大运动，由网络中的金字塔层级处理大运动。这有几个优点：（1）在模型参数上我们的SpyNet更简单，比FlowNet小96%，这使得网络在嵌入式应用领域非常高效。（2）因为每个层级的光流比较小（小于一个pixel），对一对warp图像应用卷积方法是合适的。（3）不像FlowNet，本网络学习的卷积滤波器与传统的时空滤波器相似，这让我们能够洞察到网络的内部以及如何提升它。在多个数据集上的结果显示我们的方法比FlowNet更加高效。

paper地址：https://arxiv.org/abs/1611.00850

主要贡献点

（1）结合深度学习与传统由粗到精（coarse-to-fine）金字塔结构评估光流；

(2) 提出一个新的模型SpyNet，比FlowNet更快，参数量少96%；

（3）在公共数据集（Sintel, KITTI和MiddleBurry）上，SPyNet实现了比FlowNet更低的错误率。

方法

（1）空间采样 $d\left ( \cdot \right )$ 表示将一个m * n的图像I下采样到 m/2 * n/2。 $u\left ( \cdot \right )$ 表示上采样。这两个操作也被应用于中间光流场的上采样和下采样。 $w\left ( I, V \right )$ 表示使用光流场V 空间扭曲输入图像I，使用双线性插值方式。

（2）推断 $\left \{ G_0, ... G_K \right \}$ 表示已经计算好的卷积神经网络模型集，其中每一个模型计算残差光流 $v_k$ 。k表示第几层。

$v_k=G_k\left ( I_k^1, w\left ( I_k^2,u\left ( V_{k-1} \right ) \right ) , u\left ( V_{k-1} \right ) \right )$

卷积网络 $G_k$ 通过以下输入变量计算第k层的残差光流 $v_k$ ：上一级金字塔的上采样光流 $V_{k-1}$ 和视频帧 $\left \{ I_k^1, I_k^2 \right \}$ 。第二帧 $I_k^2$ 在传入卷积网络 $G_k$ 之前使用光流进行图像扭曲变换 $w\left ( I_k^2, u\left ( V_{k-1} \right ) \right )$ 。在第k层级的光流 $V_k$ 的计算公式如下：

$V_k=u\left ( V_{k-1} \right )+v_k$

主网络结构图如下：

值得注意的是该网络是分段按 $G_0,G_1,G_2$ 依次训练，并不是一次性端到端训练。子网络 $G_k$ 的网络结构图如下：

其中 $V_{k-1}$ 是上一级的光流场经过上采样后的结果，对于卷积网络 $G_0$ ， $V_{k-1}$ 为0。

实验

训练数据集：Flying Chairs datasets

网络模型：5个子卷积网络 $\left \{ G_0, G_1, G_2, G_3, G_4 \right \}$ ，其中 $G_k$ 由5个卷积层组成，每个卷积层后面接一个ReLU激活函数。卷积核大小为7。这5个卷积层的中间通道数依次为 $\left \{ 32, 64, 32, 16, 2 \right \}$ 。