【真实世界图像超分】《Frequency Consistent Adaptation for Real World Super Resolution》2012 Nanjing University

本文主要是介绍【真实世界图像超分】《Frequency Consistent Adaptation for Real World Super Resolution》2012 Nanjing University，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

摘要：最近的基于深度学习的超分方法在已知退化核图像上已经展现出卓越的性能。但是这些方法往往在真实世界场景下表现不尽如人意，因为作为训练样本的LR图像通常来自于理想退化核（bicubic下采样），它们不同于真实源图像域。训练样本的LR图像和真实源图像的领域差异在频率密度上被明显观察到。这一点启示我们显示地缩小由不正确的退化造成的领域差异。我们设计了一个频率一致性模块，确保在真实世界场景应用已经存在的超分方法时频率一致。我们从无监督图像中评估退化核然后产生对应的低分辨率图像。为了提供核评估中的有用梯度信息，我们提出了用于区分不同尺度图像的频率密度的频率密度比较器（Frequency Density Comparator）。

paper地址：https://arxiv.org/abs/2012.10102

主要贡献点：

（1）我们为真实世界超分任务提供了一个新颖的频率一致适应模块，它保证了真实退化过程中的频率一致。

（2）我们设计了频率密度比较器去引导精确的模糊核评估过程。我们的无监督策略在真实场景下非常灵活。

方法

1. 频率一致适应。我们观察到低分辨图像的频率密度与对应的退化过程相关，如下图所示

定义频率密度 $F_X=\frac{1}{N}\sum _{x\epsilon X}\left | F_l(x) \right |$ ，其中 $F_X(l)$ 表示在N张图像的域X上，频率l的密度。退化过程与频率密度之间的关系启示我们保持低分辨图像 $I_{LR}$ 和源图像x之间的频率一致。我们聚焦于使用频率域正则化评估模糊核k，方程如下：

$k^*=arg min_k\Phi( (I_{HR}\triangledown _s)\otimes k,x)$ , 其中x表示来自源域的图像， $\Phi$ 表示频率正则。但是，在网络中直接应用傅里叶变换非常困难。通过频率一致性损失的指导，FCA生成了与源域S频率一致的低分辨率图像，高分辨率图像直接从源域图像 $x\epsilon S$ 获得。完整的网络结构如下图所示，主网络结构主要包含三大模块：适应产生器、频率密度比较器（FDC）和小波判别器。适应产生器生成与输入图像频率密度相同的退化LR图像，然后在频率密度比较器和小波判别器模块的引导下优化。

1.1 适应产生器对于一副源输入图像x，适应产生器首先分析退化过程，然后输出一个各向异性高斯核。然后利用这个高斯核与降采样s倍后的x图像产生LR图像G(x)。公式如下：

$G(x)=(x\triangledown s)\otimes k(x)$ ，其中k(.)表示核评估器。更精确地，我们使用三个参数描述核评估器 $k(x)=g(r_1(x),r_2(x),\theta (x))$ ，其中 $r_1,r_2,\theta$ 分别表示水平直径、垂直直径和旋转角。g(.)表示各向异性高斯核。

1.2 频率密度比较器（FDC）频率密度比较器示意图如下图所示。FDC用来捕捉两个输入patch的频率密度相关性。

对于一张真实世界图像x，上采样和下采样都可能改变它的频率分布（上述证明）。频率密度关系如下式所示：

$C\left ( x^D, x \right ) > 0$

$C\left ( x^{'} , x \right ) = 0$

$C\left ( x^{U}, x \right ) < 0$

其中D和U分别表示下采样和上采样，C表示所提的比较器。 $x^{'}$ 表示源图像中的另外一个patch块。比较器C的优化过程可以由下式表示：

arg $min_{C}\left \{ E_{x\epsilon S}\left [ \left \| C(x^D, x) -1\right \| +\left \| C(x^{'},x) \right \|+\left \| C(x^U, x)+1 \right \| \right ] \right \}$

其中S表示源域中的图像。在此基础上，我们定义频率一致性损失：

$L_{FDC}=E_{x\epsilon S}\left [ \left \| C(G(x), x^D)+1 \right \| +\left \| C(G(x),x) \right \|+\left \| C(G(x), x^U)-1 \right \|\right ]$

频率一致性损失 $L_{FDC}$ 保证G(x）介于频率上界 $x^D$ 和下界 $x^U$ 之间。进一步来说，度量G(x)和x之间的距离让核评估接近真实退化过程。

1.3 课程学习策略为了给适应产生器提供稳定和精确的梯度信息，我们采用课程学习策略。频率密度比较器的训练过程分为不同的阶段，逐步增加学习难度。FDC训练过程中的上采样和下采样比例动态地设为多个中间值（接近1.0）。我们同时训练FDC和适应产生器，确保它们在一个小batch中的输入patch共享相同的频率域。

1.4 小波判别器维持高频信息在恢复图像细节任务中非常重要。我们采用对抗损失网络，只作用于高频空间。通过小波转换分离图像的高频部分和低频部分，只有高频部分被送入判别器。因为只需要捕捉图像的非语义信息，我们的判别器网络只有4层的深度。我们使用LS-GAN作为判别器。假设用WD表示它，WD的优化公式如下：

arg $min_{WD}\left \{ E_{x\epsilon S}\left [ (WD(G(x)))^2+(WD(x)-1)^2 \right ] \right \}$