对“DOF: A Demand-oriented Framework for ImageDenoising“的理解

译："DOF：面向需求的图像去噪框架"

-- IEEE Transactions on Industrial Informatics -- 2021

目录

一、引言

二、方法

A、需求为导向的框架

B、基于DOF的网络

三、实验

一、引言

        大多数图像去噪算法的重点是最大化图像去噪质量，在降低参数数量和计算复杂度方面仍有相当大的空间。当面对不同的任务时，对参数个数、计算复杂度和去噪质量的要求是不同的。为了克服这一问题，本文作者提出了一种灵活的需求导向框架(DOF)，通过在训练阶段选择适当的超参数，生成一个可以优先考虑参数数量、计算复杂度和去噪质量的可控模型。

        本文方法的结构包括一个尺度编码器，一个分流模块和一个尺度解码器。

二、方法

        作者提出一个以需求为导向的框架，以实现以下三个目标:

(1)、需求导向：根据应用场景，基于DOF的去噪可以平衡上述三个性能指标。

(2)、普遍性：该框架可应用于其他基于CNN的去噪模型，通过该框架，重构模型可以减少参数数量，提高计算效率。

(3)、鲁棒性：当将所提框架应用于其他模型以降低计算复杂度和参数数量时，基于所提框架重建的去噪模型在去噪质量上应达到与原始模型相似的性能。

A、需求为导向的框架

        图像退化模型可以表示为:

其中x是干净图像，y表示噪声观测，v是加性噪声。

DOF模型通过下式估计噪声映射：

此外，为了提高计算效率和减少参数数量，DOF在尺度解码器的帮助下，将整个噪声图的估计转化为几个较小的噪声图的估计。因此，使用尺度编码器和分流模块估计每个子噪声图。

(1)、尺度编码器：第一步，尺度编码器利用步长为1的卷积层提取特征，发现有用信息和冗余信息；第二步，利用步长为2的卷积层对特征进行尺度缩减，借助训练过程减少空间冗余信息。这样，该方法以较低的计算复杂度达到了去噪的效果。如表一所示，这种方案的效果较好。

        为了使网络更可控，作者引入一个比例因子来控制浅层特征的空间大小，j表示尺度编码器中的卷积层数。给定一幅尺寸为W x H，尺度因子为S的观测图像y，尺度编码器丢弃空间冗余信息，提取浅层特征:

(2)、分流模块：结构如图1 (b)所示。

它由几个简单的网络分支组成，其编号由超参数G配置。每个分支以提取的一部分浅层特征作为输入，通过几层卷积进一步提取深层特征。一般来说，网络分支可以采用不同的结构，每个分支的结构可以是任何现有去噪模型的低复杂度版本。给定大小为的浅层特征f, 分流模块首先将其划分为给定的组。然后将这些浅层特征分别反馈给G个网络分支。这个过程表示为:

在每个网络分支中，引入一个容量比R来控制所发现信息的数据量。让每个分支发现的信息跨所有分支流动。如图2所示，

每个网络分支将发现的信息划分为G组。然后，它保留一组原始信息，让其他信息在每个分支之间流动。请注意，信息流操作强调信息的共享。经过信息流动操作后，重组后的信息可以表示为:

然后，每个分支网络的下一个特征提取器将重组后的信息作为输入，更新深度特征I。通过信息流动操作，一个网络分支的信息将与其他网络分支共享。因此，每个网络分支都可以利用来自不同网络分支的所有信息，尽管一个网络分支的输入只占整个信息的一小部分。最后，分流模块利用深度特征估计子噪声映射:

其中等式左边就是网络的输出，表示子噪声图。

注意这种信息流动操作不需要额外的可学习参数和浮点运算。

(3)、尺度解码器：尺度解码器的目标是生成与输入噪声图像大小相同的最终噪声图，使用大小为子噪声图来重建大小为H × W的噪声图。如图1(a)所示，尺度解码器将子噪声图的像素重新排列到噪声映射的空间维度上。给定子噪声图，通过下式重构最终的噪声图：

这里的E表示解码器。

注意这里所提出的尺度解码器不需要任何可学习参数。尺度解码器通过将误差反向传播到每个子噪声映射，使噪声映射的预测具有可学习性。

B、基于DOF的网络

        DOF有三个重要的超参数：比例因子S，分支数量G，容量比R。作者根据这三个参数的选择制定了不同的网络，分别有：parameter-oriented DONet (DONet-P)，computation-oriented DONet (DONet-C), quality-oriented DONet (DONet-Q), 和 balanced DONet (DONet-B)。顾名思义，每个网络的需求是不一样的。然后优化目标如下：

三、实验

        下面是部分实验结果：