图像超分：HAN（Single Image Super-Resolution via a Holistic Attention Network）

本文主要是介绍图像超分：HAN（Single Image Super-Resolution via a Holistic Attention Network），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在这里插入图片描述
论文：Single Image Super-Resolution via a Holistic Attention Network
文章检索出处：2020 ECCV

看点

通道注意已被证明在每一层能有效的保存丰富的特征信息。然而，它将每个卷积层试做一个单独的过程，忽略了不同层之间的联系。为了解决这一问题，本文提出了整体注意网络（HAN），主要贡献如下：
1）引入了一个层注意模块（LAM），通过考虑层间相关性来学习不同层特征的权重。同时，提出了通道空间注意模块（CSAM）来学习各层特征的通道和空间相关性。
2）提出的两个注意模块通过对层、通道和位置之间的特征信息进行建模，实现了SOTA。
在这里插入图片描述

方法

overview

如下图所示，HAN由四部分组成：特征提取、层注意模块、通道空间注意模块和最终的重构模块。
给定LR，HAN的第一个卷积层提取一组浅层特征图，然后一系列残差组进一步提取LR的深层特征。其间，利用所提出的LAM来学习残差组输出的特征图的相关性，以及一个CSAM来研究通道和像素之间的相互依赖关系。最后，通过上采样模块产生HR。
在这里插入图片描述

层注意模块

尽管稠密连接和跳层连接允许浅层信息绕过深层，但这些操作没有利用不同层之间的相关性。相反，LAM可以通过获取不同深度特征之间的依赖关系，对不同层的特征分配不同的注意权重，提高提取到的特征的表示能力，结构如下图所示。
在这里插入图片描述
输入为N个残差组（使用共10个RCAN结构）中提取到的中间特征 $FG_s$ ，其维数为N×H×W×C。然后将特征组reshape到一个N×HWC的二维矩阵，并应用矩阵乘法和相应的转置来计算不同层之间的相关性

其中，δ(·)表示Softmax，φ(·)代表reshape。最后，将reshape后的特征组乘以关联矩阵和一个比例因子α，并和输入特征相加
在这里插入图片描述
其中，α初始化为0。

通道空间注意

现有的注意机制没有同时兼顾尺度维度和通道维度。为此，本文提出了CSAM，它包含了所有维度的特征图。注意，尽管可以对从RCAN中提取的所有特征组都执行CSAM，但只调整最后一个特征组，以在精度和速度之间进行权衡，结构如下图所示。
在这里插入图片描述
给定最后一层特征图 $F_N∈R^{H×W×C}$ ，将 $F_N$ 输入到三维卷积层，通过捕捉通道和空间特征来生成 $W_{csa}$ ，具体如下：

其中 $F_{CS}$ 为CSAM的输出，σ(·)为sigmoid激活函数，β是权重，初始化为0。