论文阅读《Wavelet-Based Texture Reformation Network for Image Super-Resolution》

本文主要是介绍论文阅读《Wavelet-Based Texture Reformation Network for Image Super-Resolution》,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

论文地址:https://arxiv.org/ftp/arxiv/papers/1907/1907.10213.pdf
源码地址:https://github.com/zskuang58/WTRN-TIP


概述

  这篇论文提出了一种基于小波变换的纹理重构网络(WTRN),用于从参考图像中提取和迁移纹理信息,提高低分辨率图像的质量。该方法利用小波变换将纹理特征分解为不同频率的子带,分别进行特征匹配和特征交换,同时引入了一种基于小波的纹理对抗损失函数,使得生成的图像具有更真实的纹理效果。该方法在四个数据集上的实验结果表明,它优于之前的RefSR方法。
  图像超分辨率的方法分为三种:基于失真的方法,基于感知的方法和基于参考的方法。基于失真的方法:这类方法以像素级误差(如MSE和MAE)为主要优化目标,能够实现较小的失真,但是由于回归到均值的现象,它们恢复的图像通常是模糊和过度平滑的,导致人类视觉效果不佳。基于感知的方法:这类方法利用许多与感知相关的约束(如感知损失和对抗损失)来提高重建结果的视觉质量。虽然恢复的图像对人类视觉感知更宽容,但是这些结果容易出现较大的PSNR降低和不理想的纹理伪影。基于参考的方法(RefSR):这类方法能够在超分辨率的图像上生成更合理和真实的纹理,超过了前述的图像SR方法。在RefSR中,LR图像中丢失的细节可以用HR参考图像中的丰富纹理信息来补充。这些HR参考图像,从不同的图像来源收集,如网络搜索,视频帧甚至手机拍照等,与输入的LR图像具有相似的内容或语义相关的纹理。因此,RefSR的两个关键问题是:1)如何准确地匹配LR和参考图像之间的相似内容信息;2)如何有效地将匹配的纹理细节从参考图像转移到SR图像上。为了匹配有意义的语义信息,当前最先进的RefSR方法直接使用从ImageNet预训练的VGG网络1提取的特征来进行相似度计算。然后,它们通过不同的转移策略(如块交换和相似度加权)逐渐将匹配的参考图像特征融合到最终输出中。然而,一方面,由于VGG编码器得到的原始特征包含了与纹理相似度无关和冗余的信息,直接在原始特征空间上操作可能导致不准确的纹理匹配结果;另一方面,这些原始特征由于VGG编码器中的下采样层而缺乏足够的高频信息,进一步限制了纹理转移的性能。
  为此,作者希望找到一种更准确和有效的特征匹配和转移的过程,可以按照“分而治之”的策略进行,即先比较低分辨率图像和参考图像提取的特征的内容相似度,然后在不同的阶段分别转移不同特征的纹理信息。文中提出的一种基于小波的纹理重构网络(WTRN)用于参考图像超分辨率(RefSR)。这种网络的主要思想是利用小波变换将特征图分解为低频和高频子带,然后根据低频子带计算低分辨率(LR)图像和参考图像之间的相关性,再根据相关性指导交替使用低频和高频纹理重构模块来融合匹配的特征,从而重构纹理信息。此外,作者还提出了一种基于小波的纹理对抗损失,用于使生成器生成更真实的纹理细节。该方法在四个公开的数据集上与其他单图像SR和参考图像SR方法进行了定量和定性的比较,证明了其在失真和感知方面的优越性。


模型架构

在这里插入图片描述
  图 2 为该网络的结构,假设有一张高分辨率的参考图像 I Ref ∈ R H ref × W ref × 3 I^{\text{Ref}} \in \mathbb{R}^{H_{\text{ref}} \times W_{\text{ref}} \times 3} IRefRHref×Wref×3与一个对应的输入的低分辨率图像 I LR ∈ R H lr × W lr × 3 I^{\text{LR}} \in \mathbb{R}^{H_{\text{lr}} \times W_{\text{lr}} \times 3} ILRRHlr×Wlr×3,超分辨率的目标是从 I Ref I_{\text{Ref}} IRef 中找到最相似的部分,并以“分而治之”的方式将相应的纹理信息传输到最终的输出图像 I SR ∈ R s ⋅ H lr × s ⋅ W lr × 3 I^{\text{SR}} \in \mathbb{R}^{s \cdot H_{\text{lr}} \times s \cdot W_{\text{lr}} \times 3} ISRRsHlr×sWlr×3 中,其中 H ref H_{\text{ref}} Href W ref W_{\text{ref}} Wref 分别表示参考图像的高度和宽度, H lr H_{\text{lr}} Hlr W lr W_{\text{lr}} Wlr 分别表示输入低分辨率图像的高度和宽度, s s s 表示上采样因子。

Haar Wavelet Pooling

  Haar小波变换可以将输入信号分解为低频和高频的子带。其包含四个滤波器,分别是 L L T , L H T , H L T , H H T {LL^T,LH^T, HL^T, HH^T} LLT,LHT,HLT,HHT,其中 L L T LL^T LLT L H T LH^T LHT 是低通滤波器, H L T HL^T HLT H H T HH^T HHT 是高通滤波器。低频子带包含了信号的平滑表面和纹理信息,而高频子带捕捉了更复杂的纹理细节,低频与高频滤波器为:
L T = 1 2 [ 1 1 ] , H T = 1 2 [ − 1 1 ] . (1) \mathbf{L^T}=\frac{1}{\sqrt{2}}\begin{bmatrix}1&1\end{bmatrix},\quad\mathbf{H^T}=\frac{1}{\sqrt{2}}\begin{bmatrix}-1&1\end{bmatrix}.\tag{1} LT=2 1[11],HT=2 1[11].(1)
文中使用Haar小波池化层替换了VGG编码器中的最大池化层,从而保留了更多的纹理信息。此外,使用了4个2×2的卷积核来进行小波分解,分别对应小波变换中的 L L T , L H T , H L T LL^T,LH^T,HL^T LLTLHTHLT H H T HH^T HHT。若输入通道为 C C C,输出通道则为 4 C 4C 4C,这与常规的池化操作不同。为此,使用 φ L L l , φ L H l , φ H L l , φ H H l φ^l_{LL}, φ^l_{LH} , φ^l_{HL} , φ^l_{HH} φLLl,φLHl,φHLl,φHHl 表示在第 I I I 个空间层上使用相应小波核的特征提取器来进行小波变换。假设VGG编码器的输入是参考图像 I R e f I^{Ref} IRef,那么在第 l l l 个空间层上的小波池化层的输出可以分为四个部分: φ L L l ( I R e f ) , φ L H l ( I R e f ) , φ H L l ( I R e f ) , φ H H l ( I R e f ) φ^l_{LL}(I^{Ref}), φ^l_{LH}(I^{Ref}), φ^l_{HL}(I^{Ref}), φ^l_{HH}(I^{Ref}) φLLl(IRef),φLHl(IRef),φHLl(IRef),φHHl(IRef)如图3所示。为了消除最大池化造成的伪影,文中使用Haar小波池化来进行更好的特征匹配和转移,以实现参考图像的超分辨率。此外,由于这些提取的特征能够反映 I L R I^{LR} ILR I R e f I^{Ref} IRef的上下文和纹理信息的更多特征,故在高维特征空间计算ILR和IRef之间的相关性图。尽管VGG编码器能提取多尺度的特征,但原始VGG编码器中的最大池化操作会导致大量信息的丢失,又由于小波变换的可逆性,用Haar小波池化层替换VGG编码器中的最大池化层是一种更直接和有效的方式,来存储特征转移过程中的纹理信息。

Matching and Swapping on the Wavelet Domain

  为了解决输入的低分辨率图像 I L R I^{LR} ILR和参考图像 I R e f I^{Ref} IRef之间的尺寸不匹配问题,首先使用双三次插值法将 I L R I^{LR} ILR放大到一个更大的分辨率。然后,为了在特征匹配过程中保持域的一致性,作者将 I R e f I^{Ref} IRef先双三次下采样再双三次上采样,使其与放大后的 I L R I^{LR} ILR具有相同的分辨率。接着,作者在VGG编码器提取的特征上计算相关性图 M C M_C MC,用于度量输入的LR图像和参考图像之间的相似性。考虑到由于输入的LR图像在放大之前的边缘和纹理都很模糊,与参考图像的清晰边缘和纹理不一致,这种不一致性会影响匹配和转移的结果,进而限制重建的性能。因此,将参考图像也进行双三次下采样和上采样,以保持与放大后的LR图像的域一致, I L R ↑ I^{LR↑} ILR I R e f ↓ ↑ I^{Ref↓↑} IRef↓↑分别表示放大后的LR图像和重新缩放后的参考图像。此外 l ∈ { 1 , 2 , … , L } l ∈ \{1, 2,…, L\} l{1,2,,L} 表示特征的当前空间层,其中 L = l o g 2 s + 1 , s L = log_2s + 1,s L=log2s+1s为上采样因子。如果 H × W H × W H×W是最大的空间尺寸,那么第 l l l 个空间层的空间尺寸将是 H 2 l − 1 × W 2 l − 1 \frac{H}{2l−1} × \frac{W}{2l−1} 2l1H×2l1W
  高频信息通常包含了复杂的纹理细节和大部分噪声,因此使用低通滤波器 L L T LL^T LLT在Haar小波池化层中消除复杂纹理信息和部分无关噪声的影响,从而得到更准确的匹配结果。为了节省计算成本,文中只在较小的尺度上映射这些特征图,以获得相关性图。 I L R ↑ I^{LR↑} ILR I R e f ↓ ↑ I^{Ref↓↑} IRef↓↑之间的相关性图 M C ∈ R H l r L − 2 ⋅ W l r L − 2 × H r e f L − 2 ⋅ W r e f L − 2 \mathbf{M_{C}}\in\mathbb{R}^{H_{lr}^{L-2}\cdot W_{lr}^{L-2}\times H_{ref}^{L-2}\cdot W_{ref}^{L-2}} MCRHlrL2WlrL2×HrefL2WrefL2(其中, H l r L − 2 ⋅ W l r L − 2 , H r e f L − 2 ⋅ W r e f L − 2 \begin{aligned}H_{lr}^{L-2}\cdot W_{lr}^{L-2},H_{ref}^{L-2}\cdot W_{ref}^{L-2}\end{aligned} HlrL2WlrL2HrefL2WrefL2分别表示LR图像与参考图像的第L-2层特征的尺度):
M C = F M ( ϕ L L L − 2 ( I L R ↑ ) , ϕ L L L − 2 ( I R e f ↓ ↑ ) ) , (2) \mathbf{M_C}=\mathcal{F}_M(\phi_{LL}^{L-2}(\mathbf{I}^{\mathbf{LR}\uparrow}),\phi_{LL}^{L-2}(\mathbf{I}^{\mathbf{Ref}\downarrow\uparrow})),\tag{2} MC=FM(ϕLLL2(ILR),ϕLLL2(IRef↓↑)),(2)
其中 F M ( ⋅ ) \mathcal{F}_M(\cdot) FM() 为基于patch来计算特征相似,即对每个像素位置,从 I L R ↑ I^{LR↑} ILR I R e f ↓ ↑ I^{Ref↓↑} IRef↓↑的特征中采样两个块,并计算它们之间的余弦相似度。
  作者采用了多尺度特征转移的策略以充分利用提取的特征中的纹理和语义信息,在不同的大小的特征上进行了特征转移的操作,这样可以利用参考图像中的纹理和语义信息来提高低分辨率图像的质量。先用小波变换把特征分成低频和高频部分,然后用相关性图来找到最相似的特征块,再用特征交换的方法来替换低分辨率图像的特征。作者只在小波域上交换大部分的参考特征,因为最大尺度的特征可以直接用于重建图像,不需要小波分解。这样做的目的是为了保留更多的纹理细节,提高超分辨率的效果。这些被选中的特征是通过一个索引向量 V I V_I VI的指导进行交换的, V I ∈ R H l r L − 2 ⋅ W l r L − 2 V_I ∈ \mathbb{R}^{H^{L−2}_{lr} ·W^{L−2}_{lr}} VIRHlrL2WlrL2 V I V_I VI可以由 M C M_C MC计算得到:
V I ( i ) = arg ⁡ max ⁡ j M C ( i , j ) . (3) \mathbf{V_I}(i)=\arg\max_j\mathbf{M_C}(i,j).\tag{3} VI(i)=argjmaxMC(i,j).(3)
以第 l l l 个空间层上的低频参考特征 φ L L l ( I R e f ) φ^l_{LL}(I^{Ref}) φLLl(IRef)为例(如图5)
在这里插入图片描述
  先将参考特征 φ L L l ( I R e f ) φ^l_{LL}(I^{Ref}) φLLl(IRef)展开成一组小块 { P L L , l i ∣ P L L , l i ∈ R K l × K l × C l } i = 1 H r e f l ⋅ W r e f l \{\mathbf{P}_{LL,l}^{i}|\mathbf{P}_{LL,l}^{i}\in\mathbb{R}^{K^{l}\times K^{l}\times C^{l}}\}_{i=1}^{H_{ref}^{l}\cdot W_{ref}^{l}} {PLL,liPLL,liRKl×Kl×Cl}i=1HreflWrefl,其中 K l × K l × C l K^{l}\times K^{l}\times C^{l} Kl×Kl×Cl是小块的大小。对于 ×4 的放大倍数 ( L = 3 ) (L = 3) (L=3) K 1 , K 2 K^1,K^2 K1K2 K 3 K^3 K3分别设为3,6和12。 C l C^l Cl是对应的VGG特征的通道数。然后,根据索引向量 V I V_I VI从这组小块中选择一些小块,组成一个新的小块集合 { P L L , l V I ( i ) ∣ P L L , l V I ( i ) ∈ R K l × K l × C l } i = 1 H l r l ⋅ W l r l \{\mathbf{P}_{LL,l}^{\mathbf{V}_{I}(i)}|\mathbf{P}_{LL,l}^{\mathbf{V}_{I}(i)}\in\mathbb{R}^{K^{l}\times K^{l}\times C^{l}}\}_{i=1}^{H_{lr}^{l}\cdot W_{lr}^{l}} {PLL,lVI(i)PLL,lVI(i)RKl×Kl×Cl}i=1HlrlWlrl。最后,通过Fold函数将这个新的小块集合合并成交换后的低频纹理特征 F L L l ∈ R H l r l × W l r l × C l \mathbf{F_{LL}^l}\in\mathbb{R}^{H_{lr}^l\times W_{lr}^l\times C^l} FLLlRHlrl×Wlrl×Cl :
F L L l = F o l d ( { P L L , l V l ( i ) ∣ P L L , l V l ( i ) ∈ R K l × K l × C l } i = 1 H l r l ⋅ W l r l ) , (4) \mathbf{F_{LL}^{l}}=\mathrm{Fold}(\{\mathbf{P_{LL,l}^{V_{l}(i)}}|\mathbf{P_{LL,l}^{V_{l}(i)}}\in\mathbb{R}^{K^{l}\times K^{l}\times C^{l}}\}_{i=1}^{H_{lr}^{l}\cdot W_{lr}^{l}}),\tag{4} FLLl=Fold({PLL,lVl(i)PLL,lVl(i)RKl×Kl×Cl}i=1HlrlWlrl),(4)

使用用Fold函数将小块拼接成一张特征图后,并对重叠区域的值取平均。这有利于消除边缘的不连续性,使得特征图更加平滑。此外,由于输入的参考图像的大小和期望的高分辨率图像的大小可能不同,所以他们的特征图的空间尺寸也可能不同。因此,在选择和交换特征时,不需要考虑参考图像的大小,只需要根据索引向量 V I V_I VI来选择最相似的特征块即可。在交换了低频参考特征之后,还用同样的方法交换了高频参考特征 { F L H l , F H L l , F H H l } \{F^l_{LH}, F^l_{HL}, F^l_{HH}\} {FLHl,FHLl,FHHl},这些特征是从高频参考特征 ϕ L H l ( I R e f ) , ϕ H L l ( I R e f ) , 与 ϕ H H l ( I R e f ) \phi_{LH}^{l}(\mathbf{I^{Ref}}),\phi_{HL}^{l}(\mathbf{I^{Ref}}),\mathrm{与} \phi_{HH}^{l}(\mathbf{I^{Ref}}) ϕLHl(IRef),ϕHLl(IRef),ϕHHl(IRef)中选择的。为了更好地将交换后的特征融合到网络中,作者还计算了一个注意力向量 V A ∈ R H l r L − 2 ⋅ W l r L − 2 \mathbf{V_{A}}\in\mathbb{R}^{H_{lr}^{L-2}}\cdot W_{lr}^{L-2} VARHlrL2WlrL2,用来确定原始的低分辨率特征块和对应的交换后的参考特征块之间的纹理相关性:
V A ( i ) = max ⁡ j M C ( i , j ) . (5) \mathbf{V_A}(i)=\max_j\mathbf{M_C}(i,j).\tag{5} VA(i)=jmaxMC(i,j).(5)
其中 M C M_C MC是在低频特征上计算的相关性图。注意力向量 V A V_A VA可以使得模型更有针对性地转移纹理信息,提高重建的质量。

Alternant Texture Transfer Strategy

  作者采用了一个金字塔式的重建网络,利用不同尺度的纹理迁移来提高纹理生成和学习的效果。并使用了一个带有×2放大倍数的像素洗牌层作为网络中的上采样层。在每个空间层上,堆叠了多个残差块来增强特征表示的能力。随着空间层的增加,金字塔式的网络会逐渐合并转移后的特征,并对它们进行细化,用于重建阶段。具体而言,在最小的空间层上,作者将交换后的低频纹理特征 F L L 1 F^1_{LL} FLL1和浅层特征合并,作为初始的纹理转移。然后,由于上采样层只利用了之前在较小尺度上学习到的纹理信息,缺乏足够的高频细节,在每个上采样操作之后,加入了交换后的高频纹理特征 { F L H l , F H L l , F H H l } \{F^l_{LH}, F^l_{HL}, F^l_{HH}\} {FLHl,FHLl,FHHl},用于对放大后的特征进行纹理重塑。剩余的低频纹理特征与对应的重塑特征整合,以丰富它们的纹理表示。低频纹理重塑模块(LTRM)的操作可以用公式表示为:
F o u t l = M A l ⊗ F c o n v l ( C [ F L L l , F i n l ] ) + F i n l , (6) \mathbf{F_{out}^l=M_A^l\otimes\mathcal{F}_{conv}^l(\mathcal{C}[F_{LL}^l,F_{in}^l])+F_{in}^l,}\tag{6} Foutl=MAlFconvl(C[FLLl,Finl])+Finl,(6)
其中 F i n l \mathbf{F_{in}^l} Finl F o u t l \mathbf{F_{out}^l} Foutl 表示这个模块的输入与输出纹理感知特征。 M A l ∈ R H l r l × W l r l \mathbf{M_A^l}\in \mathbb{R}^{H_{lr}^l\times W_{lr}^l} MAlRHlrl×Wlrl 是一个注意力图,它是根据之前计算的注意力向量 V A V_A VA 经过重塑和插值操作得到的,它反映了第 l l l 个空间层上的纹理相关性。 F c o n v l \mathcal{F}_{conv}^l Fconvl 表示 3x3的卷积层。 C \mathcal{C} C 表示沿着通道维度的拼接。 ⊗ \otimes 表示逐点乘。高频纹理重塑模块(HTRM)的操作可以用公式表示为:
F R l = F m e r g e l ( C [ F u p l , F L H l ( M A l ⊗ F L H l ) , F H L l ( M A l ⊗ F H L l ) , F H H l ( M A l ⊗ F H H l ) ] ) , (7) \begin{aligned}\mathbf{F_{R}^{l}}&=\mathcal{F}_{merge}^{l}(\mathcal{C}[\mathbf{F_{up}^{l}},\mathcal{F}_{LH}^{l}(\mathbf{M_{A}^{l}}\otimes\mathbf{F_{LH}^{l}}),\mathcal{F}_{HL}^{l}(\mathbf{M_{A}^{l}}\otimes\mathbf{F_{HL}^{l}}),\mathcal{F}_{HH}^{l}(\mathbf{M_{A}^{l}}\otimes\mathbf{F_{HH}^{l}})]),\end{aligned}\tag{7} FRl=Fmergel(C[Fupl,FLHl(MAlFLHl),FHLl(MAlFHLl),FHHl(MAlFHHl)]),(7)
HTRM的作用是将放大后的特征 F u p l F^l_{up} Fupl 和交换后的高频特征 { F L H l , F H L l , F H H l } \{\mathbf{F_{LH}^{l}}, \mathbf{F_{HL}^{l}}, \mathbf{F_{HH}^{l}}\} {FLHl,FHLl,FHHl}合并起来,生成重塑后的特征 F R l \mathbf{F_{R}^{l}} FRl。这些高频特征是通过映射函数 F L H l , F H L l , F H H l \mathcal{F}^l_{LH}, \mathcal{F}^l_{HL}, \mathcal{F}^l_{HH} FLHl,FHLl,FHHl进一步改善的,这些映射函数包括了多个残差块,一个卷积层和一个可学习的逆小波变换(LIWT)。LIWT是由四个反卷积滤波器组成的,它们和小波池化层中的核对应。LIWT的权重是用小波核初始化的,然后和网络中的其他参数一起更新。 F m e r g e l \mathcal{F}_{merge}^{l} Fmergel 是一个3×3大小的卷积层,用于自适应地整合这些高频特征和放大后的特征,实现纹理重塑且有效地转移参考图像中的纹理信息。

Wavelet-Based Texture Adversarial Loss

  小波变换分解出的低频子带对客观质量有很大的影响,而高频子带对感知质量有很大的影响,图像的纹理细节会随着感知质量的提高而变得更丰富。为此,作者提出了一种基于小波的纹理对抗损失函数,它只将重建图像的高频子带而不是原始图像输入到判别器中。此外,为了充分利用参考图像中包含的纹理信息,作者还将参考图像的高频子带和重建图像的高频子带结合起来。有了参考图像中丰富的纹理信息的帮助,判别器更能够识别出生成器产生的假纹理信息,从而促进生成更真实的纹理:
L t a d v ( G ) = − E [ D ( C [ W h ( G ( I L R ) ) , W h ( I R e f ) ] ) ] , (8) \mathcal{L}_{tadv}(G)=-\mathbb{E}[D(\mathcal{C}[W_{h}(G(\mathbf{I^{LR}})),W_{h}(\mathbf{I^{Ref}})])],\tag{8} Ltadv(G)=E[D(C[Wh(G(ILR)),Wh(IRef)])],(8)
W h W_h Wh是小波池化层中的 L H T , H L T 和 H H T LH^T,HL^T和HH^T LHTHLTHHT核的组合,它可以提取输入的高频信息,改损失函数可以引导生成器生成高频子带接近真实图像的高频子带的图像。


损失函数

低频重建损失衡量了高分辨率图像和重建图像的低频子带( I L L H R I^{HR}_{LL} ILLHR I L L S R I^{SR}_{LL} ILLSR)之间的像素级差异,因为低频子带对图像的保真度有很大的影响:
L l f r e c = ∥ I L L H R − I L L S R ∥ 1 . (9) \mathcal{L}_{lfrec}=\left\|\mathbf{I_{LL}^{HR}-I_{LL}^{SR}}\right\|_1.\tag{9} Llfrec= ILLHRILLSR 1.(9)

感知损失用于提高重建图像的视觉信息:
L p e r = ∥ δ 5 , 1 ( I H R ) − δ 5 , 1 ( I S R ) ∥ 2 , (10) \mathcal{L}_{per}=\left\|\delta^{5,1}(\mathbf{I^{HR}})-\delta^{5,1}(\mathbf{I^{SR}})\right\|_2,\tag{10} Lper= δ5,1(IHR)δ5,1(ISR) 2,(10)
  其中 δ 5 , 1 \delta^{5,1} δ5,1 代表VGG编码器中第五个最大池化前的第一个卷积操作。
纹理注意力损失用于约束重建图像的低频和高频纹理特征与交换后的参考特征之间的纹理差异尽可能小,使重建图像的纹理更接近参考图像的纹理,提高重建的质量。:
L t a t t = 1 L − 1 ∑ l = 1 L − 1 ( ∥ F L L l − ϕ L L l ( I S R ) ∥ 2 + ∑ h ∈ ( L H , H L , H H ) λ ∥ F h l − ϕ h l ( I S R ) ∥ 2 ) . (11) \begin{aligned}\mathcal{L}_{tatt}&=\frac1{L-1}\sum_{l=1}^{L-1}(\left\|\mathbf{F_{LL}^l-\phi_{LL}^l(I^{SR})}\right\|_2+\sum_{h\in(\mathbf{LH},\mathbf{HL},\mathbf{HH})}\lambda\left\|\mathbf{F_{h}^l-\phi_{h}^l(I^{SR})}\right\|_2).\end{aligned}\tag{11} Ltatt=L11l=1L1( FLLlϕLLl(ISR) 2+h(LH,HL,HH)λ Fhlϕhl(ISR) 2).(11)
最后使用 L 1 L_1 L1损失来约束重建图像标签之间的误差:
L r e c = ∥ I H R − I S R ∥ 1 . (12) \mathcal{L}_{rec}=\left\|\mathbf{I}^{\mathbf{HR}}-\mathbf{I}^{\mathbf{SR}}\right\|_1.\tag{12} Lrec= IHRISR 1.(12)


实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这篇关于论文阅读《Wavelet-Based Texture Reformation Network for Image Super-Resolution》的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/536113

相关文章

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

poj 2349 Arctic Network uva 10369(prim or kruscal最小生成树)

题目很麻烦,因为不熟悉最小生成树的算法调试了好久。 感觉网上的题目解释都没说得很清楚,不适合新手。自己写一个。 题意:给你点的坐标,然后两点间可以有两种方式来通信:第一种是卫星通信,第二种是无线电通信。 卫星通信:任何两个有卫星频道的点间都可以直接建立连接,与点间的距离无关; 无线电通信:两个点之间的距离不能超过D,无线电收发器的功率越大,D越大,越昂贵。 计算无线电收发器D

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

lvgl8.3.6 控件垂直布局 label控件在image控件的下方显示

在使用 LVGL 8.3.6 创建一个垂直布局,其中 label 控件位于 image 控件下方,你可以使用 lv_obj_set_flex_flow 来设置布局为垂直,并确保 label 控件在 image 控件后添加。这里是如何步骤性地实现它的一个基本示例: 创建父容器:首先创建一个容器对象,该对象将作为布局的基础。设置容器为垂直布局:使用 lv_obj_set_flex_flow 设置容器

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super

软件架构模式:5 分钟阅读

原文: https://orkhanscience.medium.com/software-architecture-patterns-5-mins-read-e9e3c8eb47d2 软件架构模式:5 分钟阅读 当有人潜入软件工程世界时,有一天他需要学习软件架构模式的基础知识。当我刚接触编码时,我不知道从哪里获得简要介绍现有架构模式的资源,这样它就不会太详细和混乱,而是非常抽象和易