本文主要是介绍SSR-NET:用于高光谱和多光谱图像融合的空间-光谱重建网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
标题:SSR-NET: Spatial–Spectral Reconstruction Network
for Hyperspectral and Multispectral Image Fusion
具体方法: 本文所提出的SSR-NET是一个物理上直接的CNN模型,主要有三个模块组成:
(1)CMMI (跨模式消息插入)
(2)具有空间边缘损失的SpatRN
(3)具有频谱边缘损耗的SpecRN.
参数表示: R表示参考的HR-HSI, Z 表示估计的HR-HSI
X表示LR-HSI Y表示HR-MSI
X和Y分别以空间模式和光谱模式进行采样,这些模式通过下列公式:
其中,X先通过高斯滤波器进行模糊,然后通过双线性运算以与Z的比率r进行空间下采样。
Y是以相等的频带间隔从Z采样的。
Y(k)表示Y的第k个频带。 {s1, . . . , sl} 表示HR-HSI中的采样频带数
CMMI: CMMI的目标是生成一个初步的级联超多重光谱图像(HMSI),表示为 Zpre∈RH×W×L,它利用了HR-MSI的空间信息和LR-HSI的光谱信息,保留了它们的相对空间-光谱位置。
通过利用双线性插值,X的LR-HSI将被上采样到与空间模式中Y的HR-MSI相同的大小,表示为
其中r是上采样率,X↑ 是上采样的LR-HSI
然后,HR-MSI和上采样的LR-HSI将被预先融合,其公式为:
其中Zpre表示HMSI,并且Zpre(k)是HMSI的第k频带。类似地,Y(k)和X(k)↑ 分别表示HR-MSI的第k个频带和上采样的LR-HSI。通过这种方式,级联的HMSI可以包含HR-MSI和LR-HSI的空间和频谱信息。
为了初步传递空间和光谱模式之间的信息,在HMSI中应用了核大小设置为3×3、空间高度和宽度步长设置为1的卷积层。它表示为
其中ReLU是整流线性单元的非线性激活函数。
SpatRN 具有空间边缘损耗的空间重构网络:
这篇关于SSR-NET:用于高光谱和多光谱图像融合的空间-光谱重建网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!