11.09-11.13（学习记录）【Super-resolution\remote sensing super-resolution\pansharpening\HSI\MSI\PA】

已完成学习任务

1、了解一下这几个task：super-resolution、remote sensing super-resolution、pansharpening，知道他们是做什么
2、找一下有没有同时包含HSI（hyperspectral image）、MSI（multispectral image）、PAN（panchromatic image）的数据集

3、CUDC全国大学生英语辩论赛国赛（11.11-11.12）

4、取消科目二预约（多么痛的领悟，预约错了地点，还必须回家去车管所办理取消预约，然后再重新约，没别的事了整天在家和学校两头跑，还好离得近www）

具体笔记记录 

1. Super-resolution

What is resolution?

Resolution refers to the size of the image in terms of height x width x color channels, (color channels usually being 3, RGB). Resolution transcends size however, since it is usually implies that an HD image with 1024 x 780 resolution would look better than a low-resolution 32x32 image that is expanded to be of size 1024 x 780.

What is super-resolution?

Video super-resolution is the task of upscaling a video from a low-resolution to a high-resolution.
超分辨率(Super-Resolution)通过硬件或软件方法提高原有图像的分辨率，通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建，可以通过人工智能深度学习将低分辨率视频重建成高分辨率视频模糊图像、视频瞬间变高清，为移动端为用户带来极致视频体验。

广义的超分辨率 (SR, Super Resolution) 是指一类用于提升图像分辨率的技术。这类技术已经存在了很长一段时间，应用也非常广泛。事实上，每当我们需要以不同于原始分辨率的尺寸来显示或存储图像时，就已经使用了SR，只不过使用的是其中最为简单的那类算法而已。

随着图像处理理论的发展，以及机器学习的普及和更高性能的处理器的出现，各类更优秀的SR算法陆续出现。现在我们提及SR时，往往是特指依靠机器学习来实现的图像放大算法。下文提到SR时也均特指这类算法。它能够提供远超于传统图像放大算法的图像质量。当然，运算量也要高得多。

简单来说就是增大图像的分辨率，防止其图像质量下降。

注：（水印挡住了，最后一个是复合网络）

超分辨率理论描述

SR算法本质上和传统图像放大算法没什么不同，都是利用已有的图像信息去预测需要的像素点。只不过传统算法的预测模型非常简单，可以通过人工设计的方式实现。例如双线性插值，就是利用目标像素周围的四个点来做预测，离目标位置越近的点权重越大，通过一个简单的公式就能得到结果: f(x,y)=f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy

而现代SR算法为了得到更精确的预测结果，其预测模型则复杂了很多。一般有多个卷积层和激活层，会利用到目标像素周围很大一片区域的图像信息，包含成千上万个模型参数，纯靠人工设计是不现实的。所以人们才会依靠机器学习的方式来决定参数。这种做法还附带有不少好处。例如你无需对图像处理有深厚的理解就可以训练模型，再比如你可以根据自己的应用场景调整训练集，从而得到更适合你的预测模型。

超分辨率技术描述

超分辨率技术可以分为以下两种：
1）只参考当前低分辨率图像，不依赖其他相关图像的超分辨率技术，称之为单幅图像的超分辨率（single image super resolution），也可以称之为图像插值（image interpolation）；
2）参考多幅图像或多个视频帧的超分辨率技术，称之为多帧视频/多图的超分辨率（multi-frame super resolution）。

根据图像超分辨率的技术路线进行分类，图像超分辨率技术大致可以分为以下几类：
基于定参数的线性滤波器技术；
基于图像边缘结构的技术；
基于图像重构约束的技术和基于机器学习的技术。

简单来说，超分辨率方法分为三类：基于插值的方法，基于重建的方法和基于学习的方法（即深度学习方法）。

另外，根据输入输出的不同，SR方法也可以按照下图分类：

传统方法中，基于插值的方法包括最近邻插值、双线性插值和双三次插值等，具有算法简单，处理速度快，但在诸如边缘、纹理等像素突变处的处理效果差，易出现锯齿和块效应；基于重构的方法包括频域方法和空域方法，但无法很好的模拟现实场景；基于浅层学习的方法主要包括机器学习、流形学习、样本学习和稀疏编码等，用于数据量较小的情况，人为设计特征过程较复杂。

基于深度学习的方法可以分为为基于卷积神经网络的SR方法、基于残差网络(residual network, ResNet)的SR方法和基于生成对抗网络(generative adversarial networks, GAN)的SR方法。

超分辨率入门综述https://zhuanlan.zhihu.com/p/558813267

具体的网络学习方法可以参考上述网址

视频超分辨率和图像超分辨率

Example-based video deblurring and super-resolution aim to recover the rich details and the clear texture from blurry and low-resolution video frames, based on prior examples under the form of degraded blurry and low-resolution (LR) and corresponding sharp and highresolution (HR) videos.

相较于图像超分辨率，视频超分辨率技术则更加复杂，不仅需要生成细节丰富的一帧帧图像，还要保持图像之间的连贯性。但同时，视频超分辨技术也有着相当大的应用价值和广泛的应用场景。因为基于深度学习的超分技术能较好的恢复图像细节. 在视频发送源可能因为种种客观限制， 无法提供高分辨率的视频. 比如摄像头采集能力不足， 网络带宽不足，源端处理能力不足等， 在这些情形下， 如果云端或者接收端的处理能力满足要求， 可以借助超分技术， 对于视频质量做恢复， 呈现给用户高质量的视频. 其作为图像的后处理技术更能匹配更大分辨率的显示设备，提升图像的主观视觉效果。在压缩传输的应用场景中，为了在同等带宽下获得更高的图像质量，超分辨率算法适用于低带宽时低质量图像上的增强，在带宽充足时仍然应该传输高分辨率图像，即下采样—超分辨率的技术，受限于其性能上限，仅仅在低码率传输条件下，采用超分辨率增强的图像质量明显优于的在大图像上直接编码（即同等质量节省带宽）

2. remote sensing super-resolution

超分辨率(SR)技术是用单幅低分辨率(LR)图像或LR（低分辨率）图像序列重建HR（高分辨率）图像。LR图像序列的亚像素移动通常用于SR图像重建。

遥感观测模型

图像在采集过程中会出现各种退化。降级过程可以通过四种操作来建模。

• 翘曲（Warping）：平移、旋转和缩放。
• 模糊（Blurring）：低通滤波器。
• 下采样（Down-sampling）：按q1×q2的系数进行下采样。
• 噪声（Noise）：大概率的白高斯（white Gaussian）。

 遥感中的SR模型

超分辨率重建方法是指从低分辨率（LR）图像序列中生成高分辨率（HR）图像的技术。如本文前面所述，遥感中使用的SR图像重建技术可分为四类。

• (i)基于学习的方法
• (ii)插值法
• (iii)基于频域的方法
• (iv)基于概率论的方法

3.1 基于学习的SR模型

基于学习的方法是目前SR重建的一个重要研究方向。它的目的是通过训练数据库中LR和HR图像之间的对应块（patch）来学习事先的映射知识。映射模型可以是一组学习到的插值核，也可以是LR图像块的查找表或LR图像块和HR图像块之间的映射系数。
稀疏表示法是基于学习的SR方法之一。它最早是由Yang等人在[8]中提出的，可以分为三个步骤。首先，从训练集中简单随机采样的训练补丁中学习一个超完全字典。然后，将每个测试补丁用具有稀疏系数的过完备字典表示。最后，用加权系数重建HR图像。

在[9]中，应用稀疏表示法重建遥感图像。过完全字典可以分为两部分，原始字典对和残差字典对。第一种是从单幅LR图像中获得初始HR遥感图像。第二种是基于学习的方法，从原始HR图像中重建有损信息。据考证，采用这种方法，可以有效提高分辨率。支持向量回归（SVR）是一种内核回归方法，具有良好的非线性映射能力。Zhang等人在[10]中利用支持向量回归(SVR)方法学习HR图像和LR图像之间的先验知识。将[10]中缺乏高频的插值图像过度采样到相同分辨率，采用双线插值法进行插值。在重建HR图像时，利用从SVR中学到的先验知识来估计高频成分。[10]的目的是将LR ETM+图像转换为单一的HR ASTER图像。[10]的实验结果表明，即使是少量的样本，SVR也能很好地学习模型。

3.2 基于内插的SR模型

与基于学习的方法相比，SR图像重建的插值法是一种比较直观的方法。它可以分为三个步骤。

识别步骤：SR重建的基础。
重建步骤。将LR图像插值到规则的HR网格中。插值方法可以是二次插值、投影到凸集上(POCS)、迭代反向传播(IBP)等。
去模糊化步骤：去除模糊和噪声，提高重建图像的分辨率。
在这三个步骤中，步骤(ii)是插值SR的核心步骤。步骤(i)和(iii)是辅助步骤。Aguena等[11]采用POCS方法来做融合过程中的插值。POCS算法最早是由Stark和Oskoui[7]提出的，他们成功地将先验知识以凸集的形式结合到模型中。

[11]的目标是得到多光谱(CBERS-1的波段)和全色(Landsat-7的波段)图像的组合特征。该过程可分为两步：插值重建和综合。在这里，我们只介绍重建过程。POCS最重要的特点是可以很容易地将解的先验信息纳入到模型中，找到一个满足限制条件的点。凸约束集由所有的限制条件组成。通过迭代投影到凸集上，可以在交点中找到所需的点，并将其纳入SR重建图像中。

迭代反向传播(IBP)也是最流行的插值方法之一。在[12]中，通过成像模糊模拟LR图像与观察到的LR图像之间的差值进行反向传播，从而估算出SR图像。重建过程是通过迭代最小化误差能量来实现的。在原有方法的基础上，Li等人[13]对遥感图像应用了改进的IBP，并对每个传感器分别选择模糊核。此外，在反向传播过程中，对误差图像采用了不同的系数。通过对一组由一个ETM+通道生成的图像和一组ALOS图像序列进行实验，将得到SR重建结果。

3.3 频域SR模型

频域的SR模型通过傅里叶变换和反傅里叶变换（或其他变换，如小波变换）来解决重建问题。频域SR重建的主要思想是以较低的计算复杂度直观地增强高分辨率信息。它可以分为四个步骤。

(i)图像注册；
(ii)向频域变换；
(iii)重建；
(iv)回空间域变换。
为了提高图像在频域的分辨率，我们可以增加图像的高频成分。其中一个可行的方法是避免别名效应。Chen等[14]采用频谱去锯齿的方法重建HR图像。LR图像首先由原始HR遥感图像的子采样和傅里叶变换生成。为了得到转换参数，采用相位相关法。有了转换参数和光谱去锯齿法，就可以重建图像。最后，通过反傅里叶变换生成HR图像。与双线性插值法相比，去锯齿法的结果表现更好。基于小波插值的方法将小波变换和插值结合起来，最早由Nguyen和Milanfar[15][16]提出。

在[17]中，Tao等人首先用DWT方法对遥感图像进行分解。小波系数插值图像可以通过最近插值、双线插值或双立方插值生成。通过反离散小波变换得到SR图像。结果表明，小波-小波插值组合算法有效地保护了原HR图像的高频信息。傅里叶-小波正则化解卷(ForWarD)是另一种恢复HR图像的方法[18][19]。它利用傅里叶域和小波域的标量收缩来实现噪声正则化和重建。ForWarD是一种两步算法。第一步是基于傅里叶的Weiner滤波，这是为了建立一个锐利的图像。第二步是应用静止小波变换进行去噪。对NASA的几幅卫星图像进行了测试。结果表明，该算法可以应用于任何分辨率的图像，以实现高分辨率。

3.4 概率论SR模型

由于SR重构问题是一个不确定的问题，因此必须附加一些先验条件和限制，以将SR重构问题转化为一个确定的问题.，由此提出了一些基于概率论的方法。贝叶斯方法由于可以将先验概率密度函数与先验约束条件结合起来，因此在SR重建中得到了广泛的应用。其基本思想是同时考虑LR观测图像和未知HR图像的先验知识，用贝叶斯理论得到HR图像。最大似然(ML)方法是最流行的基于贝叶斯的方法之一，它是由Tom和Katsaggelos[20]首先提出的。解决的方法是找到HR图像的ML估计方法，关键点是求解概率密度函数（PDF）。

最大后验(MAP)方法是另一种基于贝叶斯的流行方法，该方法假设在LR图像序列存在的条件下，通过最大化其后验概率可以获取HR图像。Wang等[21]提出了一种基于迭代优化的MAP方法，在保留多光谱图像光谱信息的前提下重建SR图像。除了一组SPOT XS LR图像外，还需要全色图像。通过高通滤波器，可以提炼出高频信息，用于与插值的多光谱图像相结合。基于映射计算均值和方差后，将得到初级HR图像。然后提出基于MAP的迭代优化方法，以收到进一步提高分辨率和避免质量下降的效果。通过这种方法，重建后的HR图像的空间分辨率得到提升，且光谱信息损失小。

总变异(TV)是一种有效的基于正则化的SR方法，具有保留边缘的能力。然而，伪边缘也可以被保留并产生平滑区域。针对这一缺点，袁志明等[22]提出了一种基于遥感图像的区域空间自适应总变异(RSATV)模型，明显改善了伪边缘。首先，逐个像素提取空间信息，并采用中值滤波器对其进行增强。然后构建空间权重，并进行过滤。之后，采用K-means聚类进行分类。通过这两个过滤过程，分别对伪边缘进行抑制。最后，对于每个区域，聚类中心值代表正则化强度。所以，总变正则化由基于像素的转变为基于区域的。在遥感上测试，这种方法不仅可以保留边缘，而且对噪声也很健壮。tikhonov正则化也是一种SR重建方法，它以Tikhonov A N命名[23]。它是解决不确定问题的一种常用方法。通过加法，Tikhonov正则化在均方误差成本函数的基础上生成原图像的先验概率函数。与其他正则化方法相比，Tikhonov正则化可以同时保持边缘和平滑噪声。

基于深度学习的方法

除此之外，还有基于深度学习的遥感图像超分重建方法

CHENG K Y,RONG L,JIANG S L,et al.CCFAI: Survey of deep-learning approaches for remote sensing super-resolution reconstruction[J].Journal of Zhengzhou University (Engineering Science),2022,43(5):8-16.

3. Pansharpening 高光谱

Pansharpening是一种图像增强技术，用于结合多光谱图像和全色（高空间分辨率）图像以获得高质量的高空间分辨率多光谱图像。它在遥感图像处理领域广泛应用，有助于提高图像的可视化效果和分类结果。

在传统遥感观测中，多光谱图像和全色图像是分开获取的。多光谱图像包含了不同波段的信息，但其空间分辨率较低。而全色图像则具有较高的空间分辨率，但波段信息较少。Pansharpening技术就是将这两个图像进行融合，以达到同时具有高空间分辨率和多波段信息的影像。

Pansharpening的基本原理是通过将全色图像的细节信息和多光谱图像的颜色信息相结合，从而增强多光谱图像的空间分辨率。常用的Pansharpening方法包括Intensity-Hue-Saturation(IHS)方法、Principal Component Analysis(PCA)方法、Brovey Transform方法等。

对于IHS方法，它将全色图像与多光谱图像进行IHS变换。在该变换中，亮度（Intensity）分量来自全色图像，色调（Hue）和饱和度（Saturation）分量来自多光谱图像。通过合并这三个分量，获得高空间分辨率的多光谱图像。

对于PCA方法，它首先对多光谱图像进行主成分分析，将其转换为一组具有较低相关性的主成分图像。然后，将全色图像与这些主成分图像进行相关性调整，以提高多光谱图像的空间分辨率。

而Brovey Transform方法则是通过将全色图像按比例地与多光谱图像的各个波段进行加权融合，从而实现Pansharpening。

总的来说，Pansharpening技术可以通过融合多光谱图像和全色图像的信息，提高遥感图像的空间分辨率和颜色还原效果，对于遥感图像解译、分类等应用具有很大的帮助。

4. 同时包含HSI（hyperspectral image）、MSI（multispectral image）、PAN（panchromatic image）的数据集

HSI（hyperspectral image）：高光谱影像，也称为光谱立方体影像，是一种在光谱范围内具有连续光谱信息的图像。与传统的RGB图像不同，HSI图像具有数百个或更多的连续光谱波段，每个波段都包含了物体的光谱信息。HSI图像可以提供更详细的光谱信息，有利于物体的分类、辨别和定量分析。

MSI（multispectral image）：多光谱影像，是一种在特定波段范围内包含有限波段的图像。与HSI图像相比，MSI图像提供的波段数量相对较少，一般为10至100个。每个波段对应一个特定的光谱范围，用来捕捉某些特定的地物信息。MSI图像可用于土地利用分类、农作物监测等应用。

PAN（panchromatic image）：全色影像，是一种只包含单一波段的高分辨率图像。PAN图像通常采用较高的空间分辨率，但不具备光谱信息。由于其细节丰富和高分辨率的特点，PAN图像常与低分辨率的MSI图像进行融合，以提供高空间分辨率和光谱信息。PAN图像广泛应用于航空摄影、遥感图像处理等领域。

1. AVIRIS（Airborne Visible/Infrared Imaging Spectrometer）数据集：
AVIRIS是一项由美国地质调查局（USGS）和NASA合作进行的遥感项目。AVIRIS传感器是一种高光谱成像仪，可提供高光谱（HSI）数据。该数据集使用飞机进行观测，收集了具有细微光谱特征的可见光和红外光谱信息。AVIRIS数据集在地质勘探、环境监测、农业、林业和地表变化等领域被广泛应用。

2. WorldView-3数据集：
WorldView-3是一颗由DigitalGlobe公司发射的商业卫星。它是高分辨率遥感图像数据的重要来源之一，提供高分辨率的多光谱（MSI）和全色（PAN）数据。WorldView-3卫星的光学传感器能够观测不同光谱范围的图像，并提供大量的空间和光谱信息。这使得WorldView-3数据集在城市规划、土地利用、资源管理等领域具有重要应用价值。

3. Hyperion数据集：
Hyperion是一种由NASA发射的高光谱成像仪，搭载在EO-1（Earth Observing-1）卫星上。它提供了具有高光谱（HSI）分辨率和全色（PAN）图像的数据集。Hyperion传感器能够通过收集数百个连续光谱波段，获取详细的光谱信息。该数据集在地质研究、环境监测、农业、气候研究等领域发挥了关键作用。

4. QuickBird数据集：
QuickBird是DigitalGlobe公司推出的一种高分辨率商业卫星。它提供高空间分辨率的多光谱（MSI）和全色（PAN）图像数据。QuickBird卫星的光学传感器能够获取细微光谱特征，并提供高质量的空间分辨率图像。该数据集在地籍测量、城市规划、环境监测、农业等领域得到广泛应用。

以上数据集都提供了不同波段和不同空间分辨率的图像数据。它们在遥感图像处理、地球科学研究、环境监测等领域发挥重要作用，为了解地球表面和环境变化提供了重要的信息。这些数据集广泛应用于地理信息系统（GIS）、土地利用规划、资源调查和监测等领域。

需要注意的是，HSI、MSI和PAN数据集可以具有不同的空间和光谱分辨率，覆盖的波段数也不尽相同。因此，根据具体应用需求，选择合适的数据集进行使用。此外，还有其他数据集也提供了HSI、MSI和PAN数据，可以根据实际需要进行查找和选择。

HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion

未来一周学习计划

考科二！！！然后开始认真学深度学习+完成师姐布置的小任务（比如上述内容）

将高光谱、多光谱和全色图像进行融合https://blog.csdn.net/weixin_43690932/article/details/128360103