【学习笔记3】用于深空探测的遥感影像分类资料调研

一.深空探测特点：
观测对象：对外天体
注：本课题的方向：地球中ZZ目标精准定位，故不对月球、火星遥感内容进行讨论。

• 探测空间环境的复杂性；光照、温度等，（具体指标见二.②但是否需要考虑需讨论）；
• 探测目标特性的未知性和不确定性；先验少，定标难；（样本不标准二.①）
• 体积、重量、功耗资源约束；（分布式计算）
• 探测距离远、数传能力相对有限（码速率低），对数据压缩及其有效性要求高（暂不做讨论）

二.已知深空探测需求：
遥感影像处理的深度学习技术
①.大规模的遥感影像样本库：
开放、统一基准的影像样本库，包含多光谱影像、高光谱影像、全色影像、SAR影像、三维立体影像，是遥感智能处理的数据基础。
遥感领域尚无大规模“像素-目标-场景”多层级任务的开放解译数据，公开数据集缺乏统一格式接口，远不能满足遥感智能解译要求。
1.样本数量少，缺少不同区域，不同时相的样本。
2.一般模仿普通图像的样本库，一般切割成固定大小。
3.通常样本库都是全色或者RGB彩色，缺少高光谱、红外、SAR遥感影像样本。
4.一般是二维样本，缺少三维目标样本库。

②.高效、可控的遥感专用深度学习框架与模型：
是遥感影像自动化处理与分析的操作系统，（已知可用tf、pytorch、paddlepaddle）

从图中我们可以看出，tf目前不支持多类型大幅遥感数据框架协同处理，同样不支持遥感地学特性（特性主要包括光谱覆盖范围0.45～2.35μm，共划分7个波段，空间分辨率等多个指标）https://wenku.baidu.com/view/319d116605a1b0717fd5360cba1aa81145318f5b.html
③.可靠的数据标注工具。
目前公开遥感数据集越来越增多，比如 NWPU、AID

三.一些方案的选择问题

1.计算方式
并行计算：同时使用多种计算资源解决计算问题的过程
分布式计算：见学习笔记①
并行计算和分布式计算的区别：
两者都是运用并行来获得更高性能，将大任务拆分成小任务。
如果处理单元共享内存，就称为并行计算，反之就是分布式计算。
分布式的任务包互相之间有独立性，上一个任务包的结果未返回或者结果处理错误对下一个任务包的处理几乎没有什么影响，因此分布式的实时性要求不高，而且允许存在计算错误（因为每个计算任务给很多计算机计算，上传结果到服务器后要比较结果，然后对结果差异大的进行验证）

多方计算网上资料非常少，而且遥感领域从未用过相关技术，故不做讨论。

2.语义分割精度

3.自监督学习
由于遥感影像存在时空异质性（在时空分布上的不均匀性及其复杂性），标注好的影像数量有限，难以完全覆盖种类多样的遥感场景，因此也无法适应全球背景下的遥感影像场景分类任务。自监督学习能够通过大量无监督的数据训练预训练模型，并将预训练模型在少量带标签样本上训练，以获得最佳的性能。
这一方法能够利用无监督数据获得对应任务的具有表征能力的特征，同时能够不依赖标注的前提下充分利用具有不同时空特征的遥感影像。
但同样存在问题，由于混合数据增强作用于遥感影响上会损害遥感影像中的关键信息（如增强后时相信息发生变化），从而引起模型学习到错误的特征。（自监督学习有一类对比学习的方法框架，其中一个关键步骤是对“实例”进行增强，数据增强以提高深度神经网络的泛化性为目的，是系统性地生成更多训练样本以扩充训练数据集的技术。）
这里根据论文提出了一个新的改进方案，更适用于遥感影像的自监督学习。
三分支自监督学习框架：
①.首先输入遥感影像，通过框架会利用三个不同的数据增强的方式对图像进行变换；
②.变换后的图像经过一个公有的深度卷积网络后，再经过一个非线性投影变换得到三个不同分支的特征向量；
③.通过让对比损失下降的方式，能够最大化三个分支中同一张影像的不同变换的特征向量之间的一致性，从而可以利用无标签样本获得预训练模型。

对于来自同一张影像的增强后影像，我们称它们互为正样本；而不同影响的增强后影像，我们称它们互为负样本。
正样本（i,j）之间的损失函数：

结果：

对于 AID 数据集中的 30 个类别共计 10000 张图片，其中预训练数据集 7500
张，微调数据集 2500 张。预训练阶段，使用全部的预训练数据集训练预训练模
型，微调阶段，使用了 10%的微调数据集用于微调预训练模型，其余 90%的微
调数据集用于测试模型的精度。如表二所示，每一个分支下的序号表示该分支所
采用的影像增强方法。第一分支均不对影像进行增强，其他分支使用了不同的独
立增强或者混合增强方式。
在 AID 数据集上，本文提出的三分支模型仍优于双分支模型。将混合增强的两种增强分离开进行独立增强可以获得更好的性能，且优于监督学习 Baseline 的性能。例如在 1 和 2 两种数据增强下，我们的模型性能提升了 9.56%；在 1 和 3 两种数据增强下，我们的模型性能提升了 11.12%； 在 1 和 4 两种数据增强下，我们的模型性能提升了 1.35%；在 1 和 5 两种数据增强下，我们的模型性能提升了 1.55%。同时数据增强方式也对实验结果影响较大，例如 1 和 4 组合相对于其他分支来说精度较高。

通过微调数据量和batch size，精度可以达到93.46%。
这是一个基于三分支自监督学习的遥感影像场景分类方法，该方法能够利用大量无标签的遥感影像样本训练预训练模型，再利用少量有标签样本微调预训练模型，从而获得超越传统监督训练的方式的模型性能。模型在 NWPU45 与 AID两个数据集上的实验结果表明，在遥感影像上，三分支独立增强的模型性能优于双分支混合增强的模型，且尺度裁剪与缩放这种增强方式对于模型精度的影响最大，我认为如果能针对我们的数据集加入新的影像增强方式，应该性能会有更高的提升现在是【旋转变换】【对比度变换】【灰度变换】，之后可以在这个方向进一步研究。
四.一些可能具有可行性的例程：

遥感分类部分
1.《Beyond RGB: Very High Resolution Urban Remote Sensing With Multimodal Deep Networks》
具有多模式深度网络的超高分辨率城市遥感

paper：https://arxiv.org/pdf/1711.08681v1.pdf
code：https://github.com/nshaud/DeepNetsForEO

2.《EarthMapper: A Tool Box for the Semantic Segmentation of Remote Sensing Imagery》
深度学习继续推动颜色（即 RGB）图像语义分割的最先进性能；然而，由于许多遥感传感器（即高光谱图像 (HSI)）缺乏注释数据，研究人员无法利用最近的成功。由于生成特定于传感器的数据集耗时且成本高昂，因此遥感研究人员采用了深度无监督特征提取。尽管这些方法在当前的 HSI 基准测试中取得了最先进的性能，但许多研究人员并不容易使用其中的许多工具。在这篇论文中，我们介绍了一个code，我们称之为 EarthMapper，用于非 RGB 遥感图像的语义分割。它包括自学的空间光谱特征提取、各种标准和深度学习分类器，以及用于后处理的无向图模型。我们在印度松树和帕维亚大学数据集上评估了 EarthMapper，并已发布此代码供公众使用

code：https://github.com/rmkemker/EarthMapper
paper：https://arxiv.org/pdf/1804.00292v1.pdf

分布式机器学习部分：
1.TF.Learn：TensorFlow 的分布式机器学习高级模块

2.RLlib: Abstractions for Distributed Reinforcement Learning
强化学习（RL）算法涉及高度不规则计算模式的深层嵌套，每一种模式通常都展示了分布式计算的机会。我们主张通过采用自顶向下的分层控制算法，以可组合的方式分布RL组件，从而将并行性和资源需求封装在短时间运行的计算任务中。我们通过RLlib（一个为RL提供可伸缩软件原语的库）展示了这一原则的好处。这些原语使一系列算法能够以高性能、可扩展性和大量代码重用的方式实现。RLlib可在https://rllib.io/.
paper：https://arxiv.org/pdf/1712.09381v4.pdf