域适应论文简读

前言

基于深度学习的语义分割模型通过卷积操作提取图像局部区域的特征，周围像素的变化会对中心像素造成一定的影响。因此，多时相的遥感图像中植被、水体等显著的色彩差异以及建筑物本身的色彩不一致等均会导致语义分割精度下降，这会给遥感图像语义分割模型的泛化能力带来消极影响。具体来说，若存在有建筑物语义分割标签的遥感数据集Ａ，称之为源域，与 Ａ 区域相同、时相不同、无语义分割标签的遥感数据集Ｂ，称之为目标域。。用源域图像训练的语义分割权重直接预测目标域图像，由于两个域的色彩分布差异，其分割精度会下降。若目标域的数据重新制作标签进行训练，则需要耗费大量的人力与时间，效率低、成本高。

针对上述问题，域适应方法可以提高源域A语义分割模型的泛化能力，使其能够直接迁移到目标域B使用。

2020

1. An End-to-End Network for Remote Sensing Imagery Semantic Segmentation via Joint Pixel- and Representation-Level Domain Adaptation

摘要
在监督遥感图像分割中，需要逐像素的注释来获得足够的训练数据，这是一个非常耗时的过程。近年来，开发了一系列图像语义分割的领域适应方法。一般来说，这些方法在源域上进行训练，然后在目标域上进行验证，以避免重复标记新数据。然而，大多数领域自适应算法只试图在像素级或表示级中将源域和目标域对齐，而忽略了它们的合作。在本文中，我们提出了一种通过联合像素和表示级网络对齐来实现的无监督域自适应方法。JPR网络的主要新颖之处在于，它以端到端的方式实现了联合域自适应，从而避免了遥感图像中的多源问题。JPR网由两个分支组成，每个分支都是生成-对抗网络(GAN)。在一个分支中，像素级域适应通过循环GAN实现，可以将源域转移到目标域。在另一个分支中，通过对传输的源域图像和目标域图像之间的对抗性学习，实现了表示级的域的自适应。在公共数据集上的实验结果表明了JPR网络的有效性。

论文的贡献
JPR网络包含像素级和表示级的域自适应分支，每个分支都是一个GAN。在像素级分支中，域适应由cycle-GAN进行，它可以将图像样式从源域图像传输到需要迁移的源域图像。在另一个分支中，使用表示级自适应网络(RAN)来实现所传输的源域图像与目标域图像之间的域不变表示。我们的贡献总结如下：

• 提出了一种遥感图像语义分割的域适应方法，可以在标记数据集上进行训练，并将其模型应用于另一个未标记数据集。
• 我们构造了一个带有两个GAN的JPR网络，它可以同时以端到端的方式来训练像素级和表示级的分支。

2. Class-Aware Domain Adaptation for Semantic Segmentation of Remote Sensing Images

摘要
无监督域自适应(Unsupervised domain adaptation，UDA)对于遥感图像的语义分割是具有挑战性的，因为同一类的对象可能有不同的光谱，而不同一类的对象可能有相同的光谱。为了解决这个问题，我们提出了一种类感知生成对抗网络( class-aware generative adversarial network， CAGAN)，用于多源遥感图像的UDA语义分割，它明确地建模了带标签的源域图像和没有标签的目标域图像之间的分类内和分类间的差异。具体地说，首先，为了增强全局领域对准(global domain alignment， GDA)，我们提出了一种可转移的注意力对准( transferable attention alignment， TAA)程序，以在对抗性学习框架中添加更多的细粒度特征。然后，我们提出了一种新的语义分割中的类感知域对齐(class-aware domain alignment， CDA)方法。CDA主要包括两部分：第一部分是自适应类别选择，即缓解类不平衡，选择源和目标域中的可靠的每类别中心；第二部分是自适应类别对准，即建模仅源、仅目标、联合源和目标图像的类内紧凑性和类间可分离性。最后，CDA作为GDA的惩罚，以交替和迭代的方式训练GaGAN。在空间对空间、频谱到频谱方面的实验表明，CaGAN优于目前的方法，可以作为语义分割在跨空间和跨频谱遥感图像中综合应用的起点和基线。

论文的贡献
本文提出了CaGAN采用两种强大的技术：任务特定的分布对齐和CDA。GDA作为特定于任务的分割，可以通过添加更多的细粒度特征来加强GDA。此外，在不同领域学习每个类的相似原型，减少了类感知领域的差异，以实现类内的紧凑性和类间的可分离性。我们的具体贡献如下。

• 提出了一种新的分类选择方案来缓解类不平衡，并选择可靠的分类中心进行UDA语义分割。
• 提出了一种新的度量来减少类级域差异，以衡量类内紧凑性和源、源和目标数据的类间可分离性。
• 开发了一种TAA方法，通过在对抗性学习框架中添加更多的细粒度特征（例如包含在更低层的细节）来加强GDA。
• 提出了一种新的实用范式，CaGAN通过端到端渐近训练方案，用GDA和CDA来优化GAN。
• 我们提出的方法在四个遥感数据集上得到了验证，包括两个高分辨率数据集后坝和维兴根，一个合成全色数据集和一个高光谱数据集帕维亚U集。四个数据集的结果证明了空间与空间、谱对谱、空间对空间和谱与谱的域适应的性能。实验结果表明，该方法的性能优于目前的现有方法。此外，通过消融研究也验证了CDA和GDA的有效性。

3. DOMAIN ADAPTATION ON SEMANTIC SEGMENTATION FOR AERIAL IMAGES

摘要
语义分割近年来取得了重大进展。虽然深度神经网络能很好地进行语义分割，但它们的成功依赖于像素级的监督，这既昂贵又费时。此外，由于不同域中的数据分布之间存在域差距，使用来自一个域的数据进行训练可能不能很好地推广到来自新域的数据。这种域间隙在遥感图像中特别明显，其中视觉外观取决于环境成像的类型、季节、天气和环境成像的时间。随后，当使用预先训练的分割模型来分析具有不同特征的新数据时，这种分布差距会导致严重的精度损失。在本文中，我们提出了一种新的无监督域自适应框架来解决空中语义图像分割中的域位移。为此，我们通过学习源域和目标域之间的软标签分布差异来解决域的位移问题。此外，我们还在目标域上应用熵最小化来产生高自信的预测，而不是使用通过假标记的高自信的预测。我们使用ISPRS的挑战图像分割数据集证明了我们的域自适应框架的有效性，并在各种度量方面显示了比最先进的方法的改进。

论文的贡献

• 我们提出了一种简单而有效的端到端方法。与常见的具有对抗性且难以训练的方法相比，该方法并不是对抗性的。
• 我们采用熵最小化来提高航空图像语义分割的目标域的低置信度预测。
• 我们提出使用kl散度损失来调整源域和目标域的类分布来支持源域和目标域之间的外观差异。
• 我们证明，当在标准的ISPRS分割挑战数据集上进行评估时，我们的方法能够减轻源域和目标域之间的域转移，并超过最先进的方法。

4. StandardGAN

摘要
最近，语义分割的域适应已被积极研究，以提高深度学习模型的泛化能力。绝大多数的领域自适应方法都是处理单源的情况，即在单一源域上训练的模型被适应于目标域。然而，这些方法具有有限的实际应用，因为通常有多个数据分布不同的源域。在本工作中，我们处理了多源域自适应问题。我们的方法，即标准算法，将每个源域和目标域进行标准化，使所有数据都具有相似的数据分布。然后，我们使用标准化源域来训练分类器并分割标准化目标域。我们在两个遥感数据集上进行了广泛的实验，第一个数据由来自一个国家的多个城市组成，另一个包含来自不同国家的多个城市。我们的实验结果表明，由标准化器生成的标准化数据允许分类器产生显著更好的分割。

论文的贡献
在这项工作中，我们提出了新的StandardGAN，它克服了上述所有的挑战。主要的贡献有三。首先，我们介绍了数据标准化在GAN中的使用。其次，我们提出了一个能够生成数据样本，而不提供来自相同或类似分布的数据。最后，我们提出将这种多源域适应方案应用于在多个地理位置收集的´数据的语义分割。

5.FDA: Fourier Domain Adaptation for Semantic Segmentation

摘要
我们描述了一种简单的无监督域自适应方法，即通过交换一个目标分布的低频谱来减少源分布和目标分布之间的差异。我们在语义分割中说明了这种方法，其中密集注释的图像在一个领域（例如，合成数据)很丰富，但在另一个领域中难以获得(例如，真实图像）。目前最先进的方法是复杂的，一些需要对抗性的优化，以使一个神经网络的主干不变的离散的区域选择变量。我们的方法不需要任何训练来执行域对齐，只是一个简单的傅里叶变换及其逆。尽管它很简单，但当它集成到一个相对标准的语义分割模型中时，它在当前的基准测试中实现了最先进的性能。我们的结果表明，即使是简单的程序也可以减少更复杂的方法难以学习的数据的讨厌变异性。