Deep Relation Network for Hyperspectral Image Few-Shot Classification

Remote Sens. 2020, 12(6), 923;
1、摘要
这篇文章旨在探索如何仅使用少量标记样品对新的高光谱图像进行准确分类。使用元学习（meta-learning）来训练分类器。本文提出的方法能够用少量的样本达到很好的分类效果，主要基于以下两个原因：第一，使用元学习策略来设计特征学习模块和关系学习模块；第二，本文提出的分类器能够持续的从大量不同的样本中学习如何增强自己的学习能力。
2、方法
1)few-shot classification
论文提出的针对于小样本的分类方法共分为三个步骤。首先，使用元学习的方法在source data set上训练整个模型，文章中的source data set使用的是Houston,Botswana, KSC,Chikusei四个高光谱图像；然后使用与source data set不同的数据集target data set（UP，PC，Salinas），从中选取少量的样本作为fine-tuning data set（同时也是few-shot 小样本）来对第一步训练的模型进行微调；最后，target data set剩余的数据作为测试数据检验整个模型的分类效果。

2）meta-learning
元学习也可以被视为传递特征知识的学习过程。它是一个基于任务的学习策略。一个任务可以分为a support set 和 a query set。在source data set上使用元学习方法，假设source data set共有Csrc个类，元学习的一个任务就是从中选取C个类，在这C个类中每类选取K个样本作为support set，每类N个样本作为query set，（K<<N。保证是few-shot），同时还要满足C<Csrc，这样才能有充分多的任务来保证网络的稳定性。经过以上步骤，就形成了建立在source data上的C-way K-shot N-query学习任务。

3）Relation Network Model
本文提出的高光谱图像的小样本分类元学习共包含三个部分，特征提取、特征融合、关系学习。

其中，特征提取部分采用三维卷积网络，网络结构如下图4所示

卷积核的大小为3 × 3 × 3，个数从8到16，再到32。假设来自support set 和query set的样本分别为Xi和Xj，经过特征提取后，提取到的特征为f(Xi)和f(Xj), f(Xi)和f(Xj)在深层维度进行特征融合，融合后称为C(f(Xi),f(Xj))。最后是关系学习模块，关系学习模块的目的是将每个融合C(f(Xi),f(Xj))映射到测量两个样本之间的相似性的关系参数上。这一部分采用2维卷积网络，网络结构如下图5所示。当两个样本属于同一类时，relation score接近于1，否则的话是0.

3、结论
本文提出了一种基于关联网络的HSI小样本分类方法。 元学习是该方法的核心，网络设置实现了在深度度量空间中以比较形式学习如何学习的能力，也就是说，属于同一类别的样本之间的关系得分很高，而属于不同类别的样本之间的关系得分较低。受益于从不同数据集生成的大量任务，该模型的泛化能力不断增强。 在三种不同的目标数据集上进行的实验表明，在只有少数标记样本可用的情况下，该方法优于传统的半监督SVM和半监督深度学习方法。
,