业界最全遥感图像语义分割Benchmark发布啦！还有提高小目标分割性能的C2FNet等你pick！

遥感图像语义分割是图像分割领域的一个重要的垂类应用，有着广泛的需求和实际应用价值，尤其在灾害评估、农作物产量估计和土地变化监测等领域有着不可替代的作用。相比于自然图像的语义分割，遥感图像语义分割由于有其自身的特殊性和挑战性，如遥感图像存在大量微小目标，这就要求分割方法和结果要足够精细。

自然图像和遥感图像对比

基于飞桨PaddleSeg的遥感图像分割Benchmark

近年来，随着人工智能技术的发展，深度学习成为图像语义分割领域的主流技术。但由于遥感图像预处理、模型设置、训练超参数等条件的不同，导致很多研究者在同一个遥感语义分割数据集上取得的表现会存在较大的差异。为了解决这个问题，飞桨与百度研究院大数据实验室合作，基于飞桨图像分割套件PaddleSeg，联合发布了一套完整的遥感图像分割Benchmark。我们测试了不同模型在多个遥感图像语义分割数据集上的性能，为广大开发者提供了一套可复现比较的标准基线。和已经发表的遥感图像语义分割模型相比，PaddleSeg提供的模型在遥感图像语义分割领域可以取得SOTA性能，部分性能数据如下所示。

• 以下性能数据均来自：
  https://github.com/PaddlePaddle/PaddleSeg
  
  不同模型在iSAID数据集上的表现
  
  不同模型在ISPRS Potsdam数据集上的表现
  不同模型在ISPRS Vaihingen数据集上的表现

**

自监督预训练模型性能比较

**

此次，我们还引入了近期比较流行的自监督预训练模型，即首先在大规模遥感图像数据集上对骨干网络进行预训练，然后利用遥感图像语义分割数据在下游任务上进行微调。我们在Million-AID和DOTA2.0两个遥感图像数据集上应用自监督学习方法。为了获得充足的遥感数据，我们将两个遥感数据集内不同分辨率的图像剪裁至512x512。剪裁后的Million-AID数据集包含2,500,000张遥感图像切片，DOTA2.0数据集包含1,700,000张遥感图像切片，最终各方法性能数据如下所示。

• 以下性能数据均来自：
  https://github.com/PaddlePaddle/PaddleSeg
  
  基于ImageNet-1k的自监督预训练模型在遥感图像分割任务上的表现
  
  基于遥感图像的自监督预训练模型在遥感图像分割任务上的表现

遥感图像小目标分割模型C2FNet

针对遥感图像语义分割的小目标问题，我们提出了一个由粗粒度到细粒度的二阶段分割模型C2FNet。受到人工标注过程的启发，C2FNet首先对遥感图像进行一次粗分割，并通过粗分割结果定位出小目标所在区域，然后对小目标所在的区域进行放大和进一步的细分割，最后对两次分割结果进行融合，从而提升小目标分割能力。如图7所示是CFNet模型结构示意。

C2FNet模型示意图

C2FNet在主流遥感图像分割数据集iSAID上取得小目标分割SOTA性能。相比于基线模型，C2FNet对小目标如小型车辆、船舶、直升机等类别，mIoU最高提升可达2.19个百分点。并且C2FNet架构具有通用性，可适用于各种语义分割模型，对小目标分割结果均有不同程度的提升。

C2FNet在iSAID数据集上的表现。with ours表示采用C2FNet架构

注：SH表示船舶、LV表示大型车辆、SV表示小型车辆、HC表示直升机、SP表示游泳池、PL表示飞机、HA表示港口。

分割结果可视化

通过上图，我们可以看出C2FNet可以分割出更多的小目标像素，缓解基线模型对小目标分割能力不足的问题。

总结

针对遥感图像分割领域基线不统一的问题，我们利用PaddleSeg在不同的遥感分割数据集上进行了测试，提供了可比较的SOTA基线，完善了PaddleSeg对遥感图像的支持。同时引入近期比较流行的自监督预训练模型，给广大开发者提供了更多的选择。针对遥感图像的小目标分割问题，我们提出了C2FNet二阶段分割框架，在小目标分割任务上取得SOTA性能。

本次提供的模型在PaddleSeg仓库的develop分支下可下载，欢迎star支持！

https://github.com/PaddlePaddle/PaddleSeg/tree/develop/contrib/RSSegBenchmark

小伙伴们还在等什么，一起用PaddleSeg玩转遥感图像分割吧~

关注【飞桨PaddlePaddle】公众号获取更多技术内容~