【高校科研前沿】北师大陈晋教授团队在遥感顶刊发表最新成果:ClearSCD模型:在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测

本文主要是介绍【高校科研前沿】北师大陈晋教授团队在遥感顶刊发表最新成果:ClearSCD模型:在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

01文章简介

论文名称The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery(ClearSCD模型:在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测)

第一作者及通讯作者:Kai Tang;陈晋(教授)

第一作者及通讯作者单位:北京师范大学地理学部

文章发表期刊:《ISPRS Journal of Photogrammetry and Remote Sensing》(遥感领域顶级期刊&中科院1区Top期刊|最新影响因子:12.4)

期刊平均审稿速度:9个月(参考)

02 研究内容

1.文章摘要

        地球表面持续存在着众多人为和自然变化。高空间分辨率遥感图像在全球范围内准确揭示这些变化提供了独特的视角。利用高空间分辨率遥感图像进行语义变化检测(SCD)已成为在语义层面跟踪地表类型演变的常用技术。然而,现有的语义变化检测方法很少模拟语义与变化之间的依赖关系,导致检测复杂地表变化的精度不理想。针对这一局限性,该研究提出了一个多任务学习模型ClearSCD。该模型通过三个创新模块利用语义与变化之间的互利关系。第一个模块将不同时间的语义特征解释为表面类型的后验概率,以检测二元变化信息;第二个模块学习地表类型随时间变化与二元变化信息之间的相关性;第三个模块使用语义增强对比学习模块,以提高其他两个模块的性能。该研究在两个大型基准数据集(Hi-UCD mini和Hi-UCD)和一个真实应用场景(称为LsSCD)中测试了ClearSCD,结果表明ClearSCD在mIoUsc指标上比现有方法高出1.23% 至19.34%。此外,消融实验证明了三个新模块对性能提高的独特贡献。在不同变化场景下的高计算效率和强大性能表明ClearSCD是利用高空间分辨率遥感图像探测地表语义变化信息的实用工具。代码和LsSCD数据集可在https://github.com/tangkai-RS/ClearSCD获取。

2.研究背景

        最近,基于深度学习的多任务学习模型在SCD中显示出巨大的潜力,因为它可以有效地克服变化向量分析方法中的目标分离问题,即作为单独的目标获取二元变化和语义信息,以及通过参数和特征共享以及多分支网络的同时优化来克服后分类比较方法的误差积累问题。此外,通过间接地从两个时间点的地表类型(LULC)语义派生出“from-to”类型,这种方法允许使用比“from-to类型样本更容易获得的LULC样本进行模型训练。然而,基于深度学习的多任务SCD模型仍然存在不足。

        首先,尽管目前基于深度学习的多任务学习SCD模型利用了语义信息来提高二元变化分割的性能,但是忽略了二元变化信息在优化语义信息方面的潜力。即现有方法通过融合语义特征来获得二元变化信息,而不再使用二元变化信息来建立双时态语义的相关性。模型在两个方面之间的不完全连接可能导致两个语义分割分支输出的语义类型与来自变化解码器的二元变化信息不匹配。具体来说,变化解码器识别的非变化区域在两个语义分割分支上可能表现出不同的LULC类型,因为它们每次都是由两个时刻的语义解码器独立输出的。类似地,由变化解码器输出的变化区域在两个时刻可以具有相同的LULC类型。其次,变化解码器融合两个时刻的语义编码器提取的高维深度特征来输出二元变化信息。这些特征缺乏明确的语义,阻碍了解码器利用变化信息与语义信息之间的因果关系。这种复杂性使得优化过程的计算量很大,使得模型不实用。第三,准确的语义信息是多任务学习SCD方法性能的基础。然而,现有的方法通常只使用交叉熵损失函数进行语义优化,其优化重点是类间边界,而忽略了类之间的相似度度量。这种局限性在高空间分辨率影像中尤为突出,因为复杂的地表景观和不同的成像条件会进一步混淆语义。

     为了解决现有基于多任务学习的SCD模型的三个不足,该研究提出了一个综合利用语义和变化关系的语义变化检测模型(Comprehensively leveraging semantics and change relationships for semantic change detection),称为ClearSCD。

3.研究方法

        ClearSCD的灵感来自于多任务学习模型中语义和变化信息的相互强化。ClearSCD的主要创新如下:首先,该研究引入了一个监督语义增强对比学习(SACL)模块,该模块利用局部和全局数据特征,以及跨时间差异来增强语义特征的类内相似性和类间可分性。其次,设计了双时态语义相关性捕获机制(BSCC),其使用变化分支的输出来反向细化双时相语义信息。最后,提出了深度分类后验概率空间模块(deep CVAPS),该模块通过整合语义后验概率代替高维特征来进行二元变化信息解码。

图片

图1.ClearSCD总体框架

图片

图2.SACL模块示意图

图片

图3.Deep CVAPS模块示意图

图片

图4.BSCC机制示意图

4.研究主要结果

        该研究在Hi-UCD和Hi-UCD mini两个大型基准数据集上进行验证。同时,为了验证ClearSCD在现实应用场景的实用价值,该研究构建了LsSCD数据集。验证结果表明ClearSCD在mIoUsc指标上比现有方法高出1.23%至19.34%。

表1.Hi-UCD mini数据集定量评价结果

图片

表2.Hi-UCD数据集定量评价结果

图片

表3.LsSCD数据集定量评价结果

图片

图片

图5.ClearSCD与对比方法在LsSCD数据集的可视化结果

5.研究结论

        通过实验证明:ClearSCD在不同变化场景下的性能具有鲁棒性,是一种在能够自动化获取地表语义变化信息的有力工具

03 文章引用

文章信息:Kai Tang, Fei Xu, Xuehong Chen, Qi Dong, Yuheng Yuan, Jin Chen,The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery,ISPRS Journal of Photogrammetry and Remote Sensing,Volume 211, 2024,Pages 299-317,ISSN 0924-2716,https://doi.org/10.1016/j. isprsjprs.2024.04.013.

代码链接:https://github.com/tangkai-RS/ClearSCD

信息来源:http://www.chen-lab.club/

这篇关于【高校科研前沿】北师大陈晋教授团队在遥感顶刊发表最新成果:ClearSCD模型:在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/981164

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES

最新Spring Security实战教程之Spring Security安全框架指南

《最新SpringSecurity实战教程之SpringSecurity安全框架指南》SpringSecurity是Spring生态系统中的核心组件,提供认证、授权和防护机制,以保护应用免受各种安... 目录前言什么是Spring Security?同类框架对比Spring Security典型应用场景传统

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《OpenManus本地部署实战亲测有效完全免费(最新推荐)》文章介绍了如何在本地部署OpenManus大语言模型,包括环境搭建、LLM编程接口配置和测试步骤,本文给大家讲解的非常详细,感兴趣的朋友一... 目录1.概况2.环境搭建2.1安装miniconda或者anaconda2.2 LLM编程接口配置2

Mysql中InnoDB与MyISAM索引差异详解(最新整理)

《Mysql中InnoDB与MyISAM索引差异详解(最新整理)》InnoDB和MyISAM在索引实现和特性上有差异,包括聚集索引、非聚集索引、事务支持、并发控制、覆盖索引、主键约束、外键支持和物理存... 目录1. 索引类型与数据存储方式InnoDBMyISAM2. 事务与并发控制InnoDBMyISAM

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

StarRocks索引详解(最新整理)

《StarRocks索引详解(最新整理)》StarRocks支持多种索引类型,包括主键索引、前缀索引、Bitmap索引和Bloomfilter索引,这些索引类型适用于不同场景,如唯一性约束、减少索引空... 目录1. 主键索引(Primary Key Index)2. 前缀索引(Prefix Index /

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo