【论文速递】TNNLS2022 - 一种用于小样本分割的互监督图注意网络_充分利用有限样本的视角

本文主要是介绍【论文速递】TNNLS2022 - 一种用于小样本分割的互监督图注意网络_充分利用有限样本的视角,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【论文速递】TNNLS2022 - 一种用于小样本分割的互监督图注意网络_充分利用有限样本的视角

【论文原文】:A Mutually Supervised Graph Attention Network for Few-Shot Segmentation: The Perspective of Fully Utilizing Limited Samples

获取地址:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9733415
CSDN下载:https://download.csdn.net/download/qq_36396104/87379693

博主关键词: 小样本学习,语义分割,图注意力网络,互监督

摘要:

全监督语义分割在许多计算机视觉任务中表现良好。然而,这是耗时的,因为训练一个模型需要大量的像素级注释样本。小样本分割最近成为解决这个问题的一种流行方法,因为它只需要少量带注释的样本就可以推广到新的类别。然而,如何充分利用有限的样本仍然是一个悬而未决的问题。因此,本文提出了一种相互监督的小样本分割网络。首先,对中间卷积层的特征映射进行融合,增强特征表示能力;其次,将支持图像和查询图像组合成二部图,采用图注意网络避免空间信息丢失,增加支持图像像素数,指导查询图像分割;第三,利用查询图像的注意图作为先验信息,增强支持图像分割,形成相互监督的机制。最后,将中间层的注意图进行融合,送入图推理层进行像素类别推断 。在PASCAL VOC-5i数据集和FSS-1000数据集上进行了实验,结果表明了该方法的有效性和性能优于其他基线方法。

关键词 -小样本学习,图注意网络,图推理,图像分割,相互监督体制(MSR)。

简介:

DEEP神经网络在目标检测、语义分割和自动字幕等计算机视觉任务中取得了显著的成功。这些方法依赖于大规模的人类标注数据集的可用性,例如PASCAL VOC [1], ImageNet[2]和COCO[3]。然而,注释这些数据集非常耗时、繁琐且容易出错。语义分割已应用于许多计算机视觉任务,如自动驾驶[4]、人机交互[5]、图像搜索引擎[6]、手术用医疗设备[7]。由于密集的像素级预测问题,用于语义分割任务的标注需要更多的劳动。近年来,基于全卷积网络(FCN)[8]的最先进的语义分割框架取得了显著的进展;然而,缺乏注解良好的数据集阻碍了实际应用中的性能改进。为了降低标注成本,提出了一些带有粗标注的弱监督方法;这些方法包括边界框[9]、涂鸦[10]、点[11]和图像级别标签[12]。虽然这些方法确实降低了数据注释的难度,但训练数据集仍然需要额外的处理,而且这些模型不能适应新的类别。例如,自动驾驶模型无法适应不同国家的驾驶规则,计算机辅助诊断算法无法准确诊断新的疾病类别,网络异常检测算法无法发现新的安全漏洞类型。对于新的类别,网络必须重新训练。然而,当只有少数新样本可用时,网络容易过拟合。随着元学习技术的发展,在仅有少量标注样本的情况下,如何取得满意的分割结果已成为研究的热点。元学习的目标是学会学习,它模仿人类从少数甚至一个样本中识别新类别的能力。小样本学习是将元学习应用于监督范式,主要用于图像分类。 从另一个角度来看,语义分割可以看作是一个像素级的分类问题。Shaban et al.[14]提出了一种单shot语义分割方法,仅使用一张图像及其对应的像素级注释即可获得像素级分割掩码。这可能是第一次将小样本方法应用于分割任务。Rakelly等人[15]提出了Co-FCN方法,仅使用密集和稀疏注释实现少镜头分割。这些方法将支持图像的特征压缩成一个向量,通过掩码平均池化操作来指导分割。然而,掩码平均池化操作不可避免地会丢失支持图像中的空间信息。考虑到在小样本学习范式中样本有限,充分利用上下文信息并快速聚焦于关键对象特征是很重要的。 Zhang等[16]整合了中间层的信息,增强了特征的多样性。近年来,注意力机制被广泛应用于分割任务中,用于聚焦关键目标区域。Hu等人[17]提出了一种基于注意的小样本语义分割方法,该方法将注意机制应用于支持分支和查询分支之间的多尺度特征。Wang等[18]用图形注意取代了传统的注意。他们发现,激活的像素往往只集中在支持图像的一个非常小的区域。因此,只使用少量像素来指导查询图像分割,这对分割性能产生了不利影响。因此,作者在训练过程中调整激活区域,以利用支持图像中更多的前景对象像素。他们认为高权重像素应该被抑制,低权重像素应该被加强。但是,它们的权重调整策略并不合理,会引入噪声像素,导致查询图像分割不正确。支持图像的非判别区域容易导致查询图像的语义混叠。 例如,背景像素被错误地分割为前景像素。

在这里插入图片描述

Fig. 1. Overview of graph attention.

为了克服这些缺点,我们设计了一个小样本学习框架。在我们提出的方法中使用了典型的双分支结构,其中每个分支充当一个特征提取器网络。在该方法中,特征提取器网络被划分为几个中间层,以获得多尺度特征。从不同中间层获得的特征图被发送到图注意模块(GAM)。GAM旨在鼓励更多的前景像素来指导分割,如图1所示。提取器网络生成的特征向量被映射到图的节点上。我们定义了两种不同类型的边来构造图:图内边和图间边。图内边通过邻居创建机制生成,图内边连接在支持图的标记节点和查询图的所有节点之间。支持图像和查询图像的图结构共同构建二部图,将网格数据转换为图数据。然后,利用基于空间信息的图卷积网络来表示图数据。节点通过聚合自己的特征和邻居的特征来表示。通过计算图的边权值,将标签从支持图像传播到查询图像。这样做有利于充分利用有限的样本,同时避免空间信息的丢失。 然后,为了避免引入不正确的分割,提出了一种创新的权值调整方法,鼓励支持图像中有更多的标注像素来指导查询图像的分割过程。 然后,在每个中间层上引入双分支互监督网络。在将支持图像发送到GAM之前,使用支持掩码丢弃支持图像的背景。然后,利用该结果指导查询图像的分割。同样,生成的查询图像注意图用于删除查询图像的背景。从而形成一个相互监督的区域(MSR),并通过逐步迭代得到多层前景注意图。MSR打破了传统的仅使用支持图像来指导分割的方法。 查询图像参与网络训练,提高分割性能,有利于充分利用有限的样本。此外,采用混合损失函数加快了网络的收敛速度。最后,融合来自不同中间层的注意图,并将其发送到图推理层(GRLs)来推断像素类别。我们的主要贡献总结如下。

1)利用支持图像和查询图像的特征映射构造二部图,并设计GAM计算它们之间的边权值。然后,根据边缘权值将标签从支持图像传播到查询图像。此外,我们提出了一种权重调整策略,以鼓励更多的前景像素参与分割过程。

2)采用MSR充分利用中间层的多层信息,鼓励支持图像和查询图像相互学习。最后,对两个损失进行了相加,加快了小样本学习网络的收敛速度。

3)我们在Pascal VOC-5i和FSS-1000数据集上演示了我们的方法的有效性,并实现了最先进的性能。

本文其余部分的组织如下。第二部分介绍了相关技术和最新进展。第三节详细说明了拟议的网络。第四部分报告实验设置和结果。第五节讨论了结果并提出了今后的工作建议。

在这里插入图片描述

Fig. 2. Detailed design of our proposed method with three parts: 1) two feature extractor branches; 2) the GAM; and 3) the GRL.

这篇关于【论文速递】TNNLS2022 - 一种用于小样本分割的互监督图注意网络_充分利用有限样本的视角的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/213112

相关文章

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

C++字符串提取和分割的多种方法

《C++字符串提取和分割的多种方法》在C++编程中,字符串处理是一个常见的任务,尤其是在需要从字符串中提取特定数据时,本文将详细探讨如何使用C++标准库中的工具来提取和分割字符串,并分析不同方法的适用... 目录1. 字符串提取的基本方法1.1 使用 std::istringstream 和 >> 操作符示

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》:本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为

使用Python实现批量分割PDF文件

《使用Python实现批量分割PDF文件》这篇文章主要为大家详细介绍了如何使用Python进行批量分割PDF文件功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、架构设计二、代码实现三、批量分割PDF文件四、总结本文将介绍如何使用python进js行批量分割PDF文件的方法

使用Python将长图片分割为若干张小图片

《使用Python将长图片分割为若干张小图片》这篇文章主要为大家详细介绍了如何使用Python将长图片分割为若干张小图片,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. python需求的任务2. Python代码的实现3. 代码修改的位置4. 运行结果1. Python需求

SSID究竟是什么? WiFi网络名称及工作方式解析

《SSID究竟是什么?WiFi网络名称及工作方式解析》SID可以看作是无线网络的名称,类似于有线网络中的网络名称或者路由器的名称,在无线网络中,设备通过SSID来识别和连接到特定的无线网络... 当提到 Wi-Fi 网络时,就避不开「SSID」这个术语。简单来说,SSID 就是 Wi-Fi 网络的名称。比如

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

C#中字符串分割的多种方式

《C#中字符串分割的多种方式》在C#编程语言中,字符串处理是日常开发中不可或缺的一部分,字符串分割是处理文本数据时常用的操作,它允许我们将一个长字符串分解成多个子字符串,本文给大家介绍了C#中字符串分... 目录1. 使用 string.Split2. 使用正则表达式 (Regex.Split)3. 使用