【算法思考】端到端实例分割模型 SOLO

2023-10-12 04:04

本文主要是介绍【算法思考】端到端实例分割模型 SOLO,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 背景
  • 工作
  • 总结

背景

不同于语义分割,实例分割不仅需要输出图像的语义蒙版,还要对图像中不同的实例作区分。如下图所示,实例分割任务需要多不同的羊做区分,输出不同的实例蒙版。

实例分割

由于图片中实例个数的不确定性,实例分割一直以来都是比较难的话题。因此在端到端的方法问世之前,大多数方法可以分为两类:一类是先做目标检测,提出包围盒,然后从包围盒中分割出语义实例,比如 mask RCNN。另一类是给每个像素预测出一个向量表示,然后基于向量表示进行聚类。如果想要了解这两类方法的一些具体做法,可以参考 SOLO 这篇论文中的一些讨论。我们今天主要介绍的也是SOLO这篇文章的算法,其可以说是第一篇能做到端到端训练实例分割任务的模型,不要任何包围盒的辅助。

工作

SOLO这篇工作中提出了三个模型,分别是SOLO HEAD,Decoupled SOLO Head,Decoupled SOLO Light Head。我们今天把Decoupled SOLO Light Head的架构拿出来进行分析,方便大家深度了解这篇工作。

首先,如果输入是 288x384, 那么其网络的数据流和架构如下所示:

solo decoupled light
网络由三部分组成,分别是骨干网络resnet,fpn,solo head 这三个模块。
在图示中,蓝色模块表示卷积, 橙色块表示上采样, 如果橙色块的值为-1表示采样到上一层特征图大小。如果橙色块的值为2表示长采样2倍。灰色的块有 gridX文本, 表示会对feature map resize到(X, X) 大小。白色的块表示不包含batch_size 的特征维度。

在SOLO中很重要的一点是如何表示不同的实例,并从网络的输出中提取出不同的实例。
SOLO采用了这样的解决方法,对于不同的实例,认为每个实例的中心点的位置是不同的。在实际应用中,可以对图像进行划分,比如划分成12x12的网格(后面都用12x12来举例子),规定不同实例的中心点不会落在相同的网格上。通过这种定义,SOLO就可以通过一个类似语义分割模型的mask head进行实例的预测,而语义类别的个数就是划分得到的格子的数量。
除了得到每个实例的mask之外,SOLO模型还需要确定每个实例的语义,也就是通过 classification head得到具体的语义类别。classification head的实现就比较简单,会直接将特征图 resize到 12x12, 对网格中的每个特征进行语义分类。具体某个实例的语义类别,就通过取实例中心对应网格位置的分类结果得到。

总结

总的来说,SOLO这个模型稍微有些复杂,目前在实例分割方面已经有了一些更好的基于transformer的工作,比如mask2former等。SOLO的缺点很明显,其生硬地认为不同的实例中心位置应该不一样,并不适用于某些情况。另外,SOLO在处理不同大小实例的时候不够灵活,不同的分支只能输出固定范围内的实例mask,非常耗费计算力。

这篇关于【算法思考】端到端实例分割模型 SOLO的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/193117

相关文章

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.

java向微信服务号发送消息的完整步骤实例

《java向微信服务号发送消息的完整步骤实例》:本文主要介绍java向微信服务号发送消息的相关资料,包括申请测试号获取appID/appsecret、关注公众号获取openID、配置消息模板及代码... 目录步骤1. 申请测试系统2. 公众号账号信息3. 关注测试号二维码4. 消息模板接口5. Java测试

MySQL数据库的内嵌函数和联合查询实例代码

《MySQL数据库的内嵌函数和联合查询实例代码》联合查询是一种将多个查询结果组合在一起的方法,通常使用UNION、UNIONALL、INTERSECT和EXCEPT关键字,下面:本文主要介绍MyS... 目录一.数据库的内嵌函数1.1聚合函数COUNT([DISTINCT] expr)SUM([DISTIN

Python实例题之pygame开发打飞机游戏实例代码

《Python实例题之pygame开发打飞机游戏实例代码》对于python的学习者,能够写出一个飞机大战的程序代码,是不是感觉到非常的开心,:本文主要介绍Python实例题之pygame开发打飞机... 目录题目pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部

Spring组件实例化扩展点之InstantiationAwareBeanPostProcessor使用场景解析

《Spring组件实例化扩展点之InstantiationAwareBeanPostProcessor使用场景解析》InstantiationAwareBeanPostProcessor是Spring... 目录一、什么是InstantiationAwareBeanPostProcessor?二、核心方法解

java String.join()方法实例详解

《javaString.join()方法实例详解》String.join()是Java提供的一个实用方法,用于将多个字符串按照指定的分隔符连接成一个字符串,这一方法是Java8中引入的,极大地简化了... 目录bVARxMJava String.join() 方法详解1. 方法定义2. 基本用法2.1 拼接

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

Linux lvm实例之如何创建一个专用于MySQL数据存储的LVM卷组

《Linuxlvm实例之如何创建一个专用于MySQL数据存储的LVM卷组》:本文主要介绍使用Linux创建一个专用于MySQL数据存储的LVM卷组的实例,具有很好的参考价值,希望对大家有所帮助,... 目录在Centos 7上创建卷China编程组并配置mysql数据目录1. 检查现有磁盘2. 创建物理卷3. 创

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

Java List排序实例代码详解

《JavaList排序实例代码详解》:本文主要介绍JavaList排序的相关资料,Java排序方法包括自然排序、自定义排序、Lambda简化及多条件排序,实现灵活且代码简洁,文中通过代码介绍的... 目录一、自然排序二、自定义排序规则三、使用 Lambda 表达式简化 Comparator四、多条件排序五、