CV之DL之PanopticFPN:FPN/Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

本文主要是介绍CV之DL之PanopticFPN:FPN/Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

CV之DL之PanopticFPN:FPN/Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

目录

相关论文

FPN:《Feature Pyramid Networks for Object Detection》翻译与解读

Abstract

Panoptic FPN:《Panoptic Feature Pyramid Networks》翻译与解读

Abstract

FPN算法的简介

1、算法改进

PanopticFPN算法的简介

1、实验结果

(1)、使用一个单一的ResNet-101-FPN网络,在COCO(顶部)和Cityscapes(底部)上生成Panoptic FPN结果

(2)、Cityscapes Semantic FPN

(3)、Multi-Task Training

(4)、Panoptic Segmentation

2、不同架构比较

DL之PanopticFPN:Panoptic FPN算法的架构详解(特征金字塔网络/联合训练/提高特征分辨率的骨干架构)之详细攻略

PanopticFPN算法的案例应用


相关文章
DL之PanopticFPN:Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之PanopticFPN:Panoptic FPN算法的架构详解

相关论文

FPN:《Feature Pyramid Networks for Object Detection》翻译与解读

地址

论文地址:https://arxiv.org/abs/1612.03144

时间

2016年12月9日

作者

Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie

总结

这篇文章主要探讨了如何利用卷积神经网络在计算机视觉任务中的多尺度特征表示能力

主要问题和痛点:

>> 传统图像金字塔法生成多尺度特征图需要分别在每个尺度上计算特征,计算效率低下

>> 尽管深度卷积神经网络可以很好地应对尺度变化,但单尺度特征依然无法很好解决多尺度目标检测任务。

>> 卷积神经网络的多层特征图天然具有金字塔结构,但不同层之间的语义差异大,直接利用难以达到很好效果。

文章提出的Feature Pyramid Network(FPN)解决方案包括:

>> 利用卷积神经网络底向计算得到的多层特征作为基础

>> 建立顶向传播结构,通过上采样和通道匹配结合底向特征,生成语义更强的高分辨率特征图作为fpn各级特征。

>> 在各个FPN级别上独立预测,实现与传统图像金字塔类似的多尺度预测能力。

>> 将FPN应用在RPN和Fast RCNN框架中进行目标检测和实例分割任务,实验结果表明与单尺度和其他对比方法有明显提升。

>> FPN不增加测试时间复杂度,能在多尺度任务上取得当前最优效果,适用于实际应用场景。

总之,FPN通过建立卷积神经网络内部的多尺度特征金字塔结构,很好地结合了强语义低分辨率特征和弱语义高分辨率特征,实现了效率和准确率兼优的多尺度目标检测能力。

Abstract

Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep learning object detectors have avoided pyramid representations, in part because they are compute and memory intensive. In this paper, we exploit the inherent multi-scale, pyramidal hierarchy of deep convolutional networks to construct feature pyramids with marginal extra cost. A top-down architecture with lateral connections is developed for building high-level semantic feature maps at all scales. This architecture, called a Feature Pyramid Network (FPN), shows significant improvement as a generic feature extractor in several applications. Using FPN in a basic Faster R-CNN system, our method achieves state-of-the-art single-model results on the COCO detection benchmark without bells and whistles, surpassing all existing single-model entries including those from the COCO 2016 challenge winners. In addition, our method can run at 5 FPS on a GPU and thus is a practical and accurate solution to multi-scale object detection. Code will be made publicly available.

特征金字塔是识别系统中用于检测不同尺度对象的基本组件。但是,最近的深度学习目标检测器避免使用金字塔表示,部分原因是其计算和内存密集型。在本文中,我们利用深度卷积网络固有的多尺度金字塔层次结构,以极小的额外成本构建特征金字塔。我们采用了一种自上而下的架构,配合横向连接,用于在所有尺度上构建高级语义特征图。这种架构被称为特征金字塔网络(FPN),在多个应用中作为通用特征提取器显示出显著的改进。在基本的Faster R-CNN系统中使用FPN,我们的方法在COCO检测基准上实现了单模型的最新结果,无需任何花哨的技巧,超越了所有现有的单模型条目,包括COCO 2016挑战的获奖者。此外,我们的方法可以在GPU上以5FPS的速度运行,因此是多尺度目标检测的实际而准确的解决方案。代码将会公开提供。

Panoptic FPN:《Panoptic Feature Pyramid Networks》翻译与解读

地址

论文地址:https://arxiv.org/abs/1901.02446

时间

2019年1月8日

作者

Alexander Kirillov, Ross Girshick, Kaiming He, Piotr Dollár

总结

本文提出了一种全面分割方法Panoptic FPN。

传统的实例分割与语义分割方法分别使用不同的网络,没有共享计算资源。这篇论文的目的是将这两种任务在结构上统一,设计一个网络同时解决实例分割语义分割任务。

作者基于Mask R-CNN这个流行的实例分割框架,在其FPN(Feature Pyramid Networks)骨干上添加了一个语义分割分支。实验证明这个简单的Baseline不仅在实例分割任务上效果还行,而且可以作为语义分割任务的轻量级且高效的方法。

论文通过详细实验研究了这个扩展版本——Panoptic FPN,证明它在两个任务上的表现都很稳定和准确,可以作为这两个联合任务的一个强基线。

考虑到它的效果和概念简单性,作者希望这个方法可以为未来的全面分割研究提供一个强基准。

也就是说,本文的痛点在于实例分割与语义分割任务长期分离,没有资源共享。作者在Mask R-CNN实例分割框架的基础上,加入了一个语义分割分支,实现了两个任务的联合网络,解决了原始方法的分离问题。

Abstract

The recently introduced panoptic segmentation task has renewed our community's interest in unifying the tasks of instance segmentation (for thing classes) and semantic segmentation (for stuff classes). However, current state-of-the-art methods for this joint task use separate and dissimilar networks for instance and semantic segmentation, without performing any shared computation. In this work, we aim to unify these methods at the architectural level, designing a single network for both tasks. Our approach is to endow Mask R-CNN, a popular instance segmentation method, with a semantic segmentation branch using a shared Feature Pyramid Network (FPN) backbone. Surprisingly, this simple baseline not only remains effective for instance segmentation, but also yields a lightweight, top-performing method for semantic segmentation. In this work, we perform a detailed study of this minimally extended version of Mask R-CNN with FPN, which we refer to as Panoptic FPN, and show it is a robust and accurate baseline for both tasks. Given its effectiveness and conceptual simplicity, we hope our method can serve as a strong baseline and aid future research in panoptic segmentation.

ChatGPT

最近引入的全景分割任务重新引起了我们社区对统一实例分割(针对物体类别)和语义分割(针对背景类别)任务的兴趣。然而,目前针对这一联合任务的最先进方法使用单独且不同的网络进行实例和语义分割,没有执行任何共享计算。在这项工作中,我们旨在在架构层面统一这些方法,设计一个单一网络来完成这两个任务。我们的方法是在Mask R-CNN,一种流行的实例分割方法上,通过使用共享的特征金字塔网络(FPN)骨干来增加一个语义分割分支。令人惊讶的是,这种简单的基准不仅对于实例分割仍然有效,而且还产生了一种轻量级、表现卓越的语义分割方法。在这项工作中,我们对这个最小程度扩展的Mask R-CNN与FPN版本进行了详细研究,我们将其称为全景FPN,并展示它是两个任务的稳健而准确的基准。鉴于其有效性和概念上的简单性,我们希望我们的方法能够成为一个强大的基准,并在全景分割的未来研究中发挥作用。

FPN算法的简介

       Tsung-Yi Lin、Piotr Dollar, Ross Girshick, Kaiming He在Facebook提出了Feature Pyramid Networks(FPN)检测算法,该算法改进自Faster RCNN。FPN利用了特征金字塔网络,融合了低层特征的高分辨率和高层特征的高语义信息,以提升目标检测的效果。在FPN中,通过生成特征图的金字塔,使用Region Proposal Network (RPN)生成ROI,然后根据ROI的大小选择合适尺寸的特征图层提取特征块。这种结构充分利用了不同尺度下的特征信息,有助于更准确地检测目标。FPN的提出对目标检测领域产生了积极影响。

目标检测算法通常使用网络的顶层特征进行检测,因为顶层特征具有丰富的语义信息。FPN采用自下而上和自上而下的路径构建特征金字塔。自下而上路径利用卷积网络进行特征提取,形成分辨率逐层下降的金字塔结构。自上而下路径从语义丰富的层构建高分辨率的层,但由于上采样和下采样可能导致目标位置不准确,因此引入横向连接以提高位置检测的准确性。

FPN的主要优势在于对小目标和尺度分布较大的目标具有天然的检测优势。整体来说,FPN通过构建金字塔形状的特征图,从不同深度引出多个检测端口,提高了目标检测的性能。

FPN的结构包括自下而上的特征提取路径和自上而下的高分辨率层构建路径。横向连接用于在重建层和特征图之间传递信息,以增强位置检测的准确性。

总体来说,FPN在目标检测中的应用使得算法能够有效地检测不同尺度和大小的目标,克服了传统算法在这方面的不足。

1、算法改进

特征层上单独进行: 在FPN中,预测是在每个融合后的特征层上独立进行的,与传统的特征融合方式有所不同。这种方法使得每个特征层都可以专注于不同尺度和语义的目标,提高了目标检测的性能。

FPN结构的灵活性: FPN结构具有相当的灵活性,可以与各种特征提取网络结合,作为检测算法的基础网络。当前大多数state-of-the-art的模型都采用FPN结构。以RetinaNet为例,它在FPN的基础上使用了ResNet网络提取特征,并引入Focal Loss损失,以解决单步目标检测算法中前景类和背景类损失不均衡的问题。这些基于FPN结构的检测算法通过增加网络深度,获取更丰富的语义信息,并在浅层特征图中获取高分辨率的图像特征,展现出在实际应用中卓越性能。

PanopticFPN算法的简介

1、实验结果

(1)、使用一个单一的ResNet-101-FPN网络,在COCO(顶部)和Cityscapes(底部)上生成Panoptic FPN结果

(2)、Cityscapes Semantic FPN

(3)、Multi-Task Training

(4)、Panoptic Segmentation

Panoptic R50-FPN vs. R50-FPN×2
使用单个FPN网络同时解决这两个任务,与两个独立FPN网络分别产生实例分割和语义分割相当的精度,但计算量只有一半。

2、不同架构比较

DL之PanopticFPN:Panoptic FPN算法的架构详解(特征金字塔网络/联合训练/提高特征分辨率的骨干架构)之详细攻略

https://yunyaniu.blog.csdn.net/article/details/100060193

PanopticFPN算法的案例应用

更新……

这篇关于CV之DL之PanopticFPN:FPN/Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/759500

相关文章

一文详解SpringBoot中控制器的动态注册与卸载

《一文详解SpringBoot中控制器的动态注册与卸载》在项目开发中,通过动态注册和卸载控制器功能,可以根据业务场景和项目需要实现功能的动态增加、删除,提高系统的灵活性和可扩展性,下面我们就来看看Sp... 目录项目结构1. 创建 Spring Boot 启动类2. 创建一个测试控制器3. 创建动态控制器注

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

C#读写文本文件的多种方式详解

《C#读写文本文件的多种方式详解》这篇文章主要为大家详细介绍了C#中各种常用的文件读写方式,包括文本文件,二进制文件、CSV文件、JSON文件等,有需要的小伙伴可以参考一下... 目录一、文本文件读写1. 使用 File 类的静态方法2. 使用 StreamReader 和 StreamWriter二、二进

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

java中反射Reflection的4个作用详解

《java中反射Reflection的4个作用详解》反射Reflection是Java等编程语言中的一个重要特性,它允许程序在运行时进行自我检查和对内部成员(如字段、方法、类等)的操作,本文将详细介绍... 目录作用1、在运行时判断任意一个对象所属的类作用2、在运行时构造任意一个类的对象作用3、在运行时判断

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具