COCO 54.7mAP 开源DetectoRS:使用递归特征金字塔检测对象和可切换的Atrous卷积

本文主要是介绍COCO 54.7mAP 开源DetectoRS:使用递归特征金字塔检测对象和可切换的Atrous卷积,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

作者信息

 

第一作者Siyuan Qiao目前是约翰霍普金斯大学的博士生,第二作者是著名的DeepLab系列算法的主要作者、谷歌公司的研究员Liang-Chieh Chen。

 

在COCO数据集的实例分割和全景分割任务中,DetectoRS,成为当前目标检测、语义分割和全景分割领域的全能者。

 

介绍

在本文中,作者探索了用于目标检测的主干设计中的这种机制。在宏级别提出了递归特征金字塔,它结合了从特征金字塔网络到自下而上的骨干层的额外反馈连接。在微观层面上,作者又提出了可切换的Atrous卷积,它以不同的atrous速率对特征进行卷积,并使用switch函数收集结果。将它们组合在一起将产生DetectoRS,这将大大提高对象检测的性能。在COCO测试开发中,DetectoRS达到了用于对象检测的54.7%的盒式AP,用于实例分割的47.1%的遮罩AP和用于全景分割的49.6%的PQ。 

 

架构思想

检测器的思想来源于Faster RCNN 、Cascade R-CNN等成功的目标检测算法的思想:三思而后行(无论是两级检测器还是级联检测器,都反映了信息的重复使用和细化),将此思想应用于骨干网的改进。主要创新点如图所示:

图1:(a)我们的递归特征金字塔添加了从上至下FPN层到自下而上骨干层的反馈连接(实线),以查看图像两次或更多次。(b)我们的可切换原子卷积在具有不同原子速率的输入特征上查看两次,并且通过开关将输出组合在一起。

 

  • 在宏层次上,提出了一种递归特征金字塔网络(RFP,recursive feature pyramid),它将FPN的反馈信息集成到骨干网络上,使骨干网络重新训练的特征能够更好地适应检测或分割任务。

  • 在微观层次上,提出了用可切换的阿托洛斯卷积(SAC)来代替骨干网络上的标准卷积,使模型能够自适应地选择接收场。

 

递归特征金字塔网络(RFP)

 

众所周知的特征金字塔网络(FPN)是将骨干网不同阶段的特征金字塔形成一个特征金字塔,如下(a)所示,RFP为骨干网增加目标检测任务的梯度,如下图(B)所示。

图2:递归特征金字塔(RFP)的体系结构。(a)功能金字塔网络(FPN)。(b)我们的RFP包含将反馈连接到FPN。(c)RFP展开到两步顺序网络。

 

  • 反馈连接网络

图3:RFP将变换后的功能添加到Re的每个阶段

 

  • RPN中的融合模块:

图4:RFP中使用的融合模块。σ是输出Sigmoid,用于融合来自不同步骤的特征

 


可切换的空洞卷积

 

空心卷积可以增加网络的接收场,这已被证明是有效的检测和分割任务。

作者提出的可切换的Atrous卷积使网络训练尺度的选择更加灵活,如下图所示:

不同空穴率的空卷积捕获不同接收场的目标,网络可以学习一个开关,自适应地调整选择接收场的卷积结果。

网络结构如下图所示:

图4:可切换的Atrous卷积(SAC)。我们将主干网ResNet中的每个3x3卷积层都转换SAC,从而在不同的空率之间软切换卷积计算。锁指示权重为除可训练的差异外,其他均相同。

 

实验结果

作者在实验中对上述两项改进进行了评估。

图6:比较HTC,“ HTC + RFP”的培训损失,“ HTC + SAC”和DetectoRS在12个训练时期内。

 


可以看出,HTC算法+RFP或HTC+SAC的精度有了较大的提高,相比之下,HTC+SAC的改进更大,而加入RFP和SAC的精度最高。

 

下图显示了DetectoRS使用不同类型骨干网和其他SOTA算法的检测者的比较:

表1:在COCO test-dev上用于边界框对象检测的最新技术比较。TTA:测试时间增加,包括多尺度测试,水平翻转等。不带TTA的DetectoRS的输入大小为(1333,800)。mstrain:多尺度训练。

利用ResNeXt-101-32x4d骨干网,detectors在单尺度和多尺度上实现了COCO目标检测的最高精度,分别达到53.3mAP和54.7mAP

表5:在COCO test-dev上的实例细分比较。mstrain:多尺度训练。

结论

在本文中,基于“三思而后行”的设计理念,作者提出了DetectoRS。包括递归特征金字塔和可切换Atrous卷积。递归特征金字塔在宏级别(FPN的输出)实现了两次思考被带回到自下而上的骨干网的每个阶段通过反馈连接。可切换的Atrous卷积实例化了微观级别的两次,其中输入以两种不同的圆规速率进行卷积。在COCO上对DetectoRS进行了对象实例检测测试分割和全景分割都有非常优秀得表现。

 

论文地址:

https://arxiv.org/pdf/2006.02334.pdf

代码地址:

https://github.com/joe-siyuan-qiao/DetectoRS

 

 

更多论文地址源码地址:关注“图像算法”微信公众号

这篇关于COCO 54.7mAP 开源DetectoRS:使用递归特征金字塔检测对象和可切换的Atrous卷积的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/405218

相关文章

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法:读

JSON Web Token在登陆中的使用过程

《JSONWebToken在登陆中的使用过程》:本文主要介绍JSONWebToken在登陆中的使用过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录JWT 介绍微服务架构中的 JWT 使用结合微服务网关的 JWT 验证1. 用户登录,生成 JWT2. 自定义过滤

Java中StopWatch的使用示例详解

《Java中StopWatch的使用示例详解》stopWatch是org.springframework.util包下的一个工具类,使用它可直观的输出代码执行耗时,以及执行时间百分比,这篇文章主要介绍... 目录stopWatch 是org.springframework.util 包下的一个工具类,使用它

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3

springboot security使用jwt认证方式

《springbootsecurity使用jwt认证方式》:本文主要介绍springbootsecurity使用jwt认证方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录前言代码示例依赖定义mapper定义用户信息的实体beansecurity相关的类提供登录接口测试提供一