[卷积神经网络]FasterNet论文解析

2023-10-25 03:36

本文主要是介绍[卷积神经网络]FasterNet论文解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、概述

        FasterNet是CVPR2023的文章,通过使用全新的部分卷积PConv,更高效的提取空间信息,同时削减冗余计算和内存访问,效果非常明显。相较于DWConv,PConv的速度更快且精度也非常高,识别精度基本等同于大型网络Swin-B,但是在GPU上可以提升36%的吞吐量。原文地址和代码地址如下:

Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networksicon-default.png?t=N7T8https://arxiv.org/abs/2303.03667FasterNeticon-default.png?t=N7T8https://github.com/JierunChen/FasterNet

二、基本结构

        1.PConv

        FasterNet的核心是PConv(Partial Conv),PConv有比常规Conv更低的FLOPs和比DWConv和GConv更高的FLOPs,能更好的利用设备的计算能力。

         整个FasterNet的网络结构如上图所示。PConv的工作原理是:仅将输入特征图的一部分通道用于特征提取,其他的通道保持不变(即c_pc通道),使用部分的通道数为c_p。可以认为输入特征图和输出特征图具有相同的通道。而PConv的FLOPS可以表示为:

                FLOPS = h\times w \times k^2 \times c_p^2

        其中c_pc一起组成分离比:r=\frac{c_p}{c},在r=\frac{1}{4}时,PConv仅有Conv\frac{1}{16}的FLOPS,同时PConv还有更小的内存访问量:

                h \times w \times 2c_p+k^2 \times c_p^2 \approx h \times w \times 2c_p

        2.T型Conv

        通过将逐点卷积(PWConv)附加到PConv上,使得输入特征图上的有效感受野看起来像一个T型的Conv,这种卷积会更加关注中心位置。

        3.作为通用骨干网络

        使用PConv搭建的FasterNet如上面所示,其能以较快的速度处理多种视觉任务。FasterNet具备4个Stage,每个Stage之前有一个嵌入层(Embedding;步长为4的4x4 Conv)或一个合并层(Mereging;步长为2的2x2 Conv),使用哪种间隔与其是否需要下采样有关。

        每一个Faster Block的后面跟着两个PWConv层,最后统一放置一个全局池化(Global Pool)和一个全连接层(FC)

三、结论

        FasterNet的主要优势在于保证一定精度的同时提升运算速度。在对比实验中,FasterNet的参数量略大于MobileNet等轻型骨干网络,GFLOPS也略高于轻型骨干网络。但网络延迟却更低。

这篇关于[卷积神经网络]FasterNet论文解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/279761

相关文章

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

java解析jwt中的payload的用法

《java解析jwt中的payload的用法》:本文主要介绍java解析jwt中的payload的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java解析jwt中的payload1. 使用 jjwt 库步骤 1:添加依赖步骤 2:解析 JWT2. 使用 N

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

Java字符串处理全解析(String、StringBuilder与StringBuffer)

《Java字符串处理全解析(String、StringBuilder与StringBuffer)》:本文主要介绍Java字符串处理全解析(String、StringBuilder与StringBu... 目录Java字符串处理全解析:String、StringBuilder与StringBuffer一、St

Spring Boot循环依赖原理、解决方案与最佳实践(全解析)

《SpringBoot循环依赖原理、解决方案与最佳实践(全解析)》循环依赖指两个或多个Bean相互直接或间接引用,形成闭环依赖关系,:本文主要介绍SpringBoot循环依赖原理、解决方案与最... 目录一、循环依赖的本质与危害1.1 什么是循环依赖?1.2 核心危害二、Spring的三级缓存机制2.1 三