[卷积神经网络]FasterNet论文解析

2023-10-25 03:36

本文主要是介绍[卷积神经网络]FasterNet论文解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、概述

        FasterNet是CVPR2023的文章,通过使用全新的部分卷积PConv,更高效的提取空间信息,同时削减冗余计算和内存访问,效果非常明显。相较于DWConv,PConv的速度更快且精度也非常高,识别精度基本等同于大型网络Swin-B,但是在GPU上可以提升36%的吞吐量。原文地址和代码地址如下:

Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networksicon-default.png?t=N7T8https://arxiv.org/abs/2303.03667FasterNeticon-default.png?t=N7T8https://github.com/JierunChen/FasterNet

二、基本结构

        1.PConv

        FasterNet的核心是PConv(Partial Conv),PConv有比常规Conv更低的FLOPs和比DWConv和GConv更高的FLOPs,能更好的利用设备的计算能力。

         整个FasterNet的网络结构如上图所示。PConv的工作原理是:仅将输入特征图的一部分通道用于特征提取,其他的通道保持不变(即c_pc通道),使用部分的通道数为c_p。可以认为输入特征图和输出特征图具有相同的通道。而PConv的FLOPS可以表示为:

                FLOPS = h\times w \times k^2 \times c_p^2

        其中c_pc一起组成分离比:r=\frac{c_p}{c},在r=\frac{1}{4}时,PConv仅有Conv\frac{1}{16}的FLOPS,同时PConv还有更小的内存访问量:

                h \times w \times 2c_p+k^2 \times c_p^2 \approx h \times w \times 2c_p

        2.T型Conv

        通过将逐点卷积(PWConv)附加到PConv上,使得输入特征图上的有效感受野看起来像一个T型的Conv,这种卷积会更加关注中心位置。

        3.作为通用骨干网络

        使用PConv搭建的FasterNet如上面所示,其能以较快的速度处理多种视觉任务。FasterNet具备4个Stage,每个Stage之前有一个嵌入层(Embedding;步长为4的4x4 Conv)或一个合并层(Mereging;步长为2的2x2 Conv),使用哪种间隔与其是否需要下采样有关。

        每一个Faster Block的后面跟着两个PWConv层,最后统一放置一个全局池化(Global Pool)和一个全连接层(FC)

三、结论

        FasterNet的主要优势在于保证一定精度的同时提升运算速度。在对比实验中,FasterNet的参数量略大于MobileNet等轻型骨干网络,GFLOPS也略高于轻型骨干网络。但网络延迟却更低。

这篇关于[卷积神经网络]FasterNet论文解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/279761

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图

利用Python和C++解析gltf文件的示例详解

《利用Python和C++解析gltf文件的示例详解》gltf,全称是GLTransmissionFormat,是一种开放的3D文件格式,Python和C++是两个非常强大的工具,下面我们就来看看如何... 目录什么是gltf文件选择语言的原因安装必要的库解析gltf文件的步骤1. 读取gltf文件2. 提

Java中的runnable 和 callable 区别解析

《Java中的runnable和callable区别解析》Runnable接口用于定义不需要返回结果的任务,而Callable接口可以返回结果并抛出异常,通常与Future结合使用,Runnab... 目录1. Runnable接口1.1 Runnable的定义1.2 Runnable的特点1.3 使用Ru

使用EasyExcel实现简单的Excel表格解析操作

《使用EasyExcel实现简单的Excel表格解析操作》:本文主要介绍如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,感兴... 目录前言固定模板及表数据格式的解析实现Excel模板内容对应的实体类实现AnalysisEventLis

Java的volatile和sychronized底层实现原理解析

《Java的volatile和sychronized底层实现原理解析》文章详细介绍了Java中的synchronized和volatile关键字的底层实现原理,包括字节码层面、JVM层面的实现细节,以... 目录1. 概览2. Synchronized2.1 字节码层面2.2 JVM层面2.2.1 ente

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

IDEA与JDK、Maven安装配置完整步骤解析

《IDEA与JDK、Maven安装配置完整步骤解析》:本文主要介绍如何安装和配置IDE(IntelliJIDEA),包括IDE的安装步骤、JDK的下载与配置、Maven的安装与配置,以及如何在I... 目录1. IDE安装步骤2.配置操作步骤3. JDK配置下载JDK配置JDK环境变量4. Maven配置下