深度学习中FLOPs计算

2023-12-01 16:48
文章标签 学习 计算 深度 flops

本文主要是介绍深度学习中FLOPs计算,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深度学习中FLOPs计算

定义:FLOPs(floating point operations),即浮点数运算次数,是一个计算量,所以可以用来衡量一个算法/模型等的复杂度

FLOPs是用来计算整个网络模型中乘法/加法的运行次数,是衡量算法的间接指标。下面通过卷积的例子来阐述计算FLOPs的方式。

假设
输入特征大小: H i n × W i n × C i n H_{in} \times W_{in} \times C_{in} Hin×Win×Cin
输出特征大小: H o u t × W o u t × C o u t H_{out} \times W_{out} \times C_{out} Hout×Wout×Cout
卷积核大小: K × K × C i n × C o u t K \times K \times C_{in} \times C_{out} K×K×Cin×Cout

1、卷积FLOPs计算
将整个卷积的过程分为乘法、加法以及bias
乘法: K × K × C i n × H o u t × W o u t × C o u t K \times K \times C_{in}\times H_{out} \times W_{out} \times C_{out} K×K×Cin×Hout×Wout×Cout
加法: ( K × K × C i n − 1 ) × H o u t × W o u t × C o u t (K \times K \times C_{in}-1) \times H_{out} \times W_{out} \times C_{out} (K×K×Cin1)×Hout×Wout×Cout
bias: H o u t × W o u t × C o u t H_{out} \times W_{out} \times C_{out} Hout×Wout×Cout

以计算乘法FLOPs为例分析思路:

  1. 一次卷积的计算量,即卷积核与特征相乘一次,FLOPs为 K × K K \times K K×K次,输入特征channel为 C i n C_{in} Cin,故一次卷积总共运行了 K × K × C i n K \times K \times C_{in} K×K×Cin
  2. 输出特征中每一层channel的计算量。有人会考虑到padding和stride的问题,但是假设中已经知道了输出特征的大小,所以可以直接通过该已知量来计算。输出特征中的每一个值均是由卷积核和输入特征做一次卷积得到,输出特征每一层大小为 H o u t × W o u t H_{out} \times W_{out} Hout×Wout,故FLOPs为 K × K × C i n × H o u t × W o u t K \times K \times C_{in}\times H_{out} \times W_{out} K×K×Cin×Hout×Wout
  3. 输出特征一共有 C o C_{o} Co层,故共一个完整的卷积FLOPs为 K × K × C i n × H o u t × W o u t × C o u t K \times K \times C_{in}\times H_{out} \times W_{out} \times C_{out} K×K×Cin×Hout×Wout×Cout

加法FLOPs的计算思路和乘法的差不多,乘法的每一次卷积FLOPs为 K × K K \times K K×K次,加法为 ( K × K × C i n − 1 ) (K \times K \times C_{in}-1) (K×K×Cin1)次。

一次完整卷积(不带bias)的FLOPs为
F L O P s = K × K × C i n × H o u t × W o u t × C o u t + ( K × K × C i n − 1 ) × H o u t × W o u t × C o u t FLOPs=K \times K \times C_{in}\times H_{out} \times W_{out} \times C_{out}+(K \times K \times C_{in}-1) \times H_{out} \times W_{out} \times C_{out} FLOPs=K×K×Cin×Hout×Wout×Cout+(K×K×Cin1)×Hout×Wout×Cout
= ( 2 K 2 × C i n − 1 ) × H o u t × W o u t × C o u t =(2K^{2} \times C_{in}-1) \times H_{out} \times W_{out} \times C_{out} =(2K2×Cin1)×Hout×Wout×Cout

带上bias为
F L O P s = ( 2 K 2 × C i − 1 ) × H o u t × W o u t × C o u t + H o u t × W o u t × C o u t FLOPs=(2K^{2} \times C_{i}-1) \times H_{out} \times W_{out} \times C_{out}+H_{out} \times W_{out} \times C_{out} FLOPs=(2K2×Ci1)×Hout×Wout×Cout+Hout×Wout×Cout
= 2 K 2 × C i n × H o u t × W o u t × C o u t =2K^{2} \times C_{in} \times H_{out} \times W_{out} \times C_{out} =2K2×Cin×Hout×Wout×Cout

2、组卷积FLOPs计算
组卷积和普通卷积的区别在于输入特征channel会分为 g g g组,卷积核的channel 为 C i n / g C_{in}/g Cin/g
带偏置的FLOPs为:

F L O P s = ( 2 K 2 × C i n − 1 ) × H o u t × W o u t × C o u t + H o u t × W o u t × C o u t FLOPs=(2K^{2} \times C_{in}-1) \times H_{out} \times W_{out} \times C_{out}+H_{out} \times W_{out} \times C_{out} FLOPs=(2K2×Cin1)×Hout×Wout×Cout+Hout×Wout×Cout
= 2 K 2 × C i n / g × H o u t × W o u t × C o u t =2K^{2} \times C_{in} /g\times H_{out} \times W_{out} \times C_{out} =2K2×Cin/g×Hout×Wout×Cout

3、实际中计算FLOPs工具
Pytorch中的FLOPs计算工具

这篇关于深度学习中FLOPs计算的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/441915

相关文章

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

Python如何计算两个不同类型列表的相似度

《Python如何计算两个不同类型列表的相似度》在编程中,经常需要比较两个列表的相似度,尤其是当这两个列表包含不同类型的元素时,下面小编就来讲讲如何使用Python计算两个不同类型列表的相似度吧... 目录摘要引言数字类型相似度欧几里得距离曼哈顿距离字符串类型相似度Levenshtein距离Jaccard相

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操

使用C#代码计算数学表达式实例

《使用C#代码计算数学表达式实例》这段文字主要讲述了如何使用C#语言来计算数学表达式,该程序通过使用Dictionary保存变量,定义了运算符优先级,并实现了EvaluateExpression方法来... 目录C#代码计算数学表达式该方法很长,因此我将分段描述下面的代码片段显示了下一步以下代码显示该方法如

五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布

《五大特性引领创新!深度操作系统deepin25Preview预览版发布》今日,深度操作系统正式推出deepin25Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Tr... 深度操作系统今日发布了 deepin 25 Preview,新版本囊括五大特性:磐石系统、全新 DDE、Tree

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器:基石搭建(一

如何用Java结合经纬度位置计算目标点的日出日落时间详解

《如何用Java结合经纬度位置计算目标点的日出日落时间详解》这篇文章主详细讲解了如何基于目标点的经纬度计算日出日落时间,提供了在线API和Java库两种计算方法,并通过实际案例展示了其应用,需要的朋友... 目录前言一、应用示例1、天安门升旗时间2、湖南省日出日落信息二、Java日出日落计算1、在线API2