MobileNet-v2网络框架

2024-03-31 22:58
文章标签 框架 网络 v2 mobilenet

本文主要是介绍MobileNet-v2网络框架,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、MobileNet-v2

MobileNetV2: Inverted Residuals and Linear Bottlenecks

  • 论文链接:https://arxiv.org/abs/1801.04381
  • 论文翻译:https://www.e-learn.cn/content/qita/675949
  • 论文详解:https://www.cnblogs.com/darkknightzh/p/9410574.html
  • 论文代码:https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet

二、MobileNet算法

1、线性瓶颈层(linear bottlenecks)

MobileNet-v2使用了线性瓶颈层。因为当使用ReLU等激活函数时,会导致信息丢失。如下图所示,低维(2维)的信息嵌入到n维的空间中,并通过随机矩阵T对特征进行变换,之后再加上ReLU激活函数,之后在通过T-1进行反变换。当n=2,3时,会导致比较严重的信息丢失,部分特征重叠到一起了;当n=15到30时,信息丢失程度降低,但是变换矩阵已经是高度非凸的了。
在这里插入图片描述
由于非线性层会毁掉一部分信息,因而非常有必要使用线性瓶颈层。且线性瓶颈层包含所有的必要信息,扩张层则是供非线性层丰富信息使用。

在这里插入图片描述
上图对比了不同的卷积方式:

  • (a),传统卷积方式,输入和输出维度不一样,且卷积核直接对输入的红色立方体进行滤波;
  • (b)为可分离卷积,左侧3×3卷积的每个卷积核只对输入的对应层进行滤波,此时特征维度不变;右边的1*1的卷积对特征进行升维或者降维(图中为升维)。
  • (c)图中为带线性瓶颈层的可分离卷积,输入通过3×3 depthwise卷积+ReLU6,得到中间相同维度的特征。之后在通过1×1conv+ReLU6,得到降维后的特征(带斜线立方体)。之后在通过1×1卷积(无ReLU)进行升维。
  • (d)图中则是维度比较低的特征,先通过1×1conv(无ReLU)升维,而后通过3×3 depthwise卷积+ReLU6保持特征数量不变,再通过1×1conv+ReLU6得到降维后的下一层特征;

2、Inverted residual block
在这里插入图片描述
上图为反转残差块(inverted residual block)。显示了传统的残差块和反转残差块的区别:

  • 传统的残差块如(a)将高维特征先使用1×1conv降维,然后在使用3×3conv进行滤波,并使用1×1conv进行升维(这些卷积中均包含ReLU),得到输出特征(下一层的输入),并进行element wise的相加。
  • 反转残差块则是将低维特征使用1×1conv升维(不含ReLU),而后使用3×3conv+ReLU对特征进行滤波,并使用1×1conv+ReLU对特征再降维,得到本层特征的输出,并进行element wise的相加。

反转的原因:瓶颈层的输入包含了所有的必要信息,因而右侧最左边的层后面不加ReLU,防止信息丢失。升维后,信息更加丰富,此时加上ReLU,之后在降维,理论上可以保持所有的必要信息不丢失。

为何使用ReLU? 使用ReLU可以增加模型的稀疏性。过于稀疏了,信息就丢失了。。。

那瓶颈层内部为何需要升维呢? 原因是为了增加模型的表达能力:当使用ReLU对某通道的信息进行处理后,该通道会不可避免的丢失信息;然而如果有足够多的通道的话,某通道丢失的信息,可能仍旧保留在其他通道中,因而才会在瓶颈层内部对特征进行升维。文中附录证明了,瓶颈层内部升维足够大时,能够抵消ReLU造成的信息丢失(如文中将特征维度扩大了6倍)。

在这里插入图片描述
瓶颈层的具体结构如上表所示。输入通过1×1的conv+ReLU层将维度从k维增加到tk维,之后通过3×3conv+ReLU可分离卷积对图像进行降采样(stride>1时),此时特征维度已经为tk维度,最后通过1×1conv(无ReLU)进行降维,维度从tk降低到k’维。

需要注意的是,除了整个模型中的第一个瓶颈层的t=1之外,其他瓶颈层t=6(论文中Table 2),即第一个瓶颈层内部并不对特征进行升维。

在这里插入图片描述
另外,对于瓶颈层,当stride=1时,才会使用elementwise 的sum将输入和输出特征连接(如上图左侧);stride=2时,无short cut连接输入和输出特征(上图右侧)。

3、网络模型

MobileNetV2的模型如下图所示,其中t为瓶颈层内部升维的倍数,c为特征的维数,n为该瓶颈层重复的次数,s为瓶颈层第一个conv的步幅。

需要注意的是:

  • 当n>1时(即该瓶颈层重复的次数>1),只在第一个瓶颈层stride为对应的s,其他重复的瓶颈层stride均为1
  • 只在stride=1时,输出特征尺寸和输入特征尺寸一致,才会使用elementwise sum将输出与输入相加
  • 当n>1时,只在第一个瓶颈层特征维度为c,其他时候channel不变。

例如,对于该图中56²×24的那层,共有3个该瓶颈层,只在第一个瓶颈层使用stride=2,后两个瓶颈层stride=1;第一个瓶颈层由于输入和输出尺寸不一致,因而无short cut连接,后两个由于stride=1,输入输出特征尺寸一致,会使用short cut将输入和输出特征进行elementwise的sum;只在第一个瓶颈层最后的1×1conv对特征进行升维,后两个瓶颈层输出维度不变(不要和瓶颈层内部的升维弄混了)。

该层输入特征为56×56×24,第一个瓶颈层输出为28×28×32(特征尺寸降低,特征维度增加,无short cut),第二个、第三个瓶颈层输入和输出均为28×28×32(此时c=32,s=1,有short cut)。

另外,下表中还有一个k。MobileNetV1中提出了宽度缩放因子,其作用是在整体上对网络的每一层维度(特征数量)进行瘦身。MobileNetV2中,当该因子<1时,最后的那个1×1conv不进行宽度缩放;否则进行宽度缩放。

在这里插入图片描述

4、pytorch代码

import torch.nn as nn
import mathdef conv_bn(inp, oup, stride):return nn.Sequential(nn.Conv2d(inp, oup, 3, stride, 1, bias=False),nn.BatchNorm2d(oup),nn.ReLU6(inplace=True))def conv_1x1_bn(inp, oup):return nn.Sequential(nn.Conv2d(inp, oup, 1, 1, 0, bias=False),nn.BatchNorm2d(oup),nn.ReLU6(inplace=True))class InvertedResidual(nn.Module):def __init__(self, inp, oup, stride, expand_ratio):super(InvertedResidual, self).__init__()self.stride = strideassert stride in [1, 2]self.use_res_connect = self.stride == 1 and inp == oupself.conv = nn.Sequential(# pwnn.Conv2d(inp, inp * expand_ratio, 1, 1, 0, bias=False),nn.BatchNorm2d(inp * expand_ratio),nn.ReLU6(inplace=True),# dwnn.Conv2d(inp * expand_ratio, inp * expand_ratio, 3, stride, 1, groups=inp * expand_ratio, bias=False),nn.BatchNorm2d(inp * expand_ratio),nn.ReLU6(inplace=True),# pw-linearnn.Conv2d(inp * expand_ratio, oup, 1, 1, 0, bias=False),nn.BatchNorm2d(oup),)def forward(self, x):if self.use_res_connect:return x + self.conv(x)else:return self.conv(x)class MobileNetV2(nn.Module):def __init__(self, n_class=1000, input_size=224, width_mult=1.):super(MobileNetV2, self).__init__()# setting of inverted residual blocksself.interverted_residual_setting = [# t, c, n, s[1, 16, 1, 1],[6, 24, 2, 2],[6, 32, 3, 2],[6, 64, 4, 2],[6, 96, 3, 1],[6, 160, 3, 2],[6, 320, 1, 1],]# building first layerassert input_size % 32 == 0input_channel = int(32 * width_mult)self.last_channel = int(1280 * width_mult) if width_mult > 1.0 else 1280self.features = [conv_bn(3, input_channel, 2)]# building inverted residual blocksfor t, c, n, s in self.interverted_residual_setting:output_channel = int(c * width_mult)for i in range(n):if i == 0:self.features.append(InvertedResidual(input_channel, output_channel, s, t))else:self.features.append(InvertedResidual(input_channel, output_channel, 1, t))input_channel = output_channel# building last several layersself.features.append(conv_1x1_bn(input_channel, self.last_channel))self.features.append(nn.AvgPool2d(input_size/32))# make it nn.Sequentialself.features = nn.Sequential(*self.features)# building classifierself.classifier = nn.Sequential(nn.Dropout(),nn.Linear(self.last_channel, n_class),)self._initialize_weights()def forward(self, x):x = self.features(x)x = x.view(-1, self.last_channel)x = self.classifier(x)return xdef _initialize_weights(self):for m in self.modules():if isinstance(m, nn.Conv2d):n = m.kernel_size[0] * m.kernel_size[1] * m.out_channelsm.weight.data.normal_(0, math.sqrt(2. / n))if m.bias is not None:m.bias.data.zero_()elif isinstance(m, nn.BatchNorm2d):m.weight.data.fill_(1)m.bias.data.zero_()elif isinstance(m, nn.Linear):n = m.weight.size(1)m.weight.data.normal_(0, 0.01)m.bias.data.zero_()

这篇关于MobileNet-v2网络框架的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/865581

相关文章

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Python GUI框架中的PyQt详解

《PythonGUI框架中的PyQt详解》PyQt是Python语言中最强大且广泛应用的GUI框架之一,基于Qt库的Python绑定实现,本文将深入解析PyQt的核心模块,并通过代码示例展示其应用场... 目录一、PyQt核心模块概览二、核心模块详解与示例1. QtCore - 核心基础模块2. QtWid

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

最新Spring Security实战教程之Spring Security安全框架指南

《最新SpringSecurity实战教程之SpringSecurity安全框架指南》SpringSecurity是Spring生态系统中的核心组件,提供认证、授权和防护机制,以保护应用免受各种安... 目录前言什么是Spring Security?同类框架对比Spring Security典型应用场景传统

Python结合Flask框架构建一个简易的远程控制系统

《Python结合Flask框架构建一个简易的远程控制系统》这篇文章主要为大家详细介绍了如何使用Python与Flask框架构建一个简易的远程控制系统,能够远程执行操作命令(如关机、重启、锁屏等),还... 目录1.概述2.功能使用系统命令执行实时屏幕监控3. BUG修复过程1. Authorization

SpringBoot集成图片验证码框架easy-captcha的详细过程

《SpringBoot集成图片验证码框架easy-captcha的详细过程》本文介绍了如何将Easy-Captcha框架集成到SpringBoot项目中,实现图片验证码功能,Easy-Captcha是... 目录SpringBoot集成图片验证码框架easy-captcha一、引言二、依赖三、代码1. Ea

Gin框架中的GET和POST表单处理的实现

《Gin框架中的GET和POST表单处理的实现》Gin框架提供了简单而强大的机制来处理GET和POST表单提交的数据,通过c.Query、c.PostForm、c.Bind和c.Request.For... 目录一、GET表单处理二、POST表单处理1. 使用c.PostForm获取表单字段:2. 绑定到结