GoogLeNet(InceptionV3)模型算法

2024-06-15 00:28

本文主要是介绍GoogLeNet(InceptionV3)模型算法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GoogLeNet 团队在给出了一些通用的网络设计准则,以期望在不提高网络参数 量的前提下提升网络的表达能力:
       避免特征图 (feature map) 表达瓶颈:从理论上讲,尺寸 (seize) 才包含了相关结构等重要因素,维度(channel) 仅仅提供了信息内容的粗略估计,因此特征图的尺寸应该从输入到输出慢慢减小,避免使用极端压缩。更高的维度特征图更容易获得网络的局部表达:在卷积网络结构中,增加非线
性能够使得更多的特征解耦合,相互独立的特征更多,输入的信息就被分解的更彻底,分解的子特征间相关性低,子特征内部相关性高,因此高维特征带有更多的判别信息,会更容易收敛。在低维特征上的空间聚合( 池化 ) 不会 ( 极少 ) 损失太多信息:相邻的位置的信息具有强相关性,即使进行了降维,也不会带来太多的损失,并且维数的降低,也能够加速网络学习。
       平衡网络的宽度与深度:最优的网络应该在每一层网络宽度和网络深度之间有一个很好的平衡。

1.Factorized Convolutions卷积分解

       分解卷积的主要目的是为了 减少网络中的参数 ,主要方法有:大卷积分解成小卷积,小卷积分解为非对称卷积。
       大卷积分解成小卷积: 大尺度的卷积可以获得更大的感受野,但是也带来参数量的增加VggNet 表明使用大于大卷积核 ( 大于 3×3) 完全可以由一系列的3×3卷积核来替代,即使用小卷积核串联来替代大卷积核。因此在 InceptionV2中已经通过堆叠两层3×3 的卷积核的方式替代一层 5×5 的卷积核,这样的连接方式在保持感受野范围的同时又减少了参数量,不会造成表达缺失,降低网络性能,并且可以避免表达瓶颈,加深非线性表达能力。
       小卷积分解为非对称卷积: 3x3 卷积是能够完全获取上下文信息 ( 上、下、左、右) 的最小卷积核,是否能把小卷积核分解的更小呢?在 InceptionV3 中, GoogLeNet团队考虑了非对称卷积分解,引入了将一个较大的二维卷积拆成两个较小的一维卷积的做法,即任意n×n 的卷积都可以通过 1×n 卷积后接 n×1 卷积来替代,非对称卷积能够降低运算量,并且不会降低模型的整体表征能力。

2.InceptionV3结构(一)

      与 InceptionV2 结构相同,即 5x5 卷积使用两个 3x3 的卷积代替,目的是减少参数量和计算量—— 大卷积分解成小卷积。

3.InceptionV3结构(二)

       将 InceptionV2 结构中 3x3 的卷积使用 1x3 3x1 的卷积组合来代替, 5x5 的卷积使用俩个1x3 3x1 的卷积组合来代替,目的也是减少参数量和计算量 ———小卷积分解为非对称卷积。
采用这种分解在模型的早期网络层上不能有效发挥作用,但是在中等特征
图大小 (m×m ,其中 m 12 20 之间的范围 ) 上取得了非常好的效果。
使用 3x3 的卷积代替 5x5 的卷积,输出 512 通道特征图,输出 128 通道特征图:
参数量: 512×3×3×128+128×3×3×128=737280
计算量: 512×3×3×128×W×H+128×3×3×128×W×H=737280×W×H
W×H 是特征图尺寸,假设卷积层的输入输出特征图尺寸保持一致
使用 1x3 3x1 的卷积组合代替 5x5 的卷积,输出 512 通道特征图,输出 128 通道特
征图:
参数量: 512×1×3×128+128×3×1×128+128×1×3×128+128×3×1×128=344064
计算量:
512×1×3×128×W×H+128×3×1×128×W×H+128×1×3×128×W×H+128×3×1×128×W
×H=344064×W×H

4. InceptionV3结构(三)

该结构主要用于扩充通道数,网络变得更宽,该结构被放置在所以放在
GoogLeNet(InceptionV3) 的最后。

4. InceptionV3特殊结构

        在传统方法中,卷积神经网络使用池化等操作以减小特征图大小。先池化
再进行卷积升维会导致瓶颈结构,过程中将丢失很多信息,对于后面输出的特
征图提取的图像中的特征将会更少;先卷积升维再进行池化,计算量将增加三
倍,增加了计算成本:
        GoogLeNet(InceptionV3)的改进方案采用一种并行的降维结构,在扩充通
道数的同时下采样减小特征图大小,既减少计算量保证了计算效率又避免了瓶
颈结构。
替换 GoogLeNet(InceptionV1) 模型中的 MaxPool
辅助分类器
        GoogLeNet(InceptionV1)引入了辅助分类器的概念,最初的动机是为了将有用
的梯度反向传递到网络低层,解决梯度消失的问题,提高网络的收敛能力,保
证网络训练正常进行。
        GoogLeNet(InceptionV3)的实验则发现 1. 辅助分类器并不能保证收敛更快,并
且有无辅助分类器,训练过程基本保持一致,只有在训练的最后阶段,有辅助
分类器略微高于无辅助分类器的网络; 2. 位于网络低层的辅助分类器对最终结果
没有影响; 3. 辅助分类器充当了正则化器,如果辅助分类器带有 BN Dropout 层那么主分类器性能会更好。
GoogLeNet(InceptionV3) 中的辅助分类器同样不直接用于最终的预测结
果。在训练过程中,辅助分类器的损失函数会被加权,并与主分类器的损失函
数相结合。在推理阶段,辅助分类器被舍弃,仅使用主分类器进行预测。

GoogLeNet(InceptionV3)模型结构

下图是原论文给出的关于 GoogLeNet(InceptionV3) 模型结构的详细示意图:
        GoogLeNet(InceptionV3)在图像分类中分为两部分: backbone 部分: 主
要由 InceptionV3 模块、卷积层和池化层 ( 汇聚层 ) 组成,分类器部分: 由主分类
器和辅助分类器组成。
        博主仿造GoogLeNet(InceptionV1) 的结构绘制了以下 GoogLeNet(InceptionV3)
的结构。

这篇关于GoogLeNet(InceptionV3)模型算法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1061910

相关文章

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备(一)硬件要求(二)软件要求(三)创建虚拟环境三、安装依赖库四、获取 Dee

DeepSeek模型本地部署的详细教程

《DeepSeek模型本地部署的详细教程》DeepSeek作为一款开源且性能强大的大语言模型,提供了灵活的本地部署方案,让用户能够在本地环境中高效运行模型,同时保护数据隐私,在本地成功部署DeepSe... 目录一、环境准备(一)硬件需求(二)软件依赖二、安装Ollama三、下载并部署DeepSeek模型选

Golang的CSP模型简介(最新推荐)

《Golang的CSP模型简介(最新推荐)》Golang采用了CSP(CommunicatingSequentialProcesses,通信顺序进程)并发模型,通过goroutine和channe... 目录前言一、介绍1. 什么是 CSP 模型2. Goroutine3. Channel4. Channe

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例:使用随机森林预测鸢尾花品种4.1

Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

《Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)》:本文主要介绍Python基于火山引擎豆包大模型搭建QQ机器人详细的相关资料,包括开通模型、配置APIKEY鉴权和SD... 目录豆包大模型概述开通模型付费安装 SDK 环境配置 API KEY 鉴权Ark 模型接口Prompt

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行