本文主要是介绍GoogLeNet阅读笔记，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
论文地址
摘要
提出了一种名为GoogLeNet的深度神经网络，该神经网络共有22层。在保证预算不变的情况下，增加了网络的深度和广度，架构设计时基于Hebbian principle和多尺度处理。
引言
目前该领域大部分的进步不仅仅是更强大的硬件、更大的数据集和更大的模型的结果，而是新思想、算法和改进的网络架构的结果。
相关工作
从LeNet-5开始，CNN已经有了标准的结构----堆叠的卷积层后面加一或多个全连接层。对于一些大型数据集，一种趋势是增加层的数量和层的大小，而用dropout处理过拟合问题。
受Serre的fixed Gabor filter启发，本文使用类似的策略，与之不同的是，所有的filters都可以被学习。重复多次的Inception层组成了22层的GoogLeNet。
增加了1×1卷积层，两个用途：主要用来降维，消除计算瓶颈，不仅可以增加网络深度，还可以在不降低性能的情况下增加网络的宽度。
R-CNN将整个检测问题分解为两个子问题：利用低层次的线索，如颜色和纹理，以一种分类不确定的方式生成目标位置建议，并使用CNN分类器来识别这些位置上的目标类别。这种两阶段的方法利用了低层次线索分割边界框的准确性，以及目前最先进的cnn的强大分类能力。
Motivation and High Level Considerations
增加神经网络性能最直接的方法是增加它的深度和宽度，但其有两个弊端：**网络尺寸越大训练的参数就越多，过拟合就更容易发生；另一个弊端是计算资源会急剧增加。
解决这两个问题的一个基本方法是引入稀疏性，并用稀疏层替换完全连接的层，甚至在卷积内部也是如此。如果数据集的概率分布可以用一个大型的、非常稀疏的深度神经网络来表示，那么通过分析前一层激活和聚类输出高度相关的神经元的相关统计数据，可以逐层构建最优的网络拓扑。（Arora et al.）
架构细节
为了避免patch-alignment问题，只采用卷积核1，3，5。此外，将池化层与卷积层并行操作。初版的Inception结构如下：
对上图做以下说明：
1 . 采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；
2 . 之所以卷积核大小采用1、3和5，主要是为了方便对齐。设定卷积步长stride=1之后，只要分别设定pad=0、1、2，那么卷积之后便可以得到相同维度的特征，然后这些特征就可以直接拼接在一起了；
3 . 文章说很多地方都表明pooling挺有效，所以Inception里面也嵌入了。
4 . 网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大了，因此随着层数的增加，3x3和5x5卷积的比例也要增加。
缺点：由于池化层的输出与卷积层的输出合并，必然会导致各阶段输出数量的增加，使得计算效率会很低。所以可以采用降维的方法减少计算参数。（使用5x5的卷积核仍然会带来巨大的计算量。） 为此，文章借鉴NIN2，采用1x1卷积核来进行降维。
例如：上一层的输出为100x100x128，经过具有256个输出的5x5卷积层之后(stride=1，pad=2)，输出数据为100x100x256。其中，卷积层的参数为128x5x5x256。假如上一层输出先经过具有32个输出的1x1卷积层，再经过具有256个输出的5x5卷积层，那么最终的输出数据仍为为100x100x256，但卷积参数量已经减少为128x1x1x32 + 32x5x5x256，大约减少了4倍。
改进后的Inception为：
GoogLeNet
所有的卷积层，包括Inception模块，均使用rectified linear activation。网络详细参数如下：
网络结构如下：
对于该网络结构做如下说明：
1 . 显然GoogLeNet采用了模块化的结构，方便增添和修改；
2 . 网络最后采用了average pooling来代替全连接层，想法来自NIN,事实证明可以将TOP1 accuracy提高0.6%。但是，实际在最后还是加了一个全连接层，主要是为了方便以后大家finetune；
3 . 虽然移除了全连接，但是网络中依然使用了Dropout ;
4 . 为了避免梯度消失，网络额外增加了2个辅助的softmax用于向前传导梯度。文章中说这两个辅助的分类器的loss应该加一个衰减系数，但看caffe中的model也没有加任何衰减。此外，实际测试的时候，这两个额外的softmax会被去掉。
Inception的作用？
Inception包含11卷积核、33卷积核、5*5卷积核、池化层。不同大小的卷积核能够提取不同大小的特征，因此能够提取其细节信息；池化层有助于降低空间维度并避免过拟合。在每个卷积层后面都有Relu函数，增强了模型的非线性能力，网络在执行这些操作的同时保证了计算资源上的有效性。
这篇关于GoogLeNet阅读笔记的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
