本文主要是介绍深度学习小笔记01－看过的博客，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
写在前面的话：本来这篇博文我自己归为转载。但是随着CSDN更新，后续的更新需要附带转载链接，这里转载链接很多，于是乎我后来改成原创了，实际上并不是，各个对应的链接是原文或者资料来源。私自归类汇总的行为构成了一次知识侵权，这并不是我本意。
卷积神经网络CNN总结
【重磅】计算机视觉和 CNN 发展十一座里程碑（附论文下载）－来自公众号
卷积神经网络超详细介绍(这篇文章写的很丰富，条理清晰内容广泛，应该多读几遍。顺便吐槽作者Markdown排版空格部分没敲，然后有的排版有问题)
- 深度学习AlexNet模型详细分析
- “发展更好的模型实际上是不断试错的过程”
- 从科学的观点出发，如果不知道神经网络为什么取得了如此好的效果，那么只能靠不停的实验来寻找更好的模型。
- ZF Net不仅是2013年比赛的冠军，还对CNN的运作机制提供了极好的直观信息，展示了更多提升性能的方法。论文所描述的可视化方法不仅有助于弄清CNN的内在机理，也为优化网络架构提供了有用的信息。Deconv可视化方法和 occlusion 实验
- GoogLeNet Incepetion V1《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。
- 输入通道数为K，输出通道数为L，那么卷积核个数为KL。因为高维卷积计算是多个通道与多个卷积核分别进行二维计算，
所以K个通道会需要K个卷积核，计算之后，合并也就是相加得到一个通道，又因为输出通道为L，所以需要KL个卷积核。然后就是如何求解参数数量？其实很简单，就是卷积核个数乘以卷积核尺寸，para=IJK*L
- GoogleNet Inception V2
V2和V1的最大的不同就是，V2增加了Batch Normalization。《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
BN的意义：解决的问题是梯度消失和梯度爆炸的问题
- 梯度消失:浅层基本不学习，权值变化小，后面几层一直在学习，结果就是后面几层基本可以表示整个网络，失去了深度的意义。
- 第一层偏移量的梯度 = 激活层斜率1 x 权值1 x 激活层斜率2 x …激活层斜率(n-1) x 权值(n-1) x 激活层斜率n 假如激活层斜率均为最大值0.25，所有层的权值为100，这样梯度就会指数增加。
- 12.3.6需要注意的是在使用BN的过程中，作者发现Sigmoid激活函数比Relu效果要好。
- 12.4.3:问题：任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代。实际上，作者发现在网络的前期使用这种分解效果并不好，还有在中度大小的feature map上使用效果才会更好。（对于mxm大小的feature map,建议m在12到20之间）。
- （来自我的理解：）ResNet其实在本质上包含了inception的思想，多层resnet的小网络叠加实现了不同尺度的卷积核的效果，同时因为有一份来自源数据的copy，达到的效果其实类似于1*1的保留效果，更像是对inception的一次精华提取。
ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构
英文帖原文1 英文帖原文2
这个值得看看
你真的明白神经网络是什么?
- 神经网络是函数
- 在linearity + non-linearity的结构下，逼近理论（universal approximation theorem）就会起作用
- 损失函数是衡量逼近效果的量化工具：现实情况是，根据不同的任务以及神经网络训练的不同阶段，可以采用不同的损失函数。例如MSE是神经网络默认的loss funhttps://www.jianshu.com/p/f743bd9041b3ction，而线性回归问题用NLLoss比MSE更好，SSD中预测bounding box的模型则采用的是MAE。
- 神经网络特别钟爱经过标准化处理后的数据。标准化处理指的是，data减去它的均值，再除以它的标准差，最终data将呈现均值为0方差为1的数据分布。([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])就是Imagenet dataset的标准化系数（RGB三个通道对应三组系数），当需要将imagenet预训练的参数迁移到另一神经网络时，被迁移的神经网络就需要使用imagenet的系数，否则预训练不仅无法起到应有的作用甚至还会帮倒忙。
空洞卷积(dilated convolution)理解
这篇关于深度学习小笔记01－看过的博客的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
