本文主要是介绍深度学习小笔记01-看过的博客,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
写在前面的话:本来这篇博文我自己归为转载。但是随着CSDN更新,后续的更新需要附带转载链接,这里转载链接很多,于是乎我后来改成原创了,实际上并不是,各个对应的链接是原文或者资料来源。私自归类汇总的行为构成了一次知识侵权,这并不是我本意。
卷积神经网络CNN总结
【重磅】计算机视觉和 CNN 发展十一座里程碑(附论文下载)-来自公众号
卷积神经网络超详细介绍(这篇文章写的很丰富,条理清晰内容广泛,应该多读几遍。顺便吐槽作者Markdown排版空格部分没敲,然后有的排版有问题)
- 深度学习AlexNet模型详细分析
- “发展更好的模型实际上是不断试错的过程”
- 从科学的观点出发,如果不知道神经网络为什么取得了如此好的效果,那么只能靠不停的实验来寻找更好的模型。
- ZF Net不仅是2013年比赛的冠军,还对CNN的运作机制提供了极好的直观信息,展示了更多提升性能的方法。论文所描述的可视化方法不仅有助于弄清CNN的内在机理,也为优化网络架构提供了有用的信息。Deconv可视化方法和 occlusion 实验
- GoogLeNet Incepetion V1《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。
- 输入通道数为K,输出通道数为L,那么卷积核个数为KL。因为高维卷积计算是多个通道与多个卷积核分别进行二维计算,
所以K个通道会需要K个卷积核,计算之后,合并也就是相加得到一个通道,又因为输出通道为L,所以需要KL个卷积核。然后就是如何求解参数数量?其实很简单,就是卷积核个数乘以卷积核尺寸,para=IJK*L
- GoogleNet Inception V2
V2和V1的最大的不同就是,V2增加了Batch Normalization。《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
BN的意义:解决的问题是梯度消失和梯度爆炸的问题
- 梯度消失:浅层基本不学习,权值变化小,后面几层一直在学习,结果就是后面几层基本可以表示整个网络,失去了深度的意义。
- 第一层偏移量的梯度 = 激活层斜率1 x 权值1 x 激活层斜率2 x …激活层斜率(n-1) x 权值(n-1) x 激活层斜率n 假如激活层斜率均为最大值0.25,所有层的权值为100,这样梯度就会指数增加。
- 12.3.6需要注意的是在使用BN的过程中,作者发现Sigmoid激活函数比Relu效果要好。
- 12.4.3:问题:任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代。实际上,作者发现在网络的前期使用这种分解效果并不好,还有在中度大小的feature map上使用效果才会更好。(对于mxm大小的feature map,建议m在12到20之间)。
- (来自我的理解:)ResNet其实在本质上包含了inception的思想,多层resnet的小网络叠加实现了不同尺度的卷积核的效果,同时因为有一份来自源数据的copy,达到的效果其实类似于1*1的保留效果,更像是对inception的一次精华提取。
ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构
英文帖原文1 英文帖原文2
这个值得看看
你真的明白神经网络是什么?
- 神经网络是函数
- 在linearity + non-linearity的结构下,逼近理论(universal approximation theorem)就会起作用
- 损失函数是衡量逼近效果的量化工具:现实情况是,根据不同的任务以及神经网络训练的不同阶段,可以采用不同的损失函数。例如MSE是神经网络默认的loss funhttps://www.jianshu.com/p/f743bd9041b3ction,而线性回归问题用NLLoss比MSE更好,SSD中预测bounding box的模型则采用的是MAE。
- 神经网络特别钟爱经过标准化处理后的数据。标准化处理指的是,data减去它的均值,再除以它的标准差,最终data将呈现均值为0方差为1的数据分布。([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])就是Imagenet dataset的标准化系数(RGB三个通道对应三组系数),当需要将imagenet预训练的参数迁移到另一神经网络时,被迁移的神经网络就需要使用imagenet的系数,否则预训练不仅无法起到应有的作用甚至还会帮倒忙。
空洞卷积(dilated convolution)理解
这篇关于深度学习小笔记01-看过的博客的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!