本文主要是介绍什么是 Batch Normalization 批标准化和全连接层,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Batch Normalization
神经元在经过激活函数之后会处于饱和状态,无论后续怎么变化都不会再起作用。
每一层都会进行batch normalization的处理!
without normalization 会导致数据分布再饱和区
全连接层:
全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。
简单来说:它把特征值整合到一起,输出为一个值。这样做有一个什么好处:就是大大减少特征位置对分类带来的影响。注:样本标记空间也叫样本输出空间
这篇关于什么是 Batch Normalization 批标准化和全连接层的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!