本文主要是介绍Datawhale X 李宏毅苹果书 AI夏令营-深度学习基础-Task3,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
# Datawhale AI 夏令营
夏令营手册:向李宏毅学深度学习
批量归一化
如果误差表面很崎岖,它比较难训练。而**批量归一化(Batch Normalization,BN)**的作用是把误差表面变得平滑,能够更好地训练。
在一个线性的的模型里面,当输入的特征,每一个维度的值,它的范围差距很大的时候,我们就可能产生像这样子的误差表面,就可能产生不同方向,斜率非常不同,坡度非常不同的误差表面所以怎么办呢,有没有可能给特征里面不同的维度,让它有同样的数值的范围。如果我们可以给不同的维度,同样的数值范围的话,那我们可能就可以制造比较好的误差表面,让训练变得比较容易一点其实有很多不同的方法,这些不同的方法往往就合起来统称为特征归一化(feature normalization)
归一化有个好处,做完归一化以后,这个维度上面的数值就会平均是 0,其方差是 1,所以这一排数值的分布就都会在 0 上下;对每一个维度都做一样的归一化,所有特征不同维度的数值都在 0 上下,可能就可以制造一个比较好的误差表面。所以像这样子的特征归一化方式往往对训练有帮助,它可以让在做梯度下降的时候,损失收敛更快一点,训练更顺利一点。
这篇关于Datawhale X 李宏毅苹果书 AI夏令营-深度学习基础-Task3的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!