本文主要是介绍深度学习-批量与动量【Datawhale X 李宏毅苹果书 AI夏令营】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
实际工程中使用批量和动量可以对抗鞍点或局部最小值。
批量:
在计算梯度的时候不会用所有数据计算损失。类比我们考试复习时,一个单元一个单元的知识点输入,所有单元都输入就是一整个轮回。而这一个单元用深度学习的术语来说就是批量(batch)。遍历所有批量就是一个回合(epoch)。
使用全批量的数据来更新参数的方法叫做批量梯度下降法(BGD),在下降的梯度上引入随机噪声,叫做随机梯度下降法(SGD)。
相对而言,大的批量更新比较稳定,小的批量梯度方向存在一定的噪声,有噪声的梯度反而可以帮助训练。
动量:
如果一个球从高处滚下来,由于惯性它会继续往前走,如果动量足够大,甚至可以翻越小坡继续走。这就是动量。简单些理解,在高处下落的球在滑落到局部最低的坡之后会继续往高处越,假如当前的高处有一个小坡,球还是可以越过这个小坡到达下一个最低点。
这篇关于深度学习-批量与动量【Datawhale X 李宏毅苹果书 AI夏令营】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!