本文主要是介绍#Datawhale X 李宏毅苹果书 AI夏令营#3.13.2局部极小值与鞍点批量和动量,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本章介绍深度学习常见的概念,主要包括3.1局部极小值与鞍点;3.2批量和动量。
知识点讲解:
3.1局部极小值和鞍点
我们在做优化的时候,有时候会发现随着参数不断更新,函数的损失值却不再下降的现象,但这个优化结果离我们想要的理想值还差距很大。
这是什么原因呢?接下来我们就研究这个问题。
局部极小值:
我们先看数学定义:在一个多变量函数中,如果存在某个点,在该点附近的所有其他点的函数值都大于等于该点的函数值,则该点称为一个局部极小值点。局部极小值的梯度为零(即导数为零),但梯度为零的点不一定是极值点。海森矩阵正定。
鞍点:
数学定义:对于一个多变量函数,如果存在一个点,在某些方向上它是局部最小值,在其他方向上则是局部最大值,那么这个点就被称为鞍点。鞍点处的梯度也为零,但其海森矩阵既不是正定也不是负定,通常含有正的和负的特征值。鞍点可以想象成一个马鞍的形状。可以参考下图:
如何判断一个梯度为零的点是极值点还是鞍点:
1)梯度,鞍点和极值点的梯度都为零,所以无法通过梯度来判断;
2)海森矩阵,我们可以利用函数的二阶条件即海森矩阵来判断。如果海森矩阵正定或负定,那么这个点就是极小值点或者极大值点;如果海森矩阵的特征值既有正值又有负值,即既不是正定又不是负定,那么可以判断该点是鞍点。
逃离鞍点的方法:
逃离鞍点是优化算法面临的重要挑战之一,尤其在处理非凸函数时更为显著。鞍点并没那么可怕。为什么呢?低维度空间中的局部极小值点,在更高维的空间中,实际是鞍点。这就好办了,如果在二维空间中无路可走,那么在更高维的空间里面是不是有可行的路径呢?答案是肯定的。多数的时候,我们训练到一个梯度 很小的地方,参数不再更新,往往只是遇到了鞍点。
3.2批量和动量
批量:
定义:批量(batch size),是指在训练神经网络时,每次计算梯度和更新参数时所使用的样本数量。。在深度学习中,数据集通常会被划分为多个小批次,每个批次包含一定数量的样本。批量是一个超参数,是可以手动调整的。通常也是需要我们根据数据量的不同来调参的。
批量大小对梯度下降法的影响
批量梯度下降:1)批量梯度下降每次迭代的计算量大;2)批量梯度下降每次更新更稳定、更 准确;
在考虑并行计算的情况下,批量梯度下降的花费的时间不一定更长。只有在批量很大的情况下超出GPU 并行计算极限的时候,需要花费的时间才会比小批量梯度下降时间长。
小批量梯度下降:1)单次迭代的计算量小,但每个epoch内需要更新的参数次数增加;2)梯度更新的方向有噪声;
实际上有噪声的梯度反而可能可以帮助训练,一个可能的解释是因为噪声有助于跳出局部极小值。
这个是优化的问题,大的批量大小优化可能会有问题,小的批量大小优化的结果反而是比较好的。
小的批量也对测试有帮助。
“大的批量大小会让我们倾向于走到“峡谷”里面,而小的批量大小倾向于让我们走到“盆地” 里面。小的批量有很多的损失,其更新方向比较随机,其每次更新的方向都不太一样。即使 “峡谷”非常窄,它也可以跳出去,之后如果有一个非常宽的“盆地”,它才会停下来。”
总之,批量大小是需要调整的超参数。批量大小的选择是一个权衡的过程,需要根据具体的硬件资源、训练目标以及模型特性来进行决策。
动量:
动量是一个来源于物理学的概念。在物理学中,动量和惯性息息相关。
在机器学习领域,我们引入了动量这个概念,用来改进梯度下降算法。动量法(momentum method)是另外一个可以对抗鞍点或局部最小值的方法。动量方法通过在梯度下降过程中加入历史梯度的方向信息,以加速收敛过程,并帮助模型更快地达到全局最优解或较好的局部最优解。
引入动量后,我们每次在更新参数时,不仅考虑当前点的梯度的反方向,同时还要考虑前一步的移动方向。每次更新时,都会先计算出新的动量向量,然后使用这个向量和当前的负梯度来一起更新模型参数。
动量方法的优点:1)加速收敛,在梯度方向变化不大的情况下,可以更快的沿着梯度方向前进;2)平滑更新,因为考虑了历史梯度的影响,所以动量可以减少训练中的振荡,平滑参数更新过程;3)较大的动量可以帮助模型越过一些较浅的局部最小值,从而找到更优解。
动量系数的选择:通常我们选择动量系数 β 取值在 0.8 到 0.999 之间,常见值为 0.9。
喜欢的小伙伴收藏点赞关注吧。
这篇关于#Datawhale X 李宏毅苹果书 AI夏令营#3.13.2局部极小值与鞍点批量和动量的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!