为什么“梯度下降法的神经网络容易收敛到局部最优”是个错觉--笔记

一、 我们可能从来没有找到过“局部最优”，更别说全局最优了。

作者：五楼whearer
链接：https://www.zhihu.com/question/68109802/answer/262143638

深度神经网络“容易收敛到局部最优”，很可能是一种想象，实际情况是，我们可能从来没有找到过“局部最优”，更别说全局最优了。

很多人都有一种看法，就是“局部最优是神经网络优化的主要难点”。这来源于一维优化问题的直观想象。在单变量的情形下，优化问题最直观的困难就是有很多局部极值，如

人们直观的想象，高维的时候这样的局部极值会更多，指数级的增加，于是优化到全局最优就更难了。然而单变量到多变量一个重要差异是，单变量的时候，Hessian矩阵只有一个特征值，于是无论这个特征值的符号正负，一个临界点都是局部极值。但是在多变量的时候，Hessian有多个不同的特征值，这时候各个特征值就可能会有更复杂的分布，如有正有负的不定型和有多个退化特征值（零特征值）的半定型

在后两种情况下，是很难找到局部极值的，更别说全局最优了。

前面很多回答说了，现在看来神经网络的训练的困难主要是鞍点的问题。在实际中，我们很可能也从来没有真的遇到过局部极值。Bengio组这篇文章Eigenvalues of the Hessian in Deep Learning里面的实验研究给出以下的结论：

• Training stops at a point that has a small gradient. The norm of the gradient is not zero, therefore it does not, technically speaking, converge to a critical point.
• There are still negative eigenvalues even when they are small in magnitude.

另一方面，一个好消息是，即使有局部极值，具有较差的loss的局部极值的吸引域也是很小的Towards Understanding Generalization of Deep Learning: Perspective of Loss Landscapes。

For the landscape of loss function for deep networks, the volume of basin of attraction of good minima dominates over that of poor minima, which guarantees optimization methods with random initialization to converge to good minima.

所以，很可能我们实际上是在“什么也没找到”的情况下就停止了训练，然后拿到测试集上试试，“咦，效果还不错”。

补充说明，这些都是实验研究结果。理论方面，在各种假设下，深度神经网络的Landscape 的鞍点数目指数增加，而具有较差loss的局部极值非常少。

SGD收敛性的很多结论都是经验性的。在loss function landscape是退化的情况下loss 停滞在某个数值上训练不动的原因，很大程度上不是因为停在某个点不动了，是停在某个区域不动了。over-parameterized的神经网络有大片的平坦区域，这里一阶二阶乃至更高阶都是退化的，甚至有实验说这样的区域时dominant的（虽然我觉得那个结论有点大）。这时候可以说反复迭代也没啥改进，但是这反过来说算法无需太多迭代就能找到这样一个平坦区域，这里loss 和其中的local minima （可能也是退化的）相差不大，是不是真的找到local minima也没那么重要了。

相关的回答：

神经网络的训练可以采用二阶优化方法吗(如Newton, Quasi Newton)？

二、真的结束于最优点吗？

链接：https://www.zhihu.com/question/68109802/answer/263503269
 

我们知道，在局部最优点附近，各个维度的导数都接近0，而我们训练模型最常用的梯度下降法又是基于导数与步长的乘积去更新模型参数的，因此一旦陷入了局部最优点，就像掉进了一口井，你是无法直着跳出去的，你只有连续不间断的依托四周的井壁努力向上爬才有可能爬出去。更何况梯度下降法的每一步对梯度正确的估计都在试图让你坠入井底，因此势必要对梯度“估计错很多次”才可能侥幸逃出去。那么从数学上看，什么才是局部最优点呢？

这个问题看似很白痴，很多人会说“局部最优点不就是在loss曲面上某个一阶导数为0的点嘛”。这就不准确啦，比如下面这个马鞍形状的中间的那个点：

（图片来自《deep learning》）

显然这个点也是（一阶）导数为0，但是肯定不是最优点。事实上，这个点就是我们常说的鞍点。

显然，只用一阶导数是难以区分最优点和鞍点的。

我们想一下，最优点和鞍点的区别不就在于其在各个维度是否都是最低点嘛～只要某个一阶导数为0的点在某个维度上是最高点而不是最低点，那它就是鞍点。而区分最高点和最低点当然就是用二阶导数（斜率从负变正的过程当然就是“下凸”，即斜率的导数大于0，即二阶导数大于0。反之则为“上凹”，二阶导数小于0）。也就是说，若某个一阶导数为0的点在至少一个方向上的二阶导数小于0，那它就是鞍点啦。

那么二阶导数大于0和小于0的概率各是多少呢？由于我们并没有先验知识，因此按照最大熵原理，我们认为二阶导数大于和小于0的概率均为0.5！

那么对于一个有n个参数的机器学习/深度学习模型，“loss曲面”即位于n+1维空间（loss值为纵轴，n个参数为n个横轴）。在这个空间里，如果我们通过梯度下降法一路下滑终于滑到了一个各方向导数均为0的点，那么它为局部最优点的概率即 ，为鞍点的概率为 ，显然，当模型参数稍微一多，即n稍微一大，就会发现这个点为鞍点的概率会远大于局部最优点！

好吧我再啰嗦的举个栗子，已经反应过来的同学可以跳过这个栗子：

假设我们的模型有100个参数（实际深度学习模型中一般会远大于100），那么某一阶导数为0的点为局部最优点的概率为约为 ，而为鞍点的概率则为 。就算我们的模型在训练时使用了特别厉害的“超级梯度下降法”，它可以每走一步都恰好踩在一个一阶导数为0的点上，那么从数学期望上来看，我们需要走10^31步才行。而实际的projects中，哪怕数据集规模为千万级，我们分了100万个batches，然后要迭代100次，那也仅仅是走了 步，你真的觉得运气可以辣么好的走到局部最优点上去吗？所以实际中，当我们的深度学习模型收敛时，几乎没有必要认为它收敛到了一个局部最优点，这完全等同于杞人忧天。

也就是说，如果最后模型确实在梯度下降法的指引下收敛到了一个导数为0的点，那这个点几乎可以肯定就是一个鞍点。

如果我们的模型真的收敛到鞍点上了，会很可怕吗？

这就又回到了文章开头的那副马鞍状的图。

显然，站在马鞍中央的时候，虽然很难翻过两边的山坡，但是往前或者往后随便走一步就能摔下马鞍！而在文章《batch size》中小夕讲过，我们默认使用的mini-batch梯度下降法本身就是有噪声的梯度估计，哪怕我们位于梯度为0的点，也经常在某个mini-batch下的估计把它估计偏了，导致往前或者往后挪了一步摔下马鞍，也就是mini-batch的梯度下降法使得模型很容易逃离特征空间中的鞍点。

那么问题来了，既然局部最优点很难踩到，鞍点也很容易逃离出去，那么

为什么我们的模型看起来是收敛了呢？

初学者可能会说 “诶诶，会不会是学习率太大了，导致在“鞍点”附近震荡？” 首先，鞍点不像最优点那样容易震荡，而且哪怕你不断的减小学习率继续让模型收敛，大部分时候你这时计算output层或者后几层的梯度向量的长度时往往会发现它依然离0很遥远！（这句话是有实验支撑的，不过那篇论文我暂时没记起来，找到时贴出来）说明大部分时候收敛到的并不是鞍点。

那会不会踩到的鞍点太多，虽然前面的鞍点都轻松逃逸了，但是最后恰好收敛到一个跳不下去的鞍点身上了？

这倒是有可能，不排除有一些“马鞍面”特别平坦的鞍点区域，当模型陷入这种鞍点上时，由于计算出的梯度非常小，导致要连续迭代非常多次才可能慢慢移开这个鞍点，事实上大部分工程情况下，没等它移开的时候我们就已经默认为模型收敛、训练结束了，实际上人家模型还在努力逃离鞍点中呢。

不过话说回来，虽然高维空间中的鞍点数量远远大于最优点，而且鞍点数量随着特征空间维度增高而指数级增长，但是鞍点的数量在整个空间中又是微不足道的：按前面的假设，假设在某个维度上随机一跳有10%的概率踩到导数为0的点，那么我们在101维的空间中的一步恰好踩到这个点上的概率为10^-100，也就是说在101维空间里随机乱跳的时候，有10^-100的可能性踩到鞍点身上。因此，即使有难以逃离的鞍点，即使我们的优化算法在努力向附近的鞍点靠拢，那么被我们正好踩到那些难以逃离的特殊鞍点的概率也是非常小的。

所以更令人信服的是，在高维空间里（深度学习问题上）真正可怕的不是局部最优也不是鞍点问题，而是一些特殊地形。比如大面积的平坦区域：

（图片来自《deep learning》）

在平坦区域，虽然导数不为0但是却不大。虽然是在不断下降但是路程却非常长。对于优化算法来说，它需要走很多很多步才有可能走过这一片平坦区域。甚至在这段地形的二阶导数过于特殊的情况下，一阶优化算法走无穷多步也走不出去（设想一下，如果终点在一米外，但是你第一次走0.5米，后续每一步都是前一步的一半长度，那么你永远也走不到面前的一米终点处）。

所以相比于栽到最优点和鞍点上，优化算法更有可能载到这种类似平坦区的地形中（如果这个平坦区又是“高原地带”，即loss值很高的地带，那么恭喜你悲剧了）。更糟糕的是，由于高维地形难以可视化，还有很多更复杂的未知地形会导致假收敛，一旦陷入到这些危险地形中，几乎是无解的。

所以说，在深度学习中，与其担忧陷入局部最优点怎么跳出来，更不如去考虑数据集要怎么做才能让网络更好学习，以及网络该怎么设计才能更好的捕获pattern，网络该怎么训练才能学到我们想让它学习的知识。

三、 和泛化能力的关系

链接：https://www.zhihu.com/question/68109802/answer/264008642

很多回答已经从梯度的角度深入分析了收敛性，在这里我补充一下这个问题和泛化能力的关系，解释一下为什么没有收敛也不妨碍应用。

tl;dr：首先在实际的训练中，由于SGD以及dropout等regularization方法的使用，
最后模型基本不可能收敛于某一个点，它只是处在了一个比较平坦的区域。其次，神经网络的神奇之处在于，在这个平坦的区域内随便选一个点（即网络参数）都会具有很好的泛化能力，且这个平坦区域越大，泛化能力越好，从而可以在测试集上取得比较好的结果。这也是神经网络应用广泛的原因。

1. 最后不会收敛到某一点。sgd和dropout等都相当于是在模型中注入了具有随机性的噪声，所以基本没有可能存在一个点，可以在这些噪声的干扰下得到零梯度。所以最终稳定的模型应该是处在一个区域内，这些噪声的干扰不会让模型脱离这个区域。

2. 没有收敛并不是坏事。尽管模型最后并没有收敛到某一个点，我们仍将最后的稳定位置称为一个minima，在这里minima指的并不是点，而是一个区域。在这个区域里面，loss surface是基本平坦的，且低于周围的位置，看起来像是一个盆地。在[1]里面，作者指出神经网络的loss surface上会有很多这种minima，使用sgd得到的minima的函数值通常都比较小。这和我们的经验是相符合的：配合各种训练方法，随机初始化的神经网络训练到最后的training loss都会比较小。特别地，[1]里面提到全局最优的参数往往意味着严重过拟合（可以从数据存在噪声的角度理解这个结论）。在[2]以及它引用的一些文献中，我们可以看到，这些小“盆地”的面积和网络泛化能力强相关。通常，面积大的盆地（flat minima）泛化能力好（可以从loss对权重噪声的稳定性上理解）。