本文主要是介绍Datawhale AI夏令营第五期【深度学习进阶】深度学习基础，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
这里写自定义目录标题
- 1、神经网络优化失败的原因及解决措施
- 1.1 常见概念
- 1.2 逃离鞍点的方法
1、神经网络优化失败的原因及解决措施
原因：收敛在局部极限值与鞍点会导致优化失败。
解决措施：
- 可以对学习率进行调整，使用自适应学习率和学习率调度。
- 批量归一化可以改变误差表面，也有助于优化。
1.1 常见概念
局部极小值（local minimum）：梯度为零
鞍点（saddle point）： 梯度是零 且区别于局部极小值和局部极大值（localmaximum）的点
把梯度为零的点统称为临界点（critical point）。损失没有办法再下降，也许是因为收敛在了临界点，但不一定收敛在局部极小值，因为鞍点也是梯度为零的点。
海森矩阵（Hessian matrix：H
若H的所有特征值都是正的，H 为正定矩阵，则 vTHv > 0，临界点是局部极小值。
若 H 的所有特征值都是负的，H 为负定矩阵，则 vTHv < 0，临界点是局部极大值。
若 H 的特征值有正有负，临界点是鞍点。
1.2 逃离鞍点的方法
低维度空间中的局部极小值点，在更高维的空间中，实际是鞍点。
这篇关于Datawhale AI夏令营第五期【深度学习进阶】深度学习基础的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
