Datawhale AI夏令营第五期【深度学习进阶】深度学习基础

本文主要是介绍Datawhale AI夏令营第五期【深度学习进阶】深度学习基础，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这里写自定义目录标题

- - 1、神经网络优化失败的原因及解决措施
  - - 1.1 常见概念
    - 1.2 逃离鞍点的方法

1、神经网络优化失败的原因及解决措施

原因：收敛在局部极限值与鞍点会导致优化失败。
解决措施：

可以对学习率进行调整，使用自适应学习率和学习率调度。
批量归一化可以改变误差表面，也有助于优化。

1.1 常见概念

局部极小值（local minimum）：梯度为零
鞍点（saddle point）：梯度是零且区别于局部极小值和局部极大值（localmaximum）的点
把梯度为零的点统称为临界点（critical point）。损失没有办法再下降，也许是因为收敛在了临界点，但不一定收敛在局部极小值，因为鞍点也是梯度为零的点。

海森矩阵（Hessian matrix：H
若H的所有特征值都是正的，H 为正定矩阵，则 vTHv > 0，临界点是局部极小值。
若 H 的所有特征值都是负的，H 为负定矩阵，则 vTHv < 0，临界点是局部极大值。
若 H 的特征值有正有负，临界点是鞍点。