问题的出发点：如何智能地调整学习率? 在深度学习模型训练过程中，学习率是一个至关重要的超参数，可以把它看作是寻优过程中迈的步子大小。这个参数会影响到训练效率，以及模型是否能收敛。模型寻优时聪明不聪明很大程度上依赖学习率这个参数。 上篇文章提到，训练模型时我们有时会头痛模型卡在critical point 训练不动了，随着迭代次数增加，损失函数不再下降，而且损失函数在该点梯度变得很小。但还有另外