首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
adapative专题
P21 类神经网络训练不起来怎么办- 自动调整学习率 Adapative learning rate
梯度大,学习率减小梯度小,学习率变大adam随时间变化 , decay / warm up 调整学习率方法一 adagrad 学习率除以 梯度的方差 方法二 RMSProp 目前最常用的: Adam: RMSProp + Moment Learning rate schedule : decay/ warm up learnign rate 随时间的变化情况
阅读更多...