本文主要是介绍[机器学习入门] 李宏毅机器学习笔记-3 (Gradient Descent ;梯度下降),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
[机器学习入门] 李宏毅机器学习笔记-3 (Gradient Descent ;梯度下降)
VIEDO |
---|
Review
梯度下降的三个小贴士
Tip 1 Tuning your learning rates
- 最流行也是最简单的做法就是:在每一轮都通过一些因子来减小learning rate。
- 最开始时,我们距离最低点很远,所以我们用较大的步长。
- 经过几轮后,我们接近了最低点,所以我们减少learning rate。
- 比如: 1/t 衰减:
这篇关于[机器学习入门] 李宏毅机器学习笔记-3 (Gradient Descent ;梯度下降)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!