本文主要是介绍深度学习记录--RMSprop均方根,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
RMSprop(root mean square prop)
减缓纵轴方向学习速度,加快横轴方向学习速度,从而加速梯度下降
方法:
原理:
不妨以b为纵轴,w为横轴(横纵轴可能会不同,因为是多维量)
为了让w梯度下降更快,则要使S_dw尽量小,即w每次减去一个大数字,所以w梯度下降更快
为了让b梯度下降更慢,则要使S_db尽量大,即b每次减去一个小数字,所以b梯度下降更慢
为了防止分母趋近于0,则加上一个常量,一般设置
这篇关于深度学习记录--RMSprop均方根的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!