本文主要是介绍NNDL:作业3,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在Softmax回归的风险函数(公式(3.39))中如果加上正则化项会有什么影响?
(1)
在 Softmax 回归的风险函数中加入正则化项会对模型的训练产生影响。正则化项的作用是对模型的复杂度进行惩罚,防止过拟合的发生。
(2)
原书公式为:
在加入正则化后损失函数为:
求梯度得:
W更新:
加入正则化后,在更新参数时每次需要减去,使得参数不会太大,防止数值溢出。
这篇关于NNDL:作业3的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!