本文主要是介绍正则化和dropout,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1. 过拟合
先来说说什么是过拟合,在Andrew Ng的ML课程中有这么一段描述。
使用一次曲线拟合房价,发现效果并不好,出现欠拟合,是high bias,训练数据不够充分。使用二次曲线拟合房价,刚好合适。使用高阶曲线拟合,每个点都很完美,这时过拟合出现了,产生了high variance,过度训练数据,使得泛化性能很差。用Bengio在Deep Learning中的这个图来阐述什么是过拟合。
明显地,随着模型的优化,training error和generalization error都下降,但到了一定程度之后,training error还在下降,而generalization error却上升了。
那么有哪些方法来防止过拟合呢&
这篇关于正则化和dropout的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!