本文主要是介绍深度学习面试1:调参绝杀技,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
深度学习者若调得一手好参,便可行走江湖,曾经有这样一则新闻,天桥摆摊调参一次50元,想着都很美,毕竟比贴手机膜赚的多的多,那么想要在行业混,首先会调得一手好参,什么是要调的参数,如何调参?如何评估调的参数好呢?。。。。。
什么是要调的参数?
我想你第一反映学习率,毕竟学习率的大小决定你选择的模型是否到达局部最优,如果设置大了,模型可能越过最优值,或者在某个区间反复循环,如果设置小了,模型可能在某个相对平缓且不是局部最小点停止,这里我指的是最初的随机梯度下降法,固定大小的学习率会出现的问题。为了解决这个问题,后面出现了各种优化器克服陷入死循环,取得不是局部最优值的问题,比如下面这些优化器都从不同的角度解决了相应的问题,后面我会逐个分析各个优化器的优缺点。
除了学习率,还有迭代次数、batch、dropout的参数,网络模型构建的参数:包含卷积核的大小,卷积层的深度,卷积池的大小,RNN细胞的个数、RNN的层数等;如果使用logistic.svm等机器学习方法,正则化的系数
这篇关于深度学习面试1:调参绝杀技的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!