（五）网络优化与超参数选择--九五小庞

本文主要是介绍（五）网络优化与超参数选择--九五小庞，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

网络容量

• 网络中神经单元数越多，层数越多，神经网路的拟合能力越强。但是训练速度，难度越大，越容易产生过拟合。

如何选择超参数

• 所谓超参数，也就是搭建神经网路中，需要我们自己去选择（不是通过梯度下降算法去优化）的哪些参数。比如，中间层的神经元个数，学习速率。

如何提高网络的拟合能力

增大网络容量

• 增加层（深度）
  增加层会大大提高网络的拟合能力，这也是为什么现在深度学习的层越来越深的原因
• 增加隐藏神经元个数（宽度）
  单纯的增加神经元个数对网络性能的提高并不明显
• 注意：单层的神经元个数，不能太小，太小的话，会造成信息瓶颈，使得模型欠拟合

这篇关于（五）网络优化与超参数选择--九五小庞的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---