梯度不稳定和Glorot条件 一、梯度消失和梯度爆炸   对于神经网络这个复杂系统来说，在模型训练过程中，一个最基础、同时也最常见的问题，就是梯度消失和梯度爆炸。   我们知道，神经网络在进行反向传播的过程中，各参数层的梯度计算会涉及到激活函数导函数取值，具体来说，假设现在有一个三层的神经网络，其中两个隐藏层的激活函数为 F ( x ) F(x) F(x)，对应的导函数为 f ( x ) f

文章目录 0 先前初始化方法随机初始化权重选择合适的权重初始值 1 深度神经网络2 实验环境和数据集在线学习无限数据集：Shapeset-3 x 2有限数据集实验环境 3 训练过程激活函数和饱和的影响Sigmoid实验Tanh实验Softsign实验 4 研究梯度及其传播损失函数影响梯度传播研究学习过程中的后向传播梯度 5 误差曲线与结论 【Reference】 1. Unders