本文主要是介绍三幅图简易说明神经网络的后向传播(Backward propagation),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
神经网络的后向传播是在神经网络进行训练时,神经网络各层更新数值的方法。后向传播大致可以分为以下三种情况:
在节点处相加的情况:节点会将传入的梯度值直接向后传播。
在节点处相乘的情况:将输入端的值对调,并和传入的梯度值相乘。
在节点处进行函数变换:对函数求导,并和传入的梯度值相乘。特别的,如果 g = m a x ( ) g=max() g=max(),那么只有达到了max的x的分量会传出梯度值,其它分量传出的梯度值均为0。
这篇关于三幅图简易说明神经网络的后向传播(Backward propagation)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!