Kaiming_normal 正态分布

本文主要是介绍Kaiming_normal 正态分布，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

torch.nn.init.kaiming_normal_(tensor, a=0, mode= 'fan_in', nonlinearity='leaky_relu')

此为0均值的正态分布，N～ (0,std) 

std = sqrt(2/(1+a^2)*fan_in)

a为激活函数的负半轴的斜率，relu是0

mode: 选择“fan_in”保留了forward传递中权重的方差大小。选择' 'fan_out' ' '保留了向后传递的幅度。

没理解 mode 作用，先占个坑

nonlinearity: relu 和 leaky_relu， 默认 leaky_relu

 

这篇关于Kaiming_normal 正态分布的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---