He, Kaiming, et al. “Delving deep into rectifiers: Surpassing human-level performance on imagenet classification.” Proceedings of the IEEE International Conference on Computer Vision. 2015. [Citations

论文原文：http://arxiv.org/abs/1502.01852 论文主要讨论了以ReLU为激活函数的网络的缺陷并提出了改进的激活函数PReLU与新的Kaiming初始化方法 1. PReLU 前向传播 通道独立： f ( y i ) = max ⁡ ( 0 , y i ) + a i min ⁡ ( 0 , y i ) f\left(y_{i}\right)=\max \le

前言 内容是经典激活函数PRelu的提出 内容 上图左为Relu，右图为PRelu，P相比传统Relu，在坐标系左边有数值。用公式解释： 当ai=0时，成为Relu；当ai是一个小且固定的数值，则变成Leaky Relu（ai=0.01），LRelu的motivation是为了防止零梯度，即坐标轴左侧有数值。但是在一些研究上，显示LRelu对于精度的影响微乎其微。 Prelu相比Rel