序:在ISVRC2015 on ImageNet2012 classification dataset 上,取得了4.94%的 top-5 test error,这是第一次超越了人的识别了率(5.1%). 文章提出了两个内容: (1) Parametric Rectified Linear Unit (PReLU) :使模型以接近0的额外计算代价和较小的过拟合风险训练模型。 (2) MSRA
He, Kaiming, et al. “Delving deep into rectifiers: Surpassing human-level performance on imagenet classification.” Proceedings of the IEEE International Conference on Computer Vision. 2015. [Citations
论文原文:http://arxiv.org/abs/1502.01852 论文主要讨论了以ReLU为激活函数的网络的缺陷并提出了改进的激活函数PReLU与新的Kaiming初始化方法 1. PReLU 前向传播 通道独立: f ( y i ) = max ( 0 , y i ) + a i min ( 0 , y i ) f\left(y_{i}\right)=\max \le