ReLU Sigmoid and Tanh

本文主要是介绍ReLU Sigmoid and Tanh，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

ReLU 激活函数：

ReLu使得网络可以自行引入稀疏性，在没做预训练情况下，以ReLu为激活的网络性能优于其它激活函数。
数学表达式： y=max(0,x)

Sigmoid 激活函数：

sigmoid 激活函数在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。
数学表达式（正切函数）： y=(1+exp(−x))−1

导数：f(z)' = f(z)(1 − f(z))

Tanh 激活函数：

Tanh 激活函数使得输出与输入的关系能保持非线性单调上升和下降关系，比sigmoid 函数延迟了饱和期，对神经网路的容错性好。

数学表达式（双曲正切函数）： y=exp(x)−exp(−x)exp(x)+exp(−x)

导数：f(z)' = 1 − (f(z))²

为什么通常Relu比sigmoid和tanh强，有什么不同？
1、主要是因为它们gradient特性不同。sigmoid和tanh的gradient在饱和区域非常平缓，接近于0，很容易造成vanishing gradient的问题，减缓收敛速度。vanishing gradient在网络层数多的时候尤其明显，是加深网络结构的主要障碍之一。相反，Relu的gradient大多数情况下是常数，有助于解决深层网络的收敛问题。

2、Relu的另一个优势是在生物上的合理性，它是单边的，相比sigmoid和tanh，更符合生物神经元的特征。

3、而提出sigmoid和tanh，主要是因为它们全程可导。

4、还有表达区间问题，sigmoid和tanh区间是0到1，或着-1到1，在表达上，尤其是输出层的表达上有优势。

为什么引入非线性激励函数？

如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。
正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入（以及一些人的生物解释）。

为什么引入Relu呢？

第一，采用sigmoid等函数，计算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。
第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失），从而无法完成深层网络的训练。
第三，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释）。

当然现在也有一些对relu的改进，比如prelu，random relu等，在不同的数据集上会有一些训练速度上或者准确率上的改进。
现在主流的做法，会在做完relu之后，加一步batch normalization，尽可能保证每一层网络的输入具有相同的分布[。而最新的paper，他们在加入bypass connection之后，发现改变batch normalization的位置会有更好的效果。