本文主要是介绍深度学习优化策略-4 基于Gate Mechanism的激活单元GTU、GLU,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1、Sigmoid和Tanh激活函数及存在问题
深度学习(神经网络)中最先被广泛使用的激活函数是Sigmoid函数和双曲正切激活函数,都是非线性的激活函数,两个激活函数的表达式如下:
sigmoid函数: f(x)= 1 / (1+exp(−x))
双曲正切函数: f(x)= tanh(x)
激活函数的图形如图所示:
Sigmoid和双曲正切激活函数有两个明显的缺点:
1、存在饱和死区特性,梯度反向传播时,容易导致梯度爆炸(Gradient Explosion)和梯度消失(Gradient Vanish)问题。
2、对于多层非线性变换嵌套操作的深度学习网络,关于参数W的梯度计算比较复杂,计算量大。
2、Relu系列激活函数
为了解决上面两个问题,深度学习研究领域陆续提出了Relu(Rectified linear unit)及其变体Leaky Relu、Elu、pRelu、PRelu、RRelu等。借鉴LSTM的Gate Mechanism思想,基于Relu激活函数和Tanh激活函数,结合gate unit产生的GTU units、GLU units等激活单元。
Relu激活函数的表达式为:f(x)=max(0,x)
Relu激活函数及它一些变体的曲线如下图所示:
关于Relu及其变体激活函数介绍的资料比较多,这里我就不赘述了。
3、基于Gate mechanism的GLU、GTU 单元
介绍一下基于gate mechanism实现的,两个比较新颖的激活函数GTU和GLU。
GTU(Gated Tanh Unit)的表达式为:
f(X) = tanh(X*W+b) * O(X*V+c)
GLU(Gated Liner Unit)的表达式为:
f(X) = (X * W + b) * O(X * V + c)
分析GTU和GLU的组成结构可以发现:
Tanh激活单元:tanh(X*W+b),加上一个Sigmoid激活单元:O(X*V+c)构成的gate unit,就构成了GTU单元。
Relu激活单元:(X * W + b),加上一个Sigmoid激活单元:O(X * V + c)构成的gate unit,就构成了GLU单元。
4、gate mechanism影响及各激活单元对比
下图实验结果来源于论文《Language Modeling with Gated Convolutional Networks》 5.2节。
图1 Tanh、Relu、GTU和GLU激活单元性能对比
(1)、gate mechanism 影响
把GTU中的Sigmoid gate去掉的话,就是一个Tanh激活函数。因此,可以通过比较Tanh和GTU的实验效果,来对比Gate mechanism对模型性能的影响。通过图1中的左图可以发现,使用GTU的效果远远优于Tanh激活函数,可见,gate units有助于深度网络建模。
(2)、Tanh、GLU与Relu、GLU对比
Tanh激活函数和GTU都存在梯度消失的问题,因为即使是GTU,当units的激活处于饱和区时,输入单元激活单元:tanh(X*W+b)和gate单元:O(X * V + c)都会削弱梯度值。相反,GLU和Relu不存在这样的问题。GLU和Relu都拥有线性的通道,可以使梯度很容易通过激活的units,反向传播且不会减小。因此,采用GLU或Relu做为激活,训练时收敛速度更快。
(3)、Relu与GLU对比
Relu单元并没有完全抛弃GLU中的gate units,GLU可以看做是处于激活状态下的一种简化的Relu单元。对比Relu和GLU,通过图1右图可以大显,在相同的训练时间下,GLU单元可以获得比Relu更高的精度。
(4)GLU与GTU对比:
GTU存在tanh激活的非线性单元,GLU存在的线性单元,GLU中不存在类似于GTU中的梯度消失问题。通过对比可以发现,GLU获得比GTU更快的收敛速度,以及更高的准确率。
5、参考文献
[1] Conditional Image Generation with PixelCNN Decoders
[2] Language Modeling with Gated Convolutional Networks
更多深度学习在NLP方面应用的经典论文、实践经验和最新消息,欢迎关注微信公众号“深度学习与NLP”或“DeepLearning_NLP”或扫描二维码添加关注。
这篇关于深度学习优化策略-4 基于Gate Mechanism的激活单元GTU、GLU的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!