激活函数总结（八）：基于Gate mechanism机制的激活函数补充 1 引言2 激活函数2.1 GLU激活函数2.2 SwiGLU激活函数2.3 GTU激活函数2.4 Bilinear激活函数2.5 ReGLU激活函数2.6 GEGLU激活函数 3. 总结 1 引言 在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PR

1、Sigmoid和Tanh激活函数及存在问题     深度学习（神经网络）中最先被广泛使用的激活函数是Sigmoid函数和双曲正切激活函数，都是非线性的激活函数，两个激活函数的表达式如下： sigmoid函数：      f(x)= 1 / (1+exp(−x)) 双曲正切函数：       f(x)= tanh(x)     激活函数的图形如图所示：