本文主要是介绍激活函数总结(十五):振荡系列激活函数补充(SQU、NCU、DSU、SSU),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
激活函数总结(十五):激活函数补充
- 1 引言
- 2 激活函数
- 2.1 Shifted Quadratic Unit (SQU) 激活函数
- 2.2 Non-Monotonic Cubic Unit (NCU) 激活函数
- 2.3 Decaying Sine Unit (DSU) 激活函数
- 2.4 Shifted Sinc Unit (SSU) 激活函数
- 3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid
、Tanh
、ReLU
、Leaky ReLU
、PReLU
、Swish
、ELU
、SELU
、GELU
、Softmax
、Softplus
、Mish
、Maxout
、HardSigmoid
、HardTanh
、Hardswish
、HardShrink
、SoftShrink
、TanhShrink
、RReLU
、CELU
、ReLU6
、GLU
、SwiGLU
、GTU
、Bilinear
、ReGLU
、GEGLU
、Softmin
、Softmax2d
、Logsoftmax
、Identity
、LogSigmoid
、Bent Identity
、Absolute
、Bipolar
、Bipolar Sigmoid
、Sinusoid
、Cosine
、Arcsinh
、Arccosh
、Arctanh
、LeCun Tanh
、TanhExp
、Gaussian
、GCU
、ASU
)。在这篇文章中,会接着上文提到的众多激活函数继续进行介绍,给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图:
最后,对于文章中没有提及到的激活函数,大家可以通过评论指出,作者会在后续的文章中进行添加补充。
2 激活函数
本文提出了四种振荡激活函数
(SQU、NCU、DSU、SSU)。振荡激活函数对所有输入都是非饱和
的,从而改善了梯度流
并加快了收敛速度
。使用振荡激活函数代替
流行的单调或非单调单零激活函数,能使神经网络训练速度更快
,并以更少的层数
解决分类问题。
当前该系列振荡激活函数很少使用,较为常用
的为GCU
和ASU
振荡激活函数。。。。
2.1 Shifted Quadratic Unit (SQU) 激活函数
论文链接:Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons
其数学表达式为和数学图像分别如下所示:
f ( x ) = x 2 + x f(x)=x^2+x f(x)=x2+x
2.2 Non-Monotonic Cubic Unit (NCU) 激活函数
论文链接:Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons
其数学表达式为和数学图像分别如下所示:
f ( x ) = x − x 3 f(x)=x-x^3 f(x)=x−x3
2.3 Decaying Sine Unit (DSU) 激活函数
论文链接:Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons
f ( x ) = π ∗ s i n c ( x − π ) f(x)= \pi * sinc(x- \pi ) f(x)=π∗sinc(x−π)
2.4 Shifted Sinc Unit (SSU) 激活函数
论文链接:Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons
f ( x ) = π 2 ∗ ( s i n c ( x − π ) − s i n c ( x + π ) ) f(x)= \frac{\pi}{2} * (sinc(x- \pi ) - sinc(x+ \pi )) f(x)=2π∗(sinc(x−π)−sinc(x+π))
3. 总结
到此,使用 激活函数总结(十五) 已经介绍完毕了!!! 如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数
也可以在评论区提出,后续会对其进行添加!!!!
如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。
这篇关于激活函数总结(十五):振荡系列激活函数补充(SQU、NCU、DSU、SSU)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!