深度学习-激活函数:饱和激活函数【Sigmoid、tanh】、非饱和激活函数【ReLU、Leaky ReLU、RReLU、PReLU、ELU、Maxout】

本文主要是介绍深度学习-激活函数:饱和激活函数【Sigmoid、tanh】、非饱和激活函数【ReLU、Leaky ReLU、RReLU、PReLU、ELU、Maxout】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深度学习-激活函数:饱和激活函数【Sigmoid、tanh】、非饱和激活函数【ReLU、Leaky ReLU、RReLU、PReLU、ELU、Maxout】

  • 一、激活函数的定义:
  • 二、激活函数的用途
    • 1、无激活函数的神经网络
    • 2、带激活函数的神经网络
  • 三、饱和激活函数与非饱和激活函数
    • 1、饱和激活函数
    • 2、非饱和激活函数
  • 四、激活函数的种类
    • 1、Sigmoid函数
    • 2、TanH函数
    • 3、ReLU(Rectified Linear Units)
    • 4、ELU (Exponential Linear Units) 函数
    • 5、LReLU(Leaky ReLU)、PReLU(Parameteric ReLU)
      • 5.1 LReLU(Leaky ReLU)
      • 5.2 PReLU(Parameteric ReLU)
    • 6、RReLU
    • 7、MaxOut函数
  • 五、激活函数的选择

一、激活函数的定义:

  • 激活函数(activation function)运行时激活神经网络中某一部分神经元,将激活信息向后传入下一层的神经网络。神经网络之所以能解决非线性问题,本质上就是激活函数加入了非线性因素,弥补了线性模型的表达力,把“激活的神经元的特征”通过函数保留并映射到下一层。
  • 激活函数不会更改输入数据的维度,也就是输入和输出的维度是相同的。
  • 在计算网络中, 一个节点的激活函数(Activation Function)定义了该节点在给定的输入或输入的集合下的输出。
  • 激活函数:神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值,并将输入值传递给下一层,输入层神经元节点会将输入属性值直接传递给下一层(隐层或输出层)。在多层神经网络中,上层节点的输出和下层节点的输入之间具有一个函数关系,这个函数称为激活函数(又称激励函数)。

在这里插入图片描述

二、激活函数的用途

如果不用激励函数(其实相当于激励函数是 f ( x ) = x f(x) = x f(x)=x),在这种情况下你每一层节点的输入都是上层输出的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron)了,那么网络的逼近能力就相当有限。正因为上面的原因,我们决定引入非线性函数作为激励函数,这样深层神经网络表达能力就更加强大(不再是输入的线性组合,而是几乎可以逼近任意函数)。

为了解释激活函数如何引入非线性因素,接下来让我们以神经网络分割平面空间作为例子。

1、无激活函数的神经网络

神经网络最简单的结构就是单输出的单层感知机,单层感知机只有输入层和输出层,分别代表了神经感受器神经中枢

下图是一个只有2个输入单元和1个输出单元的简单单层感知机

  • x 1 x_1 x1 w 2 w_2 w2 代表神经网络的输入神经元受到的刺激,
  • w 1 w_1 w1 w 2 w_2 w2 代表输入神经元输出神经元间连接的紧密程度
  • b b b 代表输出神经元的兴奋阈值, y y y 为输出神经元的输出。
  • 我们使用该单层感知机划出一条线将平面分割开,如图所示:
    在这里插入图片描述
    同理,我们也可以将多个感知机(注意,不是多层感知机)进行组合获得更强的平面分类能力,如图所示:

在这里插入图片描述
再看看包含一个隐层的多层感知机的情况,如图所示:

在这里插入图片描述
通过对比可以发现,上面三种没有激励函数的神经网络的输出是都线性方程,其都是在用复杂的线性组合来试图逼近曲线。

2、带激活函数的神经网络

让我们在神经网络每一层神经元做完线性变换以后,加上一个非线性激励函数对线性变换的结果进行转换,结果显而易见,输出立马变成一个不折不扣的非线性函数了,如图所示:

在这里插入图片描述
拓展到多层神经网络的情况, 和刚刚一样的结构, 加上非线性激励函数之后, 输出就变成了一个复杂的非线性函数了,如图所示:

在这里插入图片描述
总结:加入非线性激励函数后,神经网络就有可能学习到平滑的曲线来分割平面,而不是用复杂的线性组合逼近平滑曲线来分割平面,使神经网络的表示能力更强了,能够更好的拟合目标函数。 这就是为什么我们要有非线性的激活函数的原因。如下图所示说明加入非线性激活函数后的差异,上图为用线性组合逼近平滑曲线来分割平面,下图为平滑的曲线来分割平面:

在这里插入图片描述
激活函数的作用除了前面说的增加模型的非线性分割能力外,还有

  • 提高模型鲁棒性:可以拟合各种不同情形中的数据
  • 缓解梯度消失问题
  • 加速模型收敛等

三、饱和激活函数与非饱和激活函数

在这里插入图片描述

1、饱和激活函数

假设 h ( x ) h(x) h(x) 是一个激活函数
1、当 n n n 趋近于负无穷时,激活函数的导数趋近于0,则该激活函数为左饱和。
lim ⁡ n → + ∞ h ′ ( x ) = 0 \lim_{n \rightarrow +∞}h'(x)=0 n+limh(x)=0
2、当 n n n 趋近于正无穷时,激活函数的导数趋近于0,则该激活函数为右饱和。
lim ⁡ n → + ∞ h ′ ( x ) = 0 \lim_{n \rightarrow +∞}h'(x)=0 n+limh(x)=0
当一个函数既满足左饱和、又满足右饱,则称之为饱和函数。典型的饱和函数有Sigmoid,Tanh函数。

2、非饱和激活函数

不满足饱和函数条件的函数则称为非饱和激活函数。

ReLU及其变体则是“非饱和激活函数”。

使用“非饱和激活函数”的优势在于两点:

  • "非饱和激活函数”能解决所谓的“梯度消失”问题。
  • 它能加快收敛速度。

四、激活函数的种类

  • 早期研究神经网络主要采用sigmoid函数或者tanh函数,输出有界,很容易充当下一层的输入。
  • 近些年Relu函数及其改进型(如Leaky-ReLU、P-ReLU、R-ReLU等)在多层神经网络中应用比较多。下面我们来总结下这些激活函数:

1、Sigmoid函数

Sigmoid函数曾被广泛地应用,但由于其自身的一些缺陷,现在很少被使用了。Sigmoid函数被定义为:

σ = 1 1 + e − x \begin{aligned} σ=\frac{1}{1+e^{-x}} \end{aligned} σ=1+ex1
函数对应的图像是:

在这里插入图片描述
优点:

  1. Sigmoid函数的输出映射在(0,1)之间,单调连续,输出范围有限,优化稳定,可以用作输出层。
  2. 求导容易。 σ ′ = σ ( 1 − σ ) σ'=σ(1-σ) σ=σ(1σ)
    在这里插入图片描述
  3. Sigmoid函数的导数在0处取得最大值1/4。

sigmoid函数曾经被使用的很多,不过近年来,用它的人越来越少了。主要是因为它固有的一些缺点。

缺点:

  1. 其输出并不是以0为中心的。
  2. 由于其软饱和性,容易产生梯度消失,导致训练出现问题。
  3. sigmoid函数在取值很大或很小的时候,导数非常小,会导致参数的更新速度很慢。
  4. 在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失,其中梯度爆炸发生的概率非常小,而梯度消失发生的概率比较大。
  5. 如果我们初始化神经网络的权值为 [ 0 , 1 ] [0,1] [0,1] 之间的随机值,比如 0.25,由反向传播算法的数学推导可知,梯度从后向前传播时,每传递一层梯度值都会减小为原来的0.25倍,如果神经网络隐层特别多,那么梯度在穿过多层后将变得非常小接近于0,即出现梯度消失现象;当网络权值初始化为 ( 1 , + ∞ ) (1,+∞) (1,+) 区间内的值,则会出现梯度爆炸情况。
  6. Sigmoid 的 output 不是0均值(即zero-centered)。这是不可取的,因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。 产生的一个结果就是:如果 x > 0 , f = w T x + b x>0,f=w^Tx+b x>0,f=wTx+b,那么对 w w w 求局部梯度则都为正,这样在反向传播的过程中 w w w 要么都往正方向更新,要么都往负方向更新,导致有一种捆绑的效果,使得收敛缓慢。 当然了,如果按batch去训练,那么那个batch可能得到不同的信号,所以这个问题还是可以缓解一下的。因此,非0均值这个问题虽然会产生一些不好的影响,不过跟上面提到的梯度消失问题相比还是要好很多的。
  7. 其解析式中含有幂运算,计算机求解时相对来讲比较耗时。对于规模比较大的深度网络,这会较大地增加训练时间。

由于使用sigmoid激活函数会造成神经网络的梯度消失和梯度爆炸问题,所以许多人提出了一些改进的激活函数,如:tanh、ReLU、Leaky ReLU、PReLU、RReLU、ELU、Maxout。

2、TanH函数

现在,比起Sigmoid函数我们通常更倾向于tanh函数。tanh函数被定义为:

t a n h ( x ) = e x − e − x e x + e − x tanh(x)=\cfrac{e^x-e^{-x}}{e^x+e^{-x}} tanh(x)=ex+exexex
函数位于 [ − 1 , 1 ] [-1, 1] [1,1] 区间上,对应的图像是:
在这里插入图片描述
TanH函数与Sigmoid函数的关系
在这里插入图片描述
优点:

  1. 比Sigmoid函数收敛速度更快。
  2. 相比Sigmoid函数,其输出以0为中心。
  3. 它解决了Sigmoid函数的不是zero-centered输出问题,然而,梯度消失(gradient vanishing)的问题和幂运算的问题仍然存在。
  4. 求导容易。 t a n h ′ = 1 − t a n h 2 ( x ) tanh'=1-tanh^2(x) tanh=1tanh2(x)
    在这里插入图片描述

缺点:还是没有改变Sigmoid函数的最大问题——由于饱和性产生的梯度消失。

TanH激活函数在RNN中用的比较多。

3、ReLU(Rectified Linear Units)

ReLU是最近几年非常受欢迎的激活函数。被定义为
f ( x ) = { 0 f o r x < 0 x f o r x ≥ 0 f(x)=\begin{cases}0 \quad for \quad x<0\\x \quad for \quad x≥0\end{cases} f(x)={0forx<0xforx0
对应的图像是:
在这里插入图片描述
ReLU函数其实就是一个取最大值函数,注意这并不是全区间可导的,但是我们可以取sub-gradient,如上图所示。ReLU虽然简单,但却是近几年的重要成果,有以下几大优点:
优点:

  1. 相比起Sigmoid和tanh,ReLU(e.g. a factor of 6 in Krizhevsky et al.)在SGD中能够快速收敛。例如在下图的实验中,在一个四层的卷积神经网络中,实线代表了ReLU,虚线代表了tanh,ReLU比起tanh更快地到达了错误率0.25处。据称,这是因为它线性、非饱和的形式。
  2. Sigmoid和tanh涉及了很多很expensive的操作(比如指数),ReLU可以更加简单的实现。
  3. 由于当 x > 0 x>0 x>0 时的梯度值一直为1,有效缓解了梯度弥散、梯度爆炸的问题。
  4. 在没有无监督预训练的时候也能有较好的表现。
  5. 提供了神经网络的稀疏表达能力(Relu会使一部分神经元的输出为0,这样就造成了网络的稀疏性,并且减少了参数的相互依存关系,缓解了过拟合问题的发生)。

缺点:

  • 随着训练的进行,可能会出现神经元死亡,权重无法更新的情况。如果发生这种情况,那么流经神经元的梯度从这一点开始将永远是0。也就是说,ReLU神经元在训练中不可逆地死亡了。
  • Dead ReLU Problem,指的是某些神经元可能永远不会被激活,导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生:
    1. 非常不幸的参数初始化,这种情况比较少见
    2. learning rate太高导致在训练过程中参数更新太大,不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法,以及避免将learning rate设置太大或使用Adagrad等自动调节learning rate的算法。

4、ELU (Exponential Linear Units) 函数

f ( x ) = { x i f x > 0 α ( e x − 1 ) o t h e r w i s e f(x)=\begin{cases}x \quad if\ x>0\\α(e^x-1) \quad otherwise\end{cases} f(x)={xif x>0α(ex1)otherwise
函数及其导数的图像如下图所示:
在这里插入图片描述
ELU也是为解决ReLU存在的问题而提出,显然,ELU有ReLU的基本所有优点,以及:

  • 不会有Dead ReLU问题、
  • 输出的均值接近0,zero-centered

它的一个小问题在于计算量稍大。类似于Leaky ReLU,理论上虽然好于ReLU,但在实际使用中目前并没有好的证据ELU总是优于ReLU。

5、LReLU(Leaky ReLU)、PReLU(Parameteric ReLU)

在这里插入图片描述

  • 通常在LReLU和PReLU中,我们定义一个激活函数为

f ( x ) = { α i x i f o r x i ≤ 0 x i f o r x i > 0 f(x)=\begin{cases}α_ix_i \quad for \quad x_i≤0\\x_i \quad for \quad x_i>0\end{cases} f(x)={αixiforxi0xiforxi>0

在这里插入图片描述

5.1 LReLU(Leaky ReLU)

  • α i α_i αi 比较小而且固定的时候,我们称之为LReLU。 i i i 表示不同的通道。
  • LReLU最初的目的是为了避免梯度消失。但在一些实验中,我们发现LReLU对准确率并没有太大的影响。很多时候,当我们想要应用LReLU时,我们必须要非常小心谨慎地重复训练,选取出合适的 α α α,LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。

5.2 PReLU(Parameteric ReLU)

  • PReLU是LReLU的改进,可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练,可以与其他层同时优化。
  • 其中 α i α_i αi 是可以学习的的。如果 α i α_i αi =0,那么 PReLU 退化为ReLU;如果 α i α_i αi 是一个很小的固定值(如ai=0.01),则 PReLU 退化为 Leaky ReLU(LReLU)。
  • PReLU 只增加了极少量的参数,也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的,当不同 channels 使用相同的 α i α_i αi 时,参数就更少了。BP 更新 α i α_i αi 时,采用的是带动量的更新方式(momentum)。
  • 值得一提的是,在tflearn中有现成的LReLU和PReLU可以直接用。

6、RReLU

  • RReLU也是Leaky ReLU的一个变体。在RReLU中,负值的斜率在训练中是随机的,在之后的测试中就变成了固定的了。RReLU的亮点在于,在训练环节中, a j i a_{ji} aji 是从一个均匀的分布U(I,u)中随机抽取的数值。形式上来说,我们能得到以下结果:

f ( x ) = { α j i x j i f o r x j i < 0 w h e r e α j i ∈ U ( l , u ) , l < u , l , u ∈ [ 0 , 1 ) x j i f o r x j i > 0 f(x)=\begin{cases}α_{ji}x_{ji} \quad for \quad x_{ji}<0 \quad where \quad α_{ji}∈U(l,u),l<u,l,u∈[0,1)\\x_{ji} \quad for \quad x_{ji}>0\end{cases} f(x)={αjixjiforxji<0whereαjiU(l,u),l<u,l,u[0,1)xjiforxji>0

7、MaxOut函数

在这里插入图片描述

  • Maxout是深度学习网络中的一层网络,就像池化层、卷积层一样等,我们可以把maxout 看成是网络的激活函数层,我们假设网络某一层的输入特征向量为: X = ( x 1 , x 2 , … … x d ) X=(x_1,x_2,……x_d) X=(x1,x2,xd),也就是我们输入是 d d d 个神经元。Maxout隐藏层每个神经元的计算公式如下:
    h i ( x ) = max ⁡ j ∈ [ 1 , k ] z i j h_i(x)=\max_{j∈[1,k]}z_{ij} hi(x)=j[1,k]maxzij
  • 上面的公式就是maxout隐藏层神经元 i i i 的计算公式。其中, k k k 就是maxout层所需要的参数的数量了,由我们人为设定大小。就像dropout一样,也有自己的参数 p p p(每个神经元dropout概率),maxout的参数是 k k k。公式中 Z Z Z 的计算公式为:
    z i j = x T w . . . i j + b i j z_{ij}=x^Tw_{...ij}+b_{ij} zij=xTw...ij+bij
  • 权重 w w w 是一个大小为 ( d , m , k ) (d,m,k) (d,m,k) 三维矩阵, b b b 是一个大小为 ( m , k ) (m,k) (m,k) 的二维矩阵,这两个就是我们需要学习的参数。如果我们设定参数 k = 1 k=1 k=1,那么这个时候,网络就类似于以前我们所学普通的MLP网络。
  • 我们可以这么理解,本来传统的MLP算法在第 i i i 层到第 i + 1 i+1 i+1 层,参数只有一组,然而现在我们不这么干了,我们在这一层同时训练 n n n 组的 w w w b b b 参数,然后选择激活值 Z Z Z 最大的作为下一层神经元的激活值,这个 m a x ( z ) max(z) max(z) 函数即充当了激活函数。

在这里插入图片描述

五、激活函数的选择

  • 这个问题目前没有确定的方法,凭一些经验吧。
  • 深度学习往往需要大量时间来处理大量数据,模型的收敛速度是尤为重要的。所以,总体上来讲,训练深度学习网络尽量使用zero-centered数据 (可以经过数据预处理实现) 和zero-centered输出。所以要尽量选择输出具有zero-centered特点的激活函数以加快模型的收敛速度。
  • 如果使用 ReLU,那么一定要小心设置 learning rate,而且要注意不要让网络出现很多 “dead” 神经元,如果这个问题不好解决,那么可以试试 Leaky ReLU、PReLU 或者 Maxout.
  • 当输入数据特征相差明显时,用 tanh 的效果会很好,且在循环过程中会不断扩大特征效果并显示出来。
  • 当特征相差不明显时, sigmoid 效果比较好。同时,用 sigmoid 和 tanh 作为激活函数时,需要对输入进行规范化,否则激活后的值全部都进入平坦区,隐层的输出会全部趋同,丧失原有的特征表达。
  • ReLU会好很多,有时可以不需要输入规范化来避免上述情况。因此,现在大部分的卷积神经网络都采用ReLU作为激活函数。

在这里插入图片描述




参考资料:
深度学习中几种常见的激活函数理解与总结
[常用激活函数(激励函数)理解与总结])(https://blog.csdn.net/tyhj_sf/article/details/79932893)
深度学习(七)梯度弥散(消散)和梯度爆炸

这篇关于深度学习-激活函数:饱和激活函数【Sigmoid、tanh】、非饱和激活函数【ReLU、Leaky ReLU、RReLU、PReLU、ELU、Maxout】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1128923

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

hdu1171(母函数或多重背包)

题意:把物品分成两份,使得价值最接近 可以用背包,或者是母函数来解,母函数(1 + x^v+x^2v+.....+x^num*v)(1 + x^v+x^2v+.....+x^num*v)(1 + x^v+x^2v+.....+x^num*v) 其中指数为价值,每一项的数目为(该物品数+1)个 代码如下: #include<iostream>#include<algorithm>

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

线性代数|机器学习-P36在图中找聚类

文章目录 1. 常见图结构2. 谱聚类 感觉后面几节课的内容跨越太大,需要补充太多的知识点,教授讲得内容跨越较大,一般一节课的内容是书本上的一章节内容,所以看视频比较吃力,需要先预习课本内容后才能够很好的理解教授讲解的知识点。 1. 常见图结构 假设我们有如下图结构: Adjacency Matrix:行和列表示的是节点的位置,A[i,j]表示的第 i 个节点和第 j 个