激活函数 activate function

2023-12-24 14:36

本文主要是介绍激活函数 activate function,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  • 激活函数,决定神经网络是否传递信息的开关

    • ReLU,Recitified Linear Unit,线性整流函数,常见的是 ReLU 和 Leaky ReLU。通常意义下,线性整流函数指代数学中的斜坡函数
      f ( x ) = max ⁡ ( 0 , x ) f(x) = \max (0, x) f(x)=max(0,x)
      ReLU 可以对抗梯度爆炸 / 消失的问题,相对而言计算效率也很高

    • GELU,Gaussian Error Linear Unit,高斯误差线性单元

      • 对于输入值 x,根据 x 的情况,乘上 1 或者 0,即对于每一个输入 x,服从标准正态分布 N ( 0 , 1 ) N(0, 1) N(0,1),再给其乘上一个伯努利分布 ϕ ( x ) = P ( X ≤ x ) \phi(x) = P(X \leq x) ϕ(x)=P(Xx)
        x P ( X ≤ x ) = x ϕ ( x ) xP(X \leq x) = x \phi(x) xP(Xx)=xϕ(x)
        其中 ϕ ( x ) \phi(x) ϕ(x) x x x 的高斯分布;
        x P ( X ≤ x ) = x ∫ − ∞ x e − ( X − μ ) 2 2 σ 2 2 π σ d X xP(X \leq x) = x \int \nolimits _{-\infty} ^{x} \frac{e^{-\frac{(X - \mu)^2}{2 \sigma^2}}}{\sqrt{2 \pi \sigma}}dX xP(Xx)=xx2πσ e2σ2(Xμ)2dX
        → \rightarrow
        g e l u ( x ) = 0.5 x ( 1 + tanh ⁡ ( 2 π ( x + 0.044715 x 3 ) ) ) gelu(x) = 0.5x(1+\tanh(\sqrt{\frac{2}{\pi}}(x+0.044715x^3))) gelu(x)=0.5x(1+tanh(π2 (x+0.044715x3)))
    • x x x 越大的时候,就越有可能被保留,越小就越有可能被置零

    • relu, r e l u ( x ) = max ⁡ ( x , 0 ) relu(x) = \max(x, 0) relu(x)=max(x,0)

    • sigmoid, s i g m o i d ( x ) = 1 1 + e − x sigmoid(x) = \frac{1}{1+e^{-x}} sigmoid(x)=1+ex1

    • tanh
      sinh ⁡ ( x ) = e x − e − x 2 cosh ⁡ ( x ) = e x + e − x 2 tanh ⁡ ( x ) = sinh ⁡ ( x ) cosh ⁡ ( x ) \sinh(x) = \frac{e^x - e^{-x}}{2} \\ \cosh(x) = \frac{e^x + e^{-x}}{2} \\ \tanh(x) = \sinh(x)\cosh(x) sinh(x)=2exexcosh(x)=2ex+extanh(x)=sinh(x)cosh(x)

    • silu, s i l u ( x ) = x ∗ s i g m o i d ( x ) = x 1 + e − x silu(x) = x * sigmoid(x) = \frac{x}{1+e^{-x}} silu(x)=xsigmoid(x)=1+exx

    • gelu
      g e l u ( x ) ≈ 0.5 x ( 1 + tanh ⁡ ( 2 π ( x + 0.044715 x 3 ) ) ) ≈ x × s i g m o i d ( 1.702 x ) gelu(x) \approx 0.5x(1+\tanh(\sqrt{\frac{2}{\pi}}(x+0.044715x^3))) \\ \approx x \times sigmoid(1.702x) gelu(x)0.5x(1+tanh(π2 (x+0.044715x3)))x×sigmoid(1.702x)

    • mish, m i s h ( x ) = x × tanh ⁡ ( s o f t p l u e ( x ) ) = x × tanh ⁡ ( ln ⁡ ( a + e x ) ) mish(x) = x \times \tanh(softplue(x)) = x \times \tanh(\ln(a + e^x)) mish(x)=x×tanh(softplue(x))=x×tanh(ln(a+ex))

    激活函数近似是往负无穷大方向走,逐渐趋近 y = a y = a y=a 的直线;往正无穷大的方向走,逐渐趋近 y = x y = x y=x

这篇关于激活函数 activate function的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/532116

相关文章

postgresql使用UUID函数的方法

《postgresql使用UUID函数的方法》本文给大家介绍postgresql使用UUID函数的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录PostgreSQL有两种生成uuid的方法。可以先通过sql查看是否已安装扩展函数,和可以安装的扩展函数

MySQL字符串常用函数详解

《MySQL字符串常用函数详解》本文给大家介绍MySQL字符串常用函数,本文结合实例代码给大家介绍的非常详细,对大家学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql字符串常用函数一、获取二、大小写转换三、拼接四、截取五、比较、反转、替换六、去空白、填充MySQL字符串常用函数一、

C++中assign函数的使用

《C++中assign函数的使用》在C++标准模板库中,std::list等容器都提供了assign成员函数,它比操作符更灵活,支持多种初始化方式,下面就来介绍一下assign的用法,具有一定的参考价... 目录​1.assign的基本功能​​语法​2. 具体用法示例​​​(1) 填充n个相同值​​(2)

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更

PostgreSQL中rank()窗口函数实用指南与示例

《PostgreSQL中rank()窗口函数实用指南与示例》在数据分析和数据库管理中,经常需要对数据进行排名操作,PostgreSQL提供了强大的窗口函数rank(),可以方便地对结果集中的行进行排名... 目录一、rank()函数简介二、基础示例:部门内员工薪资排名示例数据排名查询三、高级应用示例1. 每

全面掌握 SQL 中的 DATEDIFF函数及用法最佳实践

《全面掌握SQL中的DATEDIFF函数及用法最佳实践》本文解析DATEDIFF在不同数据库中的差异,强调其边界计算原理,探讨应用场景及陷阱,推荐根据需求选择TIMESTAMPDIFF或inte... 目录1. 核心概念:DATEDIFF 究竟在计算什么?2. 主流数据库中的 DATEDIFF 实现2.1

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos