激活函数 activate function

2023-12-24 14:36

本文主要是介绍激活函数 activate function,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  • 激活函数,决定神经网络是否传递信息的开关

    • ReLU,Recitified Linear Unit,线性整流函数,常见的是 ReLU 和 Leaky ReLU。通常意义下,线性整流函数指代数学中的斜坡函数
      f ( x ) = max ⁡ ( 0 , x ) f(x) = \max (0, x) f(x)=max(0,x)
      ReLU 可以对抗梯度爆炸 / 消失的问题,相对而言计算效率也很高

    • GELU,Gaussian Error Linear Unit,高斯误差线性单元

      • 对于输入值 x,根据 x 的情况,乘上 1 或者 0,即对于每一个输入 x,服从标准正态分布 N ( 0 , 1 ) N(0, 1) N(0,1),再给其乘上一个伯努利分布 ϕ ( x ) = P ( X ≤ x ) \phi(x) = P(X \leq x) ϕ(x)=P(Xx)
        x P ( X ≤ x ) = x ϕ ( x ) xP(X \leq x) = x \phi(x) xP(Xx)=xϕ(x)
        其中 ϕ ( x ) \phi(x) ϕ(x) x x x 的高斯分布;
        x P ( X ≤ x ) = x ∫ − ∞ x e − ( X − μ ) 2 2 σ 2 2 π σ d X xP(X \leq x) = x \int \nolimits _{-\infty} ^{x} \frac{e^{-\frac{(X - \mu)^2}{2 \sigma^2}}}{\sqrt{2 \pi \sigma}}dX xP(Xx)=xx2πσ e2σ2(Xμ)2dX
        → \rightarrow
        g e l u ( x ) = 0.5 x ( 1 + tanh ⁡ ( 2 π ( x + 0.044715 x 3 ) ) ) gelu(x) = 0.5x(1+\tanh(\sqrt{\frac{2}{\pi}}(x+0.044715x^3))) gelu(x)=0.5x(1+tanh(π2 (x+0.044715x3)))
    • x x x 越大的时候,就越有可能被保留,越小就越有可能被置零

    • relu, r e l u ( x ) = max ⁡ ( x , 0 ) relu(x) = \max(x, 0) relu(x)=max(x,0)

    • sigmoid, s i g m o i d ( x ) = 1 1 + e − x sigmoid(x) = \frac{1}{1+e^{-x}} sigmoid(x)=1+ex1

    • tanh
      sinh ⁡ ( x ) = e x − e − x 2 cosh ⁡ ( x ) = e x + e − x 2 tanh ⁡ ( x ) = sinh ⁡ ( x ) cosh ⁡ ( x ) \sinh(x) = \frac{e^x - e^{-x}}{2} \\ \cosh(x) = \frac{e^x + e^{-x}}{2} \\ \tanh(x) = \sinh(x)\cosh(x) sinh(x)=2exexcosh(x)=2ex+extanh(x)=sinh(x)cosh(x)

    • silu, s i l u ( x ) = x ∗ s i g m o i d ( x ) = x 1 + e − x silu(x) = x * sigmoid(x) = \frac{x}{1+e^{-x}} silu(x)=xsigmoid(x)=1+exx

    • gelu
      g e l u ( x ) ≈ 0.5 x ( 1 + tanh ⁡ ( 2 π ( x + 0.044715 x 3 ) ) ) ≈ x × s i g m o i d ( 1.702 x ) gelu(x) \approx 0.5x(1+\tanh(\sqrt{\frac{2}{\pi}}(x+0.044715x^3))) \\ \approx x \times sigmoid(1.702x) gelu(x)0.5x(1+tanh(π2 (x+0.044715x3)))x×sigmoid(1.702x)

    • mish, m i s h ( x ) = x × tanh ⁡ ( s o f t p l u e ( x ) ) = x × tanh ⁡ ( ln ⁡ ( a + e x ) ) mish(x) = x \times \tanh(softplue(x)) = x \times \tanh(\ln(a + e^x)) mish(x)=x×tanh(softplue(x))=x×tanh(ln(a+ex))

    激活函数近似是往负无穷大方向走,逐渐趋近 y = a y = a y=a 的直线;往正无穷大的方向走,逐渐趋近 y = x y = x y=x

这篇关于激活函数 activate function的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/532115

相关文章

Kotlin 作用域函数apply、let、run、with、also使用指南

《Kotlin作用域函数apply、let、run、with、also使用指南》在Kotlin开发中,作用域函数(ScopeFunctions)是一组能让代码更简洁、更函数式的高阶函数,本文将... 目录一、引言:为什么需要作用域函数?二、作用域函China编程数详解1. apply:对象配置的 “流式构建器”最

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

C++中::SHCreateDirectoryEx函数使用方法

《C++中::SHCreateDirectoryEx函数使用方法》::SHCreateDirectoryEx用于创建多级目录,类似于mkdir-p命令,本文主要介绍了C++中::SHCreateDir... 目录1. 函数原型与依赖项2. 基本使用示例示例 1:创建单层目录示例 2:创建多级目录3. 关键注

C++中函数模板与类模板的简单使用及区别介绍

《C++中函数模板与类模板的简单使用及区别介绍》这篇文章介绍了C++中的模板机制,包括函数模板和类模板的概念、语法和实际应用,函数模板通过类型参数实现泛型操作,而类模板允许创建可处理多种数据类型的类,... 目录一、函数模板定义语法真实示例二、类模板三、关键区别四、注意事项 ‌在C++中,模板是实现泛型编程

kotlin的函数forEach示例详解

《kotlin的函数forEach示例详解》在Kotlin中,forEach是一个高阶函数,用于遍历集合中的每个元素并对其执行指定的操作,它的核心特点是简洁、函数式,适用于需要遍历集合且无需返回值的场... 目录一、基本用法1️⃣ 遍历集合2️⃣ 遍历数组3️⃣ 遍历 Map二、与 for 循环的区别三、高

C语言字符函数和字符串函数示例详解

《C语言字符函数和字符串函数示例详解》本文详细介绍了C语言中字符分类函数、字符转换函数及字符串操作函数的使用方法,并通过示例代码展示了如何实现这些功能,通过这些内容,读者可以深入理解并掌握C语言中的字... 目录一、字符分类函数二、字符转换函数三、strlen的使用和模拟实现3.1strlen函数3.2st

MySQL中COALESCE函数示例详解

《MySQL中COALESCE函数示例详解》COALESCE是一个功能强大且常用的SQL函数,主要用来处理NULL值和实现灵活的值选择策略,能够使查询逻辑更清晰、简洁,:本文主要介绍MySQL中C... 目录语法示例1. 替换 NULL 值2. 用于字段默认值3. 多列优先级4. 结合聚合函数注意事项总结C

Java8需要知道的4个函数式接口简单教程

《Java8需要知道的4个函数式接口简单教程》:本文主要介绍Java8中引入的函数式接口,包括Consumer、Supplier、Predicate和Function,以及它们的用法和特点,文中... 目录什么是函数是接口?Consumer接口定义核心特点注意事项常见用法1.基本用法2.结合andThen链

MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

《MySQL日期时间格式化函数DATE_FORMAT()的使用示例详解》`DATE_FORMAT()`是MySQL中用于格式化日期时间的函数,本文详细介绍了其语法、格式化字符串的含义以及常见日期... 目录一、DATE_FORMAT()语法二、格式化字符串详解三、常见日期时间格式组合四、业务场景五、总结一、

golang panic 函数用法示例详解

《golangpanic函数用法示例详解》在Go语言中,panic用于触发不可恢复的错误,终止函数执行并逐层向上触发defer,最终若未被recover捕获,程序会崩溃,recover用于在def... 目录1. panic 的作用2. 基本用法3. recover 的使用规则4. 错误处理建议5. 常见错