【DL经典回顾】激活函数大汇总(二十七)(Bent Identity附代码和详细公式)

本文主要是介绍【DL经典回顾】激活函数大汇总(二十七)(Bent Identity附代码和详细公式),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

激活函数大汇总(二十七)(Bent Identity附代码和详细公式)

更多激活函数见激活函数大汇总列表

一、引言

欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。在人工智能的世界里,激活函数扮演着不可或缺的角色,它们决定着神经元的输出,并且影响着网络的学习能力与表现力。鉴于激活函数的重要性和多样性,我们将通过几篇文章的形式,本篇详细介绍两种激活函数,旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。

在接下来的文章中,我们将逐一探讨各种激活函数,从经典到最新的研究成果。

限于笔者水平,对于本博客存在的纰漏和错误,欢迎大家留言指正,我将不断更新。

二、Bent Identity

Bent Identity激活函数是一种非线性激活函数,它在神经网络中引入轻微的非线性,同时保留了接近恒等函数(Identity function)的特性。这使得它可以用于在模型中引入非线性,而不会过度扭曲数据。

1. 数学定义

Bent Identity激活函数定义为:

f ( x ) = x 2 + 1 − 1 2 + x f(x)=\frac{\sqrt{x^2+1}-1}{2}+x f(x)=2x2+1 1+x
其中, x x x是输入信号。
在这里插入图片描述

2. 函数特性

  • 轻微的非线性:Bent Identity函数在原点附近提供了轻微的非线性变形,随着输入值 x x x的增加,函数趋近于线性。
  • 连续可导:该函数在整个实数域内都是连续且可导的,这一点对于使用基于梯度的优化算法训练神经网络是非常重要的。
  • 非饱和性:与Sigmoid或Tanh激活函数不同,Bent Identity函数不会在输入值很大时饱和,这有助于减少梯度消失问题。

3. 导数

Bent Identity函数的导数为:

f ′ ( x ) = x 2 x 2 + 1 + 1 f^{\prime}(x)=\frac{x}{2 \sqrt{x^2+1}}+1 f(x)=2x2+1 x+1
导数显示了在原点附近,随着 x x x的增大,函数变化率从大于1渐渐趋近于1,这有助于保持梯度的传播。

4. 使用场景与局限性

使用场景

  • 轻度非线性引入:在需要在模型中引入非线性,但又不希望非线性太强时,Bent Identity是一个合适的选择。
  • 改善梯度流:用于减轻梯度消失问题,特别是在深层网络中,可以作为一种补充激活函数来使用。

局限性

  • 计算复杂性:与简单的ReLU或者线性激活函数相比,Bent Identity函数的计算更为复杂,可能会增加模型训练的计算成本。
  • 轻微的非线性可能不足:对于需要强烈非线性以捕捉复杂模式的任务,Bent Identity激活函数可能不足以提供所需的模型复杂度。

总体而言,Bent Identity激活函数提供了一种介于线性和非线性之间的激活机制,适合于那些需要轻微非线性而不希望引入太强非线性效果的应用场景。然而,设计神经网络时需要权衡其带来的计算成本和所需的非线性程度。

5.代码实现

这段代码定义了Bent Identity激活函数:

import numpy as npdef bent_identity(x):"""实现Bent Identity激活函数。参数:x -- 输入的数值或NumPy数组。返回:经过Bent Identity激活的输出。"""return (np.sqrt(x**2 + 1) - 1) / 2 + x# 示例输入
x = np.array([-3, -1, 0, 1, 3])# 应用Bent Identity激活函数
output = bent_identity(x)print("Bent Identity Activation Output:", output)
解释
  • 函数定义bent_identity函数接收一个输入x,可以是单个数值或一个NumPy数组。该函数的目的是对x中的每个元素应用Bent Identity激活函数,产生一个经过非线性变换的输出。

  • Bent Identity激活:Bent Identity函数通过np.sqrt(x**2 + 1) - 1) / 2 + x实现,其中x**2 + 1先确保了表达式在整个实数范围内都是正的,从而可以安全地应用平方根。计算平方根之后,减去1、除以2、并加上原始的x值,这样在x接近0时引入轻微的非线性,而当x的绝对值很大时,函数接近于线性。

  • 示例应用和输出:对于示例输入x = [-3, -1, 0, 1, 3],Bent Identity激活函数的输出显示了在原点附近的轻微非线性变化,以及在远离原点时的接近线性行为。特别是,对于0输入,输出恰好是0,证明了在原点附近的非线性特性。

三、参考文献

  • 鉴于Bent Identity函数相对直观的特性,专门聚焦于它的研究论文或文章可能较少,就不给了。
  • 《深度学习》一书(作者:Ian Goodfellow, Yoshua Bengio, 和 Aaron Courville)提供了对激活函数在神经网络中作用的基础性理解。

这篇关于【DL经典回顾】激活函数大汇总(二十七)(Bent Identity附代码和详细公式)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/827085

相关文章

SpringBoot整合liteflow的详细过程

《SpringBoot整合liteflow的详细过程》:本文主要介绍SpringBoot整合liteflow的详细过程,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋...  liteflow 是什么? 能做什么?总之一句话:能帮你规范写代码逻辑 ,编排并解耦业务逻辑,代码

MySQL count()聚合函数详解

《MySQLcount()聚合函数详解》MySQL中的COUNT()函数,它是SQL中最常用的聚合函数之一,用于计算表中符合特定条件的行数,本文给大家介绍MySQLcount()聚合函数,感兴趣的朋... 目录核心功能语法形式重要特性与行为如何选择使用哪种形式?总结深入剖析一下 mysql 中的 COUNT

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

Visual Studio 2022 编译C++20代码的图文步骤

《VisualStudio2022编译C++20代码的图文步骤》在VisualStudio中启用C++20import功能,需设置语言标准为ISOC++20,开启扫描源查找模块依赖及实验性标... 默认创建Visual Studio桌面控制台项目代码包含C++20的import方法。右键项目的属性:

MySQL 中 ROW_NUMBER() 函数最佳实践

《MySQL中ROW_NUMBER()函数最佳实践》MySQL中ROW_NUMBER()函数,作为窗口函数为每行分配唯一连续序号,区别于RANK()和DENSE_RANK(),特别适合分页、去重... 目录mysql 中 ROW_NUMBER() 函数详解一、基础语法二、核心特点三、典型应用场景1. 数据分

浏览器插件cursor实现自动注册、续杯的详细过程

《浏览器插件cursor实现自动注册、续杯的详细过程》Cursor简易注册助手脚本通过自动化邮箱填写和验证码获取流程,大大简化了Cursor的注册过程,它不仅提高了注册效率,还通过友好的用户界面和详细... 目录前言功能概述使用方法安装脚本使用流程邮箱输入页面验证码页面实战演示技术实现核心功能实现1. 随机

MySQL数据库的内嵌函数和联合查询实例代码

《MySQL数据库的内嵌函数和联合查询实例代码》联合查询是一种将多个查询结果组合在一起的方法,通常使用UNION、UNIONALL、INTERSECT和EXCEPT关键字,下面:本文主要介绍MyS... 目录一.数据库的内嵌函数1.1聚合函数COUNT([DISTINCT] expr)SUM([DISTIN

Python get()函数用法案例详解

《Pythonget()函数用法案例详解》在Python中,get()是字典(dict)类型的内置方法,用于安全地获取字典中指定键对应的值,它的核心作用是避免因访问不存在的键而引发KeyError错... 目录简介基本语法一、用法二、案例:安全访问未知键三、案例:配置参数默认值简介python是一种高级编

python 常见数学公式函数使用详解(最新推荐)

《python常见数学公式函数使用详解(最新推荐)》文章介绍了Python的数学计算工具,涵盖内置函数、math/cmath标准库及numpy/scipy/sympy第三方库,支持从基础算术到复杂数... 目录python 数学公式与函数大全1. 基本数学运算1.1 算术运算1.2 分数与小数2. 数学函数

Java实现自定义table宽高的示例代码

《Java实现自定义table宽高的示例代码》在桌面应用、管理系统乃至报表工具中,表格(JTable)作为最常用的数据展示组件,不仅承载对数据的增删改查,还需要配合布局与视觉需求,而JavaSwing... 目录一、项目背景详细介绍二、项目需求详细介绍三、相关技术详细介绍四、实现思路详细介绍五、完整实现代码