【深度学习】四种归一化方式对比:| LayerNorm,BatchNorm,InstanceNorm,GroupNorm

本文主要是介绍【深度学习】四种归一化方式对比:| LayerNorm,BatchNorm,InstanceNorm,GroupNorm,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 1 四种归一化方式对比
  • 2 代码实践
    • 2.1 BatchNorm(批归一化)
    • 2.2 LayerNorm(层归一化)
    • 2.3 InstanceNorm(实例归一化)
    • 2.4 GroupNorm(组归一化)

归一化技术可以很好地,缓解梯度消失/爆炸问题,并有助于更快地收敛,也是一种正则化技术防止过拟合

实际中会看到好多归一化

比如BatchNorm,LayerNorm,GroupNorm,InstanceNorm

1 四种归一化方式对比

这四种归一化方法在神经网络中都有各自的应用场景和特点:

  1. BatchNorm(批归一化)

    • 应用场景:通常用于卷积神经网络(CNN)和全连接神经网络(DNN)中。
    • 工作原理:对每个特征通道在每个训练批次上进行归一化,使得均值接近0,方差接近1。
    • 优点:加速训练收敛,减少梯度消失/爆炸问题,具有轻微的正则化效果。
    • 示例:在训练图像分类模型时,可以使用nn.BatchNorm2d对卷积层的输出进行归一化。
  2. LayerNorm(层归一化)

    • 应用场景:适用于循环神经网络(RNN)和Transformer等序列模型中。
    • 工作原理:对每个样本的每个特征通道进行归一化,使得均值接近0,方差接近1。
    • 优点:不受批量大小影响,适用于小批量大小和单个样本的情况。
    • 示例:在Transformer的每个注意力子层后应用nn.LayerNorm对特征进行归一化。
  3. GroupNorm(组归一化)

    • 应用场景:适用于通道较少的情况,例如较小的卷积神经网络或分组卷积中。
    • 工作原理:将通道分成多个组,在每个组内对通道进行归一化,每个组有自己的均值和方差。
    • 优点:不受批量大小影响,适用于小批量大小和通道较少的情况。
    • 示例:在较小的卷积神经网络中,可以使用nn.GroupNorm对通道进行归一化。
  4. InstanceNorm(实例归一化)

    • 应用场景:适用于风格迁移、超分辨率等需要保留样本间信息的任务中。
    • 工作原理:对每个样本的每个通道进行归一化,使得每个样本的均值接近0,方差接近1。
    • 优点:不受批量大小影响,保留了样本间的信息。
    • 示例:在风格迁移网络中,可以使用nn.InstanceNorm2d对特征进行归一化。

综上所述,选择适当的归一化方法取决于具体的神经网络架构、任务需求和数据特征。

2 代码实践

2.1 BatchNorm(批归一化)

nn.BatchNorm2d是PyTorch中用于实现批归一化(Batch Normalization)的类,适用于二维输入,通常用于卷积神经网络(CNN)中。它将输入沿着指定的维度(通常是通道维度)进行归一化,使得每个通道的均值接近0,方差接近1。

nn.BatchNorm2d的主要参数包括:

  • num_features:输入特征的数量,通常为输入数据的通道数。
  • eps:为保证数值稳定性而添加到方差的小值。
  • momentum:用于计算 running mean 和 running variance 的动量。

下面是一个示例代码,演示了如何使用nn.BatchNorm2d对输入张量进行归一化:

import torch
import torch.nn as nn# 创建一个输入张量,大小为(batch_size, num_channels, height, width)
input_tensor = torch.randn(2, 3, 3, 3)# 创建一个BatchNorm2d层,对每个通道进行归一化
batch_norm = nn.BatchNorm2d(3)# 对输入张量进行归一化
output = batch_norm(input_tensor)print(output.shape)

在这个示例中,nn.BatchNorm2d(3)表示对输入张量的每个通道进行归一化,其中3是输入张量的通道数。最终输出的形状与输入张量相同。

2.2 LayerNorm(层归一化)

nn.LayerNorm是PyTorch中用于实现层归一化(Layer Normalization)的类,适用于多维输入。与批归一化不同,层归一化是在每个样本的每个通道上进行归一化,而不是在整个批次上。这使得它更适合用于循环神经网络(RNN)等序列模型中,因为它不依赖于批次大小,并且对单个样本也有效。

nn.LayerNorm的主要参数包括:

  • normalized_shape:输入张量的形状,通常是一个整数或整数元组,表示输入张量的特征维度。
  • eps:为保证数值稳定性而添加到方差的小值。

下面是一个示例代码,演示了如何使用nn.LayerNorm对输入张量进行归一化:

import torch
import torch.nn as nn# 创建一个输入张量,大小为(batch_size, num_channels, height, width)
input_tensor = torch.randn(2, 3, 3, 3)# 创建一个LayerNorm层,对每个样本的每个通道进行归一化
layer_norm = nn.LayerNorm([3, 3, 3])# 对输入张量进行归一化
output = layer_norm(input_tensor)print(output.shape)

在这个示例中,nn.LayerNorm([3, 3, 3])表示对输入张量的每个样本的每个通道进行归一化,其中[3, 3, 3]是输入张量的特征维度。最终输出的形状与输入张量相同。

2.3 InstanceNorm(实例归一化)

nn.InstanceNorm2d是PyTorch中用于实现实例归一化(Instance Normalization)的类,适用于二维输入,通常用于风格迁移、超分辨率等需要保留样本间信息的任务中。与批归一化不同,实例归一化在每个样本的每个通道上进行归一化,而不是在整个批次上。这使得它更适合保留样本间的信息,并且不依赖于批次大小。

nn.InstanceNorm2d的主要参数包括:

  • num_features:输入特征的数量,通常为输入数据的通道数。
  • eps:为保证数值稳定性而添加到方差的小值。

下面是一个示例代码,演示了如何使用nn.InstanceNorm2d对输入张量进行归一化:

import torch
import torch.nn as nn# 创建一个输入张量,大小为(batch_size, num_channels, height, width)
input_tensor = torch.randn(2, 3, 3, 3)# 创建一个InstanceNorm2d层,对每个样本的每个通道进行独立的归一化
instance_norm = nn.InstanceNorm2d(3)# 对输入张量进行归一化
output = instance_norm(input_tensor)print(output.shape)

在这个示例中,nn.InstanceNorm2d(3)表示对输入张量的每个样本的每个通道进行独立的归一化,其中3是输入张量的通道数。最终输出的形状与输入张量相同。

2.4 GroupNorm(组归一化)

torch.nn.GroupNorm是PyTorch中的一个归一化层,用于在神经网络中标准化输入。与torch.nn.BatchNorm(批标准化)不同,GroupNorm将输入分成多个组,并在每个组内进行标准化。这种归一化方法在小批量大小下也能保持性能,并且对于通道数较少的情况更有效。以下是GroupNorm的主要特点和参数:

  • num_groups(int):将输入通道分成多少组。每个组内的通道会被一起归一化。
  • num_channels(int):输入张量的通道数。
  • eps(float):用于数值稳定性的epsilon值,避免除以零的情况。

当分组数和通道数相同的时候,相当于调用InstanceNorm

当分组数为1的时候,相当于调用LayerNorm

input = torch.randn(20, 6, 10, 10)
# 6个通道分为3个
m = nn.GroupNorm(3, 6)
#6个通道分为3个 (等价于InstanceNorm)
m = nn.GroupNorm(6, 6)
# 6个通道分为1个 (等价于LayerNorm)
m = nn.GroupNorm(1, 6)
output = m(input)

使用示例:

import torch
import torch.nn as nn# 创建一个输入张量,大小为(batch_size, num_channels, height, width)
input_tensor = torch.randn(2, 6, 3, 3)# 创建一个GroupNorm层,将通道分成2组
group_norm = nn.GroupNorm(2, 6)# 对输入张量进行标准化
output = group_norm(input_tensor)print(output.shape)

在上面的示例中,GroupNorm层将输入张量的通道分成了2组,然后在每个组内进行标准化。

这篇关于【深度学习】四种归一化方式对比:| LayerNorm,BatchNorm,InstanceNorm,GroupNorm的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/807005

相关文章

RabbitMQ消息总线方式刷新配置服务全过程

《RabbitMQ消息总线方式刷新配置服务全过程》SpringCloudBus通过消息总线与MQ实现微服务配置统一刷新,结合GitWebhooks自动触发更新,避免手动重启,提升效率与可靠性,适用于配... 目录前言介绍环境准备代码示例测试验证总结前言介绍在微服务架构中,为了更方便的向微服务实例广播消息,

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

Linux线程之线程的创建、属性、回收、退出、取消方式

《Linux线程之线程的创建、属性、回收、退出、取消方式》文章总结了线程管理核心知识:线程号唯一、创建方式、属性设置(如分离状态与栈大小)、回收机制(join/detach)、退出方法(返回/pthr... 目录1. 线程号2. 线程的创建3. 线程属性4. 线程的回收5. 线程的退出6. 线程的取消7.

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译(设置GOOS为linux生成无后缀二进制文件),上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序

Linux下删除乱码文件和目录的实现方式

《Linux下删除乱码文件和目录的实现方式》:本文主要介绍Linux下删除乱码文件和目录的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux下删除乱码文件和目录方法1方法2总结Linux下删除乱码文件和目录方法1使用ls -i命令找到文件或目录

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》:本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目,它提供了一个容易使用的持续集成系统,并且提供了大量的plugin满

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys

C#读写文本文件的多种方式详解

《C#读写文本文件的多种方式详解》这篇文章主要为大家详细介绍了C#中各种常用的文件读写方式,包括文本文件,二进制文件、CSV文件、JSON文件等,有需要的小伙伴可以参考一下... 目录一、文本文件读写1. 使用 File 类的静态方法2. 使用 StreamReader 和 StreamWriter二、二进

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S