对 BatchNormalization 中 Internal Convariate Shift 的理解

2024-02-07 14:38

本文主要是介绍对 BatchNormalization 中 Internal Convariate Shift 的理解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言:写的不好,主要解释了对内部协变量漂移(Internal Convariate Shift)的理解。


之前对BatchNormalization的理解不是很透彻,在搭建神经网络的时候也没有很注意去使用,今天集中搜索整理了下Batch Normalization的相关资料,才知道BatchNormalization的重要性,并不是用了Relu激活函数,BatchNormalization就没有用了。

为什么要使用Batch Normalization?

1. 降低内部协变量漂移(Internal Convariate Shift)

神经网络的最终目的:说到底,就是学习训练样本的流形分布。

每一层神经网络的目的:学习当前层神经网络的输入或上一层神经网络的输出的分布。

机器学习(包含深度学习)的使用的基本假设:IID 独立同分布假设,就是训练数据集与测试数据集服从相同的分布。这是通过训练数据训练得到的模型能在测试数据上工作的一个基本保障。

深度学习中的IID 独立同分布假设:1)神经网络的训练集与测试集服从相同的分布。

                                                        2)神经网络每一次输入的mini-batch的样本都服从同一个分布。

每层神经网络的IID 独立同分布假设:鉴于每层神经网络的目的,我们希望每一层神经网络在每一次迭代时的输入都服从同一个分布,只有这样,这层神经网络才能有效学习这个分布。否则,如果一个神经网络每一次输入的都是服从不同分布的样本,那么,最后神经网络也不知道该学习哪个分布了,从而导致学习效果变差。

协变量漂移/偏移(Convariate Shift):一般是指训练集与测试集的分布不同,或每次迭代时输入层输入的样本服从的分布不同。

内部协变量漂移(Internal Convariate Shift):Internal 指的是深层网络的隐藏层。内部协变量漂移是指,针对深层神经网络的内部的某个隐藏层,它的输入数据是上一层神经网络的输出。而随着神经网络的训练,每一层神经网络的参数(包含上一层)是不断变化的,因此,即使上一层网络的输入服从相同的分布,经过网络参数的变化,上一层网络的输出数据与上一次迭代时的输出数据不再服从同一个分布。从而导致,当前层神经网络的当前次的输入数据与上一次迭代时的输入数据服从不同的分布。我们把这种现象叫做内部协变量漂移。最后用一句话描述就是:由于神经网络参数的不断变化,每一层隐藏层神经网络在每一次迭代时的输入数据都服从不同的分布,这种现象叫内部协变量漂移。(我这里倾向于把shift翻译为“漂移”而不是“偏移”,因为每次迭代时内部输入数据都服从不同的分布,所以“漂移”更形象)

(附)如何判断是否已经出现协变量漂移:MCC(Matthews correlation coefficient),这个指标本质上是用一个训练集数据和预测集数据之间的相关系数,取值在[-1,1]之间,如果是1就是强烈的正相关,0就是没有相关性,-1就是强烈的负相关。

2.梯度消失

批标准化可以使数据远离激活函数的极限饱和区。relu激活函数虽然不存在梯度消失的问题,但是把小于0的数值激活为0。批标准化可以减少被置零的数值的数目。

 

Batch Normalization的执行时机

在激活函数之前

Batch Normalization解决的问题

1. 内部协变量漂移

2. 梯度消失

3. 加快收敛速度,提升训练速度。

Relu 激活函数下仍有使用Batch Normalization的必要

 

 

 

参考:【深度学习】深入理解Batch Normalization批标准化

TensorFlow 中 Batch Normalization API 的一些坑

批标准化详解(Batch Normalization for Reducing Internal Covariate Shift)

深度模型中relu激活函数的不足,batch normalization怎么解决梯度消失爆炸的数值问题

标准化(BN)与激活函数

这篇关于对 BatchNormalization 中 Internal Convariate Shift 的理解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/688039

相关文章

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

【C++高阶】C++类型转换全攻略:深入理解并高效应用

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:C++ “ 登神长阶 ” 🤡往期回顾🤡:C++ 智能指针 🌹🌹期待您的关注 🌹🌹 ❀C++的类型转换 📒1. C语言中的类型转换📚2. C++强制类型转换⛰️static_cast🌞reinterpret_cast⭐const_cast🍁dynamic_cast 📜3. C++强制类型转换的原因📝

深入理解RxJava:响应式编程的现代方式

在当今的软件开发世界中,异步编程和事件驱动的架构变得越来越重要。RxJava,作为响应式编程(Reactive Programming)的一个流行库,为Java和Android开发者提供了一种强大的方式来处理异步任务和事件流。本文将深入探讨RxJava的核心概念、优势以及如何在实际项目中应用它。 文章目录 💯 什么是RxJava?💯 响应式编程的优势💯 RxJava的核心概念

如何通俗理解注意力机制?

1、注意力机制(Attention Mechanism)是机器学习和深度学习中一种模拟人类注意力的方法,用于提高模型在处理大量信息时的效率和效果。通俗地理解,它就像是在一堆信息中找到最重要的部分,把注意力集中在这些关键点上,从而更好地完成任务。以下是几个简单的比喻来帮助理解注意力机制: 2、寻找重点:想象一下,你在阅读一篇文章的时候,有些段落特别重要,你会特别注意这些段落,反复阅读,而对其他部分

深入理解数据库的 4NF:多值依赖与消除数据异常

在数据库设计中, "范式" 是一个常常被提到的重要概念。许多初学者在学习数据库设计时,经常听到第一范式(1NF)、第二范式(2NF)、第三范式(3NF)以及 BCNF(Boyce-Codd范式)。这些范式都旨在通过消除数据冗余和异常来优化数据库结构。然而,当我们谈到 4NF(第四范式)时,事情变得更加复杂。本文将带你深入了解 多值依赖 和 4NF,帮助你在数据库设计中消除更高级别的异常。 什么是

分布式系统的个人理解小结

分布式系统:分的微小服务,以小而独立的业务为单位,形成子系统。 然后分布式系统中需要有统一的调用,形成大的聚合服务。 同时,微服务群,需要有交流(通讯,注册中心,同步,异步),有管理(监控,调度)。 对外服务,需要有控制的对外开发,安全网关。

Java IO 操作——个人理解

之前一直Java的IO操作一知半解。今天看到一个便文章觉得很有道理( 原文章),记录一下。 首先,理解Java的IO操作到底操作的什么内容,过程又是怎么样子。          数据来源的操作: 来源有文件,网络数据。使用File类和Sockets等。这里操作的是数据本身,1,0结构。    File file = new File("path");   字

理解java虚拟机内存收集

学习《深入理解Java虚拟机》时个人的理解笔记 1、为什么要去了解垃圾收集和内存回收技术? 当需要排查各种内存溢出、内存泄漏问题时,当垃圾收集成为系统达到更高并发量的瓶颈时,我们就必须对这些“自动化”的技术实施必要的监控和调节。 2、“哲学三问”内存收集 what?when?how? 那些内存需要回收?什么时候回收?如何回收? 这是一个整体的问题,确定了什么状态的内存可以

理解分类器(linear)为什么可以做语义方向的指导?(解纠缠)

Attribute Manipulation(属性编辑)、disentanglement(解纠缠)常用的两种做法:线性探针和PCA_disentanglement和alignment-CSDN博客 在解纠缠的过程中,有一种非常简单的方法来引导G向某个方向进行生成,然后我们通过向不同的方向进行行走,那么就会得到这个属性上的图像。那么你利用多个方向进行生成,便得到了各种方向的图像,每个方向对应了很多