#Datawhale X 李宏毅苹果书 AI夏令营#3.13.2局部极小值与鞍点批量和动量

本文主要是介绍#Datawhale X 李宏毅苹果书 AI夏令营#3.13.2局部极小值与鞍点批量和动量,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本章介绍深度学习常见的概念,主要包括3.1局部极小值与鞍点;3.2批量和动量。

知识点讲解:

3.1局部极小值和鞍点

我们在做优化的时候,有时候会发现随着参数不断更新,函数的损失值却不再下降的现象,但这个优化结果离我们想要的理想值还差距很大。

这是什么原因呢?接下来我们就研究这个问题。

局部极小值:

我们先看数学定义:在一个多变量函数中,如果存在某个点,在该点附近的所有其他点的函数值都大于等于该点的函数值,则该点称为一个局部极小值点。局部极小值的梯度为零(即导数为零),但梯度为零的点不一定是极值点。海森矩阵正定。

鞍点:

数学定义:对于一个多变量函数,如果存在一个点,在某些方向上它是局部最小值,在其他方向上则是局部最大值,那么这个点就被称为鞍点。鞍点处的梯度也为零,但其海森矩阵既不是正定也不是负定,通常含有正的和负的特征值。鞍点可以想象成一个马鞍的形状。可以参考下图:

如何判断一个梯度为零的点是极值点还是鞍点:

1)梯度,鞍点和极值点的梯度都为零,所以无法通过梯度来判断;

2)海森矩阵,我们可以利用函数的二阶条件即海森矩阵来判断。如果海森矩阵正定或负定,那么这个点就是极小值点或者极大值点;如果海森矩阵的特征值既有正值又有负值,即既不是正定又不是负定,那么可以判断该点是鞍点。

逃离鞍点的方法:

逃离鞍点是优化算法面临的重要挑战之一,尤其在处理非凸函数时更为显著。鞍点并没那么可怕。为什么呢?低维度空间中的局部极小值点,在更高维的空间中,实际是鞍点。这就好办了,如果在二维空间中无路可走,那么在更高维的空间里面是不是有可行的路径呢?答案是肯定的。多数的时候,我们训练到一个梯度 很小的地方,参数不再更新,往往只是遇到了鞍点。

3.2批量和动量

批量:

定义:批量(batch size),是指在训练神经网络时,每次计算梯度和更新参数时所使用的样本数量。。在深度学习中,数据集通常会被划分为多个小批次,每个批次包含一定数量的样本。批量是一个超参数,是可以手动调整的。通常也是需要我们根据数据量的不同来调参的。

批量大小对梯度下降法的影响

批量梯度下降:1)批量梯度下降每次迭代的计算量大;2)批量梯度下降每次更新更稳定、更 准确;

在考虑并行计算的情况下,批量梯度下降的花费的时间不一定更长。只有在批量很大的情况下超出GPU 并行计算极限的时候,需要花费的时间才会比小批量梯度下降时间长。

小批量梯度下降:1)单次迭代的计算量小,但每个epoch内需要更新的参数次数增加;2)梯度更新的方向有噪声;

实际上有噪声的梯度反而可能可以帮助训练,一个可能的解释是因为噪声有助于跳出局部极小值。

这个是优化的问题,大的批量大小优化可能会有问题,小的批量大小优化的结果反而是比较好的。

小的批量也对测试有帮助。

“大的批量大小会让我们倾向于走到“峡谷”里面,而小的批量大小倾向于让我们走到“盆地” 里面。小的批量有很多的损失,其更新方向比较随机,其每次更新的方向都不太一样。即使 “峡谷”非常窄,它也可以跳出去,之后如果有一个非常宽的“盆地”,它才会停下来。”

总之,批量大小是需要调整的超参数。批量大小的选择是一个权衡的过程,需要根据具体的硬件资源、训练目标以及模型特性来进行决策。

动量:

动量是一个来源于物理学的概念。在物理学中,动量和惯性息息相关。

机器学习领域,我们引入了动量这个概念,用来改进梯度下降算法。动量法(momentum method)是另外一个可以对抗鞍点或局部最小值的方法。动量方法通过在梯度下降过程中加入历史梯度的方向信息,以加速收敛过程,并帮助模型更快地达到全局最优解或较好的局部最优解。

引入动量后,我们每次在更新参数时,不仅考虑当前点的梯度的反方向,同时还要考虑前一步的移动方向。每次更新时,都会先计算出新的动量向量,然后使用这个向量和当前的负梯度来一起更新模型参数。

动量方法的优点:1)加速收敛,在梯度方向变化不大的情况下,可以更快的沿着梯度方向前进;2)平滑更新,因为考虑了历史梯度的影响,所以动量可以减少训练中的振荡,平滑参数更新过程;3)较大的动量可以帮助模型越过一些较浅的局部最小值,从而找到更优解。

动量系数的选择:通常我们选择动量系数 β 取值在 0.8 到 0.999 之间,常见值为 0.9。

喜欢的小伙伴收藏点赞关注吧。

这篇关于#Datawhale X 李宏毅苹果书 AI夏令营#3.13.2局部极小值与鞍点批量和动量的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1113395

相关文章

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

Jmeter如何向数据库批量插入数据

《Jmeter如何向数据库批量插入数据》:本文主要介绍Jmeter如何向数据库批量插入数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Jmeter向数据库批量插入数据Jmeter向mysql数据库中插入数据的入门操作接下来做一下各个元件的配置总结Jmete

Python批量调整Word文档中的字体、段落间距及格式

《Python批量调整Word文档中的字体、段落间距及格式》这篇文章主要为大家详细介绍了如何使用Python的docx库来批量处理Word文档,包括设置首行缩进、字体、字号、行间距、段落对齐方式等,需... 目录关键代码一级标题设置  正文设置完整代码运行结果最近关于批处理格式的问题我查了很多资料,但是都没

通过Python脚本批量复制并规范命名视频文件

《通过Python脚本批量复制并规范命名视频文件》本文介绍了如何通过Python脚本批量复制并规范命名视频文件,实现自动补齐数字编号、保留原始文件、智能识别有效文件等功能,听过代码示例介绍的非常详细,... 目录一、问题场景:杂乱的视频文件名二、完整解决方案三、关键技术解析1. 智能路径处理2. 精准文件名

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo