深度模型中的优化(四)、动量(momentum)和Nesterov动量

2024-03-12 23:30

本文主要是介绍深度模型中的优化(四)、动量(momentum)和Nesterov动量,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

参考 动量(momentum)和Nesterov动量 - 云+社区 - 腾讯云

一、动量

虽然随机梯度下降仍然是非常受欢迎的优化方法,但其学习过程有时会很慢。动量方法旨在加速学习,特别是处理高曲率、小但一致的梯度,或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均,并且继续沿该方向移动。从形式上看,动量算法引入了变量v充当速度角色------它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称动量来自物理类比,根据牛顿运动定律,负梯度是移动参数空间中粒子的力。动量在物理学上定义为质量乘以速度。在动量学习算法中,我们假设是单位质量,因此速度向量v也可以看作粒子的动量。超参数\alpha \in [0,1)决定了之前梯度的贡献衰减得有多快。更新规则如下:

                                                  v\leftarrow \alpha v-\varepsilon \bigtriangledown _{\theta}(\frac{1}{m}\sum^m_{i=1}L(f(x^{(i)};\theta),y^{(i)}))

速度v积累了梯度元素\bigtriangledown _{\theta}(\frac{1}{m}\sum^m_{i=1}L(f(x^{(i)};\theta),y^{(i)}))。相对于\varepsilon\alpha越大,之前梯度对现在方向的影响也越大。带动量的SGD算法如下所示:

Requires:学习率\varepsilon,动量参数\alpha

Requires:初始参数\theta,初始速度v

      while 没有达到停止准则 do

      从训练集中采包含m个样本\{x^{(1)},...,x^{(m)}\}的小批量,对应目标为y^{(i)}

      计算梯度估计:\small g\leftarrow \frac{1}{m}\sum^m_{i=1}L(f(x^{(i)};\theta),y^{(i)})

      计算速度更新:v\leftarrow \alpha v-\varepsilon g

      应用更新:\theta\leftarrow \theta + v

end while

之前,步长只是梯度范数乘以学习率。现在,步长取决于梯度序列的大小和排列。当许多连续的梯度指向指定相同的方向时,步长最大。如果动量算法总是观测到梯度g,那么它只会在方向-g上不停加速,直到达到最终速度,其中步长大小为:

                                                                           \frac{\varepsilon ||g||}{1-\alpha}

因此将动量的超参数视为1/(1-\alpha)有助于理解。例如,\alpha=0.9对应着最大速度10倍于梯度下降算法。

在实践中,\alpha的一般取值为0.5、0.9和0.99和学习率一样,\small \alpha也会随着时间不断调整。一般初初始值是一个较小的值,随后会慢慢变大。随着时间推移调节\alpha没有收缩\small \varepsilon重要。

我们可以将动量算法视为模拟连续时间下牛顿动力学下的粒子。这种物理类比有助于直觉上理解动量和梯度下降算法是如何表现的。粒子在任意时间点的位置由\small \theta(t)给定。粒子会受到净力\small f(t)。该力会导致粒子加速:

                                                                        \small f(t)=\frac{\partial^2 }{\partial t^2}\theta(t)

与其将其视为位置的二阶微分方程,我们不如引入表示粒子在时间t处速度的变量v(f),将牛顿力学重写为一阶微分方程:

                                                                       \small v(t)=\frac{\partial }{\partial t}\theta(t)  

                                                                       \small f(t)=\frac{\partial }{\partial t}v(t)

由此,动量算法包括通过数值模拟求解微分方程。求解微分方程的一个简单数值方法是欧拉方法,通过在每个梯度方向上具有有限的步长来简单模拟该等式的动力学。这解释了动量更新的基本形式,但具体什么是力呢?力正比于代价函数的负梯度\small -\bigtriangledown _\theta J(\theta)。该力推动粒子沿着代价函数表面下坡方向的方向移动。梯度下降算法基于每个梯度简单地更新一步,而使用动量算法的牛顿方案则使用该力改变粒子的速度。我们可以将粒子视作在冰面上滑行的冰球。 每当它沿着表面最陡的部分下降时,它会积累继续在该力方向上滑行的速度,知道其开始向上滑动为止。

另一个力也是必要的。如果代价函数的梯度是唯一的力,那么粒子可能永远不会停下来。想象一下,假设理想情况下冰面没有摩擦,一个冰球从山谷的一端下滑,上升到另一端,永远来回震荡。要解决这个问题,我们添加一个正比于-v(t)的力。在物理术语中,此力对应于粘性阻力,就像例子必须通过一个抵抗介质,如糖浆。这会导致粒子随着时间推移逐渐失去能量,最终收敛到局部极小值点。

为什么要特别适用-v(t)和粘性阻力呢?部分原因是因为-v(t)在数学上的便利------速度的整数幂很容易处理。然而,其他物理系统具有基于速度的其他类型的阻力。例如,颗粒通过空气时会受到正比于速度平方的湍流阻力,而颗粒沿着地面移动时会受到恒定大小的摩擦力,这些选择都不合适。湍流阻力正比于速度的平方,在速度很小时会很弱,不够强到使例子停下来。非零初始值速度的粒子仅收到湍流阻力,会从初始位置永远地移动下去,和初始位置的距离大概正比于O(logt),因此我们必须使用速度较低幂次的力。如果幂次为零,相当于干摩擦,那么力太大了。当代价函数的梯度表示的力很小但非零时,由过幂次为零,相当于摩擦,那么力太强了。当代建很多户的梯度表示的力很小但非零时,由于摩擦导致的阻力会使得粒子在达到局部极小点之前就停下来。粘性阻力避免了这两个问题。它足够弱,可以使梯度引起的运行直到达到最小,但有足够强,使得梯度不够时可以阻止运动。

二、Nesterov动量

受Nesterov加速度算法提出了动量算法的一个变种。这种情况的更新规则如下:

                                                   \small v\leftarrow \alpha-\varepsilon \bigtriangledown _\theta[\frac{1}{m}\sum^m_{i=1}L(f(x^{(i)};\theta),y^{(i)})]

                                                    \small \theta \leftarrow \theta + v

其中参数\small \alpha\small \varepsilon发挥了和标准动量方法中类似的作用。Nesterov动量和标准动量之间的区别体现在梯度计算上。Nesterov动量中,梯度计算在施加当前速度后。因此,Nesterov动量可以解释为往标准动量方法中添加了校正因子。完整的Nesterov动量算法如下所示,

Requires:学习率,动量参数\small \alpha

Requires:初始参数\small \theta,初始速率\small v

      while 没有达到停止准则 do

      从训练集中采包含\tiny m个样本\small \{ x^{(1)},...,x^{(m)}\}的小批量,对应目标为\small y^{(i)}

      应用临时更新:\small \hat{\theta}\leftarrow \alpha v-\varepsilon g

     应用更新:\small \theta\leftarrow \theta + v

end while

在凸批量梯度的情况下,Nesterov动量将额外误差收敛率从\small O(1/k)(\small k步后)或进到\small O(1/k^2),如Nesterov所示。可惜,在随机梯度的情况下,Nesterov动量没有改进收敛效率。

这篇关于深度模型中的优化(四)、动量(momentum)和Nesterov动量的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/802935

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费