AI学习指南深度学习篇-SGD的变种算法

2024-09-05 08:44
文章标签 算法 ai 学习 深度 sgd 变种 学习指南

本文主要是介绍AI学习指南深度学习篇-SGD的变种算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

AI学习指南深度学习篇 - SGD的变种算法

深度学习是人工智能领域中最为重要的一个分支，而在深度学习的训练过程中，优化算法起着至关重要的作用。随机梯度下降（SGD，Stochastic Gradient Descent）是最基本的优化算法之一。然而，纯SGD在训练深度神经网络时可能会面临收敛速度慢和陷入局部最优的问题。因此，许多变种SGD算法应运而生，极大地提高了模型的训练效率和效果。

本文将探讨几种主要的SGD变种算法，包括带动量的SGD、AdaGrad、RMSprop和Adam，并比较它们在实际应用中的优缺点。同时，我们将会提供具体的示例，帮助读者更好地理解这些算法的工作原理及其在训练过程中的表现。

1. 随机梯度下降（SGD）概述

在深入讨论SGD的变种之前，首先需要了解SGD的基本概念。SGD通过随机抽取样本进行梯度更新，这样的好处在于大幅度减少计算量，使得在线学习成为可能。但SGD也有其局限性，如：

  • 每次只利用一个样本或一个小批量样本可能会导致更新方向的波动，影响模型的收敛。
  • 学习率的设置较为重要，如果学习率过大，可能发生发散；而如果学习率过小，则收敛速度慢。

因此，在实际应用中，单一的SGD往往不足以支撑复杂深度学习模型的训练，而需要引入一些变种算法。

2. 带动量的SGD

2.1 动量的概念

动量（Momentum）是一种加速SGD收敛的方法，通过引入一个“动量”项来平滑梯度更新。其基本思想是把过去的梯度信息结合起来，从而使得更新方向更加稳定。

2.2 动量的更新公式

带动量的SGD的更新公式可以表示为：

v t = β v t − 1 + ( 1 − β ) ∇ J ( θ ) v_t = \beta v_{t-1} + (1 - \beta)\nabla J(\theta) vt​=βvt−1​+(1−β)∇J(θ)

θ = θ − α v t \theta = \theta - \alpha v_t θ=θ−αvt​

其中：

  • (v_t) 是当前时间步的动量更新。
  • (\beta) 是动量衰减系数，通常取值在0.9到0.99之间。
  • (\theta) 是模型参数。
  • (\alpha) 是学习率。
  • (\nabla J(\theta)) 是损失函数的梯度。

2.3 优缺点

优点：

  • 带动量的SGD能够有效减少梯度波动，提高收敛速度。
  • 可以更好地跨越局部最优点，帮助模型找到更佳的全局最优解。

缺点：

  • 对动量项的选择需要进行调优，可能对某些问题不适用。
  • 在某些情况下可能导致较大的振荡，尤其在高曲率区域。

2.4 示例

以下是使用PyTorch实现带动量的SGD的示例代码：

import torch
import torch.nn as nn
import torch.optim as optim# 定义一个简单的神经网络
class SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(10, 5)self.fc2 = nn.Linear(5, 1)def forward(self, x):x = torch.relu(self.fc1(x))return self.fc2(x)# 创建模型、损失函数和带动量的SGD优化器
model = SimpleNN()
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)# 模拟训练过程
for epoch in range(100):inputs = torch.randn(32, 10)  # batch size = 32, features = 10target = torch.randn(32, 1)    # 目标输出optimizer.zero_grad()  # 清空梯度outputs = model(inputs)  # 前向传播loss = criterion(outputs, target)  # 计算损失loss.backward()  # 反向传播optimizer.step()  # 更新参数if epoch % 10 == 0:print(f"Epoch: {epoch}, Loss: {loss.item()}")

3. 自适应学习率的SGD

自适应学习率的SGD通过在每个参数上针对性地调整学习率，能够更高效地利用梯度信息。以下我们将介绍几种常见的自适应学习率SGD变种：AdaGrad、RMSprop和Adam。

3.1 AdaGrad

3.1.1 原理

AdaGrad（Adaptive Gradient Algorithm）算法根据历史梯度的平方和动态调整每个参数的学习率，使得较少被更新的参数学习率增大，频繁被更新的参数学习率减小。其基本思想是，学习率自适应调整以使得学习过程更加有效。

3.1.2 更新公式

AdaGrad的更新公式如下：

G t = G t − 1 + ∇ J ( θ ) 2 G_t = G_{t-1} + \nabla J(\theta)^2 Gt​=Gt−1​+∇J(θ)2

θ = θ − α G t + ϵ ∇ J ( θ ) \theta = \theta - \frac{\alpha}{\sqrt{G_t + \epsilon}} \nabla J(\theta) θ=θ−Gt​+ϵ ​α​∇J(θ)

其中，(G_t) 是当前迭代的梯度平方和，(\epsilon) 是一个小常数，防止除零错误。

3.1.3 优缺点

优点：

  • 对稀疏数据（如文本）表现优异。
  • 不需要手动调整学习率。

缺点：

  • 学习率逐步减小，训练后期可能导致过早收敛，难以达到全局最优。
3.1.4 示例代码
optimizer = optim.Adagrad(model.parameters(), lr=0.1)for epoch in range(100):# 与上面的示例相同

3.2 RMSprop

3.2.1 原理

RMSprop（Root Mean Square Propagation）是对AdaGrad的改进，它通过引入衰减因子，限制过去梯度对当前学习率的影响，防止学习率过早减小。

3.2.2 更新公式

RMSprop的更新公式如下：

G t = β G t − 1 + ( 1 − β ) ∇ J ( θ ) 2 G_t = \beta G_{t-1} + (1 - \beta) \nabla J(\theta)^2 Gt​=βGt−1​+(1−β)∇J(θ)2

θ = θ − α G t + ϵ ∇ J ( θ ) \theta = \theta - \frac{\alpha}{\sqrt{G_t + \epsilon}} \nabla J(\theta) θ=θ−Gt​+ϵ ​α​∇J(θ)

3.2.3 优缺点

优点：

  • 解决了AdaGrad的学习率过早减小的问题，适合于非平稳目标。

缺点：

  • 需要手动选择衰减因子，可能对不适用的问题表现不佳。
3.2.4 示例代码
optimizer = optim.RMSprop(model.parameters(), lr=0.01, alpha=0.99)for epoch in range(100):# 与上面的示例相同

3.3 Adam

3.3.1 原理

Adam（Adaptive Moment Estimation）结合了动量和RMSprop的优点，使用一阶和二阶矩的动态调整方式。它对每个参数的学习率进行自适应更新，并且引入了偏差修正策略。

3.3.2 更新公式

Adam的更新公式如下：

m t = β 1 m t − 1 + ( 1 − β 1 ) ∇ J ( θ ) m_t = \beta_1 m_{t-1} + (1 - \beta_1) \nabla J(\theta) mt​=β1​mt−1​+(1−β1​)∇J(θ)

v t = β 2 v t − 1 + ( 1 − β 2 ) ( ∇ J ( θ ) ) 2 v_t = \beta_2 v_{t-1} + (1 - \beta_2) (\nabla J(\theta))^2 vt​=β2​vt−1​+(1−β2​)(∇J(θ))2

m ^ t = m t 1 − β 1 t 和 v ^ t = v t 1 − β 2 t \hat{m}_t = \frac{m_t}{1 - \beta_1^t} \quad \text{和} \quad \hat{v}_t = \frac{v_t}{1 - \beta_2^t} m^t​=1−β1t​mt​​和v^t​=1−β2t​vt​​

θ = θ − α m ^ t v ^ t + ϵ \theta = \theta - \frac{\alpha \hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} θ=θ−v^t​ ​+ϵαm^t​​

3.3.3 优缺点

优点：

  • 结合了动量和RMSprop的优点，适用于大规模数据和高维空间。
  • 通常收敛速度较快。

缺点：

  • 参数较多，需要对(\beta_1)和(\beta_2)进行调整。
3.3.4 示例代码
optimizer = optim.Adam(model.parameters(), lr=0.001)for epoch in range(100):# 与上面的示例相同

4. 比较不同变种SGD的优缺点

优化算法优点缺点适用场景
SGD易于实现，适用范围广收敛慢, 容易陷入局部最优通用问题
带动量的SGD减少梯度波动，加速收敛对动量系数敏感，可能造成振荡深度网络训练
AdaGrad自适应学习率，适合稀疏数据学习率递减过快，可能过早收敛NLP和图像问题
RMSprop解决了AdaGrad的学习率问题对衰减因子的选择敏感非平稳目标
Adam通常收敛速度快，结合了动量和 RMSprop的优点参数较多，需要调优大规模数据和高维问题

5. 结论

在深度学习的训练过程中，优化算法的选择对模型的最终效果具有重要影响。SGD及其变种算法如带动量的SGD、AdaGrad、RMSprop和Adam等，都是深度学习中不可或缺的工具。通过对不同优化算法的特点以及各自的优缺点进行比较，研究者可以根据具体问题的需求，选择合适的优化算法，从而提高模型的训练效率和效果。

选择合适的优化算法，配合合理的超参数调优技巧，将有助于在实际应用中得到更好的结果。在实际开发中，我们建议先从简单的SGD开始，再逐步尝试其它的变种算法，并通过交叉验证等方法来选择最优的超参数配置。

希望本文对读者在深度学习中的优化算法选择提供了帮助，能够启发更多的实践和研究。

这篇关于AI学习指南深度学习篇-SGD的变种算法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1138477。

相关文章

HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
AI绘图怎么变现？想做点副业的小白必看！

AI绘图怎么变现？想做点副业的小白必看！

在科技飞速发展的今天，AI绘图作为一种新兴技术，不仅改变了艺术创作的方式，也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式，帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具，可以扫描下方，免费获取 定制服务：个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如，姓氏头像在电商平台上非常受欢迎，
阅读更多...
不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
从去中心化到智能化：Web3如何与AI共同塑造数字生态

从去中心化到智能化：Web3如何与AI共同塑造数字生态

在数字时代的演进中，Web3和人工智能（AI）正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术，正相互交织，共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界，并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展，它基于去中心化的区块链技术，旨在创建一个开放、透明且用户主导的数字生态。不同于传统
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
康拓展开（hash算法中会用到）

康拓展开（hash算法中会用到）

康拓展开是一个全排列到一个自然数的双射（也就是某个全排列与某个自然数一一对应） 公式： X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。（a[i]在不同应用中的含义不同）； 典型应用： 计算当前排列在所有由小到大全排列中的顺序，也就是说求当前排列是第
阅读更多...
AI一键生成 PPT

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人，是不是经常需要制作各种PPT来分享我的生活和想法。但是，你们知道，有时候灵感来了，时间却不够用了！😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手！🌟 什么是Kimi？ 一款月之暗面科技有限公司开发的AI办公工具，帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师，Kimi都能够为你的办公文
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2