【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则

2024-02-15 09:20

本文主要是介绍【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 深度学习与微积分
  • 偏导数
  • 链式法则

深度学习与微积分

总结来说,深度学习的核心在于优化;优化的重点在于降低损失值;降低损失值需要通过反向梯度下降;而微积分,判断的就是梯度下降的方向和大小。

铺开来说,深度学习的核心目标是通过优化过程来训练模型,以便在给定输入数据时能够产生准确的预测。而为了评估模型的性能并指导优化过程,我们定义了一个 损失函数。它量化了模型的预测与真实值之间的不一致程度。

优化过程的关键在于找到一组模型参数,使得损失函数的值最小。这通常通过 梯度下降 算法实现,其中 “梯度” 就是损失函数对模型参数的导数。梯度指向损失增加最快的方向,因此,为了最小化损失函数,我们选择与梯度相反的方向进行更新,这就是所谓的 “反向梯度下降”。

在这个过程中,导数(或者说梯度)的重要性在于:

  • 方向:导数指示了损失函数下降最快的方向,即梯度的反方向是损失减少的方向。
  • 大小:导数的绝对值表示了损失函数在该方向上下降的速率,即参数更新的大小。

因此,通过计算损失函数对每个参数的导数(梯度),我们可以调整模型参数,以减少损失函数的值,从而训练出性能更好的模型。而自动微分,使得这个过程变得自动化和高效。开发者可以专注于模型结构和数据处理,而不必手动计算复杂的导数。关于自动微分,将在后续博文单开章节进行阐述。

在本篇文章中,我们将关注于微积分的一些核心概念,特别是 偏导数 和 链式法则 这两个关键原理。


偏导数

深度学习函数依赖于许多变量。在博文微积分(上)中,只单纯讨论了导数与微分之于深度学习的重要性。但是实践上看,我们需要将微分的思想推广到多元函数上。

e . g . e.g. e.g. 假设 y = f ( x 1 , x 2 , . . . , x n ) y = f(x_1, x_2, ..., x_n) y=f(x1,x2,...,xn) 是一个具有 n n n 个变量的函数, y y y 关于第 i i i 个参数 x i x_i xi 的偏导数为:
d y d x i = lim ⁡ h → 0 f ( x 1 , . . . , x i − 1 , x i + h , x i + 1 , . . . , x n ) − f ( x 1 , . . . , x i , . . . , x n ) h \frac {dy} {dx_i}=\lim _{h \to 0} \frac {f(x_1, ..., x_{i-1}, x_i+h, x_{i+1}, ..., x_n) - f(x_1, ..., x_i, ..., x_n)} {h} dxidy=h0limhf(x1,...,xi1,xi+h,xi+1,...,xn)f(x1,...,xi,...,xn)

而为了计算 d y d x i \frac {dy} {dx_i} dxidy,我们可以简单地将 x 1 , . . . , x i − 1 , x i + 1 , . . . , x n x_1, ..., x_{i-1}, x_{i+1}, ..., x_n x1,...,xi1,xi+1,...,xn 看作常数,并计算 y y y 关于 x i x_i xi 的导数。


链式法则

在深度学习中,神经网络由多个层组成,每个层的输出又作为下一层的输入。链式法则允许我们将复杂的导数问题分解为多个简单的导数问题。通过链式法则,我们可以从输出层的损失函数反向传播梯度到网络的每一层,从而计算出每个权重的偏导数。

链式传播简单公式:
d y d x = d y d x d u d x \frac {dy} {dx}=\frac {dy} {dx} \frac {du} {dx} dxdy=dxdydxdu

关于链式法则的实践,将在后续博文中进行展现。


如有任何疑问,请联系或留言。

2024.2.14

这篇关于【深度学习】S2 数学基础 P4 微积分(下)偏导数与链式法则的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/710999

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

uva 10014 Simple calculations(数学推导)

直接按照题意来推导最后的结果就行了。 开始的时候只做到了第一个推导,第二次没有继续下去。 代码: #include<stdio.h>int main(){int T, n, i;double a, aa, sum, temp, ans;scanf("%d", &T);while(T--){scanf("%d", &n);scanf("%lf", &first);scanf

uva 10025 The ? 1 ? 2 ? ... ? n = k problem(数学)

题意是    ?  1  ?  2  ?  ...  ?  n = k 式子中给k,? 处可以填 + 也可以填 - ,问最小满足条件的n。 e.g k = 12  - 1 + 2 + 3 + 4 + 5 + 6 - 7 = 12 with n = 7。 先给证明,令 S(n) = 1 + 2 + 3 + 4 + 5 + .... + n 暴搜n,搜出当 S(n) >=

uva 11044 Searching for Nessy(小学数学)

题意是给出一个n*m的格子,求出里面有多少个不重合的九宫格。 (rows / 3) * (columns / 3) K.o 代码: #include <stdio.h>int main(){int ncase;scanf("%d", &ncase);while (ncase--){int rows, columns;scanf("%d%d", &rows, &col

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言