【深度学习】S2 数学基础 P3 微积分(上)导数与微分

2024-02-15 10:52

本文主要是介绍【深度学习】S2 数学基础 P3 微积分(上)导数与微分,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 圆与微积分
  • 导数与微分
    • 导数的含义
    • 数学定义
    • 常用函数微分
    • 常用微分法则
    • Python 实现

圆与微积分

公元前 2500 年,古希腊数学家阿基米德通过一种名为 “逼近法” 的技巧来估算圆的面积。他采用一个有奇数边的正多边形来外切圆,并用一个有偶数边的正多边形来内接圆。通过计算这两个多边形面积的差值,阿基米德得到了圆面积的一个近似值。

这种方法实际上是一种面积累加的过程,与现代积分学中的思想 —— “将一个区域分割成无数小部分,计算每个小部分的面积,并将这些面积加总以得到整个区域的总面积。” 有着密切的联系。

大约 2000 年后,微分理论被发明。微分学中,优化问题占据了核心地位,这也是深度学习的最终目标之一。正是由于这个原因,微积分成为了深度学习的三大数学基础之一。

而微积分学中的微分学与积分学是相辅相成的,

  • 微分学研究的是函数在某一点处的局部性质;
  • 积分学则关注的是函数在整个区间上的累积性质。

这两者共同构成了微积分学的基本框架,并在解决实际问题中发挥着重要作用。


导数与微分

导数的含义

在深度学习中,导数的含义为:对于模型中的每一个参数,如果我们对这个参数增加或者减少一个无穷小的量,可以观察到损失函数如何相应地快速增加或减少,从而对该参数对模型性能的影响程度有一个度量的标准。

数学定义

导数的数学定义表述为:
f ′ ( x ) = lim ⁡ h → 0 f ( x + h ) − f ( x ) h f'(x)=\lim_{h \to 0} \frac {f(x+h) - f(x)}{h} f(x)=h0limhf(x+h)f(x)

若函数 f f f 在点 a a a 处的导数存在,我们便称函数 f f f a a a 处可微。这里的导数 f ′ ( x ) f'(x) f(x) 表示函数 f ( x ) f(x) f(x) 关于其变量 x x x 的瞬时变化速率。

常用函数微分

以下是一些常用函数的微分操作描述:

  • C ′ = d C d x = 0 C'=\frac {dC} {dx} = 0 C=dxdC=0 C C C 是常数)
  • x n ′ = d x n d x = n x n − 1 {x^n}'=\frac {dx^n} {dx} = nx^{n-1} xn=dxdxn=nxn1
  • e x ′ = d e x d x = e x {e^x}'=\frac {de^x} {dx} = e^x ex=dxdex=ex
  • l n ( x ) ′ = 1 x ln(x)'= \frac {1} {x} ln(x)=x1

常用微分法则

  • 常数相乘法则:
    d d x [ C f ( x ) ] = C d d x f ( x ) \frac d {dx} [Cf(x)] = C \frac d {dx} f(x) dxd[Cf(x)]=Cdxdf(x)
  • 加法法则:
    d d x [ f ( x ) + g ( x ) ] = d d x f ( x ) + d d x g ( x ) \frac d {dx} [f(x)+g(x)] = \frac d {dx} f(x) + \frac d {dx} g(x) dxd[f(x)+g(x)]=dxdf(x)+dxdg(x)
  • 乘法法则:
    d d x [ f ( x ) g ( x ) ] = f ( x ) d d x [ g ( x ) ] + g ( x ) d d x [ f ( x ) ] \frac d {dx} [f(x)g(x)] = f(x) \frac d {dx} [g(x)] + g(x) \frac d {dx} [f(x)] dxd[f(x)g(x)]=f(x)dxd[g(x)]+g(x)dxd[f(x)]
  • 除法法则:
    d d x [ f ( x ) g ( x ) ] = g ( x ) d d x [ f ( x ) ] − f ( x ) d d x [ g ( x ) ] [ g ( x ) ] 2 \frac d {dx} [\frac {f(x)} {g(x)}] = \frac {g(x) \frac d {dx} [f(x)] - f(x) \frac d {dx} [g(x)]} {[g(x)]^2} dxd[g(x)f(x)]=[g(x)]2g(x)dxd[f(x)]f(x)dxd[g(x)]

Python 实现

e . g . e.g. e.g. 定义一个函数 u = f ( x ) = 3 x 2 − 4 x u=f(x)=3x^2-4x u=f(x)=3x24x 以及其导数;

# 函数表达式
def f(x):return 3 * x ** 2 - 4 * x# 导数表达式
def numerical_lim(f, x, h):return (f(x + h) - f(x)) / h

深度学习三大数学基础 - 微积分(上)导数与微分;
下一节博文内容:深度学习数学基础 - 微积分(下),包含偏导数、梯度和链式法则。

2024.2.14

这篇关于【深度学习】S2 数学基础 P3 微积分(上)导数与微分的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/711191

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

uva 10014 Simple calculations(数学推导)

直接按照题意来推导最后的结果就行了。 开始的时候只做到了第一个推导,第二次没有继续下去。 代码: #include<stdio.h>int main(){int T, n, i;double a, aa, sum, temp, ans;scanf("%d", &T);while(T--){scanf("%d", &n);scanf("%lf", &first);scanf

uva 10025 The ? 1 ? 2 ? ... ? n = k problem(数学)

题意是    ?  1  ?  2  ?  ...  ?  n = k 式子中给k,? 处可以填 + 也可以填 - ,问最小满足条件的n。 e.g k = 12  - 1 + 2 + 3 + 4 + 5 + 6 - 7 = 12 with n = 7。 先给证明,令 S(n) = 1 + 2 + 3 + 4 + 5 + .... + n 暴搜n,搜出当 S(n) >=

uva 11044 Searching for Nessy(小学数学)

题意是给出一个n*m的格子,求出里面有多少个不重合的九宫格。 (rows / 3) * (columns / 3) K.o 代码: #include <stdio.h>int main(){int ncase;scanf("%d", &ncase);while (ncase--){int rows, columns;scanf("%d%d", &rows, &col

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言