【深度学习】S2 数学基础 P3 微积分(上)导数与微分

2024-02-15 10:52

本文主要是介绍【深度学习】S2 数学基础 P3 微积分(上)导数与微分,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 圆与微积分
  • 导数与微分
    • 导数的含义
    • 数学定义
    • 常用函数微分
    • 常用微分法则
    • Python 实现

圆与微积分

公元前 2500 年,古希腊数学家阿基米德通过一种名为 “逼近法” 的技巧来估算圆的面积。他采用一个有奇数边的正多边形来外切圆,并用一个有偶数边的正多边形来内接圆。通过计算这两个多边形面积的差值,阿基米德得到了圆面积的一个近似值。

这种方法实际上是一种面积累加的过程,与现代积分学中的思想 —— “将一个区域分割成无数小部分,计算每个小部分的面积,并将这些面积加总以得到整个区域的总面积。” 有着密切的联系。

大约 2000 年后,微分理论被发明。微分学中,优化问题占据了核心地位,这也是深度学习的最终目标之一。正是由于这个原因,微积分成为了深度学习的三大数学基础之一。

而微积分学中的微分学与积分学是相辅相成的,

  • 微分学研究的是函数在某一点处的局部性质;
  • 积分学则关注的是函数在整个区间上的累积性质。

这两者共同构成了微积分学的基本框架,并在解决实际问题中发挥着重要作用。


导数与微分

导数的含义

在深度学习中,导数的含义为:对于模型中的每一个参数,如果我们对这个参数增加或者减少一个无穷小的量,可以观察到损失函数如何相应地快速增加或减少,从而对该参数对模型性能的影响程度有一个度量的标准。

数学定义

导数的数学定义表述为:
f ′ ( x ) = lim ⁡ h → 0 f ( x + h ) − f ( x ) h f'(x)=\lim_{h \to 0} \frac {f(x+h) - f(x)}{h} f(x)=h0limhf(x+h)f(x)

若函数 f f f 在点 a a a 处的导数存在,我们便称函数 f f f a a a 处可微。这里的导数 f ′ ( x ) f'(x) f(x) 表示函数 f ( x ) f(x) f(x) 关于其变量 x x x 的瞬时变化速率。

常用函数微分

以下是一些常用函数的微分操作描述:

  • C ′ = d C d x = 0 C'=\frac {dC} {dx} = 0 C=dxdC=0 C C C 是常数)
  • x n ′ = d x n d x = n x n − 1 {x^n}'=\frac {dx^n} {dx} = nx^{n-1} xn=dxdxn=nxn1
  • e x ′ = d e x d x = e x {e^x}'=\frac {de^x} {dx} = e^x ex=dxdex=ex
  • l n ( x ) ′ = 1 x ln(x)'= \frac {1} {x} ln(x)=x1

常用微分法则

  • 常数相乘法则:
    d d x [ C f ( x ) ] = C d d x f ( x ) \frac d {dx} [Cf(x)] = C \frac d {dx} f(x) dxd[Cf(x)]=Cdxdf(x)
  • 加法法则:
    d d x [ f ( x ) + g ( x ) ] = d d x f ( x ) + d d x g ( x ) \frac d {dx} [f(x)+g(x)] = \frac d {dx} f(x) + \frac d {dx} g(x) dxd[f(x)+g(x)]=dxdf(x)+dxdg(x)
  • 乘法法则:
    d d x [ f ( x ) g ( x ) ] = f ( x ) d d x [ g ( x ) ] + g ( x ) d d x [ f ( x ) ] \frac d {dx} [f(x)g(x)] = f(x) \frac d {dx} [g(x)] + g(x) \frac d {dx} [f(x)] dxd[f(x)g(x)]=f(x)dxd[g(x)]+g(x)dxd[f(x)]
  • 除法法则:
    d d x [ f ( x ) g ( x ) ] = g ( x ) d d x [ f ( x ) ] − f ( x ) d d x [ g ( x ) ] [ g ( x ) ] 2 \frac d {dx} [\frac {f(x)} {g(x)}] = \frac {g(x) \frac d {dx} [f(x)] - f(x) \frac d {dx} [g(x)]} {[g(x)]^2} dxd[g(x)f(x)]=[g(x)]2g(x)dxd[f(x)]f(x)dxd[g(x)]

Python 实现

e . g . e.g. e.g. 定义一个函数 u = f ( x ) = 3 x 2 − 4 x u=f(x)=3x^2-4x u=f(x)=3x24x 以及其导数;

# 函数表达式
def f(x):return 3 * x ** 2 - 4 * x# 导数表达式
def numerical_lim(f, x, h):return (f(x + h) - f(x)) / h

深度学习三大数学基础 - 微积分(上)导数与微分;
下一节博文内容:深度学习数学基础 - 微积分(下),包含偏导数、梯度和链式法则。

2024.2.14

这篇关于【深度学习】S2 数学基础 P3 微积分(上)导数与微分的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/711191

相关文章

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

C#基础之委托详解(Delegate)

《C#基础之委托详解(Delegate)》:本文主要介绍C#基础之委托(Delegate),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 委托定义2. 委托实例化3. 多播委托(Multicast Delegates)4. 委托的用途事件处理回调函数LINQ

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操