【数学基础篇】---详解极限与微分学与Jensen 不等式

2023-10-09 00:59

本文主要是介绍【数学基础篇】---详解极限与微分学与Jensen 不等式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、前述

数学基础知识对机器学习还有深度学习的知识点理解尤为重要,本节主要讲解极限等相关知识。

二、极限

1.例子
当x趋于0的时候,sin(x)与tan(x)都趋于0。但是哪一个趋于0的速度更快一些呢?
我们考察这两个函数的商的极限,
在这里插入图片描述
所以当 x → 0 的时候,sin(x) 与 tan(x) 是同样级别的无穷小。
2.相关定理
如果三个函数满足 f(x) ≤ g(x) ≤ h(x), 而且他们都在 x0 处有极限,那么
在这里插入图片描述
重要极限:
在这里插入图片描述

三、微分学

微分学的核心思想:逼近。
1.函数导数:
如果一个函数 f(x) 在 x0 附近有定义,而且存在极限。
在这里插入图片描述
那么 f(x) 在 x0 处可导且导数 f ′ (x0) = L。
无穷小量表述:线性逼近。
在这里插入图片描述
Definition(函数的高阶导数)
如果函数的导数函数仍然可导,那么导数函数的导数是二阶导数,二阶导数函数的导数是三阶导数。
一般地记为
在这里插入图片描述
或者进一步
在这里插入图片描述
导数是对函数进行线性逼近,高阶导数是对导数函数的进一步逼近,因为没有更好的办法,所以数学家选择继续使用线性逼近。
Example (初等函数的导数)
在这里插入图片描述
2.微分学:多元函数
在这里插入图片描述
且 Lx,Ly 分别是 f 在 x, y 方向上的偏导数。一般记为
在这里插入图片描述
3.Definition (高阶偏导数)
在这里插入图片描述
并且二阶偏导数为
在这里插入图片描述
4.Example (偏导数的例子)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5.求导法则
在这里插入图片描述
6.总结
微分学的核心思想是逼近。
一阶导数:线性逼近
二阶导数:二次逼近
导数计算:求导法则

四、泰勒级数

1.泰勒/迈克劳林级数: 多项式逼近。
在这里插入图片描述
2.泰勒级数: 例子
在这里插入图片描述
3.应用
泰勒级数是一元微分逼近的顶峰,所以有关于一元微分逼近的问题请尽情使用。
罗比塔法则
在这里插入图片描述
证明:
因为是在 x0 附近的极限问题,我们使用泰勒级数来思考这个问题
在这里插入图片描述
在这里插入图片描述
4.小结 (泰勒级数)
泰勒级数本质是多项式逼近
特殊函数的泰勒级数可以适当记一下
泰勒级数可以应用于很多与逼近相关的问题。

五、牛顿法与梯度下降法

很多机器学习或者统计的算法最后都转化成一个优化的问题。也就是求某一个损失函数的极小值的问题,在本课范围内我们考虑可微分的函数极小值问题。
1.优化问题
对于一个无穷可微的函数f(x),如何寻找他的极小值点。
极值点条件。
全局极小值:如果对于任何 x˜, 都有 f(x∗) ≤ f(˜x),那么 x∗ 就是全局极小值点。
局部极小值:如果存在一个正数 δ 使得,对于任何满足 |x˜ − x∗| < δ 的 x˜, 都有 f(x∗) ≤ f(˜x),那么 x∗ 就是局部极 小值点。(方圆 δ 内的极小值点)
不论是全局极小值还是局部极小值一定满足一阶导数/梯度 为零,f ′ = 0 或者 ∇f = 0。
2.局部极值算法
这两种方法都只能寻找局部极值这两种方法都要求必须给出一个初始点 x0
数学原理:牛顿法使用二阶逼近(等价于使用二阶泰勒级数),梯度下降法使用一阶逼近
牛顿法对局部凸的函数找到极小值,对局部凹的函数找到极大值,对局部不凸不凹的可能会找到鞍点。
梯度下降法一般不会找到最大值,但是同样可能会找到鞍点。
当初始值选取合理的情况下,牛顿法比梯度下降法收敛速度快。
牛顿法要求估计二阶导数,计算难度更大.
3.牛顿法
首先在初始点x0处,写出二阶泰勒级数。
在这里插入图片描述在这里插入图片描述多变量函数二阶逼近
在这里插入图片描述
在这里插入图片描述
4.梯度下降法:多变量函数一阶逼近
如果函数 f(x) 是个多元函数,x 是一个向量,在 x0 处对f做线性逼近。
在这里插入图片描述
5.小结 (牛顿法与梯度下降法)
牛顿法与梯度下降法本质上都是对目标函数进行局部逼近,因为是局部逼近所以也只能寻找局部极值。
牛顿法收敛步骤比较少,但是梯度下降法每一步计算更加简单,牛顿法不仅给出梯度的方向还给出具体应该走多少。梯度法的r只能自己定义。
不同的算法之间很难说哪一个更好,选择算法还要具体问题具体分析(这也是数据科学家存在的意义之一)。
梯度本身是向着最大方向的,加个负号才是向着最小方向的。

六、凸函数与琴生不等式

1.Definition (凸函数)
在这里插入图片描述
把如上定义中的 ≤ 换成<,那么这个函数就叫做严格凸函数。
2.(凸函数判断准则)
在这里插入图片描述
如果 f 是多元函数,x 是个向量,那么 f 是凸函数的条件变为Hf 是一个半正定矩阵。
3.凸函数重要性质: 琴生不等式
在这里插入图片描述

配合视频食用,风味更佳→《人工智能必备数学基础》

TESRA超算网络旗下T-CCP社区已上线,社区由高校AI社团及AI爱好者组成,社区包含学习视频、学习笔记、数据集模型、算法竞赛等内容,新用户注册还能免费领取算力训练,欢迎前来体验。立即边学边练>>>

在这里插入图片描述

这篇关于【数学基础篇】---详解极限与微分学与Jensen 不等式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/169219

相关文章

一文详解SpringBoot中控制器的动态注册与卸载

《一文详解SpringBoot中控制器的动态注册与卸载》在项目开发中,通过动态注册和卸载控制器功能,可以根据业务场景和项目需要实现功能的动态增加、删除,提高系统的灵活性和可扩展性,下面我们就来看看Sp... 目录项目结构1. 创建 Spring Boot 启动类2. 创建一个测试控制器3. 创建动态控制器注

C#读写文本文件的多种方式详解

《C#读写文本文件的多种方式详解》这篇文章主要为大家详细介绍了C#中各种常用的文件读写方式,包括文本文件,二进制文件、CSV文件、JSON文件等,有需要的小伙伴可以参考一下... 目录一、文本文件读写1. 使用 File 类的静态方法2. 使用 StreamReader 和 StreamWriter二、二进

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

java中反射Reflection的4个作用详解

《java中反射Reflection的4个作用详解》反射Reflection是Java等编程语言中的一个重要特性,它允许程序在运行时进行自我检查和对内部成员(如字段、方法、类等)的操作,本文将详细介绍... 目录作用1、在运行时判断任意一个对象所属的类作用2、在运行时构造任意一个类的对象作用3、在运行时判断

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具

MyBatis-Plus 中 nested() 与 and() 方法详解(最佳实践场景)

《MyBatis-Plus中nested()与and()方法详解(最佳实践场景)》在MyBatis-Plus的条件构造器中,nested()和and()都是用于构建复杂查询条件的关键方法,但... 目录MyBATis-Plus 中nested()与and()方法详解一、核心区别对比二、方法详解1.and()

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语