本文主要是介绍数学基础——微积分在机器/深度学习上的应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
微分学
导数
偏导数
梯度
梯度下降算法
反向传播算法
自动求导
计算图
正则化与过拟合
L1正则化
L2正则化
Dropout正则化
拉格朗日对偶问题
拉格朗日乘数法
凸优化
对偶问题
KKT条件
Slater条件
积分学
笔记内容
微积分是17世纪后半叶发展起来的数学的一个分支。微积分有两个分支:微分学和积分学。
微分学
微积分(导数)涉及各种变化率的研究,包括切线的斜率。
导数
一元函数曲线上的切线斜率,也就是函数在该点的变化率。
偏导数
一元函数延伸到多元函数为一个曲面时,找到曲面上沿X、Y轴方向的切线斜率,偏导数就是该多元函数沿坐标轴的变化率。
梯度
函数在该点处的方向导数沿着该方向取得最大值,即函数在当前位置的导数。
梯度下降算法
梯度下降算法是机器学习和深度学习中最常用的优化算法。
反向传播算法
反向传播算法的梯度下降法,求损失函数关于权重参数的偏导数。
自动求导
深度学习框架可以自动计算导数:根据设计好的模型,系统会构建一个计算图。当定义一个变量并指定它需要计算梯度时,框架会跟踪所有与该变量有关的计算。然后,当计算一个目标值(通常是损失函数)并调用反向传播函数时。backward(),框架会沿着这些计算的路径反向传播,使用链式法则来计算每个变量的偏导数。每次调用。backward()时,新的梯度会加到已有的梯度上。
计算图
正则化与过拟合
L1正则化
L2正则化
Dropout正则化
拉格朗日对偶问题
拉格朗日乘数法
凸优化
对偶问题
KKT条件
Slater条件
积分学
积分学(积分)处理数量的累积,如曲线下的面积,或一个实体的体积。
笔记内容
https://www.yuque.com/g/u42592276/ax6il7/pmfxty3ykhrtq0us/collaborator/join?token=zXNMqhSjjXay6pIO&source=doc_collaborator# 《数学基础——微积分在机器/深度学习上的应用》
这篇关于数学基础——微积分在机器/深度学习上的应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!