七月算法（julyedu.com）5 月深度学习班学习笔记-第一节数学基础

关于数学在机器学习中的重要性：

程博是这样说的------

不错，数学是算法的基础，没有好的数学根基是不能触碰到算法的根源，但是我认为一般非数学专业的人适可而止，不要太迷恋数学，我们大部分人，了解微积分、矩阵等就可以了

1.梯度

了解机器学习的同学肯定不陌生这个名词，认为很高大上。其实没那么深奥。归根到底还是求导。。。。

多元求偏导就被定义为梯度（如上）。

对梯度求偏导，我们用列向量表示，H被称为黑塞矩阵。如果函数f

的二阶偏导数连续，则二阶偏导数的求导顺序没有区别，则H为对称矩阵。

2.问求LOSS时为什么梯度是最快的方向?

梯度的几何意义说明了这个问题,即沿梯度方向的方向导数最大.

而方向导数是衡量一个多元函数沿固定方向的变化速率的,所以

沿梯度方向,多元函数增大的速率最大,也就是增加的最快

 a.泰勒公式

给个高数定理吧，不太严谨：对于任意一点,最低阶的非零导数是奇数阶时,不是极值点；最低阶的非零导数是偶数阶时,是极值点,可以通过符号判断是极大值还是极小值.

此泰勒展开是在向量形式下，与标量展开式一一对应。

好了。可以回答为什么梯度方向是最快方向了