前言 同梯度下降法一样，牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法。牛顿法本身属于迭代算法，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵，简化了这一计算过程。 需要提前了解的知识 泰勒展开 当 f ( x ) f(x) f(x)在 x = x 0 x=x_0 x=x0​处具有 n n n阶连续导数，我们可以用 x −