理解拉格朗日乘子法的一种角度

本文主要是介绍理解拉格朗日乘子法的一种角度，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

梯度和等高域正交

某点在各个约束条件的梯度是该点的约束域邻域的正交域的一组基，几乎处处成立

极值点的必要条件为约束域邻域和目标梯度正交

本文旨在以一种相对直观的角度去理解拉格朗日乘子法，在推导得到拉格朗日乘子法最终形式之前，需要先理解以下三个推论：

1. 梯度和等高域邻域正交（或者说某点梯度和该点在等高域相切的超平面正交）；

2. 极值点在各个约束条件的梯度是约束域邻域的正交域的一组基；

3. 极值点的必要条件为约束域邻域和目标梯度正交。

其中，邻域可以认为是一个线性空间，或者可以将这里的邻域替换成相切超平面，等高域是目标函数等于某一个值时自变量所在的区域，所以在等高域中的所有点对应的函数值都是相等的；约束域就是由多个等式约束条件共同约束下自变量形成的区域。

假设某点P对应的目标函数的梯度为G，根据梯度的定义可知，在P点所在的等高域邻域的点的函数值，相对于P的函数值，有如下关系：

$\Delta f=G\cdot \Delta P+o(\Delta P)=0$

所以可知在P等高域邻域，有 $G\cdot \Delta P=0$ ，即梯度和等高域邻域正交，等价于，P点梯度和P点所在的等高域切超平面正交。

某点在各个约束条件的梯度线性相关，这样的点应该是有限个，不然必然存在约束条件本身就是线性相关的。

因为某点约束域邻域是该点在各个约束条件对应邻域的子集，而且某点在约束条件的梯度又是和其邻域正交的，因此，显然可知，该点在各个约束条件对应的梯度构成的线性空间和其约束域邻域正交。

假设最初共有N个自由变量，现加入K个约束条件，那么由这K个约束条件构成的约束域上，某点的邻域的维度是N-K（我们无法找到多于N-K个向量满足约束条件的切面方程，同时线性无关）；同时，因为由该点在各个约束条件上的梯度构成的空间维度为K，因此：

$C\bigoplus O=U$

其中C为约束域邻域，O为梯度构成的线性空间，U为N维线性空间。

假设P为极小值点，那么一个必要条件就是邻域不能穿过等高域上的P点，不然因为约束域和目标函数时连续的，约束域的P点邻域必然会存在更小的值，因此，P点时极小值点的一个必要条件就是约束域和等高域必然相切与P点。

根据第一个推论，P点的目标函数的梯度是和P点等高邻域正交的，所以目标梯度也跟约束域P点邻域正交。那么，由第二点推论可知，目标梯度必然在空间O中，又因为各个约束条件的梯度是O的一组基，所以有：

$G_{target}=\sum_{1}^{K}\lambda _{i}G_{i}$

其中 $G_{target}$ 表示极值点目标函数的梯度， $G_{i}$ 表示极值点在K个约束条件对应的梯度。

实际上，这时已经很明显，上述的式子就是拉格朗日乘子法的求导之后的式子，我们可以根据上式以及K个约束条件，求出极值点。

这篇关于理解拉格朗日乘子法的一种角度的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！