从增广拉格朗日法到ADMM

增广拉格朗日法

• 考虑如下一个凸优化问题：
  
  它的增广拉格朗日函数如下所示：
  
  其中，$\lambda$是拉格朗日乘子，附加的二次项是线性约束$Ax=b$的惩罚项（penalty）,增广拉格朗日法的第$k$次迭代始于一个给定的$\lambda$^k, 并通过如下式子得到$w$^k+1 =（$x$^k+1，$\lambda$^k+1）：
  
  这等价于：
  
  其中：
  
  即为原问题的一般的拉格朗日函数。
  • 在上述的ALM一式中，$x$^k+1是在给定$\lambda$^k的情况下唯一的计算结果，它称为中间变量。为了开始ALM的第$k$次迭代，我们只需要拥有$\lambda$^k，因此我们称其为基本变量。
  • 最优条件可以视作：
    
    
    上面的关系式可以写成：
    

ADMM

下面介绍ADMM算法，后续再更新。