本文主要是介绍伍德伯里矩阵恒等式（Woodbury matrix identity），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
宜言饮酒，与子偕老。琴瑟在御，莫不静好。
更多精彩内容请关注微信公众号 “优化与算法”
在数学（特别是线性代数）中，Woodbury矩阵恒等式是以Max A.Woodbury命名的，它 可以通过对原矩阵的逆进行秩k校正来计算某个矩阵的秩k校正的逆。这个公式的另一个名字是矩阵逆引理，谢尔曼-莫里森-伍德伯里（Sherman–Morrison–Woodbury formula）公式或只是伍德伯里公式。然而，在伍德伯里发现之前，这一等式出现在其他文献中。
1. 伍德伯里矩阵恒等式
( A + U C V ) − 1 = A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 \displaystyle \left(A+UCV\right)^{-1}=A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1} (A+UCV)−1=A−1−A−1U(C−1+VA−1U)−1VA−1
其中 A A A、 U U U、 C C C 和 V V V都表示适形尺寸的矩阵。具体来说， A A A 的大小为 n × n n×n n×n， U U U 为 n × k n×k n×k， C C C 为 k × k k×k k×k， V V V 为 k × n k×n k×n。
2. 扩展
不失一般性，可用单位矩阵替换矩阵A和C：
( I + U V ) − 1 = I − U ( I + V U ) − 1 V \displaystyle \left(I+UV\right)^{-1}=I-U\left(I+VU\right)^{-1}V (I+UV)−1=I−U(I+VU)−1V
这里 U = A − 1 X \displaystyle U=A^{-1}X U=A−1X, V = C Y \displaystyle V=CY V=CY。
这个等式本身可以看作是两个简单等式的组合，即等式
( I + P ) − 1 = I − ( I + P ) − 1 P = I − P ( I + P ) − 1 \displaystyle (I+P)^{-1}=I-(I+P)^{-1}P=I-P(I+P)^{-1} (I+P)−1=I−(I+P)−1P=I−P(I+P)−1
和所谓的 push-through 等式
( I + U V ) − 1 U = U ( I + V U ) − 1 \displaystyle (I+UV)^{-1}U=U(I+VU)^{-1} (I+UV)−1U=U(I+VU)−1的结合。
3. 特殊情况
当 V , U \displaystyle V,U V,U 是向量时，伍德伯里恒等式退化为谢尔曼-莫里森公式，在标量情况下，它（简化版）只是：
1 1 + u v = 1 − u v 1 + u v \displaystyle {\frac {1}{1+uv}}=1-{\frac {uv}{1+uv}} 1+uv1=1−1+uvuv
如果 p = q p=q p=q 和 U = V = I p U=V=I_p U=V=Ip 是单位矩阵，那么
( A + B ) − 1 = A − 1 − A − 1 ( B − 1 + A − 1 ) − 1 A − 1 \left({A}+{B}\right)^{-1} =A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1} (A+B)−1=A−1−A−1(B−1+A−1)−1A−1
= A − 1 − A − 1 ( I + B A − 1 ) − 1 B A − 1 . ={A}^{-1}-{A}^{-1}\left({I}+{B}{A}^{-1}\right)^{-1}{B}{A}^{-1}. =A−1−A−1(I+BA−1)−1BA−1.
继续合并上述方程最右边的项，就可以得到一下恒等式：
( A + B ) − 1 = A − 1 − ( A + A B − 1 A ) − 1 \displaystyle \left({A}+{B}\right)^{-1}={A}^{-1}-\left({A}+{A}{B}^{-1}{A}\right)^{-1} (A+B)−1=A−1−(A+AB−1A)−1
此等式的另一个有用的形式是：
( A − B ) − 1 = A − 1 + A − 1 B ( A − B ) − 1 \displaystyle \left({A}-{B}\right)^{-1}={A}^{-1}+{A}^{-1}{B}\left({A}-{B}\right)^{-1} (A−B)−1=A−1+A−1B(A−B)−1
它有一个递归结构：
( A − B ) − 1 = ∑ k = 0 ∞ ( A − 1 B ) k A − 1 \displaystyle \left({A}-{B}\right)^{-1}=\sum _{k=0}^{\infty }\left({A}^{-1}{B}\right)^{k}{A}^{-1} (A−B)−1=k=0∑∞(A−1B)kA−1
这种形式可用于微扰展开式，其中 B B B 是 A A A 的微扰。
4. 推广
二项式逆定理（Binomial Inverse Theorem）
如果 A A A， U U U， B B B， V V V 分别是 p × p p×p p×p， p × q p×q p×q， q × q q×q q×q， q × p q×p q×p的矩阵，那么:
( A + U B V ) − 1 = A − 1 − A − 1 U B ( B + B V A − 1 U B ) − 1 B V A − 1 \displaystyle \left(A+UBV\right)^{-1}=A^{-1}-A^{-1}UB\left(B+BVA^{-1}UB\right)^{-1}BVA^{-1} (A+UBV)−1=A−1−A−1UB(B+BVA−1UB)−1BVA−1
前提是 A A A 和 B + B V A − 1 U B B+BVA-1UB B+BVA−1UB 是非奇异的。后者的非奇异性要求 B − 1 B^{-1} B−1 存在，因为它等于 B （ I + V A ＝ 1 u b ） B（I+VA＝1ub） B（I+VA＝1ub），并且后者的秩不能超过 B B B 的秩。由于 B B B 是可逆的，所以在右手边的附加量逆的两边的两个 B B B 项可以被 ( B − 1 ) − 1 (B^{-1})^{-1} (B−1)−1 替换，从而得到原始的Woodbury恒等式:
( A + U B V ) − 1 = A − 1 − A − 1 U ( I + B V A − 1 U ) − 1 B V A − 1 \displaystyle (A+UBV)^{-1}=A^{-1}-A^{-1}U(I+BVA^{-1}U)^{-1}BVA^{-1} (A+UBV)−1=A−1−A−1U(I+BVA−1U)−1BVA−1
在某些情况下， A A A 是有可能是奇异的。
5. 延伸
公式可以通过检查 A + U C V A+UCV A+UCV 乘以伍德伯里恒等式右侧的所谓逆得到恒等式矩阵来证明：
( A + U C V ) [ A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 ] \left(A+UCV\right)\left[A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right] (A+UCV)[A−1−A−1U(C−1+VA−1U)−1VA−1]
= { I − U ( C − 1 + V A − 1 U ) − 1 V A − 1 } + { U C V A − 1 − U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } = ={}\left\{I-U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}+\left\{UCVA^{-1}-UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}={} ={I−U(C−1+VA−1U)−1VA−1}+{UCVA−1−UCVA−1U(C−1+VA−1U)−1VA−1}=
{ I + U C V A − 1 } − { U ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } = \left\{I+UCVA^{-1}\right\}-\left\{U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}= {I+UCVA−1}−{U(C−1+VA−1U)−1VA−1+UCVA−1U(C−1+VA−1U)−1VA−1}=
+ U C V A − 1 − ( U + U C V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 = +UCVA^{-1}-\left(U+UCVA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}= +UCVA−1−(U+UCVA−1U)(C−1+VA−1U)−1VA−1=
+ U C V A − 1 − U C ( C − 1 + V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 − U C V A − 1 ( A + B ) − 1 +UCVA^{-1}-UC\left(C^{-1}+VA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}-UCVA^{-1}\left({A}+{B}\right)^{-1} +UCVA−1−UC(C−1+VA−1U)(C−1+VA−1U)−1VA−1+UCVA−1−UCVA−1(A+B)−1 = A − 1 − A − 1 ( B − 1 + A − 1 ) − 1 A − 1 =A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1} =A−1−A−1(B−1+A−1)−1A−1$
= A − 1 − A − 1 ( I + B A − 1 ) − 1 B A − 1 . ={A}^{-1}-{A}^{-1}\left({I}+{B}{A}^{-1}\right)^{-1}{B}{A}^{-1}. =A−1−A−1(I+BA−1)−1BA−1..
参考文献
https://en.wikipedia.org/wiki/Woodbury_matrix_identity
往期文章链接：
最大比率发射（Maximum Ratio Transmission， MRT）
线性降维：主成分分析PCA原理分析与仿真验证
5G+AI：有哪些新的研究方向和新范式？
简述3D点云配准算法
5G为人工智能与工业互联网赋能|79页高清PPT
智能算法|以动物命名的算法
一份超全面的机器学习公共数据集
矩阵填充|奇异值阈值算法
可重构/大规模智能反射表面reconfigurable/large intelligent surface综述
迭代硬阈值类算法总结||IHT/NIHT/CGIHT/HTP
软阈值迭代算法（ISTA）和快速软阈值迭代算法（FISTA）
伍德伯里矩阵恒等式（Woodbury matrix identity）
压缩感知：一种新型亚采样技术
更多精彩内容请关注微信公众号 “优化与算法”
这篇关于伍德伯里矩阵恒等式（Woodbury matrix identity）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
![[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale](https://img-blog.csdnimg.cn/img_convert/172ed0ed26123345e1773ba0e0505cb3.png)
