MIT18.06线性代数课程笔记10：column space、row space、null space、left null space

本文主要是介绍MIT18.06线性代数课程笔记10：column space、row space、null space、left null space，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

课程简介

18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。

课程笔记

此部分讨论了矩阵四个基本子空间的定义、性质以及求解方法。

1. 定义

关于column space和null space的定义请参考 MIT18.06线性代数课程笔记6：vector space，subspace，column space，null space，简单的说column space是矩阵$A$所有列向量的线性组合，即span；而null space是所有满足$Ax=0$的$x$的集合。

由此推出row space和null space的定义也十分简单：row space就是$C(A^T)$，而left null space则为$N(A^T)$。row space的实际意义即为所有行向量的线性组合；而left null space则为所有满足$x^TA=0^T$的$x$的集合。

2. 性质

首先四个子空间都是大空间的subspace，第一个性质就是讨论各自所在的大空间，完全由集合内部元素的维度限制。设$A$是$n\times m$的矩阵，则有$C(A)\in R^n, N(A)\in R^m, C(A^T)\in R^m, N(A^T)\in R^n$。可以发现column space 和left null space位于同一大空间内，而row space和null space 位于同一大空间内。通常对矩阵$A$的四大子空间作图时采用如下形式：

然后讨论四个空间的维度，由之前的内容可知$\text{Dim}(C(A))=r(A)$, $\text{Dim}(N(A))=m-r(A)$。对于row space，结论是类似的$\text{Dim}(R(A))=\text{Dim}(C(A^T))=r(A^T)=r(A)$, $\text{Dim}(N(A^T))=n-r(A)$。容易发现，row space和null space（同在$R^m$的两个子空间）的维度加和为$m$；相似的，column space和left null space（同在$R^n$的两个子空间）的维度加和为$n$。

笔者注：笔者不记得Strang给出过$\text{Dim}(C(A))=r(A)$的严格证明，这里尝试说明一下。实际上仍然使用的是行变换矩阵$E$和$P$的可逆性，设对$A$做消元回代得到$EA=R$，其中$E$是多个行变换矩阵的乘积，仍然是方阵且可逆。那么在$R$为free column的$r_f$，容易发现可以表示为所有的pivot column$[r_{p1},r_{p2},\cdots,r_{pi}]$的线性组合，即$\exists c, [r_{p1},r_{p2},\cdots,r_{pi}]c=r_f$。因为$Ea_i=r_i$，所以有$\exists c, E[a_{p1},a_{p2},\cdots,a_{pi}]c=Ea_f$，因为$E$可逆，所以$\exists c, [a_{p1},a_{p2},\cdots,a_{pi}]c=a_f$。即free column可以表示所有pivot column的线性组合在$A$中仍然成立。至于$\text{Dim}(N(A))=m-r(A)$，则是受限于free column的数量，若另外存在某个向量$x\notin N(A), Ax=0$，这里的$N(A)$是所有$m-r(A)$个$x_p$的span，(而$x_p$的计算请参考 MIT18.06线性代数课程笔记7：使用消元法求解Null space)。若$x\notin N(A)$，则有$\{x\}\cup N(A)$的span包含有所有free column对应位置设为0，某个pivot column仍然不设为0的向量，从而推出pivot column之间线性相关。而$A$中的pivot column线性相关可以推出$R$中对应的pivot column线性相关，但是通过主元pivot的定义可知$R$中的pivot column线性无关。从而$\text{Dim}(N(A))=m-r(A)$。

3. 计算四个子空间的基向量

如上所述，$C(A)$的基向量即为$A$的所有pivot column，证明很简单，因为所有free column可以表示为pivot column的线性组合。而$N(A)$的基向量为所有的$x_p$。

至于row space和left null space，一个直观的想法是同样求解$A^T$，但这样就需要做两次消元。Strang给出了只做一次消元的方法，主要基于消元矩阵的性质。

首先回顾消元法，使得notation更加明确，即对$A$做行变换等价于左乘一个可逆的方阵$E$，最终得到矩阵$R=EA$具有性质$\exists P_c, RP_c=\begin{bmatrix}I,F\\0\end{bmatrix}$，其中$P_c$是置换列向量位置的矩阵（类似于permutation matrix的转置，详情参看 MIT18.06线性代数课程笔记4b：打乱矩阵集合及相关性质 ），并不增减或者修改元素，$I$是单位阵，$F$是free column的表示，$0$表示全零的方阵。

那么第一个结论就是$R$的前$r$个行向量即为row space的基向量。证明非常简单，只需要证明这$r$个向量的span是row space即可。而我们已知$E^{-1}R=A$，即$A^T=R^T(E^T)^{-1}$，进而$\forall x, A^Tx=R^T((E^T)^{-1}x)$，即$C(A^T)=C(R^T)$。从证明过程中，我们也发现对矩阵做行变换，并没有改变矩阵的row space；对比column space，则相反（随机生成一个矩阵，然后比较$C(A)$和$C(R)$即可，应该绝大多数都不相等）。这个结论做个转置可以得到对矩阵做列变换不改变column space，但是改变row space。至于线性无关性可以从数量$r$或者存在单位阵$I$中容易看出。

对于left null space的基向量，需要一些小trick。首先观察left null space中包含哪些向量，$x^TA=0^T$，即对$A$的行向量做行变换得到零向量的系数向量。观察消元结果$EA=\begin{bmatrix}R'\\0\end{bmatrix}$，有$E$的后$n-r(A)$个行向量均位于left null space中。至于线性无关性，则是基于 E <script type="math/tex" id="MathJax-Element-996">E</script>为可逆方阵得出。

这篇关于MIT18.06线性代数课程笔记10：column space、row space、null space、left null space的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---