本文主要是介绍《本科-线性代数笔记-精简汇总》，纯手工！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
我的线代笔记
基础知识
逆矩阵总结
矩阵的秩
单射、满射、双射
线性相关与线性无关
矩阵函数的四个重要概念
矩阵的秩和线性方程组的解
转置矩阵的性质
列空间、行空间、零空间之间的关系
行列式
相似矩阵和二次型
等价矩阵的定义
相似矩阵
相似矩阵的定义
相似矩阵的性质
相似矩阵的用途
矩阵对角化
对角化的定义
对角化的条件
特征向量和特征值
特征值的相关性质
特征空间的定义
正交阵的定义
施密特正交化得到标准正交基
对称矩阵
对称矩阵的定义和性质
对称矩阵的对角正交化
二次型矩阵的性质
矩阵合同
标准型与规范型
二次型的标准型化法
正定矩阵
向量空间补充
矩阵A(m,n)作用下的向量映射
空间映射
矮胖矩阵：
高瘦矩阵：
方块矩阵：
零空间：
列空间：
向量空间及其子空间
定义
矩阵A(m,n)的四个重要的子空间
行、列、零、左零四个重要空间的关联性
空间之间的关系
最小二乘法求近似解
简化投影计算的方法
特征值(EVD)分解降维
基础知识
- 线性函数需满足可加性、齐次性。
- 向量空间的维度 = 向量空间的基的个数 = 向量组的秩
- 零向量空间是没有基的，零向量与任意向量正交，且与任意向量线性相关！
- AB均是向量空间V的基，则AB是等价向量组，他们的张成空降相同，span(A)=span(B)
- 当AB向量正交时，AB相互独立
- 使用余弦距离解释向量之间的关系：两根向量夹角越小，关系越紧密，两根向量垂直，彼此之间就没有关系，相互独立
- 如果以向量空间作为自变量，这样的函数就称为向量函数
- 有一种特殊的向量函数，其自变量是向量空间，因变量也是向量空间，这样的函数称为“矩阵函数”，通常用A表示，也就是矩阵。
- 初等行变换：在单位矩阵的行上进行倍加、倍乘、对换。
- 在单位阵上应用这三种初等行变换一次得到的矩阵称为初等行矩阵。初等行矩阵乘上矩阵A，就相当于在矩阵A上实施了对应的初等行变换。
- 同型矩阵可以相加，对应位置元素相加即可，跟向量加法运算规则一样。
- 对称矩阵：A的转置等于A，对称矩阵一定是方阵。
- 反对称矩阵：A的转置等于-A，反对称矩阵一定是方阵。
- 矩阵A左乘x，Ax可以将x逆时针旋转θ角
逆矩阵总结
- 只有方阵才能是满秩矩阵，满秩矩阵存在逆矩阵。也就是 |A|≠0
- 矮胖矩阵A(m,n),m<n不存在逆矩阵，因为利用Ax=y进行空间映射空间维度被压缩了，也就是说对于目标空间中的y坐标，在原始空间中有多个x与之对应。属于满射。
- 高瘦矩阵A(m,n),m>n不存在逆矩阵，因为在目标空间中的某个y可能找不到原始空间的某个x与之对应。比如A(3,2)映射后的目标空间是R^3,但是实际上映射的结果是R^3中的一个二维平面。在平面外的目标空间中的任意一点找不到原始空间的x与之对应。
矩阵的秩
- 列秩：即A的列空间的维度，也就是列向量组的秩，记做rank(col(A))，矩阵的列向量组线性无关则称为列满秩，单射。反之，列向量组线性相关则列不满秩，非单射，非单射则Ax=0有非零解。
- 不会升维：值域的维度小于等于定义域的维度，也就是不会出现升维的情况。
- 行秩：行向量组的秩叫做行秩，行向量组线性无关，称为行满秩。行秩=列秩。由m个行向量组成的向量组的秩为m，则行向量组满秩，即行满秩。
单射、满射、双射
- 单射：每一个y至多有一个x与之对应，对于矩阵函数Ax=y，如果定义域和值域维度相同则为单射。如果变换后值域维度缩小则不是单射。单射等价于列满秩
- 满射：每一个y至少有一个x与之对应。此时值域与到达域相等。
对于线性函数而言，满射只可能全部是一对一或全部是多对一，不会两者同时在一个映射中存在。满射等价于行满秩。
矩阵A行满秩，则Ax=b为满射，则方程存在解且不唯一。
- 双射：既是单射又是满射，称为双射，也就是一一映射。双射等价于行满秩+列满秩。既是列满秩又是行满秩（行秩=列秩）的矩阵称为“满秩矩阵”，定义域=值域=到达域。说明方阵才可能是满秩矩阵。
矩阵A若同时满足行满秩和列满秩，则Ax=b为双射，则映射为一一映射，因此方程Ax=b一定有解，且为唯一解。
| 逆矩阵<----->满秩矩阵（方阵）<----->双射 |
- 矩阵Ax的映射法则：是将标准基用A的列向量（c1，c2）来取代。比如如果c1和c2线性无关则维度保持不变为2，如果c1和c2线性相关则维度小于2.所以基向量c1、c2线性无关是单射，线性相关是非单射。
- 满秩矩阵可以看作是有限个初等矩阵的乘积，一个矩阵经过初等变换，它仍然是同型同秩矩阵。
- 矩阵列向量线性无关——>列满秩——>值域维度与定义域相同——>单射
- 矩阵列向量线性相关——>列不满秩——>值域维度降低——>非单射
- 满射<——>行满秩
- 非单非满射=行不满秩+列不满秩
线性方程组Ax=b既不是单射函数，也不是满射函数，可能没有解，也可能是多个解。
- 对矩阵函数而言，满秩矩阵是双射函数。因此，满秩矩阵存在逆矩阵
逆矩阵求法：
- 1高斯若尔当法
- 初等行变换法
- 西尔维斯特不等式：r(AB) ≥ r(A) + r(B) - n
- 求矩阵的秩的思路：将矩阵变换为阶梯矩阵形式
线性相关与线性无关
要判断一个向量组是否线性相关，归结为判断齐次线性方程组是否有非零解，若方程组有非零解，则线性相关，否则线性无关。
| A为m×n矩阵,则A^TA为可逆方阵的充要条件是，A各列线性无关。 |
矩阵函数的四个重要概念
矩阵的秩和线性方程组的解
总结：
对于m*n的矩阵A的方程Ax=b，rank(A）= rank(B)时有解，且rank（A）=n时有唯一解，当rank(A)<n时有无数个解。
当A中列向量线性无关时，即A列满秩时rank(A)=rank(B)
- 非齐次矩阵方程Ax=b的解集，其实是齐次矩阵方程Ax=0的解集的平行线..非齐次矩阵方程的解集是Ax=b的特解p加上Ax=0的通解(也就是零空间N(A))
- 齐次线性方程组的基础解析的秩=n-r，其中r矩阵A的秩，n为方程组的未知数个数。
转置矩阵的性质
列空间、行空间、零空间之间的关系
- 对于矩阵Ax=y而言，列空间是值域
- 行空间和零空间都是定义域的子空间
- 当Ax=0，行空间与零空间正交
- r(行空间)+r(零空间)=n，即行空间和零空间一起构成了整个定义域。或者说行空间与零空间的秩关于定义域互补。
- 线性代数基本定理，也称为秩零定理
行列式
A满秩 <=> |A|≠0
- 行列式的目的：行列式出现的目的是为了求解线性方程组
- 逆序数：在一个排列中，如果一对数的前后位置与大小顺序相反，即前面的数大于后面的数，那么它们就称为一个逆序。一个排列中逆序的总数就称为这个排列的逆序数。
- 奇排列与偶排列
-
逆序数为奇数的排列称为奇排列，逆序数为偶数的排列称为偶排列
一个排列中任意的两个元素对换，排列改变奇偶性。
- 三阶行列式的逆序数表示法
-
-
- 行列式的严格定义
-
-
- |行列式D|=|行列式D的转置|
- 只有方阵才有行列式
- A不满秩 <=> |A|=0
- 二阶行列式的三重意义：运算法则、有向面积、线性变换的伸缩比。
- 交换两行，行列式变号
- 三维空间的有向面积公式
- 三阶行列式的有向体积公式
代数余子式
- 拉普拉斯展开
- 克莱姆法则--使用行列式解线性方程组
定义：
- 行列式的解
方阵|A|=0,则列不满秩，行不满秩，非单射，非满射。
方阵|A|≠0，则矩阵A满秩，A可逆，矩阵函数Ax=b为双射（一一映射），方程有唯一解。
方阵|A|≠0<->A满秩<->A可逆，方程Ax=b有唯一解。<->:表示为充要条件
- 伴随矩阵
- A为可逆矩阵，则(A^-1)^* = (A^*)^-1
- 伴随矩阵的秩
- 范德蒙行列式
相似矩阵和二次型
- 基变换：在同一个向量空间中的不同的基下进行坐标变换，就是基变换
- 完整的基变换图
分为正向和反向两种操作，P逆矩阵可以把P所变换的坐标转回去。
- 过渡矩阵
- 存在逆矩阵的过渡矩阵是满秩矩阵
等价矩阵的定义
- 行等价与列等价
列等价：矩阵AQ相当于对A进行了初等列变换，则A~AQ
行等价：矩阵PA相当于对A进行了初等列变换，则A~PA
- 等价关系的性质
反身性：A~A
对称性：A~B,则B~A
传递性：若A~B,B~C,则A~C
- 矩阵AB等价的充要条件
相似矩阵
相似矩阵的定义
- 几何意义
针对指定向量的同一个空间变换，用来在不同基底下进行描述的不同矩阵，彼此之间称之为相似矩阵。
相似矩阵所表示的线性变换，彼此之间称之为相似变换。
表示了矩阵向量在两个不同基底下的相似变换。
相似矩阵的性质
- 若A和B相似，则A的转置相似B的转置，A的逆相似B的逆，A^k相似B^k
- 相似矩阵的性质
相似矩阵的用途
把普通的非对角矩阵转换为与其相似的对角矩阵来进行计算处理，简化我们的过程，或者用于提取主要的特征成分等。
矩阵对角化
对角化的定义
其中△是以特征值为主对角线的对角矩阵，P是由特征向量组成的特征矩阵（或者说是过度矩阵）。对角化其实是A相似于△
对角化的条件
n阶矩阵A可以对角化的充要条件是存在n个线性无关的特征向量p1,p2,....pn
- 特征的含义
在方阵 A 的变换作用下，特征向量 p 的线性变换就是在其向量方向上进行 λλ 倍的伸缩变换。说得更直白一些，就是仅仅只有向量的长度发生改变，但是方向并不改变。具备了这种特殊性，就称之为特征。
一般来说，一个向量在某个矩阵的作用下，其空间变换反映为长度和方向的改变：即旋转、平移和拉伸，有些情况下甚至连维度都会发生变化，而这里的特殊之处就在于，矩阵作用于它的特征向量，仅仅只有长度发生了改变。
特征向量和特征值
线性变换后没有发生方向改变的向量，称为特征向量。
变换前后的伸缩比λ称为特征值。
变换前后的基相同。可表示为：(A-λI)x=0，其中x为非零向量，则(A-λI)是不可逆矩阵。
这个齐次线性方程组有非零解解的条件是：|A-λI|=0，
注意：零向量不是特征向量。同一个特征向量v不能有两个特征值.
- A和B相似，则A和B有相同的特征值，有相同的行列式|A|=|B|,有相同的迹，对任意t有tI-A相似tI-B
特征值的相关性质
☆ λ是A的特征值，那么也是A的转置的特征值，而且kλ是kA的特征值，1/λ是A逆的特征值。
- 特征值λ=0时，如果一个方阵A的某个特征值λ＝0，那么Ap＝0p=0，则意味着该矩阵的零空间就是特征向量p，p是非零向量。该矩阵表示的是空间压缩变换，不可逆，为奇异矩阵。
- 对角阵diag(1,2,3)表示其特征值分别是1,2,3，对应的特征向量是
- 如果矩阵 A 的特征向量为 p，特征值为λ，则它的相似矩阵的特征值不变S^-1AS,仍是λ，但是特征向量变为S^-1p。
- 不同的特征值肯定对应着线性无关的特征向量，但是不能说相同的两个特征值对应的特征向量就一定线性相关，比如我们最熟悉的单位对角矩阵diag(1,1,1)，它的三个特征值都是 1，但是其特征向量分别是:
特征空间的定义
- 特征值不同---------->特征向量线性无关<---------------------->矩阵A可对角化
- 特征值相同，要判断特征空间的维度
正交阵的定义
☆ 若A，B是正交阵，则A逆是正交阵，A^n 正交阵 ，AB也是正交阵。
施密特正交化得到标准正交基
对称矩阵
对称矩阵的定义和性质
定义
一个对称矩阵通过转置操作，得到的仍然是它自身，即满足S=S^T,对称矩阵必须是方阵。
性质：
- 一个矩阵乘以自己的转置矩,即AA^T，得到的结果必然是一个对称矩阵
- 对于任意一个实数对称矩阵，都一定可以被对角化。
换句话说，对于一个对称矩阵，无论它的特征值是否重复，它的特征向量都一定线性无关。
- 实对称矩阵都可以获得一组标准正交的特征向量。
- 任何一个对称矩阵分解得到的特征向量矩阵都可以是标准正交矩阵Q
- 由上式，矩阵Q可以表示为
任意一个 n 阶对称矩阵 S，都可以分解成 n 个秩 1 方阵乘以各自权重系数 λi，然后相加的结果。
对称矩阵的对角正交化
既对角又正交的矩阵称对角正交矩阵
充要条件：
对称矩阵可以被对角正交化，矩阵可以被对角正交化也说明矩阵是对称矩阵。
正交阵：A转置=A逆
☆ 实对称矩阵特征值互不相同，对应的特征向量相互正交
这里A为对称矩阵A=A^T，P为正交矩阵p^T=P^-1，也就是说对称矩阵A，一定存在正交矩阵P满足以上对角化公式。
二次型矩阵的性质
矩阵合同
二次型的基变换---合同矩阵
- 对称矩阵的合同矩阵也是对称矩阵
- 合同矩阵的秩相同
标准型与规范型
标准型：二次型只有二次项，就是二次型的标准型。
二次型的标准型化法
- 正交变换法
用正交变换化二次型成标准形，具有保持几何形状不变的优点
- 拉格朗日配方法
若二次型含有xi的平方项，则先把含有xi的乘积项集中，然后配方，再对其余的变量同样进行，直到都配成平方项为止。
正定矩阵
如果一个矩阵的所有特征值都为正，我们称它是“正定的”，如果均为非负（即，最小特征值为 0），相当于结论稍稍弱了一些，我们称之为“半正定的”，如果它含有负的特征值，那么它是非正定的。
那么换句话说，对于一个对称矩阵而言，从特征值的正负性角度来看的话，它一定是正定、半正定或非正定的其中一种。
对称矩阵 A^TA的所有特征值都是非负的，特别的，如果矩阵 A 的列向量线性无关，则该矩阵是正定矩阵，特征值均为正。
A^TA和 AA^T 拥有完全一样的非零特征值。
向量空间补充
矩阵A(m,n)作用下的向量映射
映射后的向量维数和原始向量维数的关系取决于 m 和 n 的关系
如果 m>n，那么目标向量的维数就大于原始向量的维数.
如果 m<n，那么目标向量的维数就小于原始向量的维数。
空间映射
☆ 矩阵A（m，n）存在映射就意味着映射后的点可以被唯一还原。
矮胖矩阵：
m<n即矩阵行数<列数,进行Ax=y映射后，x空间压缩（降维）为y，矩阵A无逆映射
高瘦矩阵：
m>n，即矩阵行数大于列数，进行Ax=y映射后，x空间上升（升维）为y，比如二维向量x经过高瘦A映射后变为三维向量空间y的一个切面（真实是二维），在切面外的点无法被唯一还原为原空间的坐标。矩阵A无可逆映射。
方块矩阵：
m=n，即矩阵行数等于列数，方阵。
当矩阵A的三个列向量线性无关的时候，矩阵A有逆映射，空间没有被压缩，也没有升维。
当矩阵A的三个列向量线性相关的时候，相当于高瘦矩阵的情况。
| 空间映射形态的决定因素：矩阵A的秩，确切的说是矩阵A线性无关的列向量的个数。 |
零空间：
记做N(A),满足Ax=0的x的集合。N(A)零空间矩阵A可逆的条件是对应的点是原空间的一个点，比如(0,0,0).
列空间：
矩阵A的每一列组成的空间，记做C(A)，对于矩阵函数Ax=y而言，列空间是值域。
逆映射前提是方阵，但并非每个方阵都可逆，逆矩阵存在的条件是方阵A的各个列向量线性无关。
奇异矩阵：不可逆矩阵就叫奇异矩阵。
向量空间及其子空间
定义
R^n向量空间：R^n必须包含所有的n维向量
向量空间的定义：针对一个向量集合V，若任取V中的两个向量u和v，只要满足u+v仍然V中，同时任取标量c，只要满足cu仍然在V中，则V就构成一个向量空间
子空间：若一个向量空间U的子集V也是一个向量空间，那么V是U的子空间。
R^3空间的子空间：① R^3空间自身 ② R^3空间中过原点的平面或直线 ③ 零向量自身
| 一个向量的任意子空间都包含零向量 |
| 注意区别目标空间和映射后向量的构成空间之间的区别 |
矩阵A(m,n)的四个重要的子空间
①列空间
由A的列向量张成的空间。包含了n个m维的列向量的线性组合，记做C(A),它是R^m空间的子空间，对于一个线性方程组Ax=b，只有当向量b可以写成矩阵A的各列的线性组合，值域一定在列空间中。x1a1+x2a2+.....+xnan的方式,方程组才有解，换句话说，当且仅当b在矩阵A的列空间中时，方程才有解。
② 零空间：
所有满足 Ax=0 的向量 x 的集合就称之为矩阵 A 的零空间。
如果矩阵 A 的各列线性无关，则 x 就只有零向量这个唯一解.
如果 A 的各列线性相关，那么 x 就有非零解
零空间满足向量空间的定义，因此也是一个向量空间。
对于m×n矩阵A而言，零空间里的向量是n维的，是R^n的子空间
③ 行空间：
对于m×n矩阵A而言，矩阵各行向量所张成的空间，其实是A^T的列空间，记做C(A^T),因为行向量有n个成分，所以其行空间为R^n的子空间。
④ 左零空间
转置矩阵A^T的零空间，即满足A^Tx=0的所有向量x的集合，记做N(A^T)
对于m×n的矩阵A而言，左零空间是R^m空间的子空间。
行、列、零、左零四个重要空间的关联性
☆矩阵A的列空间C(A)的维度就是矩阵A的秩
解释：比如三行三列的矩阵A，其中列向量线性相关，若共面不共线，那么列空间的维度就是二维平面，也就是与矩阵A的秩相等。若共线，那么列空间的维度就是一维的直线，也等于矩阵A的秩，是1.如果其中列向量线性无关，那么列向量张成的就是最终的三维空间，跟矩阵的秩=3一致。
列空间与零空间的关联：
前后两个空间压缩维数=原列空间维数n - 映射后列空间的维数r
对于m×n的矩阵A，如果映射后的列空间是零空间，也就是原点，原点是0维的，那么前后两个空间压缩的维数就等于原列空间的维数n。
列空间与行空间的关联：C(A)列空间的维数=C(A^T)行空间的维数=矩阵A的秩r
行空间与左零空间的关联：N(A^T)=A^T映射前原空间维数m-矩阵A的秩r，即m-r
空间之间的关系
- 空间互补
互补的子空间一方面由不同的基向量所张成，另一方面它们的维数之和为整数R^m空间的维数，空间中任意一个向量b在互补的子空间上的投影向量之和，就是向量b自身。
- 空间正交
子空间 V 和子空间 W 正交成立的条件是，子空间 V 中任意一个向量 v 和子空间 W 中任意一个向量 w 都垂直。两个子空间中的任意向量两两一定垂直。
只有0向量和自身相互垂直。
- 空间正交补
R^m中的两个互补的子空间，如果满足相互正交的关系，则他们满足正交补的关系。
它们的空间维数之和应该为 m。
比如：
矩阵A(m,n)的行空间与零空间在R^n空间中满足正交补关系。
矩阵A(m,n)的列空间与左零空间在R^n空间中满足正交补关系。
最小二乘法求近似解
用来求取无解线性方程组近似解的方法就是最小二乘法。
原理：对于无解的线性方程组Ax=b，矩阵 A 的列向量的线性组合构成了它的列空间，如果要求方程组有解，则必须满足向量 b 在矩阵 A 的列空间上。很遗憾，此时向量 b 并不在矩阵 A 的列空间上，因而方程无解。
那么我们就在列空间上寻找一个距离向量 b 最近的向量，用它来求方程组的近似解。因此，问题就转化为熟悉的向量向二维子空间投影的问题：我们将向量 b 向列空间进行投影，获得投影向量 p。误差向量 e 正是向量 b 向列空间的正交补子空间---左零空间的投影。公式：
最小二乘法的目标就是使得误差向量 e 的模长最小，这个目标表示为：
总结要点：
- 绘制一条距离三个点最近的直线，判定的指标是三个点到直线的竖直线，而不是直观上最容易想到的垂直线。
- 为什么叫最小二乘？最小二乘就是最小平方的意思，我们的优化目标求解就是三条竖直线长度的平方和开根号的最小值。
简化投影计算的方法
将 n 维子空间中的任意一组基向量变换成标准正交向量。进行施密特正交化化为标准正交基来描述投影子空间。此时有QQ^T=I，当Q为方阵时 Q逆=A^T .
可以将投影矩阵化为：
特征值(EVD)分解降维
通过特征值分解（EVD）的方法对样本的特征提取主成分，从而实现数据的降维。
这篇关于《本科-线性代数笔记-精简汇总》，纯手工！的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
