线性代数|机器学习-P5特征值和特征向量

2024-06-04 06:52

本文主要是介绍线性代数|机器学习-P5特征值和特征向量,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 1. 特征值和特征向量
    • 1.1 特征向量
    • 1.2 向量分解
  • 2. 矩阵相似
    • 2.1 特征值求解法-相似
    • 2.2 特殊特征值
    • 2.3 反对称矩阵
  • 3.对称矩阵

1. 特征值和特征向量

1.1 特征向量

假设有一个n行n列的方阵A,有 n 个不相同的特征值为 λ \lambda λ,特征向量为 x 1 , x 2 , ⋯ , x n x_1,x_2,\cdots,x_n x1,x2,,xn.等式如下:
A x i = λ i x i , i = 1 , ⋯ , n → A 2 x = λ 2 x \begin{equation} Ax_i=\lambda_ix_i,i=1,\cdots,n\rightarrow A^2x=\lambda^2x \end{equation} Axi=λixi,i=1,,nA2x=λ2x

  • 特征向量的好处在于,对于向量x来说, A x = λ x Ax=\lambda x Ax=λx,通过左乘矩阵A,还是不改变向量的方向,只是按照 λ \lambda λ倍进行缩放。
    A k x = λ k x \begin{equation} A^kx=\lambda^kx \end{equation} Akx=λkx
  • 对于微分方程来说
    d u d t = A u , e A t = e λ t \begin{equation} \frac{\mathrm{d}u}{\mathrm{d}t}=Au,\mathrm{e}^{At}=\mathrm{e}^{\lambda t} \end{equation} dtdu=AueAt=eλt
  • 通解表示如下:
    u ( t ) = S e Λ t S − 1 u ( 0 ) = e A t u ( 0 ) \begin{equation} u(t)=Se^{\Lambda t} S^{-1} u(0)=e^{At}u(0) \end{equation} u(t)=SeΛtS1u(0)=eAtu(0)

1.2 向量分解

假设矩阵A有n个线性无关的特征向量,那么对于任意矩阵v来说,可以分解为特征向量的线性组合
v = c 1 x 1 + c 2 x 2 + ⋯ + c n x n \begin{equation} v=c_1x_1+c_2x_2+\cdots+c_nx_n \end{equation} v=c1x1+c2x2++cnxn

  • 两边同时乘以 A k , A k x = λ k x A^k,A^{k}x=\lambda^kx Ak,Akx=λkx:
    A k v = c 1 λ 1 k x 1 + c 2 λ 2 k x 2 + ⋯ + c n λ n k x n \begin{equation} A^{k}v=c_1\lambda_1^{k}x_1+c_2\lambda_2^{k}x_2+\cdots+c_n\lambda_n^{k}x_n \end{equation} Akv=c1λ1kx1+c2λ2kx2++cnλnkxn
  • 特征向量在差分方程上的应用
    u k + 1 = A u k → u k = A k u 0 = λ k x u 0 \begin{equation} u_{k+1}=Au_k\rightarrow u_k=A^ku_0=\lambda^kxu_0 \end{equation} uk+1=Aukuk=Aku0=λkxu0

2. 矩阵相似

2.1 特征值求解法-相似

假设我们有两个矩阵A,B如果存在一个可逆矩阵M,满足如下关系,可推出A相似于B
B = M − 1 A M → B ∼ A → A 和 B 有相同的特征值 \begin{equation} B=M^{-1}AM\rightarrow B\sim A\rightarrow A和B有相同的特征值 \end{equation} B=M1AMBAAB有相同的特征值

  • 假设矩阵A的特征值为 λ \lambda λ,特征向量为x,
    ∣ B − λ I ∣ = ∣ M − 1 A M − λ I ∣ = ∣ M − 1 A M − M − 1 λ M ∣ = ∣ M − 1 ∣ ∣ A − λ I ∣ ∣ M ∣ = ∣ A − λ I ∣ \begin{equation} |B-\lambda I|=|M^{-1}AM-\lambda I|=|M^{-1}AM-M^{-1}\lambda M|=|M^{-1}||A-\lambda I||M|=|A-\lambda I| \end{equation} BλI=M1AMλI=M1AMM1λM=M1∣∣AλI∣∣M=AλI
  • 所以可得如下:
    B ∼ A ⇒ λ A = λ B \begin{equation} B \sim A \Rightarrow \lambda_A=\lambda_B \end{equation} BAλA=λB
  • Matlab中如何求解特征值
    对于给定的矩阵A来说,我们用一个可逆矩阵 M 1 M_1 M1右乘矩阵A,左乘 M 1 − 1 M_1^{-1} M11,使得矩阵A逐渐变成上三角矩阵,通过不断地左右乘 M 1 , M 2 M1,M2 M1,M2,最后得到一个上三角矩阵B,这样我们就通过相似的形式得到主对角线上的特征值了。
    B = ( M n ⋯ M 2 M 1 ) − 1 A ( M n ⋯ M 2 M 1 ) → B U p T r i a n g l e ∼ A → A 和 B 有相同的特征值 \begin{equation} B={(M_n\cdots M_2M_1)}^{-1}A{(M_n\cdots M_2M_1)}\rightarrow B_{UpTriangle}\sim A\rightarrow A和B有相同的特征值 \end{equation} B=(MnM2M1)1A(MnM2M1)BUpTriangleAAB有相同的特征值

2.2 特殊特征值

假设我们有两个矩阵A,B,令AB的特征值为 λ A B \lambda_{AB} λAB,特征向量为x,令BA的特征值为 λ B A \lambda_{BA} λBA,证明 λ A B = λ B A \lambda_{AB}=\lambda_{BA} λAB=λBA

  • 根据定义可得:
    A B x = λ A B x \begin{equation} ABx=\lambda_{AB}x \end{equation} ABx=λABx
  • 两边同时乘以B可得:
    B A B x = λ A B B x → ( B A ) ( B x ) = λ A B ( B x ) → λ A B = λ B A \begin{equation} BABx=\lambda_{AB}Bx\rightarrow (BA)(Bx)=\lambda_{AB}(Bx)\rightarrow \lambda_{AB}=\lambda_{BA} \end{equation} BABx=λABBx(BA)(Bx)=λAB(Bx)λAB=λBA

2.3 反对称矩阵

假设我们有一个矩阵A表示如下:
A = [ 0 1 − 1 0 ] → A T = − A \begin{equation} A=\begin{bmatrix} 0&1\\\\ -1&0 \end{bmatrix}\rightarrow A^T=-A \end{equation} A= 0110 AT=A

  • 矩阵A实现的功能是将向量x顺时针旋转90°。
    在这里插入图片描述
  • 求矩阵A的特征值和特征向量如下:
    λ 1 = i , v 1 = [ 1 i ] ; λ 2 = − i , v 1 = [ 1 − i ] ; S = [ 1 1 i − i ] ; Λ = [ i 0 0 − i ] ; \begin{equation} \lambda_1=i,v_1=\begin{bmatrix}1\\\\i\end{bmatrix};\lambda_2=-i,v_1=\begin{bmatrix}1\\\\-i\end{bmatrix};S=\begin{bmatrix}1&1\\\\i&-i\end{bmatrix};\Lambda=\begin{bmatrix}i&0\\\\0&-i\end{bmatrix}; \end{equation} λ1=i,v1= 1i ;λ2=i,v1= 1i ;S= 1i1i ;Λ= i00i ;
  • 分解A如下:
    A = S Λ S − 1 ⇒ [ 0 1 − 1 0 ] = [ 1 1 i − i ] [ i 0 0 − i ] [ 1 1 i − i ] − 1 ; \begin{equation} A=S\Lambda S^{-1}\Rightarrow \begin{bmatrix}0&1\\\\-1&0\end{bmatrix}=\begin{bmatrix}1&1\\\\i&-i\end{bmatrix}\begin{bmatrix}i&0\\\\0&-i\end{bmatrix}\begin{bmatrix}1&1\\\\i&-i\end{bmatrix}^{-1}; \end{equation} A=SΛS1 0110 = 1i1i i00i 1i1i 1;

3.对称矩阵

对称矩阵具有实数特征值和正交的特征向量。我们定义矩阵A如下:
A = [ 0 1 1 0 ] → λ 1 = 1 , v 1 = [ 1 1 ] ; λ 2 = − 1 , v 2 = [ − 1 1 ] ; \begin{equation} A=\begin{bmatrix}0&1\\\\1&0\end{bmatrix}\rightarrow \lambda_1=1,v_1=\begin{bmatrix}1\\\\1\end{bmatrix};\lambda_2=-1,v_2=\begin{bmatrix}-1\\\\1\end{bmatrix}; \end{equation} A= 0110 λ1=1,v1= 11 ;λ2=1,v2= 11 ;

  • 可得如下:
    A = S Λ S − 1 → [ 0 1 1 0 ] = [ 1 1 1 − 1 ] [ 1 0 0 − 1 ] [ 1 1 1 − 1 ] − 1 \begin{equation} A=S\Lambda S^{-1}\rightarrow \begin{bmatrix}0&1\\\\1&0\end{bmatrix}= \begin{bmatrix}1&1\\\\1&-1\end{bmatrix}\begin{bmatrix}1&0\\\\0&-1\end{bmatrix}\begin{bmatrix}1&1\\\\1&-1\end{bmatrix}^{-1} \end{equation} A=SΛS1 0110 = 1111 1001 1111 1

这篇关于线性代数|机器学习-P5特征值和特征向量的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1029371

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

线性代数|机器学习-P36在图中找聚类

文章目录 1. 常见图结构2. 谱聚类 感觉后面几节课的内容跨越太大,需要补充太多的知识点,教授讲得内容跨越较大,一般一节课的内容是书本上的一章节内容,所以看视频比较吃力,需要先预习课本内容后才能够很好的理解教授讲解的知识点。 1. 常见图结构 假设我们有如下图结构: Adjacency Matrix:行和列表示的是节点的位置,A[i,j]表示的第 i 个节点和第 j 个

Node.js学习记录(二)

目录 一、express 1、初识express 2、安装express 3、创建并启动web服务器 4、监听 GET&POST 请求、响应内容给客户端 5、获取URL中携带的查询参数 6、获取URL中动态参数 7、静态资源托管 二、工具nodemon 三、express路由 1、express中路由 2、路由的匹配 3、路由模块化 4、路由模块添加前缀 四、中间件