【白话机器学习系列】白话特征向量

2024-05-06 04:52

本文主要是介绍【白话机器学习系列】白话特征向量,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

白话特征向量

在这里插入图片描述

一个方阵 A A A 与列向量 v v v 的乘积会生成一个新的列向量。这个新向量通常与原向量有着不同的方向,矩阵在这里代表一个线性变换。然而,某些向量会保持其原始方向。我们称这种向量为矩阵 A A A特征向量(eigenvector)

在本文中,我们将探讨特征向量、特征值和矩阵的特征方程。并且以 2 维方阵为例,教大家如何计算矩阵的特征向量和特征值。

文章目录

举个例子

考虑矩阵 T T T:
T = ( 1 3 2 2 ) T = \begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} T=(1232)
如果将矩阵 T T T 乘以向量 ( 2 , 0 ) (2,0) (2,0) 会得到一个新的向量 ( 2 , 4 ) (2,4) (2,4):
( 1 3 2 2 ) ( 2 0 ) = ( 2 4 ) \begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} \begin{pmatrix} 2 \\ 0 \end{pmatrix}=\begin{pmatrix} 2 \\ 4 \end{pmatrix} (1232)(20)=(24)
如下图所示。左图中原始向量 ( 2 , 0 ) (2, 0) (2,0) 用青色表示。它还显示了其他几个不同颜色的向量。右图展示了由上述矩阵 T T T​ 变换后的同一组向量:

在这里插入图片描述在这里插入图片描述

一般来讲,右边每个变换后的向量与左边的原始向量相比,其大小和方向都有所不同。

有两个特殊的向量在经过 T T T 矩阵变换后方向不变,这两个向量是 ( 1 , 1 ) (1, 1) (1,1) ( − 3 , 2 ) (-3, 2) (3,2)​:

在这里插入图片描述在这里插入图片描述

这些向量被称为 T T T特征向量。青色向量 ( 1 , 1 ) (1,1) (1,1) 被变换为向量 ( 4 , 4 ) (4,4) (4,4)。变换后的向量与原始向量指向相同的方向,但长度是原来的 4 4 4 倍。我们说向量 ( 1 , 1 ) (1,1) (1,1) T T T 的一个特征向量,其特征值 4 4 4

橙色向量 ( − 3 , 2 ) (-3, 2) (3,2) 被变换为向量 ( 3 , − 2 ) (3,-2) (3,2)。它指向与原始向量方向完全相反的方向,换种说法是说它具有相同的方向但长度为负。向量 ( 3 , − 2 ) (3, -2) (3,2) 等于 ( − 3 , 2 ) (-3, 2) (3,2) 乘以 − 1 -1 1,因此我们说这个向量也是 T T T 的一个特征向量,其特征值 − 1 -1 1

特征向量的定义

我们用下列方程定义特征向量:
A v = λ v Av = \lambda v Av=λv
其中 A A A 是一个 n n n 阶方阵(上述示例中是一个 2 2 2 阶方阵), v v v 是一个 n n n 阶向量,而 λ \lambda λ 是一个标量常数。

如果 v v v A A A 的一个特征向量,则 λ \lambda λ 是对应 A A A 的特征向量 v v v 的一个特征值。

通常,特征值的个数等于矩阵的阶数(因此在前面的示例中,有两个特征值,因为它是一个 2 2 2 阶矩阵)。每个特征值都与一个特征向量相关联,但请记住,如果 v v v 是一个特征向量,那么 v v v 的任何标量倍数也是一个特征向量。重要的只是向量的方向。

此外,有时也可能出现合并情况。例如,一个 2 2 2 阶矩阵可能只有一个特征值,对应于两个不共线的不同特征向量。

特征方程

根据上面定义的特征向量的方程 A v = λ v Av = \lambda v Av=λv,我们可以利用单位矩阵来寻找特征值。

单位矩阵是一个方阵,其中主对角线上的每个元素都是 1 1 1,所有其他元素都是 0 0 0。如果我们用同阶的单位矩阵乘以任何向量 v v v,它会使向量保持不变:
I v = v Iv=v Iv=v
因此,我们可以将原方程右侧的 v v v 替换为 I x Ix Ix,方程仍然成立:
A v = λ I v Av = \lambda Iv Av=λIv
然后将两项都移到方程的左侧并提取公因子 v v v ,整理后得到下面的方程。
( A − λ I ) v = 0 (A-\lambda I)v = 0 (AλI)v=0
注意,上面方程中, 0 0 0 代表零向量,而不是标量值 0 0 0。例如,如果 v v v 2 2 2 阶向量,则 0 0 0 表示 ( 0 , 0 ) (0, 0) (0,0)

这表明矩阵 ( A − λ I ) (A-\lambda I) (AλI) 总能将向量 v v v 变换为 0 0 0,这意味着其行列式必须为 0 0 0。因此:
∣ A − λ I ∣ = 0 \vert A-\lambda I \vert = 0 AλI=0
这便是矩阵 A A A特征方程。我们在这里不进行证明,但这个方程的解就是 A A A 的特征值,从这些特征值我们可以找到对应的特征向量。

2 × 2 2 \times 2 2×2 矩阵的特征值

让我们用上面介绍的特征方程来求矩阵 A = ( 1 3 2 2 ) A=\begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} A=(1232) 的特征向量。其特征方程如下:
∣ A − λ I ∣ = ∣ ( 1 3 2 2 ) − λ ( 1 0 1 1 ) ∣ = ∣ ( 1 3 2 2 ) − ( λ 0 1 λ ) ∣ = ∣ ( 1 − λ 3 2 2 − λ ) ∣ \begin{aligned} \vert A-\lambda I \vert &= \Bigg\vert \begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} - \lambda \begin{pmatrix} 1 &0 \\ 1 &1 \end{pmatrix} \Bigg\vert \\ &=\Bigg\vert \begin{pmatrix} 1 &3 \\ 2 &2 \end{pmatrix} - \begin{pmatrix} \lambda &0 \\ 1 &\lambda \end{pmatrix} \Bigg\vert \\ &= \Bigg\vert \begin{pmatrix} 1-\lambda &3 \\ 2 &2-\lambda \end{pmatrix}\Bigg\vert \end{aligned} AλI= (1232)λ(1101) = (1232)(λ10λ) = (1λ232λ)
根据 2 2 2 阶矩阵的行列式计算公式 ∣ a b c d ∣ = a d − b c \begin{vmatrix}a & b \\ c & d\end{vmatrix}=ad-bc acbd =adbc,可得
∣ A − λ I ∣ = ( 1 − λ ) ( 2 − λ ) − 2 ⋅ 3 = λ 2 − 3 λ − 4 \begin{aligned} \vert A-\lambda I \vert =& (1-\lambda)(2-\lambda)-2 \cdot 3 \\ =&\lambda^2-3\lambda-4 \end{aligned} AλI==(1λ)(2λ)23λ23λ4
解二次方程 λ 2 − 3 λ − 4 = 0 \lambda^2-3\lambda-4 = 0 λ23λ4=0 得,
λ = − 1 λ = 4 \lambda = -1 \qquad \lambda=4 λ=1λ=4
这就是矩阵 A A A 都特征值。

利用特征值求特征向量

我们利用 ( A − λ I ) v = 0 (A-\lambda I)v = 0 (AλI)v=0 求特征向量。

上面我们已经推导出 A − λ I = ( 1 − λ 3 2 2 − λ ) A-\lambda I = \begin{pmatrix} 1-\lambda &3 \\ 2 &2-\lambda \end{pmatrix} AλI=(1λ232λ) 。代入上面公式可得:
( A − λ I ) v = ( 1 − λ 3 2 2 − λ ) ( x y ) = 0 (A-\lambda I)v = \begin{pmatrix} 1-\lambda &3 \\ 2 &2-\lambda \end{pmatrix} \begin{pmatrix}x \\ y\end{pmatrix} = 0 (AλI)v=(1λ232λ)(xy)=0
将上一步求得的特征值 λ = − 1 , λ = 4 \lambda = -1 , \lambda=4 λ=1,λ=4 分别代入可得:

  • λ = − 1 \lambda=-1 λ=1 时, ( 2 3 2 2 ) ( x y ) = 0 \begin{pmatrix} 2 &3 \\ 2 &2 \end{pmatrix} \begin{pmatrix}x \\ y\end{pmatrix} = 0 (2232)(xy)=0,得到如下二元一次方程组
    { 2 x + 3 y = 0 2 x + 3 y = 0 \begin{cases} 2x+3y=0 \\ 2x+3y=0 \end{cases} {2x+3y=02x+3y=0
    这个两个方程是线性相关的(共线的),因此有无数组解,我们只能得到一个关系 x = − 2 3 y x=-\frac{2}{3}y x=32y​。

    这是一条过原点,斜率为 − 2 3 -\frac{2}{3} 32 的直线方程。我们的特征向量可以是该线上的任何向量。

    在一开始,我们通过图形的方式展示了向量 ( − 3 , 2 ) (-3, 2) (3,2) 是一个特征向量,这个向量在此直线上。但我们也看到,任何具有相同斜率的向量也是特征向量。因此,例如, ( − 6 , 4 ) (-6, 4) (6,4)​ 也是一个特征向量(并且它也满足相同的关系)。存在无数具有不同长度但相同斜率的向量。我们可以选择任何向量,但通常选择具有整数分量的最小向量(如果存在这样的向量)。

  • λ = 4 \lambda=4 λ=4 时, ( − 3 3 2 − 2 ) ( x y ) = 0 \begin{pmatrix} -3 &3 \\ 2 &-2 \end{pmatrix} \begin{pmatrix}x \\ y\end{pmatrix} = 0 (3232)(xy)=0​,得到如下二元一次方程组
    { − 3 x + 3 y = 0 2 x − 2 y = 0 \begin{cases} -3x+3y=0 \\ \enspace\:2x-2y=0 \end{cases} {3x+3y=02x2y=0
    这个两个方程也是线性相关的(共线的),因此有无数组解,我们得到关系 x = y x=y x=y​。

    这同样是一条通原点,斜率为 1 1 1 的直线。因此, ( 1 , 1 ) (1, 1) (1,1) 是一个特征向量, ( 2 , 2 ) (2, 2) (2,2) 等也是特征向量。

这篇关于【白话机器学习系列】白话特征向量的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/963472

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学