深入理解主成分分析 (PCA) 及其广泛应用

2024-08-22 18:36

本文主要是介绍深入理解主成分分析 (PCA) 及其广泛应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深入理解主成分分析 (PCA) 及其广泛应用



文章目录

  • 深入理解主成分分析 (PCA) 及其广泛应用
    • 引言
    • PCA 的核心概念与目标
    • PCA 的几何解释与步骤
    • 具体数值计算例子
    • 如果 PCA 中维度和执行 PCA 之前的维度保持一致,会发生什么?
    • Python 实现 PCA
    • 实例解析:二维数据的 PCA 应用
    • 实际应用场景与总结


引言

主成分分析(Principal Component Analysis, PCA)是一种被广泛应用于数据科学、机器学习等领域的数据降维技术。其核心思想是通过将数据转换到一个新的坐标系,识别出数据中最具代表性的方向,从而在保持尽可能多原始信息的前提下降低数据维度。

PCA 的核心概念与目标

PCA 的核心概念

  • PCA 是一种统计方法,主要用于识别和简化数据中的模式,通过对原始变量进行线性组合生成新的坐标轴(称为主成分),这些坐标轴按其重要性排序。

PCA 的主要目标

  • 数据降维:减少数据的维度,以降低计算复杂度并提高数据的可视化效果。
  • 特征提取:通过找出数据集中最具代表性的特征,实现高效的特征提取。
  • 降噪处理:通过去除低方差的主成分,减少数据中的噪声。
  • 数据压缩:在图像处理和信号处理中,PCA 可用于数据压缩,显著减小数据的存储空间。

PCA 的几何解释与步骤

几何解释
PCA 的目的是找到数据中最具代表性的方向,这些方向通常被称为数据的“主脊柱”。通过将数据投影到这些方向上,PCA 实现了数据的降维。

PCA 的主要步骤

  1. 数据预处理

    • 中心化:将每个特征减去其均值,使得数据中心平移到原点。
    • 标准化(可选):将数据标准化,使每个特征具有相同的尺度,尤其在不同特征的量纲差异较大时。
  2. 计算协方差矩阵

    • 对于中心化后的数据,计算协方差矩阵 C \mathbf{C} C,其表达式为:
      C = 1 n − 1 X ⊤ X \mathbf{C} = \frac{1}{n-1} \mathbf{X}^\top \mathbf{X} C=n11XX
    • 其中, X \mathbf{X} X 为数据矩阵,矩阵中的每列为一个特征,每行为一个观测值。
  3. 特征值与特征向量的计算

    • 通过对协方差矩阵 C \mathbf{C} C 进行特征值分解,得到特征值 λ 1 , λ 2 , … , λ p \lambda_1, \lambda_2, \ldots, \lambda_p λ1,λ2,,λp 及对应的特征向量 v 1 , v 2 , … , v p \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p v1,v2,,vp
    • 这些特征向量彼此正交,确保不同主成分间相互独立。
  4. 选择主成分

    • 选择方差最大的方向作为第一个主成分,之后依次选择在与已选主成分正交的方向上方差最大的其他方向。
  5. 数据投影

    • 将原始数据投影到选定的主成分方向上,得到降维后的数据。

具体数值计算例子

为了更好地理解 PCA 的过程,我们通过一个简单的二维数据集来展示具体的数值计算。

假设我们有以下数据集:

X = ( 2.5 2.4 0.5 0.7 2.2 2.9 1.9 2.2 3.1 3.0 2.3 2.7 2.0 1.6 1.0 1.1 1.5 1.6 1.1 0.9 ) X = \begin{pmatrix} 2.5 & 2.4 \\ 0.5 & 0.7 \\ 2.2 & 2.9 \\ 1.9 & 2.2 \\ 3.1 & 3.0 \\ 2.3 & 2.7 \\ 2.0 & 1.6 \\ 1.0 & 1.1 \\ 1.5 & 1.6 \\ 1.1 & 0.9 \\ \end{pmatrix} X= 2.50.52.21.93.12.32.01.01.51.12.40.72.92.23.02.71.61.11.60.9

我们将按照以下步骤进行 PCA:

  1. 数据中心化

    • 首先,计算每个特征的均值:
      均值 = ( 2.5 + 0.5 + ⋯ + 1.1 10 , 2.4 + 0.7 + ⋯ + 0.9 10 ) = ( 1.81 , 1.91 ) \text{均值} = \left(\frac{2.5+0.5+\cdots+1.1}{10}, \frac{2.4+0.7+\cdots+0.9}{10}\right) = (1.81, 1.91) 均值=(102.5+0.5++1.1,102.4+0.7++0.9)=(1.81,1.91)
    • 然后,将每个样本减去均值进行中心化:
      X centered = X − 均值 X_{\text{centered}} = X - \text{均值} Xcentered=X均值
      得到中心化后的数据:
      X centered = ( 0.69 0.49 − 1.31 − 1.21 0.39 0.99 0.09 0.29 1.29 1.09 0.49 0.79 0.19 − 0.31 − 0.81 − 0.81 − 0.31 − 0.31 − 0.71 − 1.01 ) X_{\text{centered}} = \begin{pmatrix} 0.69 & 0.49 \\ -1.31 & -1.21 \\ 0.39 & 0.99 \\ 0.09 & 0.29 \\ 1.29 & 1.09 \\ 0.49 & 0.79 \\ 0.19 & -0.31 \\ -0.81 & -0.81 \\ -0.31 & -0.31 \\ -0.71 & -1.01 \\ \end{pmatrix} Xcentered= 0.691.310.390.091.290.490.190.810.310.710.491.210.990.291.090.790.310.810.311.01
  2. 计算协方差矩阵

    • 协方差矩阵 C \mathbf{C} C 的计算:
      C = 1 n − 1 X centered ⊤ X centered = ( 0.6166 0.6154 0.6154 0.7166 ) \mathbf{C} = \frac{1}{n-1} X_{\text{centered}}^\top X_{\text{centered}} = \begin{pmatrix} 0.6166 & 0.6154 \\ 0.6154 & 0.7166 \\ \end{pmatrix} C=n11XcenteredXcentered=(0.61660.61540.61540.7166)

      这里 n n n 是样本数量, X centered X_{\text{centered}} Xcentered 是一个 n × p n \times p n×p 的矩阵,其中 p p p 是特征的数量。需要注意的是,有时也会使用 1 n \frac{1}{n} n1 而不是 1 n − 1 \frac{1}{n-1} n11,这取决于你是想要无偏估计还是有偏估计。在统计学中,通常使用 1 n − 1 \frac{1}{n-1} n11 来获得一个无偏估计。

      协方差和无偏估计的理解参考该文章:协方差详解及在日常生活中的应用实例——天气温度与冰淇淋销量的关系

  3. 特征值与特征向量的计算

    • 通过对协方差矩阵进行特征值分解,得到特征值和特征向量:
      λ 1 = 1.2840 , v 1 = ( 0.6779 0.7352 ) \lambda_1 = 1.2840, \quad \mathbf{v}_1 = \begin{pmatrix} 0.6779 \\ 0.7352 \end{pmatrix} λ1=1.2840,v1=(0.67790.7352)
      λ 2 = 0.0491 , v 2 = ( − 0.7352 0.6779 ) \lambda_2 = 0.0491, \quad \mathbf{v}_2 = \begin{pmatrix} -0.7352 \\ 0.6779 \end{pmatrix} λ2=0.0491,v2=(0.73520.6779)
  4. 选择主成分并数据投影

    • 选择第一个特征值 λ 1 \lambda_1 λ1 对应的特征向量 v 1 \mathbf{v}_1 v1 作为主成分方向。
    • 将中心化后的数据投影到这个主成分方向:
      X reduced = X centered ⋅ v 1 = ( 0.8279 − 1.7776 0.9922 0.2742 1.6758 0.9129 − 0.0991 − 1.1446 − 0.4380 − 1.2238 ) X_{\text{reduced}} = X_{\text{centered}} \cdot \mathbf{v}_1 = \begin{pmatrix} 0.8279 \\ -1.7776 \\ 0.9922 \\ 0.2742 \\ 1.6758 \\ 0.9129 \\ -0.0991 \\ -1.1446 \\ -0.4380 \\ -1.2238 \\ \end{pmatrix} Xreduced=Xcenteredv1= 0.82791.77760.99220.27421.67580.91290.09911.14460.43801.2238

如果 PCA 中维度和执行 PCA 之前的维度保持一致,会发生什么?

如果在 PCA 中选择的主成分数量与原始数据的维度一致(即 n_components = 原始维度),那么投影后的数据将保留所有的原始信息,维度不会发生变化。这种情况下:

  • 数据不会降维:所有原始数据中的特征信息都会被保留。
  • 等效于没有执行 PCA:PCA 过程等效于一种坐标变换,虽然数据可能被映射到新的坐标系中,但其本质没有改变,仍然包含原始数据的全部信息。

Python 实现 PCA

从零实现 PCA

我们将展示如何从零实现 PCA,假设我们有一个二维数据集。

import numpy as np# 生成一个示例数据集
np.random.seed(42)
X = np.random.rand(100, 2)# 1. 数据中心化
X_mean = np.mean(X, axis=0)
X_centered = X - X_mean# 2. 计算协方差矩阵
cov_matrix = np.cov(X_centered, rowvar=False)# 3. 计算特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eigh(cov_matrix)# 4. 按特征值从大到小排序
sorted_idx = np.argsort(eigenvalues)[::-1]
eigenvalues = eigenvalues[sorted_idx]
eigenvectors = eigenvectors[:, sorted_idx]# 5. 选择主成分 (假设降到1维)
n_components = 1
selected_eigenvectors = eigenvectors[:, :n_components]# 6. 数据投影
X_reduced = np.dot(X_centered, selected_eigenvectors)print("原始数据形状:", X.shape)
print("降维后数据形状:", X_reduced.shape)

调用机器学习库的实现

使用 scikit-learn 库进行 PCA 的实现更加简单且高效。

from sklearn.decomposition import PCA# 假设我们使用相同的二维数据集 X
pca = PCA(n_components=1)  # 降到1维
X_reduced_sklearn = pca.fit_transform(X)print("原始数据形状:", X.shape)
print("降维后数据形状:", X_reduced_sklearn.shape)

实例解析:二维数据的 PCA 应用

假设我们有一个包含两个特征的数据集,数据点呈椭圆形分布。我们将通过 PCA 将数据从二维降至一维:

  1. 数据预处理

    • 计算每个特征的均值并进行数据中心化。
    • 标准化处理以消除不同特征的量纲差异。
  2. 计算协方差矩阵

    • 使用中心化后的数据计算协方差矩阵,评估特征间的相关性。
  3. 特征值分解

    • 对协方差矩阵进行特征值分解,得到两个特征值和相应的特征向量。由于协方差矩阵是对称的,特征向量相互正交。
  4. 选择主成分

    • 选择最大特征值对应的特征向量作为第一个主成分,依次选择次大特征值对应的特征向量作为第二个主成分。
  5. 数据投影

    • 将数据投影到第一个主成分上,实现从二维到一维的降维。

实际应用场景与总结

PCA 在多种实际场景中表现出色。例如,在图像压缩中,PCA 通过提取最主要的特征来减少图像数据的存储需求;在噪声过滤中,通过去除低方差主成分,PCA 能有效减少数据中的噪声。

这篇关于深入理解主成分分析 (PCA) 及其广泛应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1097067

相关文章

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

【C++高阶】C++类型转换全攻略:深入理解并高效应用

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:C++ “ 登神长阶 ” 🤡往期回顾🤡:C++ 智能指针 🌹🌹期待您的关注 🌹🌹 ❀C++的类型转换 📒1. C语言中的类型转换📚2. C++强制类型转换⛰️static_cast🌞reinterpret_cast⭐const_cast🍁dynamic_cast 📜3. C++强制类型转换的原因📝

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用,例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具,该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明,MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能,MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57

深入手撕链表

链表 分类概念单链表增尾插头插插入 删尾删头删删除 查完整实现带头不带头 双向链表初始化增尾插头插插入 删查完整代码 数组 分类 #mermaid-svg-qKD178fTiiaYeKjl {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境,如果是隔离环境,无法连接互联网时,请先按照 离线环境安装依赖的指导进行依赖包的安装,然后按照本文的指导继续操作。如果网络环境可以连接互联网,请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud