深入理解主成分分析 (PCA) 及其广泛应用

2024-08-22 18:36

本文主要是介绍深入理解主成分分析 (PCA) 及其广泛应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深入理解主成分分析 (PCA) 及其广泛应用



文章目录

  • 深入理解主成分分析 (PCA) 及其广泛应用
    • 引言
    • PCA 的核心概念与目标
    • PCA 的几何解释与步骤
    • 具体数值计算例子
    • 如果 PCA 中维度和执行 PCA 之前的维度保持一致,会发生什么?
    • Python 实现 PCA
    • 实例解析:二维数据的 PCA 应用
    • 实际应用场景与总结


引言

主成分分析(Principal Component Analysis, PCA)是一种被广泛应用于数据科学、机器学习等领域的数据降维技术。其核心思想是通过将数据转换到一个新的坐标系,识别出数据中最具代表性的方向,从而在保持尽可能多原始信息的前提下降低数据维度。

PCA 的核心概念与目标

PCA 的核心概念

  • PCA 是一种统计方法,主要用于识别和简化数据中的模式,通过对原始变量进行线性组合生成新的坐标轴(称为主成分),这些坐标轴按其重要性排序。

PCA 的主要目标

  • 数据降维:减少数据的维度,以降低计算复杂度并提高数据的可视化效果。
  • 特征提取:通过找出数据集中最具代表性的特征,实现高效的特征提取。
  • 降噪处理:通过去除低方差的主成分,减少数据中的噪声。
  • 数据压缩:在图像处理和信号处理中,PCA 可用于数据压缩,显著减小数据的存储空间。

PCA 的几何解释与步骤

几何解释
PCA 的目的是找到数据中最具代表性的方向,这些方向通常被称为数据的“主脊柱”。通过将数据投影到这些方向上,PCA 实现了数据的降维。

PCA 的主要步骤

  1. 数据预处理

    • 中心化:将每个特征减去其均值,使得数据中心平移到原点。
    • 标准化(可选):将数据标准化,使每个特征具有相同的尺度,尤其在不同特征的量纲差异较大时。
  2. 计算协方差矩阵

    • 对于中心化后的数据,计算协方差矩阵 C \mathbf{C} C,其表达式为:
      C = 1 n − 1 X ⊤ X \mathbf{C} = \frac{1}{n-1} \mathbf{X}^\top \mathbf{X} C=n11XX
    • 其中, X \mathbf{X} X 为数据矩阵,矩阵中的每列为一个特征,每行为一个观测值。
  3. 特征值与特征向量的计算

    • 通过对协方差矩阵 C \mathbf{C} C 进行特征值分解,得到特征值 λ 1 , λ 2 , … , λ p \lambda_1, \lambda_2, \ldots, \lambda_p λ1,λ2,,λp 及对应的特征向量 v 1 , v 2 , … , v p \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p v1,v2,,vp
    • 这些特征向量彼此正交,确保不同主成分间相互独立。
  4. 选择主成分

    • 选择方差最大的方向作为第一个主成分,之后依次选择在与已选主成分正交的方向上方差最大的其他方向。
  5. 数据投影

    • 将原始数据投影到选定的主成分方向上,得到降维后的数据。

具体数值计算例子

为了更好地理解 PCA 的过程,我们通过一个简单的二维数据集来展示具体的数值计算。

假设我们有以下数据集:

X = ( 2.5 2.4 0.5 0.7 2.2 2.9 1.9 2.2 3.1 3.0 2.3 2.7 2.0 1.6 1.0 1.1 1.5 1.6 1.1 0.9 ) X = \begin{pmatrix} 2.5 & 2.4 \\ 0.5 & 0.7 \\ 2.2 & 2.9 \\ 1.9 & 2.2 \\ 3.1 & 3.0 \\ 2.3 & 2.7 \\ 2.0 & 1.6 \\ 1.0 & 1.1 \\ 1.5 & 1.6 \\ 1.1 & 0.9 \\ \end{pmatrix} X= 2.50.52.21.93.12.32.01.01.51.12.40.72.92.23.02.71.61.11.60.9

我们将按照以下步骤进行 PCA:

  1. 数据中心化

    • 首先,计算每个特征的均值:
      均值 = ( 2.5 + 0.5 + ⋯ + 1.1 10 , 2.4 + 0.7 + ⋯ + 0.9 10 ) = ( 1.81 , 1.91 ) \text{均值} = \left(\frac{2.5+0.5+\cdots+1.1}{10}, \frac{2.4+0.7+\cdots+0.9}{10}\right) = (1.81, 1.91) 均值=(102.5+0.5++1.1,102.4+0.7++0.9)=(1.81,1.91)
    • 然后,将每个样本减去均值进行中心化:
      X centered = X − 均值 X_{\text{centered}} = X - \text{均值} Xcentered=X均值
      得到中心化后的数据:
      X centered = ( 0.69 0.49 − 1.31 − 1.21 0.39 0.99 0.09 0.29 1.29 1.09 0.49 0.79 0.19 − 0.31 − 0.81 − 0.81 − 0.31 − 0.31 − 0.71 − 1.01 ) X_{\text{centered}} = \begin{pmatrix} 0.69 & 0.49 \\ -1.31 & -1.21 \\ 0.39 & 0.99 \\ 0.09 & 0.29 \\ 1.29 & 1.09 \\ 0.49 & 0.79 \\ 0.19 & -0.31 \\ -0.81 & -0.81 \\ -0.31 & -0.31 \\ -0.71 & -1.01 \\ \end{pmatrix} Xcentered= 0.691.310.390.091.290.490.190.810.310.710.491.210.990.291.090.790.310.810.311.01
  2. 计算协方差矩阵

    • 协方差矩阵 C \mathbf{C} C 的计算:
      C = 1 n − 1 X centered ⊤ X centered = ( 0.6166 0.6154 0.6154 0.7166 ) \mathbf{C} = \frac{1}{n-1} X_{\text{centered}}^\top X_{\text{centered}} = \begin{pmatrix} 0.6166 & 0.6154 \\ 0.6154 & 0.7166 \\ \end{pmatrix} C=n11XcenteredXcentered=(0.61660.61540.61540.7166)

      这里 n n n 是样本数量, X centered X_{\text{centered}} Xcentered 是一个 n × p n \times p n×p 的矩阵,其中 p p p 是特征的数量。需要注意的是,有时也会使用 1 n \frac{1}{n} n1 而不是 1 n − 1 \frac{1}{n-1} n11,这取决于你是想要无偏估计还是有偏估计。在统计学中,通常使用 1 n − 1 \frac{1}{n-1} n11 来获得一个无偏估计。

      协方差和无偏估计的理解参考该文章:协方差详解及在日常生活中的应用实例——天气温度与冰淇淋销量的关系

  3. 特征值与特征向量的计算

    • 通过对协方差矩阵进行特征值分解,得到特征值和特征向量:
      λ 1 = 1.2840 , v 1 = ( 0.6779 0.7352 ) \lambda_1 = 1.2840, \quad \mathbf{v}_1 = \begin{pmatrix} 0.6779 \\ 0.7352 \end{pmatrix} λ1=1.2840,v1=(0.67790.7352)
      λ 2 = 0.0491 , v 2 = ( − 0.7352 0.6779 ) \lambda_2 = 0.0491, \quad \mathbf{v}_2 = \begin{pmatrix} -0.7352 \\ 0.6779 \end{pmatrix} λ2=0.0491,v2=(0.73520.6779)
  4. 选择主成分并数据投影

    • 选择第一个特征值 λ 1 \lambda_1 λ1 对应的特征向量 v 1 \mathbf{v}_1 v1 作为主成分方向。
    • 将中心化后的数据投影到这个主成分方向:
      X reduced = X centered ⋅ v 1 = ( 0.8279 − 1.7776 0.9922 0.2742 1.6758 0.9129 − 0.0991 − 1.1446 − 0.4380 − 1.2238 ) X_{\text{reduced}} = X_{\text{centered}} \cdot \mathbf{v}_1 = \begin{pmatrix} 0.8279 \\ -1.7776 \\ 0.9922 \\ 0.2742 \\ 1.6758 \\ 0.9129 \\ -0.0991 \\ -1.1446 \\ -0.4380 \\ -1.2238 \\ \end{pmatrix} Xreduced=Xcenteredv1= 0.82791.77760.99220.27421.67580.91290.09911.14460.43801.2238

如果 PCA 中维度和执行 PCA 之前的维度保持一致,会发生什么?

如果在 PCA 中选择的主成分数量与原始数据的维度一致(即 n_components = 原始维度),那么投影后的数据将保留所有的原始信息,维度不会发生变化。这种情况下:

  • 数据不会降维:所有原始数据中的特征信息都会被保留。
  • 等效于没有执行 PCA:PCA 过程等效于一种坐标变换,虽然数据可能被映射到新的坐标系中,但其本质没有改变,仍然包含原始数据的全部信息。

Python 实现 PCA

从零实现 PCA

我们将展示如何从零实现 PCA,假设我们有一个二维数据集。

import numpy as np# 生成一个示例数据集
np.random.seed(42)
X = np.random.rand(100, 2)# 1. 数据中心化
X_mean = np.mean(X, axis=0)
X_centered = X - X_mean# 2. 计算协方差矩阵
cov_matrix = np.cov(X_centered, rowvar=False)# 3. 计算特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eigh(cov_matrix)# 4. 按特征值从大到小排序
sorted_idx = np.argsort(eigenvalues)[::-1]
eigenvalues = eigenvalues[sorted_idx]
eigenvectors = eigenvectors[:, sorted_idx]# 5. 选择主成分 (假设降到1维)
n_components = 1
selected_eigenvectors = eigenvectors[:, :n_components]# 6. 数据投影
X_reduced = np.dot(X_centered, selected_eigenvectors)print("原始数据形状:", X.shape)
print("降维后数据形状:", X_reduced.shape)

调用机器学习库的实现

使用 scikit-learn 库进行 PCA 的实现更加简单且高效。

from sklearn.decomposition import PCA# 假设我们使用相同的二维数据集 X
pca = PCA(n_components=1)  # 降到1维
X_reduced_sklearn = pca.fit_transform(X)print("原始数据形状:", X.shape)
print("降维后数据形状:", X_reduced_sklearn.shape)

实例解析:二维数据的 PCA 应用

假设我们有一个包含两个特征的数据集,数据点呈椭圆形分布。我们将通过 PCA 将数据从二维降至一维:

  1. 数据预处理

    • 计算每个特征的均值并进行数据中心化。
    • 标准化处理以消除不同特征的量纲差异。
  2. 计算协方差矩阵

    • 使用中心化后的数据计算协方差矩阵,评估特征间的相关性。
  3. 特征值分解

    • 对协方差矩阵进行特征值分解,得到两个特征值和相应的特征向量。由于协方差矩阵是对称的,特征向量相互正交。
  4. 选择主成分

    • 选择最大特征值对应的特征向量作为第一个主成分,依次选择次大特征值对应的特征向量作为第二个主成分。
  5. 数据投影

    • 将数据投影到第一个主成分上,实现从二维到一维的降维。

实际应用场景与总结

PCA 在多种实际场景中表现出色。例如,在图像压缩中,PCA 通过提取最主要的特征来减少图像数据的存储需求;在噪声过滤中,通过去除低方差主成分,PCA 能有效减少数据中的噪声。

这篇关于深入理解主成分分析 (PCA) 及其广泛应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1097067

相关文章

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

找不到Anaconda prompt终端的原因分析及解决方案

《找不到Anacondaprompt终端的原因分析及解决方案》因为anaconda还没有初始化,在安装anaconda的过程中,有一行是否要添加anaconda到菜单目录中,由于没有勾选,导致没有菜... 目录问题原因问http://www.chinasem.cn题解决安装了 Anaconda 却找不到 An

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

C++ 各种map特点对比分析

《C++各种map特点对比分析》文章比较了C++中不同类型的map(如std::map,std::unordered_map,std::multimap,std::unordered_multima... 目录特点比较C++ 示例代码 ​​​​​​代码解释特点比较1. std::map底层实现:基于红黑

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

Spring、Spring Boot、Spring Cloud 的区别与联系分析

《Spring、SpringBoot、SpringCloud的区别与联系分析》Spring、SpringBoot和SpringCloud是Java开发中常用的框架,分别针对企业级应用开发、快速开... 目录1. Spring 框架2. Spring Boot3. Spring Cloud总结1. Sprin

Spring 中 BeanFactoryPostProcessor 的作用和示例源码分析

《Spring中BeanFactoryPostProcessor的作用和示例源码分析》Spring的BeanFactoryPostProcessor是容器初始化的扩展接口,允许在Bean实例化前... 目录一、概览1. 核心定位2. 核心功能详解3. 关键特性二、Spring 内置的 BeanFactory

MyBatis-Plus中Service接口的lambdaUpdate用法及实例分析

《MyBatis-Plus中Service接口的lambdaUpdate用法及实例分析》本文将详细讲解MyBatis-Plus中的lambdaUpdate用法,并提供丰富的案例来帮助读者更好地理解和应... 目录深入探索MyBATis-Plus中Service接口的lambdaUpdate用法及示例案例背景

MyBatis-Plus中静态工具Db的多种用法及实例分析

《MyBatis-Plus中静态工具Db的多种用法及实例分析》本文将详细讲解MyBatis-Plus中静态工具Db的各种用法,并结合具体案例进行演示和说明,具有很好的参考价值,希望对大家有所帮助,如有... 目录MyBATis-Plus中静态工具Db的多种用法及实例案例背景使用静态工具Db进行数据库操作插入

Go使用pprof进行CPU,内存和阻塞情况分析

《Go使用pprof进行CPU,内存和阻塞情况分析》Go语言提供了强大的pprof工具,用于分析CPU、内存、Goroutine阻塞等性能问题,帮助开发者优化程序,提高运行效率,下面我们就来深入了解下... 目录1. pprof 介绍2. 快速上手:启用 pprof3. CPU Profiling:分析 C