PCA与LDA

2024-06-12 08:52
文章标签 pca lda

本文主要是介绍PCA与LDA,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

共同点

  1. 降维方法

    • PCA和LDA都是数据降维的方式,它们都能通过某种变换将原始高维数据投影到低维空间。
  2. 数学原理

    • 两者在降维过程中都使用了矩阵特征分解的思想,通过对数据的协方差矩阵或类间、类内散度矩阵进行特征分解,找到数据中的主要变化方向或分类方向。
  3. 高斯分布假设

    • PCA和LDA在应用中通常都假设数据符合高斯分布,这一假设是最优的。

不同点

  1. 监督与非监督

    • PCA是一种无监督的降维方法,它不需要知道样本的类别标签。PCA的目标是通过寻找数据中的主成分(即方差最大的方向)来降低数据的维度。
    • LDA则是一种有监督的降维方法,它需要知道每个数据点对应的类别标签。LDA的目标是找到一种投影方式,使得投影后不同类别之间的数据均值距离最大,同时相同类别之内的数据方差最小。
  2. 降维的目标

    • PCA主要关注于找到数据中方差最大的方向,以最大化保留原始数据的信息量。
    • LDA则侧重于找到类间差异最大、类内差异最小的方向,以实现更好的分类效果。
  3. 降维的维度限制

    • PCA在降维时没有明确的维度限制,可以根据需要选择降维后的维度数。
    • LDA在降维时最多只能降到类别数k-1的维数,因为LDA需要至少保留一个维度来区分不同的类别。

在这里插入图片描述

在这里插入图片描述

这篇关于PCA与LDA的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1053757

相关文章

主成分分析PCA详解(二)

我不生产自己不熟悉的内容,我只是陌生内容的搬运工!向原作致敬! 转载自:http://blog.csdn.net/jzwong/article/details/45699097  作者:jzwong 一、简介        PCA(Principal Components Analysis)即主成分分析,是图像处理中经常用到的降维方法,大家知道,我们在处理有关数字图像处理方面的问题时,比如经

主成分分析PCA详解(一)

对理解PCA非常好的一篇文章,留着以防以后忘记 原文来自:博客园(华夏35度)http://www.cnblogs.com/zhangchaoyang 作者:Orisun 降维的必要性 1.多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定,从而可能导致结果的不连贯。 2.高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间,而在十维空间上只有0.02%。

PCA降维深入理解

网上资料非常多,大部分都是讲先求协方差,协方差怎么求的,但是没有讲为什么要求协方差,为什么要选特征值最大的特征,特征值最大到底代表了什么含义。 简单回忆:         计算协方差到底是选行还是选列呢,记住协方差矩阵是计算不同维度间的协方差,不是两个样本间的,所以我们求协方差的目的就是计算不同纬度之间的相关性,并选出特征值最大的前多少个纬度,把特征值小的纬度去掉,起到一个降维的作用 PCA

【Python机器学习实战】 | 基于PCA主成分分析技术读入空气质量监测数据进行数据预处理并计算空气质量综合评测结果

🎩 欢迎来到技术探索的奇幻世界👨‍💻 📜 个人主页:@一伦明悦-CSDN博客 ✍🏻 作者简介: C++软件开发、Python机器学习爱好者 🗣️ 互动与支持:💬评论      👍🏻点赞      📂收藏     👀关注+ 如果文章有所帮助,欢迎留下您宝贵的评论, 点赞加收藏支持我,点击关注,一起进步! 引言 主成分分析(Principal Component

PCA使用SVD解决

http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html  主成分分析在上一节里面也讲了一些,这里主要谈谈如何用SVD去解PCA的问题。PCA的问题其实是一个基的变换,使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量,我们在讲一个东西的稳定性的时候,往往说要减小方差,如果一个模

文本挖掘之降维之特征抽取之主成分分析(PCA)

PCA(主成分分析) 作用: 1、减少变量的的个数 2、降低变量之间的相关性,从而降低多重共线性。 3、新合成的变量更好的解释多个变量组合之后的意义 PCA的原理: 样本X和样本Y的协方差(Covariance): 协方差为正时说明X和Y是正相关关系,协方差为负时X和Y是负相关关系,协方差为0时X和Y相互独立。 Cov(X,X)就是X的方差(Variance).

文本分类之降维技术之特征抽取之LDA线性判别分析

背景:为什么需要特征抽取?     基于的向量空间模型有个缺点,即向量空间中的每个关键词唯一地代表一个概念或语义单词,也就是说它不能处理同义词和多义词,然而实际情况是:一个词往往有多个不同的含义,多个不同的词可以代表一个概念。在这种情况下,基于的向量空间模型不能很好的解决这种问题。     特征抽取方法则可以看作从测量空间到特征空间的一种映射或变换,一般是通过构造一个特征评分函数,把测量空间的

【转】主成分分析(PCA)原理解析

本文转载于 http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html 主成分分析(Principal components analysis)-最大方差解释      在这一篇之前的内容是《Factor Analysis》,由于非常理论,打算学完整个课程后再写。在写这篇之前,我阅读了PCA、SVD和LD

PCA 在图像分析上的应用

同一物体旋转角度求取 直接上代码: import cv2, osimport numpy as npimport timedef perform_pca(image, num_components):# 将图像转换为浮点型img_float = np.float32(image)img_flatten = img_float.reshape(-1, 2)# 计算均值和协方差矩阵mean,

大规模数据的PCA降维

20200810 - 0. 引言 最近在做的文本可视化的内容,文本处理的方法是利用sklearn的CountVer+Tf-idf,这样处理数据之后,一方面数据的维度比较高,另一方面呢,本身这部分数据量也比较大。如果直接使用sklearn的pca进行降维,会很慢,而且pca也没有n_jobs来支持多线程工作。不过,我看到spark中已经支持的pca了,所以希望通过spark来实现这部分内容。