PCA降维奇异值分解SVD

本文主要是介绍PCA降维奇异值分解SVD，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

PCA降维

涉及高维数据的问题容易陷入维数灾难，随着数据集维数的增加，算法学习所需的样本数量呈指数级增加，且需要更多的内存和处理能力，消耗资源。主成分分析也称为K-L变换，常用于高位数据预处理和可视化。PCA可以把可能具有相关性的高维变量合成线性无关的低维变量，称为主成分。原理就是PCA将高维具有相关性的数据进行线性变换映射到一个低维子空间，尽可能多的保留更多变量(代表原特征)，降维成一个线性无关的低维数据集。当数据集不同维度上的方差分布不均匀的时候，PCA最有用。选取方差最大的方向作为第一个主成分，第二个主成分选择方差次大的方向，并且与第一个正交。

方差：度量一组数据分散的程度；

协方差：度量两个变量的变动的同步程度，即度量两个变量线性相关性程度。

特征值和特征向量，矩阵的主成分是由其协方差矩阵的特征向量按照对应的特征值大小排序得到的，最大的特征值就是第一主成分，第二大特征值就是第二主成分。

计算数据的主成分可以用计算数据协方差的方法和矩阵奇异值分解SVD的方法。

应用：人脸识别中特征脸的构造用到了PCA降维，对于样本少，特征维数高的时候特别适用。