本文主要是介绍PCA降维深入理解，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
网上资料非常多，大部分都是讲先求协方差，协方差怎么求的，但是没有讲为什么要求协方差，为什么要选特征值最大的特征，特征值最大到底代表了什么含义。
简单回忆：
计算协方差到底是选行还是选列呢，记住协方差矩阵是计算不同维度间的协方差，不是两个样本间的，所以我们求协方差的目的就是计算不同纬度之间的相关性，并选出特征值最大的前多少个纬度，把特征值小的纬度去掉，起到一个降维的作用
PCA定义： 
假设刚开始有一堆如下所示的数据
这堆数据的协方差矩阵就是一个单位矩阵
如果我们想把这样一堆数据变成如下所示，此时协方差矩阵已经变成，而这个矩阵的特征值为1和5 特征向量分别为[-1,1] 与 [1,1]， 标准正交基为[-1/2,1/2] 与 [1/2,1/2]，下图可以看做是上图经过了旋转与缩放两个变换而来，D` = RSD，R为旋转矩阵，S为缩放矩阵，因为
且
（S为对角矩阵、R为正交矩阵），所以D`的协方差矩阵为
（D`减去均值乘以D`的转置再除以N-1），另一方面通过对协方差矩阵进行特征值分解可以得
，V为特征向量，L为特征值，对L开根号，即L=SS，
，所以说特征向量就是对图像做一个旋转的操作，而特征值就是做一个缩放的操作。
从另一个角度来看N个特征向量就是N个标准正交基，而特征值的模则代表矩阵在每个基上的投影长度。特征值越大，说明矩阵在对应的特征向量上的方差越大，功率越大，信息量越多。
最大特征值对应的特征向量，总是指向数据最大方差的方向，并由此确定其方位。次特征向量总是正交于最大特征向量
这篇关于PCA降维深入理解的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
