本文主要是介绍斯坦福大学机器学习——因子分析（Factor analysis），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、问题的提出
在EM算法求解高斯混合模型一文中，我们的样本集 ，而样本的数量m远大于样本的维度n，因此，可以轻易的构造出高斯混合模型。
现在，我们再看下不同的情况：假如，或
，我们将很难构建一个普通高斯模型，更别提高斯混合模型。这m个的数据仅仅是 的子空间，如果我们用这m个数据建立高斯模型，并对利用极大似然，对期望和方差进行参数估计。可得：
我们将发现协方差为奇异矩阵，即：
，这样的话
和
也都不存在，而这两者是多元正态分布概率密度函数的必要参数。因子分析将解决上述问题：
二、对的约束
假如我们没有足够的数据去对参数进行估计，可以通过对
加以限制来解决。例如：假设协方差矩阵
为对角阵，那么，很容易通过极大似然估计求出其值：
这里表示矩阵第j行j列的元素值。
如果对其进行进一步的约束，不仅为对角阵，而且对角线上所有元素均相等，即
，那么对其进行极大似然估计得：
如果需要通过极大似然估计，构造一个非奇异、无约束条件的协方差矩阵，需要满足。如果满足上面的两个约束条件，那么仅仅需要满足
。但构造对角阵意味着数据集相互独立，没有关联。因此下文会从高斯分布的边缘分布和条件分布开始，引入因子分析模型，该模型使用更多的参数以描述数据间的关联，并且不需要构造一个非奇异的矩阵。
三、高斯分布的边缘分布和条件分布
假设有多维随机变量：
其中：。
再令，并且：
，
其中：逆对角元素存相互对称
。
根据协方差的定义，我们可以得到：
随机变量的边际分布为
；若在
给定的前提下，
的条件分布为
，其中：
下面介绍因子分析模型时会用到上述性质。
四、因子分析模型（factor analysis model）
在因子分析模型中，我们首先假设一个联合分布，其中：
为隐随机变量。并且有：
其中：，并且
为对角阵，
。
上述假设可以解释为：每个点都是由k维正态随机变量
生成。首先，
通过
由k维映射到n维，然后，再将协方差为
的随机噪声加入。
其等价于：
其中，和z相互独立。
假如随机变量z和x的联合高斯分布可以写成如下形式：
我们将求出其期望和协方差
。
由于，因此，
。
那么：
由上文可知：
下面对其分别求解：
因此，随机变量z和x的联合高斯分布为：
随机变量x的边际分布为，因此，给定的训练集
，我们就可以得出其对数的似然方程：
为了得到最大似然估计，需要对似然方程求最大值。然而，求解该方程的最大值极其困难，因此我们可以采用EM算法对极大似然函数进行求解。
五、EM算法求解因子分析
条件概率，根据第二三节的结论可以推出：
根据EM算法的定义可知，E-step为：
M-step需要最大化：
这里的下标是指以
为随机变量，
为密度函数的期望。
我们忽略与带估计参数无关的项，实际就是求下式的最大值：
下面我们分别求出待估参数：
（1）
为求出上式关于的偏导，可将上式整理，去除与
无关项，可得等价式：
上式第2行至第3行根据trAB=trBA, 第3行至第4行根据。
令上式为0，可得：
解得：
根据对的定义，
为
，因此可得：
将上述两式结果带入可得：
（2）
将M步的公式对求偏导，可得：
（3）
再令，即可得到
的值。
六、总结
当样本由混合高斯模型得来，并且样本的数量m小于样本的维度n时，由于协方差矩阵为奇异的，因此无法直接通过极大似然进行参数估计。因子分析模型通过引入隐随机变量和随机噪声，构造样本与隐随机变量的联合分布，该联合分布的协方差矩阵为非奇异的。然后再利用EM算法进行参数估计，建立模型。
这篇关于斯坦福大学机器学习——因子分析（Factor analysis）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
