用极大似然法估计因子载荷矩阵_多元统计分析第13讲（因子分析：载荷矩阵的估计，因子旋转；典型相关分析基本思想）...

本文主要是介绍用极大似然法估计因子载荷矩阵_多元统计分析第13讲（因子分析：载荷矩阵的估计，因子旋转；典型相关分析基本思想）...，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

8.3 因子载荷矩阵的估计方法

(一)主成分分析法

回顾一下主成分法估计因子载荷矩阵的步骤：求出原变量协方差阵(或相关阵)的前 m 个特征根(考虑累积贡献率)，后面的特征根忽略掉

因子载荷矩阵的每一列为前 m 个特征根乘上对应的单位特征向量

特殊因子的方差为 1 - 共同度(即因子载荷该行的平方和)

用原协方差阵减去公因子协方差阵与特殊因子协方差阵，得到残差阵

$equation?tex=E%3D%5CSigma-%5Cleft%28%5Chat%7BA%7D+%5Chat%7BA%7D%5E%7B%5Cprime%7D%2B%5Chat%7BD%7D%5Cright%29%3D%5Cleft%28%5Cepsilon_%7Bi+j%7D%5Cright%29_%7Bp+%5Ctimes+p%7D%5C%5C$

残差阵元素的平方和为残差平方和

$equation?tex=Q%28m%29%3D%5Csum_%7Bi%3D1%7D%5E%7Bp%7D+%5Csum_%7Bj%3D1%7D%5E%7Bp%7D+%5Cepsilon_%7Bi+j%7D%5E%7B2%7D%5C%5C$

可以证明(课后习题8-4)

$equation?tex=Q%28m%29%3D%5Csum_%7Bi%3D1%7D%5E%7Bp%7D+%5Csum_%7Bj%3D1%7D%5E%7Bp%7D+%5Cvarepsilon_%7Bi+j%7D%5E%7B2%7D%3D%5Csum_%7Bj%3Dm%2B1%7D%5E%7Bp%7D+%5Clambda_%7Bj%7D%5E%7B2%7D-%5Csum_%7Bi%3D1%7D%5E%7Bp%7D%5Cleft%28%5Csigma_%7Bi%7D%5E%7B2%7D%5Cright%29%5E%7B2%7D+%5Cleq+%5Csum_%7Bj%3Dm%2B1%7D%5E%7Bp%7D+%5Clambda_%7Bj%7D%5E%7B2%7D%5C%5C$

(二)主因子解

可以看做主成分法的修正(就是迭代思想！)。

假如特殊因子方差的初始估计已知，那么令

$equation?tex=R-D%3DA+A%5E%7B%5Cprime%7D%3D%3A+R%5E%7B%2A%7D%7B%5Cscriptsize+%7D+%5C%5C$

通过求出

$equation?tex=+R%5E%7B%2A%7D$ 的前 m 个特征根，得到 A 的估计，进而得到 D 的估计。反复迭代直到迭代前后 D 的差别很小就停止。

如果初始估计未知，那么一开始我们就用主成分法得到 A 的估计，进而得到 D 的初始估计。

公因子方差初始估计方法：第 i 个公因子方差取为第 i 个变量与其它所有变量的多重相关系数的平方

第 i 个公因子方差取为第 i 个变量与其它所有变量的相关系数绝对值中最大者

直接取为 1，等价于主成分解(将特殊因子方差忽略).

(三)极大似然估计

假设数据 X1,...,Xn 服从 p 元正态，公因子与特殊因子也假定服从正态。

$equation?tex=L%28%5Cmu%2C+A%2C+D%29%3D%5Cprod_%7Bi%3D1%7D%5E%7Bd%7D+%5Cfrac%7B1%7D%7B%282+%5Cpi%29%5E%7Bp+%2F+2%7D%7C%5CSigma%7C%5E%7B1+%2F+2%7D%7D+%5Cexp+%5Cleft%5B-%5Cfrac%7B1%7D%7B2%7D%5Cleft%28%5Cmathbf%7Bx%7D_%7B%5Cmathbf%7Bi%7D%7D-%5Cmu%5Cright%29%5E%7B%5Cprime%7D+%5Cboldsymbol%7B%5CSigma%7D%5E%7B-%5Cmathbf%7B1%7D%7D%5Cleft%28%5Cmathbf%7Bx%7D_%7B%5Cmathbf%7Bi%7D%7D-%5Cmu%5Cright%29%5Cright%5D%5C%5C$

对于均值和协方差阵可以用其极大似然估计替代，利用求极值的方法可得以下方程组

$equation?tex=%5Cleft%5C%7B%5Cbegin%7Barray%7D%7Bl%7D+%5Cwidehat%7B%5Cmu%7D%3D%5Cbar%7BX%7D+%5C%5C+S+%5Cwidehat%7BD%7D%5E%7B-1%7D+%5Cwidehat%7BA%7D%3D%5Cwidehat%7BA%7D%5Cleft%28I%2B%5Cwidehat%7BA%7D%5E%7B%5Cprime%7D+%5Cwidehat%7BD%7D%5E%7B-1%7D+%5Cwidehat%7BA%7D%5Cright%29+%5C%5C+%5Cwidehat%7BD%7D%3D%5Coperatorname%7Bdiag%7D%5Cleft%28S-%5Cwidehat%7BA%7D+%5Cwidehat%7BA%7D%5E%7B%5Cprime%7D%5Cright%29+%5Cend%7Barray%7D%5Cright.%5C%5C$

其中第二个方程如下得到

$equation?tex=%5C%5B%5Cbegin%7Barray%7D%7Bl%7D+S+%3D+%5Chat+A%5Chat+A%27+%2B+D%5C%5C++%5CRightarrow+S%7BD%5E%7B+-+1%7D%7D%5Chat+A+%3D+%5Cleft%28+%7B%5Chat+A%5Chat+A%27+%2B+D%7D+%5Cright%29%7BD%5E%7B+-+1%7D%7D%5Chat+A+%3D+%5Chat+A%5Cleft%28+%7BI+%2B+%5Chat+A%27%7BD%5E%7B+-+1%7D%7D%5Chat+A%7D+%5Cright%29+%5Cend%7Barray%7D%5C%5C%5C%5D$