如何通过主成分方法进行因素分析？

基于MLE法则的因素分析严重地依赖于收益服从正态分布的假设,但众所周知,收益不能被看作是正态的,它有比正态分布更厚的尾部。另外还有很多估计方法不依赖于收益服从正态分布这一假设,这些方法中最并且被广泛使用的就是主成分分析(PСА)方法。

虽然因素分析与PCA是相似的技术方法而且有着相似的目标,但其基本原理不同。首先让我们粗略描述一下PCA方法,然后指出它们与因素分析的不同,最后讨论在何种条件下因素分析与PCA方法是等价的。

现在考虑随机向量r。随机向量 p= Hr 是一个正交随机变量的向量。事实上，下列关系成立。

现在让我们从总体的理论性质转移到样本上去。从以上段落中所概述的理论中,我们推断可以通过如下四个步骤进行主成分分析。

1,从样本中减去均值。

2,估计样本的协方差矩阵。

3,计算协方差矩阵的特征值和特征向量。

4,挑选前k个特征向量作为前k个主要成分(PCs)。

但是,采用设计矩阵(即样本数据的矩阵)的奇异值分解的方式,PCA方法也许能被更好地理解。考虑与前一节相同的观察值假设。给定N个收益的T个观测值的集合。假设从每个观察值中减去了样本均值的向量,将观察值排列为如下的设计矩阵

还存在另一种基于Karhunen-Loeve变换的对于PCA方法的解释。Karhunen-Loeve变换寻求更大方差的轴线。考虑和前一节中相同的经验设定，我们需要确定具有更大可能方差的一个收益的线性组合，这里要求组合系数构成的向量具有单位长度。换句话说，我们需要在所有其权重构成一个单位长度的投资组合集合中寻求一个方差更大的投资组合。

考虑一个收益的线性组合

这种考虑给出了因素分析与PCA两者之间的主要差异， 两种方法都是数据缩减技术，它们都寻找对于数据的一种节省的表示方法。因素分析采用数据的一个计量经济模型， 而PC A简单地对数据协方差矩阵进行特征值分解。如果因素的数量改变， 因素分析会得到不同的因素。但是如果添加额外的成分，PCA 中最初的成分也不会改变。