因素分析方法

1、因素分析方法Factor Analysis因素分析Factor Analysis系统分析与决策的四个进程：对系统进行n描述性分析n解析性分析n预测性研究n系统决策因素分析法属于描述性分析描述性分析，它能保证在数据信息损失最小的前提下，从大规模的原始数据群中，迅速将重要的信息提取出来，将高维的数据进行降维处理降维处理，迅速的揭示出系统中的因子结揭示出系统中的因子结构构，使人们对系统达到尽可能充分的认识，提高决策者的洞察力和分析效率。又称作因子分析因子分析。因子分析因子分析是通过变量或样本的相关系数相关系数矩阵内部结构的研究，找出能控制所有变量的少数几个随机变量去描述多个变量之间的相相关关系关关系

2、。即将观察变量分类，将相关性较高相关性较高的、联系较密切联系较密切的、包含重复信息较多包含重复信息较多的变量分在同一类中，使不同类的变量之间的相相关性较低关性较低，每类变量代表了一个本质因子或基本结构。因子分析就是寻找系统中这种不可观测的因子或结构的方法。因子分析在许多实际问题中，涉及的变量众多，各变量间还存在错综复杂的相关关系，这时最好能从中提取少数综合变量，这些综合变量彼此不相关，是不可测的潜在因素，但对观测变量的变化起支配作用，且包含原变量提供的大部分信息。因子分析就是为解决这一问题提供的统计分析方法。例如：P159 东西部地区各主成份的提取因子分析的目的和任务目的：目的：寻求变量的基本

3、结构、简化观测系统，即减少变量维数。用一个变量子集来解释整个问题。主要目的是研究一种假设的结构，用m(mp)个假设的公共因子来解释和说明p个变量之间的相互依赖结构及其复杂关系。任务：任务：寻找共性因素，且能解释各主因子的意义主成份分析n主成分分析只是一种中间手段，其背景是研究中经常会遇到多指标的问题，这些指标间往往存在一定的相关，直接纳入分析不仅复杂，变量间难以取舍，而且可能因多元共线性而无法得出正确结论。主成分分析的目的就是通过线性变换，将原来的多个指标组合成相互独立的少数几个能充分反映总体信息的指标，便于进一步分析。模型形式11 公共因子与特殊因子公共因子与特殊因子从总体中提取的综合变量：

4、从总体中提取的综合变量：F1, F2, , Fm(mp)称为（总体称为（总体的）的）公共因子公共因子。一般来说，公共因子不可能包含总体的所有。一般来说，公共因子不可能包含总体的所有信息，每个变量信息，每个变量Xi除了可以由公共因子解释的那部分外，总除了可以由公共因子解释的那部分外，总还有一些公共因子解释不了的部分，称这部分为变量还有一些公共因子解释不了的部分，称这部分为变量Xi的的特特殊因子殊因子，记为：，记为： i。故因子模型描述为：故因子模型描述为：变量变量Xi的信息公共因子可以表达部分的信息公共因子可以表达部分 公共因子不可表达部分公共因子不可表达部分目前，公共因子可以表达的部分由公共因

5、子的线性组合表示。目前，公共因子可以表达的部分由公共因子的线性组合表示。即上面的因子模型可以写成以下的形式：即上面的因子模型可以写成以下的形式：piFaFaFaXimimiii,.,2 , 1,2211 12 正交因子模型其中mp，F1,F2,Fm称为所有变量的公共因子公共因子；i称为变量Xi的特殊因子特殊因子。模型假设：1.公共因子是互相不相关的。公共因子是互相不相关的。2.特殊因子和公共因子不相关。特殊因子和公共因子不相关。 pmpmpppmmmmFaFaFaXFaFaFaXFaFaFaX 221122222121211212111113 因子载荷矩阵因子载荷矩阵1矩阵A称为因子载荷矩阵载

6、荷矩阵(component matrix)系数aij称为变量Xi在因子Fj上的载荷载荷(loading)。即变量Xi在公共因子Fj上的载荷aij就是Xi与Fj的相关系数相关系数。反映公共因子对观察变量的影响程度。因子载荷越高，表明该因子包含原有指标的信息量越多。2载荷矩阵的估计：主成分法。主成分法主成分法是估计载荷矩阵的一种方法，由于其估计结果和变量的主成分仅相差一个常数倍，因此就冠以主成分法的名称。学习的时候，不要和主成分分主成分分析析混为一谈。主成分法是SPSS系统默认的方法，在一般情况下，这是比较好的方法。以数据“应征人员”为例，按特征值大于1提取公共因子。在用不同方法获得因子载荷时，公

7、共因子对总体方差的贡献总体方差的贡献率率以主成分法为最高：第二节第二节 变量的共同度与因子的方差贡献率变量的共同度与因子的方差贡献率21 变量的共同度 定义 载荷矩阵A的第i行元素的平方和：称为变量Xi的共同度共同度(communality)。共同度表示公共因子在多大的程度上解释变量Xi。22 公共因子的方差贡献率 定义 载荷矩阵A第j列的平方和：称为因子Fj对总体 的贡献(initial eigenvalues)。 piahmjiji,.,2,1,122 xmjaqpiijj,.,2,1,122 共性方差：共性方差：也称方差贡献率方差贡献率，是用某个公共因子占总方差的百分比来说明共性因素的对

8、观测变量总体的作用大小。公共因子个数的选择个数的选择应考虑：n因子所能解释的方差比率或贡献率；n与利用有关专业知识所得结果的合理一致性n通过这几种途径和手段对研究结果给予合理解释的可能性和可靠性。一般，所选公共因子的个数应保证使其方差累计贡献率大于85%，且主成份个数与变量个数的比值越小越好。第三节第三节 方差最大正交旋转方差最大正交旋转31 因子旋转的意义1正交因子模型只是一个数学模型，所得的因子在专业上不一定能反映问题的实质，或者说：因子作为一个综合变量，其专业意义在许多情况下不容易解释。因子旋转就是针对这一问题，提出的一种改进的方法。2因子旋转的依据：因子模型的不唯一性。因子模型的不唯一

9、性。正是由于因子模型的不唯一性，如果模型不适合专业解释，那么作一个正交变换T(即因子旋转)，在新模型中再去寻找因子的专业解释。经转换后的公共因子具有最大的载荷离散总平方和D。由此确定的因子载荷矩阵B，对每个公共因子来说，载荷最为分散，因此比较容易对因子的专业意义作出解释。第四节 因子得分41 因子得分函数因子模型将总体中的原有变量分解为公共因子与特殊因子的线性组合：按照这个思路，也可以把每个公共因子表示成原变量的线性组合：称这个线性表达式为因子得分函数因子得分函数。用它可以计算出每个观察值在各公共因子上的取值，从而在一定程度上解决了公共因子不可观察的问题。获得因子得分函数的关键问题关键问题是怎

10、样估计参数怎样估计参数bj1,bj2,bjp。piFaFaFaXimimiii,.,2 , 1,2211 mjXbXbXbFpjpjjj,.,2 , 1,2211 *42 因子得分的估计(Thompson方法)根据回归分析中最小二乘法，应有：但是， 是不可观察的。因此上述公式尚不能给出因子得分函数的系数估计。在总体变量标准化的条件下，根据正交因子模型的假设 是总体 与因子 的样本相关系数，所以可以用因子载荷矩阵A的第j列 代替。 jjFXXXb 1)(jFjFX xjF),.,(21pjjjjaaaa第五节 KMO检验与Bartlett球形检验51 因子分析对样本的要求和任何统计分析问题一样，

11、因子分析也要求样本具有一定的容量。这从两个方面来说：从变量个数p考量，则样本容量n应有n5p；即使这样，样本容量也不能太少，一般应在100以上。以上要求在实际问题中往往都达不到。这时可以适当放宽要求，结合检验来判断结果的可靠性。52 因子分析可行性与效果检验1Bartlett球形检验 检验各变量是否独立，通过相关阵是否单位阵来判断。只有在原假设：各变量相互独立被拒绝各变量相互独立被拒绝，因子分析才能进行。2KMO检验 检查各变量间的偏相关性，用来判断因子分析效果：0KMO1。通常使用的标准是： 当KMO0.7，因子分析效果较好，越大越好当KMO0.5，此时不适合用因子分析法。53 关于因子的解释因子分析得到的公共因子应该可以解释，即有实际意义。否则，就应该重新设计原始变量集合。第六节 实例东西部经济发展因子分析1.准备数据准备数据选择因素选择因素 定性分析定性分析 收集数据收集数据工业工业 农业农业 GDP 投资投资 自然资源自然资源定义变量定义变量注意注意因素不等于变量，变量必为等间隔测度或因素不等于变量，变量必为等间隔测度或比率的数值型，用于计算彼此间的相关系数。比率的数值型，用于计算彼此间的相关系数。数据要求数据要求注意注意变量的标准化、归一