因子分析与因子分析法

因子分析与因子分析法主成分分析通过线性组合将原变量综合成几个主成分，用较少的综合指标来代替原来较多的指标(变量)。在多变量分析中，某些变量间往往存在相关性。是什么原因使变量间有关联呢？是否存在不能直接观测到的、但影响可观测变量变化的公共因子？因子分析法(FactorAnalysis)就是寻找这些公共因子的模型分析方法，它是在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此考察原变量间的联系与区别。例如，随着年龄的增长，儿童的身高、体重会随着变化，具有一定的相关性，身高和体重之间为何会有相关性呢？因为存在着一个同时支配或影响着身高与体重的生长因子。那么，我们能否通过对多个变量的相关系数矩阵的研究，找出同时影响或支配所有变量的共性因子呢？因子分析就是从大量的数据中“由表及里”、“去粗取精”，寻找影响或支配变量的多变量统计方法。可以说，因子分析是主成分分析的推广，也是一种把多个变量化为少数几个综合变量的多变量分析方法，其目的是用有限个不可观测的隐变量来解释原始变量之间的相关关系。因子分析主要用于：1、减少分析变量个数；2、通过对变量间相关关系探测，将原始变量进行分类。即将相关性高的变量分为一组，用共性因子代替该组变量。因子分析模型因子分析法是从研究变量内部相关的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。它的基本思想是将观测变量进行分类，将相关性较高，即联系比较紧密的分在同一类中，而不同类变量之间的相关性则较低，那么每一类变量实际上就代表了一个基本结构，即公共因子。对于所研究的问题就是试图用最少个数的不可测的所谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。因子分析模型描述如下：X=(x1，x2，…，xp)0是可观测随机向量，均值向量E(X)=0，协方差阵Cov(X)=E，且协方差阵E与相关矩阵R相等(只要将变量标准化即可实现)。F=(F1，F2，…，Fm)0(m<p)是不可测的向量，其均值向量E(F)=0，协方差矩阵Cov(F)=I，即向量的各分量是相互独立的。e=(e1，e2，…，ep)0与F相互独立，且E(e)=0，e的协方差阵E是对角阵，即各分量e之间是相互独立的，则模型：x1=a11F1+a12F2+„+a1mFm+elx2=a21F1+a22F2+„+a2mFm+e2xp=ap1F1+ap2F2+„+apmFm+ep称为因子分析模型，由于该模型是针对变量进行的，各因子又是正交的，所以也称为R型正交因子模型。其矩阵形式为：x=AF+e.其中：x=，A=，F=，e=这里，m£p；Cov(F,e)=0，即F和e是不相关的；D(F)=Im，即F1,F2，…，Fm不相关且方差均为1；D(e)=,即el，e2，…，ep不相关，且方差不同。我们把F称为X的公共因子或潜因子，矩阵A称为因子载荷矩阵，e称为X的特殊因子。A=(aij)，aij为因子载荷。数学上可以证明，因子载荷aij就是第i变量与第j因子的相关系数，反映了第i变量在第j因子上的重要性。模型的统计意义模型中Fl，F2，…，Fm叫做主因子或公共因子，它们是在各个原观测变量的表达式中都共同出现的因子，是相互独立的不可观测的理论变量。公共因子的含义，必须结合具体问题的实际意义而定。el，e2，…，ep叫做特殊因子，是向量x的分量xi(i=1，2，„，p)所特有的因子，各特殊因子之间以及特殊因子与所有公共因子之间都是相互独立的。模型中载荷矩阵A中的元素(aij)是为因子载荷。因子载荷aij是xi与Fj的协方差，也是xi与Fj的相关系数，它表示xi依赖Fj的程度。可将aij看作第i个变量在第j公共因子上的权，aij的绝对值越大(|aij|£1)，表明xi与Fj的相依程度越大，或称公共因子Fj对于xi的载荷量越大。为了得到因子分析结果的经济解释，因子载荷矩阵A中有两个统计量十分重要，即变量共同度和公共因子的方差贡献。因子载荷矩阵A中第i行元素之平方和记为hi2，称为变量xi的共同度。它是全部公共因子对xi的方差所做出的贡献，反映了全部公共因子对变量xi的影响。hi2大表明x的第i个分量xi对于F的每一分量F1，F2，…，Fm的共同依赖程度大。将因子载荷矩阵A的第j列(j=1，2，„，m)的各元素的平方和记为gj2，称为公共因子Fj对x的方差贡献。gj2就表示第j个公共因子Fj对于x的每一分量xi(i=1，2，„，p)所提供方差的总和，它是衡量公共因子相对重要性的指标。gj2越大，表明公共因子Fj对x的贡献越大，或者说对x的影响和作用就越大。如果将因子载荷矩阵A的所有gj2(j=1，2，„，m)都计算出来，使其按照大小排序，就可以依此提炼出最有影响力的公共因子。因子旋转建立因子分析模型的目的不仅是找出主因子，更重要的是知道每个主因子的意义，以便对实际问题进行分析。如果求出主因子解后，各个主因子的典型代表变量不很突出，还需要进行因子旋转，通过适当的旋转得到比较满意的主因子。旋转的方法有很多，正交旋转(orthogonalrotation)和斜交旋转(obliquerotation)是因子旋转的两类方法。最常用的方法是最大方差正交旋转法(Varimax)。进行因子旋转，就是要使因子载荷矩阵中因子载荷的平方值向0和1两个方向分化，使大的载荷更大，小的载荷更小。因子旋转过程中，如果因子对应轴相互正交，则称为正交旋转；如果因子对应轴相互间不是正交的，则称为斜交旋转。常用的斜交旋转方法有Promax法等。因子得分因子分析模型建立后，还有一个重要的作用是应用因子分析模型去评价每个样品在整个模型中的地位，即进行综合评价。例如地区经济发展的因子分析模型建立后，我们希望知道每个地区经济发展的情况，把区域经济划分归类，哪些地区发展较快，哪些中等发达，哪些较慢等。这时需要将公共因子用变量的线性组合来表示，也即由地区经济的各项指标值来估计它的因子得分。设公共因子F由变量x表示的线性组合为：Fj=uj1xj1+uj2xj2+„+ujpxjpj=1，2，…，m该式称为因子得分函数，由它来计算每个样品的公共因子得分。若取m=2,则将每个样品的P个变量代入上式即可算出每个样品的因子得分F1和F2，并将其在平面上做因子得分散点图，进而对样品进行分类或对原始数据进行更深入的研究。但因子得分函数中方程的个数m小于变量的个数p，所以并不能精确计算出因子得分，只能对因子得分进行估计。估计因子得分的方法较多，常用的有回归估计法，Bartlett估计法，Thomson估计法。回归估计法F=Xb=X(X①X)-1A①=XR-1A①(这里R为相关阵，且R=X①X)。Bartlett估计法Bartlett估计因子得分可由最小二乘法或极大似然法导出。F=[(W-1/2A)也W-1/2A]-1(W-1/2A)也W-1/2X=(A也W-1A)-1A也W-1X(3)Thomson估计法在回归估计法中，实际上是忽略特殊因子的作用，取R=X0乂，若考虑特殊因子的作用，此时R=X0X+W，于是有：F=XR-1A0=X(X0X+W)-1A0这就是Thomson估计的因子得分，使用矩阵求逆算法(参考线性代数文献)可以将其转换为：F=XR-1A0=X(I+A0W-1A)-1W-1A0因子分析的步骤因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。因此，因子分析的基本步骤和解决思路就是围绕这两个核心问题展开的。因子分析常常有以下四个基本步骤：确认待分析的原变量是否适合作因子分析。构造因子变量。利用旋转方法使因子变量更具有可解释性。计算因子变量得分。(ii)因子分析的计算过程：将原始数据标准化，以消除变量间在数量级和量纲上的不同。求标准化数据的相关矩阵；求相关矩阵的特征值和特征向量；计算方差贡献率与累积方差贡献率；确定因子：设F1,F2，…，Fp为p个因子，其中前m个因子包含的数据信息总量（即其累积贡献率）不低于80%时，可取前m个因子来反映原评价指标；（6）因子旋转：若所得的m个因子无法确定或其实际意义不是很明显，这时需将因子进行旋转以获得较为明显的实际含义。（7）用原指标的线性组合来求各因子得分：采用回归估计法，Bartlett估计法或Thomson估计法计算因子得分。（8）综合得分以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指标函数。F=（w1F1+w2F2+„+wmFm）/（w1+w2+„+wm）此处wi为旋转前或旋转后因子的方差贡献率。（9）得分排序：利用综合得分可以得到得分名次。在采用多元统计分析技术进行数据处理、建立宏观或微观系统模型时，需要研究以下几个方面的问题：-简化系统结构，探讨系统内核。可采用主成分分析、因子分析、对应分析等方法，在众多因素中找出各个变量最佳的子集合，从子集合所包含的信息描述多变量的系统结果及各个因子对系统的影响。“从树木看森林”，抓住主要矛盾，把握主要矛盾的主要方面，舍弃次要因素，以简化系统的结构，认识系统的内核。-构造预测模型，进行预报控制。在自然和社会科学领域的科研与生产中，探索多变量系统运动的客观规律及其与外部环境的关系，进行预测预报，以实现对系统的最优控制，是应用多元统计分析技术的主要目的。在多元分析中，用于预报控制的模型有两大类。一类是预测预报模型，通常采用多元线性回归或逐步回归分析、判别分析、双重筛选逐步回归分析等建模技术。另一类是描述性模型，通常采用聚类分析的建模技术。-进行数值分类，构造分类模式。在多变量系统的分析中，往往需要将系统性质相似的事物或现象归为一类。以便找出它们之间的联系和内在规律性。过去许多研究多是按单因素进行定性处理，以致处理结果反映不出系统的总的特征。进行数值分类，构造分类模式一般采用聚类分析和