多元统计-因子分析

3.1因子分析的基本思想返回3.1.1引例3.1.2因子分析的基本思想3.1.3与主成分分析的区别2007.8安徽财经大学统计与应用数学学院

3.1.1引例2007.8安徽财经大学统计与应用数学学院

3.1.2因子分析的基本思想

因子分析(factoranalysis)是一种数据简化的技术。它是通过寻找众多变量的公共因素来简化变量中存在的复杂关系的一种方法。它将多个变量综合为少数几个“因子”(假想变量)，以再现原始变量与“因子”之间的相互关系。这几个因子能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而因子是不可观测的潜在变量。因子分析的含义2007.8安徽财经大学统计与应用数学学院

通过因子分析得来的新变量是对每一个原始变量进行内部剖析，打比喻来说，原始变量就如成千上万的糕点，每一种糕点的原料都有面粉、油、糖及相应的不同原料，这其中，面粉、油、糖是所有糕点的共同材料，正如因子分析中的新变量即因子变量，正确选择因子变量后，如果想考虑成千上万糕点的物价变动，只需重点考虑面粉、油、糖等共因子的物价变动即可。

3.1.2因子分析的基本思想

所以因子分析不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。即因子分析就是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它把原始变量分解为两部分因素，一部分是由所有变量共同具有的少数几个公共因子构成的，另一部分是每个原始变量独自具有的因素，即特殊因子。2007.8安徽财经大学统计与应用数学学院

3.1.2因子分析的基本思想

因子分析分为两类，即R型因子分析（对变量作因子分析），Q型因子分析（对样品作因子分析）。这两种因子分析的处理方法一样，只是出发点不同，R型从变量的相关阵出发，Q型从样品相似阵出发。对一批观测数据，可以根据实际问题的要求来决定采用哪一种类型的因子分析。本章主要介绍R型因子分析。2007.8安徽财经大学统计与应用数学学院

因子分析（FactorAnalysis）是主成分分析的推广，它也是利用降维的思想，从研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合变量（因子）的一种多变量统计分析方法。

相对于主成分分析，因子分析更倾向于描述原始变量之间的相关关系；因此，因子分析的出发点是原始变量的相关矩阵。

3.1.2因子分析的基本思想2007.8安徽财经大学统计与应用数学学院

主成分分析分析与因子分析不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。主成分分析:原始变量的线性组合表示新的综合变量，即主成分；因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。因子分析与主成分分析3.1.3与主成分分析的区别2007.8安徽财经大学统计与应用数学学院

因子分析与主成分分析的区别(参见主成分分析与因子分析的异同比较及应用)：

1、主成分分析不能作为一个模型来描述，它只是通常的变量变换；而因子分析需要构造因子模型。

2、主成分分析中主成分的个数和变量的个数P相同，它是将一组具有相关性的变量变换为一组独立的变量（注意应用主成分分析解决实际问题时，一般只选取前m(m<p)个主成分；而因子分析的目的是要用尽可能少的公因子，以便构造一个结构简单的因子模型。

3、主成分分析是将主成分表示为可观测的原变量的线性组合；而因子分析是将原始变量表示为公因子和特殊因子的线性组合。另一方面，这两种分析方法之间在某些情况下也有一定联系，我们将从下面的介绍中看到。因子分析与主成分分析3.1.3与主成分分析的区别2007.8安徽财经大学统计与应用数学学院3.1.3与主成分分析的区别因子分析与回归分析

因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际意义。2007.8安徽财经大学统计与应用数学学院

3.1.2因子分析的基本思想因子变量的特点这些综合指标称为因子变量，是原变量的重新组构；个数远远少于原变量个数，但可反映原变量的绝大部分方差；不相关性，对因子变量的分析能够为研究工作提供较大的便利；因子变量具有可命名解释性；2007.8安徽财经大学统计与应用数学学院

因子分析把每个原始变量分解成两个部分：一部分是由所有变量共同具有的少数几个因子构成的，即所谓公共因素部分；另一部分是每个变量独自具有的因素，即所谓独特因素部分。

设

为观察到的随机向量，

是不可观测的向量(m应小于p)。于是：公共因子与特殊因子3.2.1初始因子模型（R型）2007.8安徽财经大学统计与应用数学学院3.2.1初始因子模型（R型）初始因子模型2007.8安徽财经大学统计与应用数学学院

因子模型的一般表达形式：Xi=ai1F1+ai2F2+…+aimFm+εi(i=1,…,p)3.2.1初始因子模型（R型）初始因子模型2007.8安徽财经大学统计与应用数学学院

也可以矩阵的形式表示为：X=AF+ε

式中Xi（i=1，2，…，m）和Fj（j=1，2，…，p）都是标准化变量。

3.2.1初始因子模型（R型）初始因子模型或:2007.8安徽财经大学统计与应用数学学院2007.8安徽财经大学统计与应用数学学院

1、因子模型中Fl，F2，…，Fm叫做因子变量或公（共）因子（潜因子）（Commonfactors)，它们是在各个原观测变量Xi的表达式中共同出现的因子（是各个原观测变量所共有的因子）。

可理解为原始变量共同具有的公共因素，每个公因子Fj

（j=1,…,m)假定至少对两个原始变量有作用（有贡献），否则它将归入特殊因子。3.2.2因子分析的几个相关概念因子变量（公因子）2007.8安徽财经大学统计与应用数学学院

公因子是相互独立的不可观测的理论变量（之所以称其为因子，是因为它是不可观测的，即不是具体的变量，与聚类分析不同）。公共因子的含义，必须结合具体问题的实际意义而定。3.2.2因子分析的几个相关概念因子变量（公因子）2007.8安徽财经大学统计与应用数学学院3.2.2因子分析的几个相关概念特殊因子2、（i=1，2，…，p）叫做特殊因子（Uniquefactor)，是向量X的分量Xi(i=1，…,P）所特有的因子。

每个特殊因子仅仅出现在与之相应的第i个原始变量Xi的表达式中，它只对这个原始变量有作用，表示该变量不能被公因子所解释的部分。相当于回归分析中的残差项。2007.8安徽财经大学统计与应用数学学院3.2.2因子分析的几个相关概念因子载荷

3、模型中的矩阵A=(aij)中的元素aij称为因子载荷（factorloadings)，它是第i个变量在第j个公因子上的负载（或者叫做第i个变量在第j个主因子上的权），在各公共因子不相关的前提下，因子载荷aij就是第i个原有变量与第j个公共因子的相关系数。

因子载荷aij表示Xi依赖Fj的程度(比重)（心理学家将它称为载荷），反映了第i个原有变量在第j个公共因子上的相对重要性。因此，aij的绝对值越大，则公共因子Fj与原有变量Xi的关系越强。或称公共因子Fj对于Xi的载荷量大，矩阵A称为因子载荷矩阵。2007.8安徽财经大学统计与应用数学学院

例：五个观测变量，两个公因子的模型：

X1=0.9562F1+0.2012F2+0.2126ε1

X2=0.8735F1+0.2896F2+0.3913ε2

X3=0.1744F1+0.8972F2+0.4057ε3X4=0.5675F1+0.7586F2+0.3202ε4X5=0.8562F1+0.3315F2+0.3962ε5

可看出，公因子F1与变量X1，X2，X4，X5关系密切，它主要代表了这些变量的信息；公因子F2与变量X3，X4关系密切，它主要代表了这两个变量的信息。2007.8安徽财经大学统计与应用数学学院

变量的方差由两部分组成，一部分由公因子决定，一部分由特殊因子决定。3.2.2因子分析的几个相关概念变量共同度Xi标准化后2007.8安徽财经大学统计与应用数学学院

h12=a112+a122+…+a1m2h22=a212+a222+…+a2m2

……

hp2=ap12+ap22+…+apm23.2.2因子分析的几个相关概念变量共同度2007.8安徽财经大学统计与应用数学学院A的行元素平方和(因子载荷阵中第i行元素的平方和)。反映了Xi

对公共因子的共同依赖程度，它的意义在于说明如果用公因子替代原观测变量后，原来每个变量的信息被保留的程度。故被称为变量Xi的共同度。3.2.2因子分析的几个相关概念变量共同度2007.8安徽财经大学统计与应用数学学院

公因子方差表示了变量方差中能被公因子所解释的部分（即反映了全部公因子对变量Xi的影响，是全部公因子对Xi的方差所做出的贡献——公因子对变量Xi的方差贡献），公因子方差越大，变量能被公因子说明的程度越高（越接近1，说明公共因子已经解释说明了原有变量Xi的几乎全部信息）。3.2.2因子分析的几个相关概念变量共同度2007.8安徽财经大学统计与应用数学学院3.2.2因子分析的几个相关概念变量共同度

特殊因子的方差，反映了原有变量方差中无法被公共因子描述的比例。仅与变量Xi本身的变化有关。2007.8安徽财经大学统计与应用数学学院

对于上面所举的五个观测变量、两个公因子的例子，计算出每个变量的公因子方差，=0.9548,表明F1和F2两个因子解释了变量X1信息量的95.48%。3.2.2因子分析的几个相关概念变量共同度2007.8安徽财经大学统计与应用数学学院3.2.2因子分析的几个相关概念公因子的方差贡献

因子载荷矩阵A中第j列各元素的平方和，表示第j个公共因子Fj对于X诸分量Xi所提供的方差的总和。称第j个公共因子的方差贡献。是衡量公共因子相对重要性的指标。2007.8安徽财经大学统计与应用数学学院S21=a112+a212+…+ap12

S22=a122+a222+…+ap22

………S2m=a1m2+a2m2+…+apm23.2.2因子分析的几个相关概念公因子的方差贡献

每个公因子对原始数据的解释能力，用该因子所解释的总方差（称为该因子的贡献）来衡量，公因子Fj的贡献等于和该因子有关的因子载荷量的平方和。（j=1,…,m)2007.8安徽财经大学统计与应用数学学院3.2.2因子分析的几个相关概念公因子的方差贡献2007.8安徽财经大学统计与应用数学学院……因子负荷矩阵的一般格式3.3因子载荷的估计方法3.3.1因子载荷的求解3.3.2求主因子解的步骤主成分法2007.8安徽财经大学统计与应用数学学院

要建立某实际问题的因子分析模型，关键是要根据样本数据矩阵估计载荷矩阵A（即求解初始因子——主要目的是确定能够解释观测变量之间相互关系的最小因子个数）。根据所依据的准则不同，有很多种求因子解的方法。其中使用最为普遍的方法是主成分法。3.3.1因子载荷的求解主成分法2007.8安徽财经大学统计与应用数学学院设随机向量的协差阵为∑。为∑的特征根，标准正交化特征向量（只要特征根不等，对应的单位特征向量一定是正交的)，则根据线性代数知识∑分解为：为对应的3.3.1因子载荷的求解主成分法,,21puuuL2007.8安徽财经大学统计与应用数学学院

上面的分解式恰是公共因子与变量个数一样多且特殊因子的方差为0时，因子模型中协差阵的结构。2007.8安徽财经大学统计与应用数学学院因为