因子分析解析(同名318)课件

建模

因子分析（FactorAnalysis）建模重点什么是因子分析？理解因子分析的基本思想因子分析的数学模型以及模型中公共因子、因子载荷变量共同度的统计意义因子分析的基本步骤因子旋转的意义重点什么是因子分析？引入研究事物时候，需要影响该对象的各种变量的大量数据。但是过多的变量会影响数据的采集和数据的分析。大多数情况下，多变量会出现相关，利用传统的多元回归就出现了大问题。如果删减指标，有时会损失很多有用的信息。需要在减少指标的同时，尽量减少对于原指标所包含信息的损失。由于各变量之间相关，所以有可能用较少的综合指标分别综合存在于各变量中的各类信息，从而达到降维的目的。引入研究事物时候，需要影响该对象的各种变量的大量数据。但是过降维思路：身高体重数据

变量观测量i身高h体重w1h1w12h2w23h3w34h4w4………nhnwn主成分概念示意图用p1一个指标来代替原始变量h、w研究n个观测对象的差异。p1、p2可以用原始变量h、w的线性组合来表示：降维思路：身高体重数据变量身高h体重w一、因子分析的基本理论1、什么是因子分析利用降维的思想，由研究原始变量相关矩阵或协方差矩阵的内部依赖关系出发，把一些具有错综复杂关系的多个变量归结为少数几个综合因子的一种多元统计分析方法。2、历史

由心理学家发展起来的，1904年，斯皮尔曼在美国心理学杂志上发表了第一篇有关因子分析的文章，来解释人类的行为和能力。50年代后，在社会学、经济学、医学、地质学、气象学和市场营销学中得到了广泛的应用。一、因子分析的基本理论1、什么是因子分析3、应用方面1、寻求基本结构summarization2、数据简化datareduction3、应用方面1、寻求基本结构summarization应用第一方面：寻求基本结构多元统计中，多变量如果存在较强的相关性。意味着他们所反映的信息高度重合，通过因子分析可以找到较少的代表因子。例如，某快餐店为了了解市场竞争力进行消费者调查，通过定性研究设计了30个调查项目，这30个项目可能反映了快餐的质量、价格、就餐环境和服务四个基本方面。通过因子分析我们能找到反映这四个因子和30个观测变量之间的关系。应用第一方面：寻求基本结构多元统计中，多变量如果存在较强的相应用第二方面：数据简化数据简化通过因子分析把一组观测变量化为较少的几个因子后，利用这些因子代替原来的观测变量进行其他的统计分析，比如：回归分析、路径分析、判别分析和聚类分析，利用因子值还可以直接对样本进行分类和综合评价。应用第二方面：数据简化数据简化把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子。因子分析的基本思想因子分析的基本思想因子分析原理因为任何一个变量都可以经过标准化处理，并且经过这样的标准化转化不改变变量间的相关系数。不失一般性，假设我们讨论的都是标准化变量。因子分析模型和多元回归模型类似每个观测变量由一组因子的线性组合来表示。设有p个观测变量都是0均值，单位方差的标准化变量。因子分析原理因为任何一个变量都可以经过标准化处理，并且经过这

4、因子分析模型

设个变量，如果表示为4、因子分析模型设（1）（2）

称为公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊因子，是不能被前m个公共因子包含的部分。其中：不相关；即互不相关，方差为1。称为公共因子，是不可观测的变量，他们（3）即互不相关，方差不一定相等，。满足以上条件的，称为正交因子模型．如果（２）不成立，即各公共因子之间不独立，则因子分析模型为斜交因子模型．（3）即互不相关，方差不一定相等，。5、因子分析的目的因子分析的目的之一，简化变量维数。即要使因素结构简单化，希望以最少的共同因素（公共因子），能对总变异量作最大的解释，因而抽取得因子愈少愈好，但抽取因子的累积解释的变异量愈大愈好。在因子分析的公共因子抽取中，应最先抽取特征值最大的公共因子，其次是次大者，最后抽取公共因子的特征值最小的，通常会接近0。5、因子分析的目的案例1：在企业形象或品牌形象的研究中，消费者可以通过一个有24个指标构成的评价体系，评价百货商场的24个方面的优劣。但消费者主要关心的是三个方面，即商店的环境、商店的服务和商品的价格。因子分析方法可以通过24个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合评价。而这三个公共因子可以表示为：是不可观测的潜在因子,称为公共因子。24个变量共享这三个因子.但是每个变量又有自己的个性，不被包含的部分，称为特殊因子。案例1：在企业形象或品牌形象的研究中，消费者可以通过一个有2

公因子F1公因子F2共同度hi特殊因子δix1=代数10.8960.3410.9190.081x2=代数20.8020.4960.8890.111x3=几何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析几何0.8330.4340.8820.118特征值G3.1131.4794.9590.409方差贡献率（变异量）62.26%29.58%91.85%因子分析案例2F1体现逻辑思维和运算能力，F2体现空间思维和推理能力

公因子F1公因子共同度特殊因子x1=代数10.8960.3

公因子F1公因子F2x1=代数10.8960.341x2=代数20.8020.496x3=几何0.5160.855x4=三角0.8410.444x5=解析几何0.8330.434因子分析案例2该案例是对数学专业的五门专业课进行相关性因子分析

公因子公因子x1=代数10.8960.341x2=代数206、因子分析模型中的几个重要统计量的意义（1）因子负荷量（或称因子载荷）----是指因子结构中原始变量与因子分析时抽取出的公共因子的相关程度。6、因子分析模型中的几个重要统计量的意义注意：在各公共因子不相关的前提下，（载荷矩阵中第i行，第j列的元素）是随机变量xi*与公共因子Fj的相关系数，表示xi*依赖于Fj的程度。反映了第i个原始变量在第j个公共因子上的相对重要性。因此绝对值越大，则公共因子Fj与原有变量xi的关系越强。注意：（2）共同度----又称共性方差或公因子方差（community或commonvariance）就是观测变量的方差中由公因子决定的比例。当因子正交时，等于每个公共因子之负荷量的平方总和（一行中所有因素负荷量的平方和）。变量的共同度是因子载荷矩阵的第i行的元素的平方和。记为

从共同性的大小可以判断这个原始实测变量与公共因子间之关系程度。特殊因子方差（剩余方差）----各变量的特殊因素影响大小就是1减掉该变量共同度的值。（2）共同度----又称共性方差或公因子方差（communi统计意义：两边求方差

所有的公共因子和特殊因子对变量的贡献为1。hi2反映了全部公共因子对变量Xi*的影响，是全部公共因子对变量方差所做出的贡献，或者说Xi*对公共因子的共同依赖程度，称为公共因子对变量Xi*的方差贡献。

hi2接近于1，表明该变量的原始信息几乎都被选取的公共因子说明了。特殊因子的方差，反映了原有变量方差中无法被公共因子描述的比例。统计意义：两边求方差所有的公共因子和特殊因子对变

公因子F1公因子F2共同度hi特殊因子δix1=代数10.8960.3410.9190.081x2=代数20.8020.4960.8890.111x3=几何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析几何0.8330.4340.8820.118因子分析案例2第一个观测变量共同度h12=(0.896)平方+(0.341)平方=0.919同时，它的剩余方差是：

公因子F1公因子共同度特殊因子x1=代数10.8960.3（3）特征值----是第j个公共因子Fj对于X*的每一分量Xi*所提供的方差的总和。又称第j个公共因子的方差贡献。即每个变量与某一共同因子之因子负荷量的平方总和（因子载荷矩阵中某一公共因子列所有因子负荷量的平方和）。

如因子分析案例中

F1的特征值

G=（0.896）平方+（0.802）平方+（0.516）平方+（0.841）平方+（0.833）平方=3.113表示了每个公因子对数据的届时能力（3）特征值----是第j个公共因子Fj对于X*的每一分量X（4）方差贡献率实际中更常用的指标--指每个因子所解释的方差占所有变量总方差的比例。即公共因子对实测变量的贡献，变量方差贡献率=特征值G/p，是衡量公共因子相对重要性的指标，Gi越大，表明公共因子Fj对X*的贡献越大，该因子的重要程度越高如因子分析案例中F1的贡献率为3.113/5=62.26%（4）方差贡献率如因子分析案例中F1的贡献率为3.113/

7、主成分分析分析principalcomponents与因子分析的联系和差异

联系：（1）因子分析是主成分分析的推广，是主成分分析的逆问题。（2）二者都是以‘降维’为目的，都是从协方差矩阵或相关系数矩阵出发。

区别：（1）主成分分析模型是原始变量的线性组合，是将原始变量加以综合、归纳，仅仅是变量变换；而因子分析是将原始变量加以分解，描述原始变量协方差矩阵结构的模型；只有当提取的公因子个数等于原始变量个数时，因子分析才对应变量变换。（2）主成分分析，中每个主成分对应的系数是唯一确定的；因子分析中每个因子的相应系数即因子载荷不是唯一的。（3）因子分析中因子载荷的不唯一性有利于对公共因子进行有效解释；而主成分分析对提取的主成分的解释能力有限。目的不同！一个侧重降维，一个侧重解释！

7、主成分分析分析principalcomponent二、因子分析的基本内容1、因子分析的基本步骤（1）因子分析的前提条件鉴定考察原始变量之间是否存在较强的相关关系，是否适合进行因子分析。因为：因子分析的主要任务之一就是对原有变量中信息重叠的部分提取和综合成因子，最终实现减少变量个数的目的。所以要求原有变量之间应存在较强的相关关系。否则，如果原有变量相互独立，不存在信息重叠，也就无需进行综合和因子分析。（2）因子提取

研究如何在样本数据的基础上提取综合因子。二、因子分析的基本内容1、因子分析的基本步骤（3）因子旋转

通过正交旋转或斜交旋转使提取出的因子具有可解释性。（4）计算因子得分

通过各种方法求解各样本在各因子上的得分，为进一步分析奠定基础。（3）因子旋转2、因子分析前提条件——相关性分析分析方法主要有：（1）计算相关系数矩阵(correlationcoefficientsmatrix)

如果相关系数矩阵中的大部分相关系数值均小于0.3，即各变量间大多为弱相关，原则上这些变量不适合进行因子分析。（2）计算反映象相关矩阵（Anti-imagecorrelationmatrix)2、因子分析前提条件——相关性分析

反映象相关矩阵，如果其主对角线外的元素大多绝对值较小，对角线上的元素值较接近1，则说明这些变量的相关性较强，适合进行因子分析。其中主对角线上的元素为某变量的MSA(MeasureofSampleAdequacy)：

是变量和变量（）间的简单相关系数，是变量和变量（）在控制了其他变量影响下的偏相关系数，即净相关系数。取值在0和1之间，越接近1，意味着变量与其他变量间的相关性越强，越接近0则相关性越弱。反映象相关矩阵，如果其主对角线外的元素大多（3）巴特利特球度检验（Bartletttestofsphericity)

该检验以原有变量的相关系数矩阵为出发点，其零假设H0是：相关系数矩阵为单位矩阵，即相关系数矩阵主对角元素均为1，非主对角元素均为0。（即原始变量之间无相关关系）。

依据相关系数矩阵的行列式计算可得其近似服从卡方分布。如果统计量卡方值较大且对应的sig值小于给定的显著性水平a时，零假设不成立。即说明相关系数矩阵不太可能是单位矩阵，变量之间存在相关关系，适合做因子分析。（3）巴特利特球度检验（Bartletttestofs（4）KMO(Kaiser-Meyer-Olkin)检验

KMO检验的统计量是用于比较变量间简单相关系数矩阵和偏相关系数的指标，数学定义为：

KMO与MSA区别是它将相关系数矩阵中的所有元素都加入到了平方和计算中。KMO值越接近1，意味着变量间的相关性越强，原有变量适合做因子分析；越接近0，意味变量间的相关性越弱，越不适合作因子分析。Kaiser给出的KMO度量标准：0.9以上非常适合；0.8表示适合；0.7表示一般；0.6表示不太适合；0.5以下表示极不适合。（4）KMO(Kaiser-Meyer-Olkin)检验3、因子提取和因子载荷矩阵的求解因子载荷矩阵求解的方法：

（1）基于主成分模型的主成分分析法（2）基于因子分析模型的主轴因子法（3）极大似然法（4）最小二乘法（5）a因子提取法（6）映象分析法3、因子提取和因子载荷矩阵的求解（1）基于主成分模型的主成分分析法Principalcomponents

设随机向量的均值为，协方差为,为的特征根，为对应的标准化特征向量，则（1）基于主成分模型的主成分分析法Principalco上式给出的表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献，有：因子分析解析(同名318)课件上式有一个假定，模型中的特殊因子是不重要的，因而从的分解中忽略了特殊因子的方差。因子分析解析(同名318)课件

例:

假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主成分分析法求因子分析模型。例:假定某地固定资产投资率，通货膨胀率，(1)求解特征根(2)求解特征向量：(3)因子载荷矩阵：(1)求解特征根(4)因子分析模型：

可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献为1.55。第一公因子F2为投资因子，对X的贡献为0.85。共同度分别为1，0.706，0.706。(4)因子分析模型：（2）基于因子分析模型的主轴因子法Principalaxisfactoring

是对主成分方法的修正，假定我们首先对变量进行标准化变换。则

R=AA’+DR*=AA’=R-D称R*为约相关矩阵，R*对角线上的元素是,而不是1。（2）基于因子分析模型的主轴因子法Principalaxi直接求R*的前p个特征根和对应的正交特征向量。得如下的矩阵：因子分析解析(同名318)课件当特殊因子的方差已知：当特殊因子的方差已知：方差矩阵未知，估计的方法有如下几种：

1）取，在这个情况下主因子解与主成分解等价；2）取，为xi与其他所有的原始变量xj的复相关系数的平方，即xi对其余的p-1个xj的回归方程的判定系数，这是因为xi

与公共因子的关系是通过其余的p-1个xj

的线性组合联系起来的；

3）取，这意味着取xi与其余的xj的简单相关系数的绝对值最大者；方差矩阵未知，估计的方法有如下几种：1）取

4）取，其中要求该值为正数。5）取，其中是的对角元素。

例：假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主轴因子分析法求因子分析模型。假定用代替初始的。。例：假定某地固定资产投资率，通货膨胀率，（1）求解特征根：（2）对应的非0特征向量：（3）因子载荷矩阵表：（1）求解特征根：（4）因子分析模型：（5）新的共同度：（4）因子分析模型：4、因子旋转为什么要旋转因子？建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使每个变量在尽可能少的因子上有比较高的载荷，让某个变量在某个因子上的载荷趋于1，而在其他因子上的载荷趋于0。即：使载荷矩阵每列或行的元素平方值向0和1两极分化。4、因子旋转案例3：奥运会十项全能运动项目得分数据的因子分析

百米跑成绩跳远成绩铅球成绩跳高成绩400米跑成绩百米跨栏铁饼成绩撑杆跳远成绩标枪成绩1500米跑成绩案例3：奥运会十项全能运动项目因子分析解析(同名318)课件因

子

载

荷

矩

阵因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表因

子

载

荷

矩

阵旋转变换后因子载荷矩阵旋转变换后因子载荷矩阵通过旋转，因子有了较为明确的含义。百米跑，跳远和400米跑，需要爆发力的项目在有较大的载荷，可以称为短跑速度因子；铅球，铁饼和标枪在上有较大的载荷，可以称为爆发性臂力因子；百米跨栏，撑杆跳远，跳远和为跳高在上有较大的载荷，爆发腿力因子；长跑耐力因子。通过旋转，因子有了较为明确的含义。百米跑，因子旋转的方法有：（1）正交旋转；（2）斜交旋转（1）正交旋转

由初始载荷矩阵A左乘一正交矩阵得到；目的是新的载荷系数尽可能的接近于0或尽可能的远离0；只是在旋转后的新的公因子仍保持独立性。主要有以下方法：varimax:方差最大旋转。简化对因子的解释quartmax:四次最大正交旋转。简化对变量的解释equamax:等量正交旋转因子旋转的方法有：（1）正交旋转；（2）斜交旋转A、方差最大法方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上有较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于1，另一部分趋于0。A、方差最大法方差最大法从简化因子载荷矩阵的每一B、四次方最大旋转四次方最大旋转是从简化载荷矩阵的行出发，通过旋转初始因子，使每个变量只在一个因子上有较高的载荷，而在其它的因子上尽可能低的载荷。如果每个变量只在一个因子上有非零的载荷，这时的因子解释是最简单的。四次方最大法通过使因子载荷矩阵中每一行的因子载荷平方的方差达到最大。B、四次方最大旋转四次方最大旋转是从简化载荷矩阵C、等量最大法

等量最大法把四次方最大法和方差最大法结合起来求行和列因子载荷平方的方差的加权平均最大。C、等量最大法（2）斜交旋转

目的是新的载荷系数尽可能的接近于0或尽可能的远离0；只是在旋转时，放弃了因子之间彼此独立的限制，旋转后的新公因子更容易解释。主要有以下的方法：directoblimin:直接斜交旋转。允许因子之间具有相关性；promax:斜交旋转方法。允许因子之间具有相关性；（2）斜交旋转5、因子得分因子得分的概念

前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些因子做其他的研究，比如把得到的因子作为自变量来做回归分析，对样本进行分类或评价，这就需要我们对公共因子进行测度，即给出公共因子的值。5、因子得分例：人均要素变量因子分析。对我国32个省市自治区的要素状况作因子分析。指标体系中有如下指标：X1：人口（万人）X2：面积（万平方公里）X3：GDP（亿元）X4：人均水资源（立方米/人）X5：人均生物量（吨/人）X6：万人拥有的大学生数（人）X7：万人拥有科学家、工程师数（人）

RotatedFactorPatternFACTOR1FACTOR2FACTOR3X1-0.21522-0.273970.89092X20.63973-0.28739-0.28755X3-0.157910.063340.94855X40.95898-0.01501-0.07556X50.97224-0.06778-0.17535X6-0.114160.98328-0.08300X7-0.110410.97851-0.07246例：人均要素变量因子分析。对我国32个省市自治区的要素状况作对应的因子分析模型X1=-0.21522F1-0.27397F2+0.89092F3X2=0.63973F1-0.28739F2-0.28755F3X3=-0.15791F1+0.06334F2+0.94855F3X4=0.95898F1-0.01501F2-0.07556F3X5=0.97224F1-0.06778F2-0.17535F3X6=-0.11416F1+0.98328F2-0.08300F3X7=-0.11041F1+0.97851F2-0.07246F3对应的因子分析模型X1=-0.21522F1-0.27

高载荷指标

因子命名

因子1X2；面积（万平方公里）X4:人均水资源（立方米/人）X5:人均生物量（吨/人）自然资源因子

因子2X6：万人拥有的大学生数（人）X7：万人拥有的科学家、工程师数（人）

人力资源因子

因子3

X1;人口（万人）X3:GDP(亿元)经济发展总量因子

X2；面积（万平方公里）自然资源因子

X6：万人拥有StandardizedScoringCoefficients

FACTOR1

FACTOR2

FACTOR3X10.05764

-0.06098

0.50391X20.22724

-0.09901

-0.07713X30.14635

0.12957

0.59715X40.47920

0.11228

0.17062X50.45583

0.07419

0.10129X60.05416

0.48629

0.04099X70.05790

0.48562

0.04822F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.45583X5+0.05416X6+0.05790X7F2=-0.06098X1-0.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48629X6+0.48562X7F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X7StandardizedScoringCoefficie

前三个因子得分REGION

FACTOR1FACTOR2FACTOR3beijing©-0.081694.23473-0.37983tianjin-0.474221.31789-0.87891hebei-0.22192-0.358020.86263shanxi1-0.48214-0.32643-0.54219neimeng0.54446-0.66668-0.92621liaoning-0.205110.463770.34087jilin-0.214990.10608-0.57431heilongj0.10839-0.11717-0.02219shanghai-0.200692.38962-0.04259前三个因子分析的数学模型为：原变量被表示为公共因子的线性组合，当载荷矩阵旋转之后，公共因子可以做出解释，通常的情况下，我们还想反过来把公共因子表示为原变量的线性组合。因子得分函数：因子分析的数学模型为：可见，要求得每个因子的得分，必须求得分函数的系数，而由于p>m，所以不能得到精确的得分，只能通过估计。因子得分的计算方法：（1）运用回归分析思想求解（2）Bartlett（3）Anderson-rubin可见，要求得每个因子的得分，必须求得分函数的系数，而由于p>（1）运用回归分析思想求解（1）运用回归分析思想求解则，我们有如下的方程组：则，我们有如下的方程组：j=1,2,…,mj=1,2,…,m

注：共需要解m次才能解出所有的得分函数的系数。注：共需要解m次才能解出所有的得分函数的系数（2）Bartlett法(即：加权最小二乘法）把一个个体的p个变量的取值X*当作因变量，把求因子解中得到的A作为自变量数据阵，对于这个个体在公因子上的取值f，当作未知参数，而特殊因子的取值看作误差e，于是得到如下的线性回归模型：x*=Af+e，则称未知参数f为取值为X*的因子得分。

最小二乘法（3）Anderson-rubin（略）（2）Bartlett法(即：加权最小二乘法）最小二乘法（案例分析：国民生活质量的因素分析

国家发展的最终目标，是为了全面提高全体国民的生活质量，满足广大国民日益增长的物质和文化的合理需求。在可持续发展消费的统一理念下，增加社会财富，创造更多的物质文明和精神文明，保持人类的健康延续和生生不息，在人类与自然协同进化的基础上，维系人类与自然的平衡，达到完整的代际公平和区际公平(即时间过程的最大合理性与空间分布的最大合理化)。从1990年开始，联合国开发计划署(UYNP)首次采用“人文发展系数”指标对于国民生活质量进行测度。人文发展系数利用三类内涵丰富的指标组合，即人的健康状况(使用出生时的人均预期寿命表达)、人的智力程度(使用组合的教育成就表达)、人的福利水平(使用人均国民收入或人均GDP表达)，并且特别强调三类指标组合的整体表达内涵，去衡量一个国家或地区的社会发展总体状况以及国民生活质量的总水平。案例分析：国民生活质量的因素分析在这个指标体系中有如下的指标：X1——预期寿命X2——成人识字率X3——综合入学率X4——人均GDP（美圆）X5——预期寿命指数X6——教育成就指数X7——人均GDP指数在这个指标体系中有如下的指标：

FACTOR1为经济发展因子

FACTOR2为教育成就因子

FACTOR3为健康水平因子RotatedFactorPatternFACTOR1FACTOR2FACTOR30.381290.417650.817140.121660.848280.459810.648030.618220.22398

0.904100.205310.341000.388540.432950.80848

0.282070.853250.43289

0.900910.206120.35052旋转后的因子结构X1——预期寿命X2——成人识字率X3——综合入学率X4——人均GDP（美圆）X5——预期寿命指数X6——教育成就指数X7——人均GDP指数RotatedFactorPattern被每个因子解释的方差和共同度：

VarianceexplainedbyeachfactorFACTOR1FACTOR2FACTOR32.4397002.2763172.009490FinalCommunalityEstimates:Total=6.725507X1X2X3X4X50.9875300.9457960.8523060.9758300.992050X6X70.9949950.976999

被每个因子解释的方差和共同度：StandardizedScoringCoefficients标准化得分系数

FACTOR1FACTOR2FACTOR3X1-0.18875-0.343970.85077X2-0.241090.60335-0.10234X30.354620.50232-0.59895X40.53990-0.17336-0.10355X5-0.17918-0.316040.81490X6-0.092300.62258-0.24876StandardizedScoringCoefficie案例4：生育率的影响因素分析

生育率受社会、经济、文化、计划生育政策等很多因素影响，但这些因素对生育率的影响并不是完全独立的，而是交织在一起，如果直接用选定的变量对生育率进行多元回归分析，最终结果往往只能保留两三个变量，其他变量的信息就损失了。因此，考虑用因子分析的方法，找出变量间的数据结构，在信息损失最少的情况下用新生成的因子对生育率进行分析。选择的变量有：多子率、综合节育率、初中以上文化程度比例、城镇人口比例、人均国民收入。下表是1990年中国30个省、自治区、直辖市的数据。案例4：生育率的影响因素因子分析解析(同名318)课件EigenvalueDifferenceProportionCumulative3.249175972.034642910.64980.64981.214533060.962968000.24290.89270.251565070.067433970.05030.94310.184131090.083536290.03680.97990.100594800.0201

1.0000特征根与各因子的贡献EigenvalueDifferenceProportion没有旋转的因子结构

Factor1Factor2x1-0.760620.55316x20.56898-0.76662x30.891840.25374x40.870660.34618x50.890760.36962没有旋转的因子结构

Factor1Factor2x1-0.7各旋转后的共同度0.884540230.911439980.859770610.877894530.93006369Factor1可解释方差Factor2可解释方差2.99754292.1642615各旋转后的共同度0.884540230.911439980.

在这个例子中我们得到了两个因子，第一个因子是社会经济发展水平因子，第二个是计划生育因子。有了因子得分值后，则可以利用因子得分为变量，进行其他的统计分析。

Factor1Factor2x1-0.35310-0.87170x20.077570.95154x30.891140.25621x40.922040.16655x50.951490.15728

Factor1Factor2x1-0.05897-0.49252x2-0.058050.58056x30.330420.03497x40.35108-0.02506x50.36366-0.03493方差最大旋转后的因子结构标准化得分函数在这个例子中我们得到了两个因子，第一个因子是社会建模

因子分析（FactorAnalysis）建模重点什么是因子分析？理解因子分析的基本思想因子分析的数学模型以及模型中公共因子、因子载荷变量共同度的统计意义因子分析的基本步骤因子旋转的意义重点什么是因子分析？引入研究事物时候，需要影响该对象的各种变量的大量数据。但是过多的变量会影响数据的采集和数据的分析。大多数情况下，多变量会出现相关，利用传统的多元回归就出现了大问题。如果删减指标，有时会损失很多有用的信息。需要在减少指标的同时，尽量减少对于原指标所包含信息的损失。由于各变量之间相关，所以有可能用较少的综合指标分别综合存在于各变量中的各类信息，从而达到降维的目的。引入研究事物时候，需要影响该对象的各种变量的大量数据。但是过降维思路：身高体重数据

变量观测量i身高h体重w1h1w12h2w23h3w34h4w4………nhnwn主成分概念示意图用p1一个指标来代替原始变量h、w研究n个观测对象的差异。p1、p2可以用原始变量h、w的线性组合来表示：降维思路：身高体重数据变量身高h体重w一、因子分析的基本理论1、什么是因子分析利用降维的思想，由研究原始变量相关矩阵或协方差矩阵的内部依赖关系出发，把一些具有错综复杂关系的多个变量归结为少数几个综合因子的一种多元统计分析方法。2、历史

由心理学家发展起来的，1904年，斯皮尔曼在美国心理学杂志上发表了第一篇有关因子分析的文章，来解释人类的行为和能力。50年代后，在社会学、经济学、医学、地质学、气象学和市场营销学中得到了广泛的应用。一、因子分析的基本理论1、什么是因子分析3、应用方面1、寻求基本结构summarization2、数据简化datareduction3、应用方面1、寻求基本结构summarization应用第一方面：寻求基本结构多元统计中，多变量如果存在较强的相关性。意味着他们所反映的信息高度重合，通过因子分析可以找到较少的代表因子。例如，某快餐店为了了解市场竞争力进行消费者调查，通过定性研究设计了30个调查项目，这30个项目可能反映了快餐的质量、价格、就餐环境和服务四个基本方面。通过因子分析我们能找到反映这四个因子和30个观测变量之间的关系。应用第一方面：寻求基本结构多元统计中，多变量如果存在较强的相应用第二方面：数据简化数据简化通过因子分析把一组观测变量化为较少的几个因子后，利用这些因子代替原来的观测变量进行其他的统计分析，比如：回归分析、路径分析、判别分析和聚类分析，利用因子值还可以直接对样本进行分类和综合评价。应用第二方面：数据简化数据简化把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子。因子分析的基本思想因子分析的基本思想因子分析原理因为任何一个变量都可以经过标准化处理，并且经过这样的标准化转化不改变变量间的相关系数。不失一般性，假设我们讨论的都是标准化变量。因子分析模型和多元回归模型类似每个观测变量由一组因子的线性组合来表示。设有p个观测变量都是0均值，单位方差的标准化变量。因子分析原理因为任何一个变量都可以经过标准化处理，并且经过这

4、因子分析模型

设个变量，如果表示为4、因子分析模型设（1）（2）

称为公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊因子，是不能被前m个公共因子包含的部分。其中：不相关；即互不相关，方差为1。称为公共因子，是不可观测的变量，他们（3）即互不相关，方差不一定相等，。满足以上条件的，称为正交因子模型．如果（２）不成立，即各公共因子之间不独立，则因子分析模型为斜交因子模型．（3）即互不相关，方差不一定相等，。5、因子分析的目的因子分析的目的之一，简化变量维数。即要使因素结构简单化，希望以最少的共同因素（公共因子），能对总变异量作最大的解释，因而抽取得因子愈少愈好，但抽取因子的累积解释的变异量愈大愈好。在因子分析的公共因子抽取中，应最先抽取特征值最大的公共因子，其次是次大者，最后抽取公共因子的特征值最小的，通常会接近0。5、因子分析的目的案例1：在企业形象或品牌形象的研究中，消费者可以通过一个有24个指标构成的评价体系，评价百货商场的24个方面的优劣。但消费者主要关心的是三个方面，即商店的环境、商店的服务和商品的价格。因子分析方法可以通过24个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合评价。而这三个公共因子可以表示为：是不可观测的潜在因子,称为公共因子。24个变量共享这三个因子.但是每个变量又有自己的个性，不被包含的部分，称为特殊因子。案例1：在企业形象或品牌形象的研究中，消费者可以通过一个有2

公因子F1公因子F2共同度hi特殊因子δix1=代数10.8960.3410.9190.081x2=代数20.8020.4960.8890.111x3=几何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析几何0.8330.4340.8820.118特征值G3.1131.4794.9590.409方差贡献率（变异量）62.26%29.58%91.85%因子分析案例2F1体现逻辑思维和运算能力，F2体现空间思维和推理能力

公因子F1公因子共同度特殊因子x1=代数10.8960.3

公因子F1公因子F2x1=代数10.8960.341x2=代数20.8020.496x3=几何0.5160.855x4=三角0.8410.444x5=解析几何0.8330.434因子分析案例2该案例是对数学专业的五门专业课进行相关性因子分析

公因子公因子x1=代数10.8960.341x2=代数206、因子分析模型中的几个重要统计量的意义（1）因子负荷量（或称因子载荷）----是指因子结构中原始变量与因子分析时抽取出的公共因子的相关程度。6、因子分析模型中的几个重要统计量的意义注意：在各公共因子不相关的前提下，（载荷矩阵中第i行，第j列的元素）是随机变量xi*与公共因子Fj的相关系数，表示xi*依赖于Fj的程度。反映了第i个原始变量在第j个公共因子上的相对重要性。因此绝对值越大，则公共因子Fj与原有变量xi的关系越强。注意：（2）共同度----又称共性方差或公因子方差（community或commonvariance）就是观测变量的方差中由公因子决定的比例。当因子正交时，等于每个公共因子之负荷量的平方总和（一行中所有因素负荷量的平方和）。变量的共同度是因子载荷矩阵的第i行的元素的平方和。记为

从共同性的大小可以判断这个原始实测变量与公共因子间之关系程度。特殊因子方差（剩余方差）----各变量的特殊因素影响大小就是1减掉该变量共同度的值。（2）共同度----又称共性方差或公因子方差（communi统计意义：两边求方差

所有的公共因子和特殊因子对变量的贡献为1。hi2反映了全部公共因子对变量Xi*的影响，是全部公共因子对变量方差所做出的贡献，或者说Xi*对公共因子的共同依赖程度，称为公共因子对变量Xi*的方差贡献。

hi2接近于1，表明该变量的原始信息几乎都被选取的公共因子说明了。特殊因子的方差，反映了原有变量方差中无法被公共因子描述的比例。统计意义：两边求方差所有的公共因子和特殊因子对变

公因子F1公因子F2共同度hi特殊因子δix1=代数10.8960.3410.9190.081x2=代数20.8020.4960.8890.111x3=几何0.5160.8550.9970.003x4=三角0.8410.4440.9040.096x5=解析几何0.8330.4340.8820.118因子分析案例2第一个观测变量共同度h12=(0.896)平方+(0.341)平方=0.919同时，它的剩余方差是：

公因子F1公因子共同度特殊因子x1=代数10.8960.3（3）特征值----是第j个公共因子Fj对于X*的每一分量Xi*所提供的方差的总和。又称第j个公共因子的方差贡献。即每个变量与某一共同因子之因子负荷量的平方总和（因子载荷矩阵中某一公共因子列所有因子负荷量的平方和）。

如因子分析案例中

F1的特征值

G=（0.896）平方+（0.802）平方+（0.516）平方+（0.841）平方+（0.833）平方=3.113表示了每个公因子对数据的届时能力（3）特征值----是第j个公共因子Fj对于X*的每一分量X（4）方差贡献率实际中更常用的指标--指每个因子所解释的方差占所有变量总方差的比例。即公共因子对实测变量的贡献，变量方差贡献率=特征值G/p，是衡量公共因子相对重要性的指标，Gi越大，表明公共因子Fj对X*的贡献越大，该因子的重要程度越高如因子分析案例中F1的贡献率为3.113/5=62.26%（4）方差贡献率如因子分析案例中F1的贡献率为3.113/

7、主成分分析分析principalcomponents与因子分析的联系和差异

联系：（1）因子分析是主成分分析的推广，是主成分分析的逆问题。（2）二者都是以‘降维’为目的，都是从协方差矩阵或相关系数矩阵出发。

区别：（1）主成分分析模型是原始变量的线性组合，是将原始变量加以综合、归纳，仅仅是变量变换；而因子分析是将原始变量加以分解，描述原始变量协方差矩阵结构的模型；只有当提取的公因子个数等于原始变量个数时，因子分析才对应变量变换。（2）主成分分析，中每个主成分对应的系数是唯一确定的；因子分析中每个因子的相应系数即因子载荷不是唯一的。（3）因子分析中因子载荷的不唯一性有利于对公共因子进行有效解释；而主成分分析对提取的主成分的解释能力有限。目的不同！一个侧重降维，一个侧重解释！

7、主成分分析分析principalcomponent二、因子分析的基本内容1、因子分析的基本步骤（1）因子分析的前提条件鉴定考察原始变量之间是否存在较强的相关关系，是否适合进行因子分析。因为：因子分析的主要任务之一就是对原有变量中信息重叠的部分提取和综合成因子，最终实现减少变量个数的目的。所以要求原有变量之间应存在较强的相关关系。否则，如果原有变量相互独立，不存在信息重叠，也就无需进行综合和因子分析。（2）因子提取

研究如何在样本数据的基础上提取综合因子。二、因子分析的基本内容1、因子分析的基本步骤（3）因子旋转

通过正交旋转或斜交旋转使提取出的因子具有可解释性。（4）计算因子得分

通过各种方法求解各样本在各因子上的得分，为进一步分析奠定基础。（3）因子旋转2、因子分析前提条件——相关性分析分析方法主要有：（1）计算相关系数矩阵(correlationcoefficientsmatrix)

如果相关系数矩阵中的大部分相关系数值均小于0.3，即各变量间大多为弱相关，原则上这些变量不适合进行因子分析。（2）计算反映象相关矩阵（Anti-imagecorrelationmatrix)2、因子分析前提条件——相关性分析

反映象相关矩阵，如果其主对角线外的元素大多绝对值较小，对角线上的元素值较接近1，则说明这些变量的相关性较强，适合进行因子分析。其中主对角线上的元素为某变量的MSA(MeasureofSampleAdequacy)：

是变量和变量（）间的简单相关系数，是变量和变量（）在控制了其他变量影响下的偏相关系数，即净相关系数。取值在0和1之间，越接近1，意味着变量与其他变量间的相关性越强，越接近0则相关性越弱。反映象相关矩阵，如果其主对角线外的元素大多（3）巴特利特球度检验（Bartletttestofsphericity)

该检验以原有变量的相关系数矩阵为出发点，其零假设H0是：相关系数矩阵为单位矩阵，即相关系数矩阵主对角元素均为1，非主对角元素均为0。（即原始变量之间无相关关系）。

依据相关系数矩阵的行列式计算可得其近似服从卡方分布。如果统计量卡方值较大且对应的sig值小于给定的显著性水平a时，零假设不成立。即说明相关系数矩阵不太可能是单位矩阵，变量之间存在相关关系，适合做因子分析。（3）巴特利特球度检验（Bartletttestofs（4）KMO(Kaiser-Meyer-Olkin)检验

KMO检验的统计量是用于比较变量间简单相关系数矩阵和偏相关系数的指标，数学定义为：

KMO与MSA区别是它将相关系数矩阵中的所有元素都加入到了平方和计算中。KMO值越接近1，意味着变量间的相关性越强，原有变量适合做因子分析；越接近0，意味变量间的相关性越弱，越不适合作因子分析。Kaiser给出的KMO度量标准：0.9以上非常适合；0.8表示适合；0.7表示一般；0.6表示不太适合；0.5以下表示极不适合。（4）KMO(Kaiser-Meyer-Olkin)检验3、因子提取和因子载荷矩阵的求解因子载荷矩阵求解的方法：

（1）基于主成分模型的主成分分析法（2）基于因子分析模型的主轴因子法（3）极大似然法（4）最小二乘法（5）a因子提取法（6）映象分析法3、因子提取和因子载荷矩阵的求解（1）基于主成分模型的主成分分析法Principalcomponents

设随机向量的均值为，协方差为,为的特征根，为对应的标准化特征向量，则（1）基于主成分模型的主成分分析法Principalco上式给出的表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献，有：因子分析解析(同名318)课件上式有一个假定，模型中的特殊因子是不重要的，因而从的分解中忽略了特殊因子的方差。因子分析解析(同名318)课件

例:

假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主成分分析法求因子分析模型。例:假定某地固定资产投资率，通货膨胀率，(1)求解特征根(2)求解特征向量：(3)因子载荷矩阵：(1)求解特征根(4)因子分析模型：

可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献为1.55。第一公因子F2为投资因子，对X的贡献为0.85。共同度分别为1，0.706，0.706。(4)因子分析模型：（2）基于因子分析模型的主轴因子法Principalaxisfactoring

是对主成分方法的修正，假定我们首先对变量进行标准化变换。则

R=AA’+DR*=AA’=R-D称R*为约相关矩阵，R*对角线上的元素是,而不是1。（2）基于因子分析模型的主轴因子法Principalaxi直接求R*的前p个特征根和对应的正交特征向量。得如下的矩阵：因子分析解析(同名318)课件当特殊因子的方差已知：当特殊因子的方差已知：方差矩阵未知，估计的方法有如下几种：

1）取，在这个情况下主因子解与主成分解等价；2）取，为xi与其他所有的原始变量xj的复相关系数的平方，即xi对其余的p-1个xj的回归方程的判定系数，这是因为xi

与公共因子的关系是通过其余的p-1个xj

的线性组合联系起来的；

3）取，这意味着取xi与其余的xj的简单相关系数的绝对值最大者；方差矩阵未知，估计的方法有如下几种：1）取

4）取，其中要求该值为正数。5）取，其中是的对角元素。

例：假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主轴因子分析法求因子分析模型。假定用代替初始的。。例：假定某地固定资产投资率，通货膨胀率，（1）求解特征根：（2）对应的非0特征向量：（3）因子载荷矩阵表：（1）求解特征根：（4）因子分析模型：（5）新的共同度：（4）因子分析模型：4、因子旋转为什么要旋转因子？建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使每个变量在尽可能少的因子上有比较高的载荷，让某个变量在某个因子上的载荷趋于1，而在其他因子上的载荷趋于0。即：使载荷矩阵每列或行的元素平方值向0和1两极分化。4、因子旋转案例3：奥运会十项全能运动项目得分数据的因子分析

百米跑成绩跳远成绩铅球成绩跳高成绩400米跑成绩百米跨栏铁饼成绩撑杆跳远成绩标枪成绩1500米跑成绩案例3：奥运会十项全能运动项目因子分析解析(同名318)课件因

子

载

荷

矩

阵因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表因

子

载

荷

矩

阵旋转变换后因子载荷矩阵旋转变换后因子载荷矩阵通过旋转，因子有了较为明确的含义。百米跑，跳远和400米跑，需要爆发力的项目在有较大的载荷，可以称为短跑速度因子；铅球，铁饼和标枪在上有较大的载荷，可以称为爆发性臂力因子；百米跨栏，撑杆跳远，跳远和为跳高在上有较大的载荷，爆发腿力因子；长跑耐力因子。通过旋转，因子有了较为明确的含义。百米跑，因子旋转的方法有：（1）正交旋转；（2）斜交旋转（1）正交旋转

由初始载荷矩阵A左乘一正交矩阵得到；目的是新的载荷系数尽可能的接近于0或尽可能的远离0；只是在旋转后的新的公因子仍保持独立性。主要有以下方法：varimax:方差最大旋转。简化对因子的解释quartmax:四次最大正交旋转。简化对变量的解释equamax:等量正交旋转因子旋转的方法有：（1）正交旋转；（2）斜交旋转A、方差最大法方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上有较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于1，另一部分趋于0。A、方差最大法方差最大法从简化因子载荷矩阵的每一B、四次方最大旋转四次方最大旋转是从简化载荷矩阵的行出发，通过旋转初始因子，使每个变量只在一个因子上有较高的载荷，而在其它的因子上尽可能低的载荷。如果每个变量只在一个因子上有非零的载荷，这时的因子解释是最简单的。四次方最大法通过使因子载荷矩阵中每一行的因子载荷平方的方差达到最大。B、四次方最大旋转四次方最大旋转是从简化载荷矩阵C、等量最大法

等量最大法把四次方最大法和方差最大法结合起来求行和列因子载荷平方的方差的加权平均最大。C、等量最大法（2）斜交旋转

目的是新的载荷系数尽可能的接近于0或尽可能的远离0；只是在旋转时，放弃了因子之间彼此独立的限制，旋转后的新公因子更容易解释。主要有以下的方法：directoblimin:直接斜交旋转。允许因子之间具有相关性；promax:斜交旋转方法。允许因子之间具有相关性；（2）斜交旋转5、因子得分因子得分的概念

前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些因子做其他的研究，比如把得到的因子作为自变量来做回归分析，对样本进行分类或评价，这就需要我们对公共因子进行测度，即给出公共因子的值。5、因子得分例：人均要素变量因子分析。对我国32个省市自治区的要素状况作因子分析。指标体系中有如下指标：X1：人口（万人）X2：面积（万平方公里）X3：GDP（亿元）X4：人均水资源（立方米/人）X5：人均生物量（吨/人）X6：万人拥有的大学生数（人）X7：万人拥有科学家、工程师数（人）

RotatedFactorPatternFACTOR1FACTOR2FACTOR3X1-0.21522-0.273970.89092X20.63973-0.28739-0.28755X3-0.157910.063340.94855X40.95898-0.01501-0.07556X50.97224-0.06778-0.17535X6-0.114160.98328-0.08300X7-0.110410.97851-0.07246例：人均要素变量因子分析。对我国32个省市自治区的要素状况作对应的因子分析模型X1=-0.21522F1-0.27397F2+0.89092F3X2=0.63973F1-0.28739F2-0.28755F3X3=-0.15791F1+0.06334F2+0.94855F3X4=0.95898F1-0.01501F2-0.07556F3X5=0.97224F1-0.06778F2-0.17535F3X6=-0.11416F1+0.98328F2-0.08300F3X7=-0.11041F1+0.97851F2-0.07246F3对应的因子分析模型X1=-0.21522F1-0.27

高载荷指标

因子命名

因子1X2；面积（万平方公里）X4:人均水资源（立方米/人）X5:人均生物量（吨/人）自然资源因子

因子2X6：万人拥有的大学生数（人）X7：万人拥有的科学家、工程师数（人）

人力资源因子

因子3

X1;人口（万人）X3:GDP(亿元)经济发展总量因子

X2；面积（万平方公里）自然资源因子

X6：万人拥有StandardizedScoringCoefficients

FACTOR1

FACTOR2

FACTOR3X10.05764

-0.06098

0.50391X20.22724

-0.09901

-0.07713X30.14635

0.12957

0.59715X40.47920

0.11228

0.17062X50.45583

0.07419

0.10129X60.05416

0.48629

0.04099X70.05790

0.48562

0.04822F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.45583X5+0.05416X6+0.05790X7F2=-0.06098X1-0.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48629X6+0.48562X7F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X7StandardizedScoringCoefficie

前三个因子得分REGION

FACTOR1FACTOR2FACTOR3beijing©-0.081694.23473-0.37983tianjin-0.474221.31789-0.87891hebei-0.22192-0.358020.86263shanxi1-0.48214-0.32643-0.54219neimeng0.54446-0.66668-0.92621liaoning-0.205110.463770.34087jilin-0.214990.10608-0.57431heilongj0.10839-0.11717-0.02219shanghai-0.200692.38962-0.04259前三个因子分析的数学模型为：原变量被表示为公共因子的线性