第一讲主成分与因素分析

第一讲主成分与因素分析第一页，共八十二页，2022年，8月28日

学习目标主成份分析与因素分析的基本概念和目的。主成份分析与因素分析的差异和关系。主成份分析与因素分析的计算原理。协方差矩阵与相关矩阵进行主成份分析的差异。各种因素提取与因素转轴方法及其比较。因素命名的原則。载荷量、特征值、共同性和解释变异量彼此的关系。SPSS的Factor程序与介面如何操作。SPSS如何处理Factor程序的矩阵数据。SPSS的各种因素分析应用实例。第二页，共八十二页，2022年，8月28日第一节主成份分析原理一、主成份分析的基本概念二、主成份的提取三、主成份分析的特点与观念

第三页，共八十二页，2022年，8月28日一、主成份分析的基本概念(1/2)如将变量减少成少数几个变量的线性组合变量，即潜在变量或成份，就必须使用主成份分析。主成份分析法是将数据中原有的p个变量做线性组合得到k个新变量。通常k比p小很多。主成份分析法的另一项功能是能将彼此间具有相关关系的p个变量，经过线性组合后成为k个彼此间相关关系为0的新变量，此过程称为提取（Extraction）。使经由线性组合而得到的成份的方差最大，使观测值在这些成份上显示出最大的个別差异来。第四页，共八十二页，2022年，8月28日一、主成份分析的基本概念(2/2)主成份分析除了用来简化变量间的关系外，还用来缩减某一组欲进行多变量分析的变量的数目。主成份分析也可将各变量的原始分数转为主成份分数，以供进一步的统计分析。主成份分析还可用来建构多种具有不同衡量单位变量的综合指标。主成份亦可根据其附荷量来对主成份命名。例如：以身高与体重来建构「块头」指标、以成长率与市场占有率来建构「营销绩效」指标。第五页，共八十二页，2022年，8月28日二、主成份的提取

(1/2)1、计算相关矩阵或协方差矩阵估计共同性(community，)：若是相关矩阵则共同性设为1；若是协方差矩阵则共同性为各变量的方差。2、从相关矩阵或协方差矩阵中提取主成份。3、决定因素的数目。4、因素命名与结果解释。第六页，共八十二页，2022年，8月28日二、主成份的萃取

(2/2)假设有p个数字变量，则可计算出p个主成份。共同性会等于1，亦即沒有误差项，故此公式不写出误差项。主成份分析重视的是「方差」，因素分析重视的则是「协方差」。为使方差达到最大，通常进行主成份分析后不再转轴，而因素分析則需要转轴。主成份分析使观察值在这些主成份显示出最大的个別差异。因素分析的目的是找出共同性。第七页，共八十二页，2022年，8月28日主成份提取的运算原理

使组合，在下，Var(y)=aa最大的解a是矩阵的最大特征值（eigenvalue）所对应的特征向量（eigenvector）最大特征值所对应的特征向量a是使Var(y)=aa最大的解。假设本例有身高和体重两个变量，为了提高每位学生的分辨能力，要使线性组合的方差愈大愈好。在的限制下，找、值使最大。主成份分析可使用协方差矩阵，亦可使用或相关系数矩阵进行分析，一般当单位不同时以使用相关系数矩阵较佳。

第八页，共八十二页，2022年，8月28日以协方差矩阵来提取主成份

通常是未知的，故以求出样本协方差矩阵S代替。第九页，共八十二页，2022年，8月28日以相关系数矩阵来提取主成份

以相关矩阵R取代协方差矩阵S，再求特征值、特征向量。以S和R做主成份分析的结果可能会有很大的差別，以S做主成份分析，容易受使用变量单位的影响。在SPSS的FACTOR程序中的Extraction框中，尽量勾选Correlation(R)非Covariance(S)。

第十页，共八十二页，2022年，8月28日主成份分析的特点与观念

（一）正交性。（二）特征值就是主成分的方差。（三）所有主成份的方差总和与所有变量的方差总和相等。（四）主成份解释的方差比例。（五）主成份载荷（loading）。（六）共同性（Communality，h2）。（七）主成份分数（Score）。第十一页，共八十二页，2022年，8月28日正交性1、第j个特征向量（即系数向量）与第j－1个特征向量正交：亦即。在本例中，。2、第j个主成份与第j－1个主成份正交：亦即

第十二页，共八十二页，2022年，8月28日特征值就是主成份的方差

在本例中同理可得第十三页，共八十二页，2022年，8月28日所有主成份的方差总和与

所有变量方差总和相等

在本例中而且可得第十四页，共八十二页，2022年，8月28日主成份解释的方差比例

在本例中，1.814+.186=2。第十五页，共八十二页，2022年，8月28日主成份载荷（loading）

主成份载荷指第j个主成份与第i个变量的相关系数(亦称载荷)。

第一主成份与身高的相关系数为第一主成份与体重的相关系数为第十六页，共八十二页，2022年，8月28日共同性(Communality，h2)

第j个主成份解释变量xi的方差比例称为共同性，写成在主成份分析前，初步的（Initial栏）对每一个变量都为1，经提取后（Extraction栏）每一个j变量的共同性为

（），其中k为特征值大于1的变量。(第一主成份解释身高的比例)(第二主成份解释身高的比例)1、当用来解释变异量的主成份个数取的愈多時，共同性越高2、当所有主成份都取时，都等于1

3、只取同一个主成份时，所能解释各变量的共同性总和为第十七页，共八十二页，2022年，8月28日表9-1主成份分析的观念与

关系汇总比较表

第十八页，共八十二页，2022年，8月28日表2主成份分析的共同性、特征值与主成份载荷的关系(用矩阵S时)表

第十九页，共八十二页，2022年，8月28日主成份分数（Score）经过主成份提取后已可得到每个主成份下每个变量的系数（权重），如此就可得到每笔数据经过主成份转换后的主成份分数。

后续的分析将不再使用原始变量，而是主成份的总和指标。至于要如何计算每一观测数据的主成份分数呢？SPSS将会自动帮您计算。

第位观测的第个主成份，其中为第i个变量的平均数，即：如第1位学生在第一個主成份的分数为：已标准化：0.707(-1.815-0)+0.707(-1.320-0)=-2.216第二十页，共八十二页，2022年，8月28日第二节 因素分析原理

一、因素分析的基本概念二、因素分析模式三、因素的提取方法四、因素转轴五、因素命名六、主成份分析与因素分析的比较第二十一页，共八十二页，2022年，8月28日因素分析的基本概念

目的在于以较少的维度来表現原先的数据结构，而又能保存原数据结构所提供的大部分信息。因素分析法是希望能够降低变量的数目，转换为新的相互独立不相关的新因素。因素分析除简化数据外，还可探讨变量间的基本结构。例如在做复回归分析时，当自变量间有高度相关时，会出现共线性的问题，但通过因素分析可以找到较少的几个因素，代表原有数据的基本结构。因素分析就可以做为探索基础变量的维度，称为探索性（Exploratory）因素分析。但有些情況下，会根据某些理论或其它先验的知识可能对因素的个数或因素的结构做出假設，因素分析也可以用来检验这个假設，称为验证性（Confirmatory）因素分析。

第二十二页，共八十二页，2022年，8月28日因素分析模式因素分析法的步骤如下：1、计算相关矩阵以估计共同性：采用主成份分析，共同性设为1。2、从相关矩阵中提取共同因素。3、决定因素的数目。4、旋转因素以增加变量与因素间关系的解释能力。5、因素命名与结果解释。

在因素分析里，要设法找到

等因素，使得：若以矩阵的形式表示，則为：为原始数据的变量，为第个共同因素

在第

个变量下的权重，一般叫做共同因素载荷量（commonfactorloading）。

为共同因素（commonfactors），为第个独特因素（uniquefactor，或称为一因素）的误差项。第二十三页，共八十二页，2022年，8月28日因素模型的假設

1、共同因素之间互为独立，即因素间是正交的，亦即，其中。2、之间互相独立，且平均数为0，方差为。3、共同因素与独特因素间也是独立的，亦即，其中。第二十四页，共八十二页，2022年，8月28日共同性、特征值与因素载荷量之关系

在因素分析中，共同性()就是每个变量在每个共同因素载荷量的平方()总和。从共同性的大小可以判断这个原始变量与共同因素间的关系程度。在主成份分析中，有多少个原始变量便有多少个主成份，所以共同性会等于1，沒有独特因素，亦即沒有误差项。

，當時，第二十五页，共八十二页，2022年，8月28日图1共同性与可解释变量

比例关系图

提取的因素愈少愈好，但提取因素的累计解释变量愈大愈好。第二十六页，共八十二页，2022年，8月28日表3因素分析的共同性、

特征值与因素载荷量的关系表

第二十七页，共八十二页，2022年，8月28日因素的提取方法

（一）主成份法因素分析中最重要与最常见的分析形式是主成份法（PrincipleComponentsFactoring，PCF）。主成份分析法是以相关系数矩陣R为分析工具，亦即提取因素时使用相关系数矩阵R的对角线数字1，如同第一节的主成份分析一样。（二）主因素法

如果R的对角线元素不是1，而是以小于1的某些正数取代，称为主因素法（PrincipalAxisFactoring，PAF）。界定先前共同性估计值（PriorCommunalityEstimates），通常假設共同性的估计值为每个变量Xi与其它变量的复相关系数平方。（三）极大似然法极大似然法（MaximumLikelihood，ML）在大样本时，此方法比主因素分析更利于估计。

第二十八页，共八十二页，2022年，8月28日模式适合度评价

共同因素所解释的相关，与实际相关间的差异，称为残差相关（residualcorrelation），评价共同因素模式适合度（ModelFit）。如果残差值愈低則代表模式适合度愈高。在SPSS的FACTOR程序中曾另外介绍KMO指标法。第二十九页，共八十二页，2022年，8月28日图2因素分析的碎石图

第三十页，共八十二页，2022年，8月28日因素旋转因素分析的理想情況，使每一橫列中只有一个元素接近1，而其他大部分的元素接近0，必须通过转轴（Rotation）才能达成。假使因素是以直交（orthogonal）转轴法转轴，故转轴后因素也是无相关的；假如因素是以斜交（oblique）转轴法转轴，则转轴后因素成为相关的。在应用上，正交旋转较为普遍。

第三十一页，共八十二页，2022年，8月28日图3直交转轴与斜交转轴的比较图

第三十二页，共八十二页，2022年，8月28日因素转轴方法的选择

在各种因素转轴法中，以Varimax法最为常用，它是使因素载荷表中每一纵行的变异最大，其目的是将因素载荷矩阵的行做简化而Quartimax法是使因素载荷矩阵每一列变异最大，将因素载荷矩阵列做简化每个变量旋转后的共同性与旋转前的共同性是相同的。每个因素旋转前后的解释方差比例（即特征值）稍有不同，解释变量的方差比例总和不变。转轴并不会改变因素解释的能力，在统计上所有的转轴法都是相等的。第三十三页，共八十二页，2022年，8月28日因素命名因素命名有几个处理原则： 1、能涵盖其所代表所有原始变量的名称。 2、命名不能偏离其代表的原始变量意义。 3、因素重新命名。 4、名称必须达意。 5、名称不宜太长：不宜超过6个中文字，最好在4个字內。 6、不同因素名称间要有排他性。 7、不同因素名称间要有一貫性。

因素命名将考验研究者对原始变量的了解与中文造诣。

第三十四页，共八十二页，2022年，8月28日主成份分析与因素分析的比较(1/2)主成份分析所著重的在于如何「转换」原始变量使之成为一些综合性的新指标，而其关键在「方差」問題。因素分析重视的是如何解释变量之间的「协方差」问題。因素分析的功能在于结合四原始变量间的关系，而主成份是找出原始变量间的线性组合。第三十五页，共八十二页，2022年，8月28日主成份分析与因素分析的比较(2/2)因素分析与主成份分析的差异大致可归纳为下列几点：主要目标：主成份分析法是要減少变量个数，而因素分析法是要找寻变量间內部的相关性及潜在的共同因素。强调重点：主成份分析法强调解释数据变异的能力，而因素分析法强调的是变量间的相关性。最终结果应用：主成份分析法是要形成一个或数个总指标，因素分析法是要反映变量间潜在或观察不到的因素。方差解释程度：主成份分析沒有误差项，而因素分析有误差项。是否需要旋转：因素分析因需要经过旋转才能对因素做命名与解释，而主成份分析是做指标用的，故不需要旋转。是否有假设：主成份分析只是对数据做变换，並不需要任何假设；因素分析对数据要求须符合许多假设。第三十六页，共八十二页，2022年，8月28日第三节SPSS的因素分析一、操作步骤二、输出结果三、结果制表与解释

第三十七页，共八十二页，2022年，8月28日图4FactorAnalysis对话框

第三十八页，共八十二页，2022年，8月28日图5FactorAnalysis:Descriptives子对话框

第三十九页，共八十二页，2022年，8月28日图6FactorAnalysisExtraction子对话框

第四十页，共八十二页，2022年，8月28日图7FactorAnalysis:Rotation子对话框

第四十一页，共八十二页，2022年，8月28日图8FactorAnalysis:FactorScores子对话框

第四十二页，共八十二页，2022年，8月28日图9FactorAnalysis:Options子对话框

第四十三页，共八十二页，2022年，8月28日KMO及Bartlett’sKMO是Kaiser-Meyer-Olkin的取样适当性衡量指标，當KMO值愈大時，表示变量间共同因素越多，越适合进行因素分析。从Bartlett‘s球形检验可用来判断数据是否是多变量正态分配，也可用来检验相关矩阵是否适合进行因素分析。此例表明总体适合进行因素分析。

第四十四页，共八十二页，2022年，8月28日共同性第四十五页，共八十二页，2022年，8月28日特徵值與解釋變異數第四十六页，共八十二页，2022年，8月28日碎石图第四十七页，共八十二页，2022年，8月28日未旋转的因素矩阵第四十八页，共八十二页，2022年，8月28日旋转后的因素矩阵第四十九页，共八十二页，2022年，8月28日因素载荷图第五十页，共八十二页，2022年，8月28日因素旋转矩阵第五十一页，共八十二页，2022年，8月28日因素分数系数矩阵第五十二页，共八十二页，2022年，8月28日因素储存变量SPSS会将新产生的二个因素变量储存在原始数据文件中，而不会像其他统计软件将因素变量另外独立储存为一文件。因素分数都已经标准化而非原來的度量尺度，原始的四个变量皆为整数，且其值分布在15～1之间，但FAC1_1、FAC2_1其平均值为0，标准差为1。

第五十三页，共八十二页，2022年，8月28日表4四个体能变量的因素

分析結果

第五十四页，共八十二页，2022年，8月28日表5四个体能变量的因素

分析结果的另一种格式

变量解释方差比例累计解释方差量因素一敏捷因素二強健共同性1.气力56.609%56.609%.927.8612.耐力.922.8853.速度33.185%89.794%.916.9234.协调.961.923特征值2.2641.3273.592第五十五页，共八十二页，2022年，8月28日第四节因素分析例

一、学生数据二、财务指标三、财务指标的相关阵四、组织因素第五十六页，共八十二页，2022年，8月28日一、学生数据表6身高与体重之因素分析结果第五十七页，共八十二页，2022年，8月28日身高与体重

因素分析的结果

第五十八页，共八十二页，2022年，8月28日图6身高与体重进行

因素分析的结果第五十九页，共八十二页，2022年，8月28日图6身高与体重进行

因素分析的结果第六十页，共八十二页，2022年，8月28日图11身高与体重的

因素分数

第六十一页，共八十二页，2022年，8月28日表7三个考试成绩的

因素分析结果

第六十二页，共八十二页，2022年，8月28日二、财务指标本例分別取得各当年财务数据，计算其CFID、NITA、CACL与CANS等四个财务比率。CFTD：CashFlows/TotalDebt(现金流量负债比)NITA：NetIncome/TotalAssets(资产报酬率)CACL：CurrentAssets/CurrentLiabilities(流动比率)CANS：CurrentAssets/NetSales(流動资产周转率)第六十三页，共八十二页，2022年，8月28日表8四个财务指标因素分析结果第六十四页，共八十二页，2022年，8月28日图12四个财务指标

因素分析的结果

第六十五页，共八十二页，2022年，8月28日图12四个财务指标

因素分析的结果第六十六页，共八十二页，2022年，8月28日图12四个财务指标

因素分析的结果第六十七页，共八十二页，2022年，8月28日图12四个财务指标

因素分析的结果第六十八页，共八十二页，2022年，8月28日图12四个财务指标因素分析的结果第六十九页，共八十二页，2022年，8月28日图12四个个财务指标

因素分析的结果第七十页，共八十二页，2022年，8月28日图12四个财务指标

因素分析的结果第七十一页，共八十二页，2022年，8月28日图12四个财务指标

因素分析的结果第七十二页，共八十二页，2022年，8月28日图12四个财务指标

因素分析的结果第七十三页，共八十二页，2022年，8月28日图13财务指标

因素分析部分结果第七十四页，共八十二页，2022年，8月28日表14原始变量与因素的

T检验结果比较表