主成分分析方法在主成分分析方法中的应用

1、主成分分析与因子分析及SPSS实现（一）：原理与方法（2014-09-0813:33:57）转载一、主成分分析（1）问题提出在问题研究中，为了不遗漏和准确起见，往往会面面俱到，取得大量的指标来进行分析。比如为了研究某种疾病的影响因素，我们可能会收集患者的人口学资料、病史、体征、化验检查等等数十项指标。如果将这些指标直接纳入多元统计分析，不仅会使模型变得复杂不稳定，而且还有可能因为变量之间的多重共线性引起较大的误差。有没有一种办法能对信息进行浓缩，减少变量的个数，同时消除多重共线性？这时，主成分分析隆重登场。（2）主成分分析的原理主成分分析的本质是坐标的旋转变换，将原始的n个变量进行重新的线性组

2、合，生成n个新的变量，他们之间互不相关，称为n个“成分”。同时按照方差最大化的原则，保证第一个成分的方差最大，然后依次递减。这n个成分是按照方差从大到小排列的，其中前m个成分可能就包含了原始变量的大部分方差（及变异信息）。那么这m个成分就成为原始变量的“主成分，他们包含了原始变量的大部分信息。注意得到的主成分不是原始变量筛选后的剩余变量，而是原始变量经过重新组合后的“综合变量”。我们以最简单的二维数据来直观的解释主成分分析的原理。假设现在有两个变量XI、X2,在坐标上画出可见，他们之间存在相关关系，如果我们将坐标轴整体逆时针旋转45,变成新的坐标系Y1、Y2,如下图：根据坐标变化的原理，我们可

3、以算出：Y1=sqrt（2）/2*X1+sqrt（2）/2*X2Y2=sqrt（2）/2*X1-sqrt（2）/2*X2其中sqrt（x）为x的平方根。通过对XI、X2的重新进行线性组合，得到了两个新的变量Y1、Y2。此时，Y1、Y2变得不再相关，而且Y1方向变异（方差）较大，Y2方向的变异（方差）较小，这时我们可以提取Y1作为XI、X2的主成分，参与后续的统计分析，因为它携带了原始变量的大部分信息。至此我们解决了两个问题：降维和消除共线性。对于二维以上的数据，就不能用上面的几何图形直观的表示了，只能通过矩阵变换求解，但是本质思想是一样的。二、因子分析（一）原理和方法：因子分析是主成分分析的扩

4、展。在主成分分析过程中，新变量是原始变量的线性组合，即将多个原始变量经过线性（坐标）变换得到新的变量。因子分析中，是对原始变量间的内在相关结构进行分组，相关性强的分在一组，组间相关性较弱，这样各组变量代表一个基本要素（公共因子）。通过原始变量之间的复杂关系对原始变量进行分解，得到公共因子和特殊因子。将原始变量表示成公共因子的线性组合。其中公共因子是所有原始变量中所共同具有的特征，而特殊因子则是原始变量所特有的部分。因子分析强调对新变量（因子）的实际意义的解释。举个例子：比如在市场调査中我们收集了食品的五项指标（x1-x5）:味道、价格、风味、是否快餐、能量，经过因子分析，我们发现了：x1=0.

5、02*z1+0.99*z2+e1x2=0.94*z1-0.01*z2+e2x3=0.13*z1+0.98*z2+e3x4=0.84*z1+0.42*z2+e4x5=0.97*z1-0.02*z2+e1(以上的数字代表实际为变量间的相关系数，值越大，相关性越大)第一个公因子z1主要与价格、是否快餐、能量有关，代表“价格与营养”第二个公因子z2主要与味道、风味有关，代表“口味”e1-5是特殊因子，是公因子中无法解释的，在分析中一般略去。同时，我们也可以将公因子z1、z2表示成原始变量的线性组合，用于后续分析。(二)使用条件：样本量足够大。通常要求样本量是变量数目的5倍以上，且大于100例。原始变量

6、之间具有相关性。如果变量之间彼此独立，无法使用因子分析。在SPSS中可用KMO检验和Bartlett球形检验来判断。生成的公因子要有实际的意义，必要时可通过因子旋转(坐标变化)来达到。三、主成分分析和因子分析的联系与区别联系：两者都是降维和信息浓缩的方法。生成的新变量均代表了原始变量的大部分信息且互相独立，都可以用于后续的回归分析、判别分析、聚类分析等等。区别：主成分分析是按照方差最大化的方法生成的新变量，强调新变量贡献了多大比例的方差，不关心新变量是否有明确的实际意义。因子分析着重要求新变量具有实际的意义，能解释原始变量间的内在结构。下一篇文章，将介绍主成分分析和因子分析的在SPSS中的实现

7、。主成分分析与因子分析及SPSS实现(二)：实例讨论(2014-09-1306:34:09)转载标签：分类：SPSSspss教育统计因子分析SPSS没有提供单独的主成分分析方法，而是混在因子分析当中，下面通过一个例子来讨论主成分分析与因子分析的实现方法及相关问题。一、问题提出男子十项全能比赛包含100米跑、跳远、跳高、撑杆跳、铅球、铁饼、标枪、400米跑、1500米跑、110米跨栏十个项目，总分为各个项目得分之和。为了分析十项全能主要考察哪些方面的能力，以便有针对性的进行训练，研究者收集了134个顶级运动员的十项全能成绩单，将通过因子分析来达到分析目的。二、分析过程变量视图：名称L类型宽度小数

8、J|标签1百米跑数值(N)82伽来砂)2跳远数值(N)&2跳远株)3数值训)32扮球(米)4跳高数值(N)32跳高淪5四百来跑数值(N)S240D来渺6-百一十来栏数值(N)S21铁饼数值(N)&2铁饼咪)8樟杆跳数值(N)&2撑杆跳伪09标怆数值(N)82标枪(米)10千五百采跑数值821500)11总分数值S0总亦数据视图(部分)：铅球瞇高四百托跑一百一+卅栏”11.25皿15.402.2746M15.1310.87L4514.971.9747.T114.6卫a11.197.4414.201.&740.2&U.Q143.66410.B27.3B16.022.0349.0614.72J4.8

9、0511.027.4312.1.&747.4414/0上個61083772135B2124Q34-141SZI3.O6711.187.0514.122.0649.34-14.39乩氏a11D5S9515342004821143641_32911.167.1214.522034&.1514.6642.3&10112372B15251974860147648021110.947.4E低弭1.S74&.H4i.se1211137.3*1440194490215.114?7&1311.D27.2912.922.0648.2314.9439.M話109973713&11押47.93U7043.81511

10、.Q37.4514.2D1.9743.941阳4如用1611.037.0B14.51210349.旳14.7B4J.2C1711.466.751&.072.00S1.2S1&.Q650.66菜单选择(分析-降维-因子分析)：报告描述统计表CD比较均值迪股线性模型电广雯线性模型相冥回归迟）对数线性模型匸）神经刚络沿类CD隣维JffiCS)非垄数检脸迥）“J廉:优尽滾）-.预测14.94分析凶4S.23H1：1一百一十米栏48.9015.1347.71U.4548.2514.S149.0G14.7247.4414.4048.3414.1849.34U.3948.2114.35jn斗七AACC因子井

11、帝F.打开因子分析的主界面，将十项成绩选入”变量“框中（不要包含总分），如下：点击”描述“按钮，打开对话框，选中”系数“和”KMO和Bartlett球形度检验“:上图相关解释：”系数“：为变量之间的相关系数阵列，可以直观的分析相关性。”KMO和Bartlett球形度检验“：用于定量的检验变量之间是否具有相关性。点击”继续“，回到主界面，点击”抽取“，打开对话框。”方法“=”主成分“，”输出“=”未旋转的因子解“和”碎石图“，”抽取“=”基于特征值“其余选择默认。解释：因子抽取的方法：选取默认的主成分法即可，其余方法的计算结果可能有所差异。输出：未旋转的因子解极为主成分分析结果。碎石图有助于我们

12、判断因子的重要性（详细介绍见后面）。抽取：为抽取主成分（因子）的方法，一般是基于特征值大于1,默认即可。点击继续“，回到主界面，点击确定“，进入分析。输出的主要表格如下：（1）相关性检验因子分析要求变量之间有相关性，所以首先要进行相关性检验。首先输出的是变量之间的相关系数矩阵:T0奘迈环lao離母护J倾：卫：）貂化【円拝忖i煩计t刘口占甘TH冗协旅:僭】-；6#i-.420”饷.751.用-.627-.C91i.oaa.391-636-.6$4.632.446-.470.3911.000321-14-2-489.656.B+3703.2C471.3211.00027S.376.4口.33B-j

13、JS9B-.616-.142-.275tDD0055-154-521.751-矽-汕-487655tODO-JD3-70S-.350.H.353376SSBJ97B-.154.6142-硕.632.643-521-7D91m557-Q7.446703.338-.150J50.&18.5571.000.254-.356.202-13?.554.155.2E6-oro.451.DC可以直观的看到，变量之间有相关性。但需要检验，接着输出的是相关性检验：KMO和Bartlett冏襁验取样足够度的Kaiser-Me/er-Olkin度量-.788Bartlett的球薛度检验删卡方2115SGdf45Si

14、g.000上图有两个指标：第一个是KMO值，一般大于07就说明不了之间有相关性了。第二个是Bartlett球形度检验，P值0.001。综合两个指标，说明变量之间存在相关性，可以进行因子分析。否则，不能进行因子分析。（2）提取主成分和公因子接下来输出主成分结果：解释的总方芒战怕提顒方和載扎K计方羌的%累积方羌的码象枳%15.02450.23550.2355.02450.23550.23522.00020.79971.0342.08020.79971.0343.7357.35578.3894.6866.85785.2465.376376389.0096.302302192.0307.2862.85

15、594.8850.2242.23897.123g.2052.D4799.17010.083.530100.000提取方;丈：主成恃分析这就是主成分分析的结果，表中第一列为10个成分；第二列为对应的”特征值“，表示所解释的方差的大小；第三列为对应的成分所包含的方差占总方差的百分比；第四列为累计的百分比。一般来说，选择”特征值“大于1的成分作为主成分，这也是SPSS默认的选择。在本例中，成分1和2的特征值大于1，他们合计能解释71.034%的方差，还算不错。所以我们可以提取1和2作为主成分，抓住了主要矛盾，其余成分包含的信息较少，故弃去。下面，输出碎石图，如下：碎石图来源于地质学的概念。在岩层斜坡

16、下方往往有很多小的碎石，其地质学意义不大。碎石图以特征值为纵轴，成分为横轴。前面陡峭的部分特征值大，包含的信息多，后面平坦的部分特征值小，包含的信息也小。由图直观的看出，成分1和2包含了大部分信息，从3开始就进入平台了。接下来，输出提取的成分矩阵成励巨瞭1250米砂）跳姒料铅球（制跳高（制4皿米删110米：砂）删咪）挥杆炭（济樣怆（料15叽米（秒）-.804.810.726.600-.660-.837.687.872.657-.187.294-.235.569-.011.616.189.601.08943Q.737撮取方法:主成亦目展取了2卩成份。上表中的数值为公因子与原始变量之间的相关系数，

17、绝对值越大，说明关系越密切。公因子1和9个运动项目都正相关（注意跑步运动运动的计分方式，时间越短，分数越高），看来只能称为“综合运动”因子了。公因子2与铁饼、铅球正相关，与1500米跑、400米跑负相关，这究竟代表什么意思呢？看来只能成为“不知所云”因子了。三）因子旋转前面提取的两个公因子一个是大而全的“综合因子”，一个不知所云，得到这样的结果，无疑是分析的失败。不过，不要灰心，我们可以通过因子的旋转来获得更好的解释。在主界面中点击“旋转”按钮，打开对话框，“方法”=“最大方差法”，“输出”=“旋转解”。因子分析：旋转方法无最六四突方值法电）磊犬方差法世）最大平衡值法匡）匚直接Qtllnwi;

18、feCO）PromaaKP）DeltaDJ:oKap-pa（K）4-輸出回旋转解IE）國曼词到U悬犬枝敛性送代次數色）：西维续（取洋”帮助点击“继续”，回到主界面点击“确认”进行分析。输出结果如下：尿转成旳尬阵日成12100()785-341豳咪）-783.352铅球刖-.134.S13跳高（滦）-.442.406400).903-.00911D葡红閔737-.440嘶咪）-.084.S09-.570.C66掃枪（米）-.179.7651冗D米砂）.678.441I提取方法:主成恃。提转法:具有Kaiser麻對渔正交提蒐法_玄握转在迭代后收飯这是选择后的成分矩阵。经过旋转，可以看出：公因子1得

19、分越高，所有的跑步和跨栏成绩越差，而跳远、撑杆跳等需要助跑类项目的成绩也越差，所以公因子1代表的是奔跑能力的反向指标，可称为“奔跑能力”。公因子2与铁饼和铅球的正相关性很高，与标枪、撑杆跳等需要上肢力量的项目也正相关，所以该因子可以成为“上肢力量”。经过旋转，可以看出公因子有了更合理的解释。四）结果的保存在最后，我们还要将公因子储存下来供后续使用。点击“得分”按钮，打开对话框，选中“保存为变量”方法采用默认的“回归”方法，同时选中“显示因子得分系数矩阵”。SPSS会自动生成2个新变量，分别为公因子的取值，放在数据的最后。同时会输出一个因子系数表格:成旳碍井珮效巨阵成121M槪秒）论球般）跳高（

20、米）40咏秒）110初他嘶囲掃枪（米）1500（）-.160.161.145.119-.131-.167.137.174.131-.037.142-.137.273-.DD5.296091.289.043.207.378提取方法;主成由上图，我们可以写出公因子的表达式（用F1、F2代表两个公因子，Z1Z10分别代表原始变量）：F1=-0.16*Z1+0.161*Z2+0.145*Z3+0.199*Z4-0.131*Z5-0.167*Z6+0.137*Z7+0.174*Z8+0.131*Z9-0.037*Z10F2同理，略去。注意，这里的变量Z1Z10，F1、F2不再是原始变量，而是标准正态变换

21、后的变量。当前位置：一起大数据自学中心软件SPSS正文SPSS主成分分析与因子分析之比较及实证分析xsmile发布于2015-07-20分类：SPSS/数据分析阅读（399）评论（1）来自 HYPERLINK /ysuncn/article/details/1924502 /ysuncn/article/details/1924502一、问题的提出在科学研究或日常生活中，常常需要判断某一事物在同类事物中的好坏、优劣程度及其发展规律等问题。而影响事物的特征及其发展规律的因素（指标）是多方面的，因此，在对该事物进行研究时，为了能更全面、准确地反映出它的特征及其发展规律，就不应仅从单个指标或单方面去

22、评价它，而应考虑到与其有关的多方面的因素，即研究中需要引入更多的与该事物有关系的变量，来对其进行综合分析和评价。多变量大样本资料无疑能给研究人员或决策者提供很多有价值的信息，但在分析处理多变量问题时，由于众变量之间往往存在一定的相关性，使得观测数据所反映的信息存在重叠现象。因此为了尽量避免信息重叠和减轻工作量，人们就往往希望能找出少数几个互不相关的综合变量来尽可能地反映原来数据所含有的绝大部分信息。而主成分分析和因子分析正是为解决此类问题而产生的多元统计分析方法。近年来，这两种方法在社会经济问题研究中的应用越来越多，其应用范围也愈加广泛。因子分析是主成分分析的推广和发展，二者之间就势必有着许多

23、共同之处，而SPSS软件不能直接进行主成分分析，致使一些应用者在使用SPSS进行这两种方法的分析时，常常会出现一些混淆性的错误，这难免会使人们对分析结果产生质疑。因此，有必要在运用SPSS分析时，将这两种方法加以严格区分，并针对实际问题选择正确的方法。二、主成分分析与因子分析的联系与区别两种方法的出发点都是变量的相关系数矩阵，在损失较少信息的前提下，把多个变量（这些变量之间要求存在较强的相关性，以保证能从原始变量中提取主成分）综合成少数几个综合变量来研究总体各方面信息的多元统计方法，且这少数几个综合变量所代表的信息不能重叠，即变量间不相关。主要区别：主成分分析是通过变量变换把注意力集中在具有较

24、大变差的那些主成分上，而舍弃那些变差小的主成分因子分析是因子模型把注意力集中在少数不可观测的潜在变量（即公共因子）上，而舍弃特殊因子。主成分分析是将主成分表示为原观测变量的线性组合，即乩丈雋（1）主成分的个数i=原变量的个数P，其中j=1,2,P，阳是相关矩阵的特征值所对应的特征向量矩阵中的元素，是原始变量的标准化数据，均值为0,方差为1。其实质是p维空间的坐标变换，不改变原始数据的结构。而因子分析则是对原观测变量分解成公共因子和特殊因子两部分。因子模型如式（2），（2）其中i=1,2，,p,m是因子分析过程中的初始因子载荷矩阵中的元素，月是第j个公共因子，必是第i个原观测变量的特殊因子。且此

25、处的兀与四的均值都为0,方差都为1。主成分的各系数西，是唯一确定的、正交的。不可以对系数矩阵进行任何的旋转，且系数大小并不代表原变量与主成分的相关程度；而因子模型的系数矩阵是不唯一的、可以进行旋转的，且该矩阵表明了原变量和公共因子的相关程度。主成分分析，可以通过可观测的原变量X直接求得主成分Y,并具有可逆性；因子分析中的载荷矩阵是不可逆的，只能通过可观测的原变量去估计不可观测的公共因子，即公共因子得分的估计值等于因子得分系数矩阵与原观测变量标准化后的矩阵相乘的结果。还有，主成分分析不可以像因子分析那样进行因子旋转处理。综合排名。主成分分析一般依据第一主成分的得分排名，若第一主成分不能完全代替原

26、始变量，则需要继续选择第二个主成分、第三个等等，此时综合得分=汽（各主成分得分X各主成分所对应的方差贡献率），主成分得分是将原始变量的标准化值，代入主成分表达式中计算得到；而因子分析的综合得分=2（各因子得分X各因子所对应的方差贡献率）寺2各因子的方差贡献率，因子得分是将原始变量的标准化值，代入因子得分函数中计算得到。区别中存联系，联系中显区别由于上文提到主成分可表示为原观测变量的线性组合，其系数为原始变量相关矩阵的特征值所对应的特征向量，且这些特征向量正交，因此，从X到Y的转换关系是可逆的，便得到如下的关系：垠=丈Y聽（3）下面对其只保留前m个主成分（贡献大），舍弃剩下贡献很小的主成分，得：

27、i=1珞p（4）由此可见，式（4）在形式上已经与因子模型（2）忽略特殊因子后的模型即：（2）*相一致，且用（j=1,2,m）之间相互独立。由于模型（2）*是因子分析中未进行因子载荷旋转时建立的模型，故如果不进行因子载荷旋转，许多应用者将容易把此时的因子分析理解成主成分分析，这显然是不正确的。然而此时的主成分的系数阵即特征向量与因子载荷矩阵确实存在如下关系：主成分分析中，主成分的方差等于原始数据相关矩阵的特征根，其标准差也即特征根的平方根，于是可以将除以其标准差（单位化）后转化成合适的公因子，即令，则式（4）变为：（4）*式（5）便是主成分系数矩阵与初始因子载荷阵之间的联系。不能简单地将初始因子

28、载荷矩阵认为是主成分系数矩阵（特征向量矩阵），否则会造成偏差。三、实证分析通过实例来研究SPSS软件中的因子分析和主成分分析及二者分析结果的比较。运用两种分析方法对2005年江苏省13个主要城市的经济发展综合水平进行分析。本文在选取指标时遵循了指标选取的基本原则，即针对性、可操作性、层次性、全面性等原则，选取了以下反映城市经济发展综合水平的9项指标：GDP（X1）亿元、人均GDP（X2）元、城镇居民人均可支配收入（X3）元、农村居民纯收入（X4）元、第三产业占GDP比重（X5）%、金融机构存款余额（X6）亿元、万人中各专业技术人员数（X7）人、科技三项和文教科卫支出（X8）亿元、实际利用外资（

29、X9）亿美元。（一）数据来源及处理按照上述指标体系，选取了江苏13个城市的数据，（所有数据均来源于江苏统计年鉴（2006）。指标都是正指标，无需归一化，SPSS130将自动对原始数据进行标准差标准化处理，消除指标量纲及数量级的影响。（二）运用SPSS进行分析首先，通过SPSS中的DataReduction-Factor命令进行因子分析，本文采取主成分分析法来抽取公共因子，并依据特征值大于1来确定因子数目。相关的分析结果及分析，如下：kiM?it.XI-USHUIaarnClSWCigRaiDFEi*i.12VI29OKIJacriavGLtLWQEXJf-ilJEmu1QW9*wtOJHT巳比

30、T7UJ4?innj1-5Ua-wrtazrw100X1nj-WBOOPanmt-0时工！ill7am!口触4aJWi.oaUanmFiJMil-ndllIT曹顾Ja-raia#i：lOJRanr?imw-2去LIDW91?TiaTuiQIW!nuiuvmatT：*t貧-rjrj.r占-nfwaJ-i一1相关系数矩阵由于因子分析是基于相关矩阵进行的，即要求各指标之间具有一定的相关性，求出相关矩阵是必要的。KMO统计量是0659，且Bartlett球体检验值为190.584，卡方统计值的显著性水平为0.000小于001,都说明各指标之间具有较高相关性，因此本文数据适用于作因子分析。2.总方差分解

31、mufAisijftftvINFilhrE!事斶主曲哼号hriflfi!:；15TMiEUTiJicirITI4*1+Yi十51上于I*.r4lr-表2中，依据特征值大于1的原则，提取了2个公因子（主成分），它们的累积方差贡献率达91.4555%，这2个公因子（主成分）包含了原指标的绝大部分信息，可以代替原来9个变量对城市经济发展水平现状进行衡量。3.主成分表达式与因子模型初始因子载荷矩阵（见表3）反映了公因子与原始变量之间的相关程度，而主成分的系数矩阵并不反映公因子与原始变量之间的相关程度，故不能直接用表3中的数据表示。根据该系数矩阵与初始因子载荷阵之间的关系（如式（5），可以计算出前2个特

32、征值所对应的特征向量阵（系数矩阵），见表4。*3如蚯的医子枚荷巫垃靱君的西子迪抽離新BT1；n丙子2硏2|X|-4k1352X2a.42-O.CM32X3252110.091X4O.fM344kl出1X5QXICIS加呦Xfi诵驅G.13d*U4溜0.91M4.02S3xy知4009幻0.345=22矩D.36070.3510J515-OJ42I1IS354UTOI.脯Q.35IX10.34L1SO.CIfllQXS.3412H(G7Z陶.32-&HU现很明显表4和表3中的数据相差很大，因此，如果将初始因子载荷阵误认为是主成分系数矩阵，分析结果将会产生较大偏差。主成分的表达式应为：(6)Y1=

33、03622*Z1+03607*Z2+03260*Z9Y2=-01298*Z1-00799*Z2+-03849*Z9血=(79.4012*Y1+12.0543*Y2)/100因子模型：X1=09684*F1-01352*F2X2=09642*F1-00832*F2X9=08714*F1-04009*F2其中Z1Z9是X1X9的标准化数据.4因子得分函数从表3得知，各因子在各变量上的载荷已经向0和1两极分化，故无需进行因子旋转。公因子是不可观测的，估计因子得分应借助于未旋转因子得分系数矩阵，见表5。KTiiKi固于丄序IIXIJJ55HIJ247二IJ49范3Q.M32!Q.tJL?-QIK5D.U574.0.S3543.EJ4W_!793K7.I2M(umHn.l.27fi-0J3S丄IWg-O.lrMfe得到以下因子得分函数：(7)F1=01355*Z1+01349*Z2+01219*Z9F2=-01247*Z1-00767*Z2+-03696*Z9同样Z1Z9是标准化的数据，其综合得分计算公式:=(734228*F1+1803