统计分析之主成分分析(共27页).ppt

1、本资料来源 地理系统是多要素的复杂系统。在地理学研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间具有一定的相关关系。 解决该问题的一个办法就是筛选变量，即只挑选部分较为重要的变量，以减少变量数，并可缓解相关性带来的麻烦如逐步回归分析、逐步判别分析等。换一个角度来看，如果众多的变量间存在着的相关关系，能否在相关分析的基础上，用较少的新变量代替原来较多的旧变量，而且使这些较少的新变量尽可能多地保留原来变量所反映的信息？ 主成分分析和因子分析就是综合处理这种问题的一种强有力的工具。 8 主成分分析问题的提出问题的提出主成分分析方法（pr

2、incipal component analysis，PCA ）就是综合处理这种问题的一种强有力的工具。它把原来多个变量（显式变量）转化为少数几个综合变量（潜式变量）。综合变量即主成分（principal compontent）综合变量之间相互独立，且能反映原来多个变量的大部分信息。主成分分析采用的主要原则是使方差最大，以期尽可能多的保留原有变量所包含的信息，同时又能用尽可能少的主成分替代原有变量，从而使问题变的简便。但是，这些主成分通常并没有明确的专业意义。因子分析是主成分分析的一种推广。它从一定的模型出发，找出几个反映原有变量的公共因子，并力求使之有较为合理的专业解释。8 主成分分析8 主

3、成分分析问题的提出 引例8-1 2000年全国各地区经济效益主要指标有以下8个：GDP（亿元）、工业增加值（%）、总资产贡献率（%）、资产负债率（%）、流动资产周转次数（次/年）、工业成本费用利润率（%）、全员劳动生产率（元/人.年）、产品销售率（%）。 8 主成分分析8 主成分分析问题的提出8 主成分分析问题的提出8 主成分分析 什么是主成分分析 主成分分析的数学模型 主成分分析的主要步骤 如何在SPSS软件中进行主成分分析8 主成分分析什么是主成分分析 主成分概念首先由Kal parson在1901年提出，不过当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机向量

4、。 主成分分析（Principal Components Analysis ，PCA)也称为主分量分析，是一种通过降维来简化数据结构的方法，即如何把多个变量（变量）转化为少数几个综合变量（综合变量），而这几个综合变量可以反映原来多个变量的大部分信息。 为了使这些综合变量所含的信息互不重叠，应要求它们之间互不相关。8 主成分分析什么是主成分分析在实际问题中，经常遇到多变量(指标)问题，而且变量之间有一定的相关性。变量多且变量间有一定的相关性，势必增加了分析问题的复杂性。 主成分分析就是设法将原来变量重新组合成一组新的互相无关的几个综合变量来代替原来变量，同时根据实际需要从中可取几个较少的综合变量

5、尽可能多地反映原来变量的信息。8 主成分分析基本思想主成分分析就是设法将原来众多具有一定相关性的变量(如p个变量)，重新组合成一组新的相互无关的综合变量来代替原来变量。怎么处理？通常数学上的处理就是将原来p个变量作线性组合作为新的综合变量。如何选择？如果将选取的第一个线性组合即第一个综合变量记为F1，自然希望F1尽可能多的反映原来变量的信息。怎样反映?最经典的方法就是用方差来表达，即var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，故称之为第一主成分（principal component I）。8 主成分分析 基本思想如果第一主成分不足以代表原来

6、p个变量的信息，再考虑选取F2即第二个线性组合。F2称为第二主成分（principal component II）。 F1和F2的关系？为了有效地反映原来信息，F1已有的信息就不再出现在F2中，即cov（F1,F2)0。依此类推，可以获得p个主成分。因此，这些主成分之间是互不相关的，而且方差依次递减。在实际中，挑选前几个最大主成分来表征。标准？ 各主成分的累积方差贡献率80%或特征根1。8 主成分分析 数学模型 假定有n个地理样本，每个样本共有p个变量，构成一个np阶的地理数据阵当p较大时，在p维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个综合变量代替原来较多的

7、变量变量，而且使这些较少的综合变量既能尽量多地反映原来较多变量变量所反映的信息。111212122212ppnnnpxxxxxxXXxxx12p(X ,X ,)8 主成分分析 数学模型 引例8-1中，有31个样本，每个样本有8个变量。8 主成分分析 数学模型要从原来的所有变量得到新的综合变量，一种较为简单而常用的方法是作线性变换，使新的综合变量为原变量的线性组合。111 121212121222211221122 1,2,ppppppppppiiipipFa xa xa xFa xa xaxFa xaxaxFa xa xa xip8 主成分分析 数学模型的条件 对于任意常数c，有 为了使方差

8、可以比较，要求线性组合的系数满足规范化条件 要求原始变量之间存在一定的相关性要求各个综合变量间互不相关，即协方差为0为了消除变量量纲不同对方差的影响，通常对数据进行标准化处理，变量之间的协方差即为相关系数。 2ar()var()iivcFcFvar()iF222121iiipaaa8 主成分分析 数学模型的条件 KM O and Bartlett s TestKM O and Bartlett s Test.590151.78228.000Kaiser-M eyer-O lkin M easure of Sam plingAdequacy.Approx. Chi- SquaredfSig.Ba

9、rt lett s Test ofSphericity 如果多个变量相互独立或相关性很小，就不能进行主成分分析。 Kaiser-Meyer-Olkin（KMO)检验：检验变量之间的偏相关系数是否过小。 Bartletts 检验。该检验的原假设是相关矩阵为单位阵（不相关），如果不能拒绝原假设,则不适合进行主成分分析。8 主成分分析 数学模型的推导 112211221212 1,2,(,) X=(X , X ,)( )( ( )( ( ) 1iiipipppppFa xa xa xipFa Xa Xa Xa Xaa aaXVar a XE a XE a Xa XE a XMax 其中 E(X-E(

10、X)(X-E(X) = 寻求X的线性函数 ，使相应的方差尽可能地大，即a X且8 主成分分析 数学模型的推导 通过推导可知， 的主成分就是以协方差阵的特征向量为系数的线性组合，它们互不相关，其方差为 的特征根。 由于 特征根 ，所以有 ，因此主成分的名次是按特征根取值大小的顺利排列的。 在解决实际问题时，一般不是取全部p个主成分，而是取前k个。 方法之一是取特征根大于1的主成分。 方法之二是根据累计贡献率来取主成分。 12p X ,X ,X120p12()()()0pVar FVar FVar F何为贡献率和累计贡献率？8 主成分分析主成分的提取 贡献率 因此第一主成分的贡献率越大，表明其综合

11、信息的能力就越强。11 pii111111()() ()ppiiiiVar FVar FVar F称为第一主成分的贡献率12,pXXX8 主成分分析 主成分的提取 累计贡献率 如果前k个主成分的累计贡献率达到85，则表明取前k个主成分基本包含了全部测量指标所具有的信息，从而达到了变量降维的目的。称为前k个主成分的累计贡献率11 kiipii在实际应用中，通常用样本协差阵来表征总体协差阵。另外，为了消除指标量纲的影响，通常将原始数据进行标准化处理，从而协差阵等同于相关系数阵。8 主成分分析 主成分的提取Total Variance ExplainedTotal Variance Explaine

12、d2.88736.08836.0882.88736.08836.0882.63632.94669.0342.63632.94669.0341.09413.67282.7061.09413.67282.706.5887.34790.054.3914.89494.947.2182.72797.675.1221.53099.205.064.795100.000Com ponent12345678Total% of VarianceCum ulative %Total% of VarianceCum ulative %Ini tial EigenvaluesExtraction Sum s of Sq

13、uar ed LoadingsExtraction M ethod: Princi pal Com ponent Analysi s.根据特征根或累积方差贡献率，可以提取3个主成分8 主成分分析主成分模型 （注意区别）用主成分载荷矩阵中的数据除以主成分相对应的特征值开平方根便得到两个主成分中每个指标所对应的系数。左图Component Matrix是指初始因子载荷矩阵，每一个载荷量表示主成分与对应变量的相关系数。iiieComponent MatrixComponent Matrixa a.489.649-.382.346-.827.288.879.018.386-.455.571.551.6

14、27.667-.253.746-.568.078.744.102-.038.217.654.584GDP(亿元）工业增加值总资产贡献率资产负债率流动资产周转次数工业成本费用利润率（%）全员劳动生产率产品销售率123ComponentExtraction Method: Principal Component Analysis.3 components extracted.a. 8 主成分分析主成分模型Component MatrixComponent Matrixa a.489.649-.382.346-.827.288.879.018.386-.455.571.551.627.667-.25

15、3.746-.568.078.744.102-.038.217.654.584GDP(亿元）工业增加值总资产贡献率资产负债率流动资产周转次数工业成本费用利润率（%）全员劳动生产率产品销售率123ComponentExtraction Method: Principal Component Analysis.3 components extracted.a. 112345678212345678312345678F =0.288X +0.203X0.518X0.268X0.369X0.439X0.438X0.128XF =0.4X0.509X0.011X0.352X0.411X0.350X0.063X0.403XF =0.365X0.276X0.369X0.526X0.242X0.074X0.036X0.558X8 主成分分析主成分解释1123456783672123456781253123F =0.288X +0.203X0.518X0.268X 0.369X 0.439X0.438X0.128X XXXF =0.4X0.509X0.011X0.352X0.4