主成分分析法的原理应用及计算步骤(2)

1、一、概述在处理信息时，当两个变量之间有一定相关关系时， 可以解释为这两个变量 反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项 目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基 础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量 之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这 必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种 更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会 造成信息的大量丢失。主成分分析正是这样一种能

2、够有效降低变量维数，并已 得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提，将众多的原有变量综合6210X较少几 个综合指标，通常综合指标（主成分） 有以下几个特点：主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建 模，这将大大减少分析过程中的计算工作量。主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造 成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。主成分之间应该互不相关通过主成分分析得出的新的综合指标 （主成分）之间互不相关，因子参与数 据建模能够有效地解决变量信息重叠

3、、多重共线性等给分析应用带来的诸多问 题。主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成 少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。、基本原理主成分分析是数学上对数据降维的一种方法。 其基本思想是设法将原来众多 的具有一定相关性的指标XI, X2,，XP （比如p个指标），重新组合成一组较 少个数的互不相关的综合指标 Fm来代替原来指标。那么综合指标应该如何去提 取，使其既能最大程度的反映原变量 Xp所代表的信息，又能保证新指标之间保 持相互无关（信息不重叠）。设F1表示原变量的第一个线性组合所形成的主成分指标，即Fl ailXl a

4、2lX2 . aplXp,由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差Var（F1）越大，表示F1包含的信息越多。常常希望第 一主成分F1所含的信息量最大，因此在所有的线性组合中选取的 F1应该是XI, X2,，XP的所有线性组合中方差最大的，故称 F1为第一主成分。如果第一主 成分不足以代表原来p个指标的信息，再考虑选取第二个主成分指标F2，为有效地反映原信息，F1已有的信息就不需要再出现在 F2中，即F2与F1要保持独 立、不相关，用数学语言表达就是其协方差Cov（F1, F2）=0，所以F2是与F1不 相关的X1, X2,，XP的所有线性组合中方差最大的，故称 F2

5、为第二主成分, 依此类推构造出的F1、F2、Fm为原变量指标X1、X2XP第一、第二、 第m个主成分。F1ai1X1*I2X2a1pX pF2*21X1*22 X 2a2 pX pFmam1X1am2 X 2'a Xmp p根据以上分析得知：Fi 与Fj互不相关，即Cov(Fi , Fj) = 0,并有Var(Fi)=ai '工ai，其 中工为X的协方差阵(2) F1 是XI, X2,，Xp的一切线性组合(系数满足上述要求)中方差最 大的,即Fm是与F1, F2,Fm- 1都不相关的X1, X2,，XP的所有 线性组合中方差最大者。F1,F2,，F(m< p)为构造的新变

6、量指标，即原变量指标的第一、第二、 第m个主成分。由以上分析可见，主成分分析法的主要任务有两点：(1) 确定各主成分Fi (i=1 , 2,，n)关于原变量Xj (j=1 , 2 ,，p)的表达式，即系数aij ( i=1 , 2,，m； j=1 , 2 ,，p)。从数学上可以证 明，原变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代表前m个较大的主成分方差值；原变量 协方差矩阵前m个较大的特征值i (这 样选取才能保证主成分的方差依次最大)所对应的特征向量就是相应主成分Fi表达式的系数ai ,为了加以限制，系数ai启用的是i对应的单位化的特征向量， 即有 ai 'ai

7、= 1。(2) 计算主成分载荷，主成分载荷是反映主成分Fi与原变量Xj之间的相互 关联程度：P(Zk，N)- kaki(i, 1,2,L,p；k 1,2,L,m)三、主成分分析法的计算步骤主成分分析的具体步骤如下：(1) 计算协方差矩阵计算样品数据的协方差矩阵：工=(Sj)p P,其中1 n _ _Sij(Xki Xi)(Xkj Xj) i , j = 1 , 2,，pn 1 k 1(2) 求出工的特征值i及相应的正交化单位特征向量ai工的前m个较大的特征值 12m>0就是前m个主成分对应的方差,对应的单位特征向量ai就是主成分Fi的关于原变量的系数，则原变量的第i个 主成分Fi为:Fi

8、 = ai'X主成分的方差（信息）贡献率用来反映信息量的大小，匚为:（3）选择主成分最终要选择几个主成分，即F1,F2,Fm中m的确定是通过方差（信息） 累计贡献率G（m）来确定mpG（m） i / ki 1k 1当累积贡献率大于85%寸，就认为能足够反映原来变量的信息了，对应的 m 就是抽取的前m个主成分。（4）计算主成分载荷主成分载荷是反映主成分 Fi与原变量Xj之间的相互关联程度，原来变量 Xj （j=1，2 ,，p ）在诸主成分Fi （i=1，2,，n）上的荷载lij （ i=1， 2,，m j=1 ，2 ,，p）。：l（Zi,XJ"aji 1,2,L,m;j 1,2

9、,L,p）在SPSS软件中主成分分析后的分析结果中，“成分矩阵”反应的就是主成分 载荷矩阵。（5）计算主成分得分计算样品在m个主成分上的得分:Fia1i X1a2i X2apiX p i = 1,2,，m实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的 影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数 据变换：XijXjxjSji 1,2,., n; j 1,2,., p其中:Xjxij,2Sj(Xiji 1Xj)根据数学公式知道,任何随机变量对其作标准化变换后,其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。另一方面，根据协

10、方差的公式可以推得标准化后的协方差就是原变量的相关系数， 亦即, 标准化后的变量的协方差矩阵就是原变量的相关系数矩阵 。也就是说，在标准 化前后变量的相关系数矩阵不变化。根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵， 就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是： 计算相关系数矩阵求出相关系数矩阵的特征值 i及相应的正交化单位特征向量ai选择主成分计算主成分得分总结：原指标相关系数矩阵相应的特征值i为主成分方差的贡献，方差的p贡献率为i i/ i， i越大，说明相应的主成分反映综合信息的能力越强，i 1可根据i的大小来提取主成分。每一个主成分的组合系

11、数（原变量在该主成分 上的载荷）ai就是相应特征值i所对应的单位特征向量。主成分分析法的计算步骤1、原始指标数据的 标准化采集p维随机向量x =（石,瓦，,Xp）T）n 个样品 x = （Xii,Xi2,.,Xip）T， i=1,2,n > p，构造样本阵，对样本阵元进行如下标准化变换：Zij = - 1,2,"眄 j -，p工命1 占 I其中!,得标准化阵Z。2、对标准化阵Z求相关系数矩阵R =闷1严卩=苴中笃=龙"= 122其中，.。3、解样本相关矩阵R的特征方程|R 一入妇| =。得p个特征根,确定主成分辭半 0.8彳按确定m值，使信息的利用率达85%以上，对每

12、个入,j=l,2,.,m,解方程组 Rb = jb得单位特征向量"j。4、将标准化后的指标变量转换为主成分=迁 % j = 1 mU1称为第一主成分，U2称为第二主成分，,Up称为第P主成分。5、对m个主成分进行综合评价对m个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析 方法。从数学角度来看，这是一种降维处理技术。思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析 问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较 多的变量，并使这些少数变

13、量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。原理：假定有n个样本，每个样本共有p个变量，构成一个nxp阶的数据 矩阵，XiiX12XipXX21X22X2pXniXn2Xnp记原变量指标为Xi , X2,，Xp，设它们降维处理后的综合指标，即新变量为 z 1，Z2，Z3，zmw p)，则ZiIiiXiIi2X2Ii p XpZ2I2iXiI22X2I2pXpZmlmi XiIm2X2Imp Xp系数I j的确定原则： Zi与乙(i工j ； i，j=1，2，m)相互无关； Zi是Xi, X2,Xp的一切线性组合中方差最大者，Z2是与乙不相关的X1,X2，, Xp的所有线性组合

14、中方差最大者； Z m是与Zi, Z2, , Z叶i都不相关的Xi, X2,Xp ,的所有线性组合中方差最大者。新变量指标Zi , Z2，z m分别称为原变量指标Xi, X2，Xp的第i,第2, 第m主成分。从以上的分析可以看出，主成分分析的实质就是确定原来变量Xj (j=i ,2，p)在诸主成分乙(i=i , 2,，m)上的荷载I j ( i=i , 2,，m j=i , 2 ,，p)。从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向 量。二、主成分分析的计算步骤i、计算相关系数矩阵式为rj (i , j =i, 2,，p)为原变量Xi与Xj的相关系数,r ij =r ji

15、 ,其计算公(Xki Xi )(Xkj Xj)rjnn 2 2Xi) (Xkj Xj)k i2、计算特征值与特征向量解特征方程I I R 0，常用雅可比法（Jacobi ）求出特征值，并使其按大小顺序排列i 2P 0 ；p分别求出对应于特征值i的特征向量ei（i 1,2，L,p），要求e=1，即 e2 1 j i其中ej表示向量ei的第j个分量。3、计算主成分贡献率及累计贡献率贡献率:(i 1,2,L,p)累计贡献率:ikk 1pkk 1(i 1,2,L,p)般取累计贡献率达 85%-958的特征值,仆2,L, m所对应的第1、第2、第m（mep）个主成分。4、计算主成分载荷lijP（Zi,X

16、j） /7q（i,j 1,2, L,p）5、各主成分得分、主成分分析法在SPSS中的操作Z11Z12Z1mZZ21Z22Z2mZn1Zn2Znm1、指标数据选取、收集与录入（表1）表1沿海询亍省市控济数捐地悽GDP人均GDP农业IfltU 值T业怡加值第三产业用加值囲定鬣产披资基本建世投査苇善总额浴关出口 M抱方财政收入5458J1300014883.31376.22258.41315.9529.02258.4123.7399.7山东10550.011643B90u03502.53351.02288.71070.7313L921L4610.2河北6076.6仙7950.21406.72092.

17、61161.0$97.11915834$.$J0232022,62206883 9822.8960.0703.736).9941.4115.7171810636.01W711225353633967：22320.0II4L.3321J.S384.7643.75408.840627S6.2219622755.81970.277932035.2320 57W.0箭辽7670.0165706B0.023MJ2296.61180.62S77.5294,2$66.94682.01J510663.01047.11SSM)964.53S7.&1663.3173.7272.9广东)1770.01503

18、0102394224.64793.63022.91275.55013.6184371202.0广西2437.2SD62591.4367.0W5.7512.2352.71025.5154186.72、Analyze f Data Reduction f Factor Analysis ，弹出 Factor Analysis对话框：表2 Factor Analyze対话框与Descriptives卡对话框OKGDPX1:'飢均GDP推李农业增刖值血PdiltState ticsi*1亠'F“1 Cohbnijefl esetUnivarate descriptive砂工业増加a用$

19、黑三严业增血備【”V niia/solutionCancelCancel參固定资产投费凶E莎旌忝建设投更阱7Hft(pCorrelation卍 CoeffEienH$|r InverseS design V>sriabk1 Signiljcance fevds "Oeamneril厂 ReproducedArit?imdge广 KMO and Barfeifs (es! of spheikiScores.Qplicns.Qescsiptwes. -R 鮎占曲n 3、把指标数据选入 Variables 框，Descriptives: Correlation Matrix框组中选中

20、Coefficients, 然后点击 Continue,返回Factor Analysis 对话框，单 击OK注意：SPSS在调用Factor Analyze过程进行分析时，SPSS会自动对原始数据进行标准化处理，所以在得到计算结果后的变量都是指经过标准化处理后的变量，但SPSS并不直接给出标准化后的数据，如需要得到标准化数据，则需调用Descriptives过程进行计算。表3 相关系数矩阵Comclatico NfetrixGDP人沟GDP农业工业握加值第三产业 増加直固定 吏产 投価投资礼会消售总额出口 总荊i地肚收入GDP1.000-0.094-00520.9670&790 92

21、J0.9220 9410.6370,826Aft GDP-0.0941.000-01710.1130.07402140.093-0.0430_0®10273-0.052 0.1711.000-0.132-0-0.09S-0.P60 0B-0 1250 08工业增加值0 9670.1B-01321.W00.9-850 9630.93909350-7050.S98第三产业塔M血0.9790.074-0 050098500009730 900.9620.7140 913固阮任产般慣0.9230.21409630.731.0000 9710.9370.7170-9140.9220W3-0.1

22、760939住颂0 9711 0000.S970.6240.$4S林瓷潇供品零皆总颍0 941-0.04300130.9350.9620.9370.8971.0000.8360.929海梵出口蝕槪0 6370 081-0.1250.700.714071706240 8361-000Q.&82地方时熬收入0.8260273-0.0860.8980.9130.9340.S4S0.9290-8821.000Ccn2|Ma>ftMImhal Ei毀Mhi跆ExEraclidiL Sum of Sqwed gdu学CouipaiienrTotal% af VjirinnrfOmubin它

23、Total% cfVanajKClunudaci¥ %1217.22072.20572.20S7.22072_20572 205GDP049521.2351Z34CBJ 551123512-34684551丸均GDP(j 11 ?-0.82430 37.'8.76993.119-0.1090.67740.5475.46698 786工业mtnta0.9TB-0.00550.0850.85499.640弟三产业増加值0.9B60.07060.0210.21199.8500.9GJ-0.06S帛+崔设投徒0.947-O.OM70.-0120.11999.970-0.9770 17

24、6e0 0020.01899.988海冀出口总糕OEW 0.05190.0010.012100.000地占財吒收入Q 954-0.128100.0000.000100.000Extmchon. 陡Etuxl ftinripal Cbnnporient AnnJym 2 cxnpmrnEs ndmrbed4方琮甘胖主成莎提申分折我TcIhI Vknance Bxplantcd表5 剧紡囚予找荷矩阵CoEBpaiieikE Xfatrix?从表3可知GDP与工业增加值，第三产业增加值、固定资产投资、基本建设 投资、社会消费品零售总额、地方财政收入这几个指标存在着极其显著的关系 ， 与海关出口总额存

25、在着显著关系。可见许多变量之间直接的相关性比较强，证明 他们存在信息上的重叠。主成分个数提取原则为主成分对应的特征值大于 1的前m个主成分。特征值在 某种程度上可以被看成是表示主成分影响力度大小的指标，如果特征值小于1, 说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大，因此一般可以用特征值大于1作为纳入标准。通过表4（方差分解主成分提取分析）可 知,提取2个主成分,即m=2,从表5（初始因子载荷矩阵）可知GDP 工业增加 值、第三产业增加值、固定资产投资、基本建设投资、社会消费品零售总额、海 关出口总额、地方财政收入在第一主成分上有较高载荷，说明第一主成分基本反映了这些指标的信

26、息；人均GDP和农业增加值指标在第二主成分上有较高载荷， 说明第二主成分基本反映了人均GDP和农业增加值两个指标的信息。所以提取两 个主成分是可以基本反映全部指标的信息，所以决定用两个新变量来代替原来 的十个变量。但这两个新变量的表达还不能从输出窗口中直接得到，因为“ ComponentMatrix ”是指初始因子载荷矩阵,每一个载荷量表示主成分与对应 变量的相关系数。用表5（主成分载荷矩阵）中的数据除以主成分相对应的特征值开平方根便 得到两个主成分中每个指标所对应的系数。将初始因子载荷矩阵中的两列数据输 入（可用复制粘贴的方法）到数据编辑窗口（为变量B1、B2）,然后利用“ Transfor

27、m Compute Variable ” , 在Compute Variable 对话框中输入“ A仁B1/SQR（7.22）”注：第二主成分SQ后的括号中填1.235,即可得到特征向 量A（见表6）。同理，可得到特征向量A。将得到的特征向量与标准化后的数据相 乘，然后就可以得出主成分表达式注：因本例只是为了说明如何在SPSS进行 主成分分析，故在此不对提取的主成分进行命名，有兴趣的读者可自行命名。F, =0.353ZX! +0.042ZK： -0.041ZX3 +0.364ZX4 + 0367ZX, P.366ZX, +0.352ZX. +0364啓 +0298ZX, + 0355ZXLoF

28、, =0A75ZX -0.741ZX： +0.609ZX, - 0.004Z + 0.063ZX< -O.OfilZXs -0.022ZX7 丸血 -0.046ZX, 015ZXlo表 6 Compute Variable 对话框I 11总：封| B1 齢E21 1上：亠気丄1E(jrclioihfc1 厂J-1 < - ='<|jAEfifnuneF< ' * 1t 2 3l 1ASYtle:? vSjfl.za'JT I AfSIMinjmexpnl 't- tAHHurraxpEiCDF.BEROUUJtqji;/t 11 I IJ_ . jl clee叱iT -«qel ai>aNe:.时5«代 £