主成分分析方法

1、主成分分析方法 多元分析处理的是多指标的问题。由于指标太多，使得分析的复杂性增加。观察指标的增加本来是为了使研究过程趋于完整，但反过来说，为使研究结果清晰明了而一味增加观察指标又让人陷入混乱不清。由于在实际工作中，指标间经常具备一定的相关性，故人们希望用较少的指标代替原来较多的指标，但依然能反映原有的全部信息，于是就产生了主成分分析、对应分析、典型相关分析和因子分析等方法。 在分析多要素的复杂系统中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。 因此，人们会很自然地想到，能否在相关分析的基础上，用较少的新变量代

2、替原来较多的旧变量，而且使这些较少的新变量尽可能多地保留原来变量所反映的信息？ 问题的提出问题的提出： 事实上，这种想法是可以实现的，主成分分析方法就是综合处理这种问题的一种强有力的工具。 主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。 从数学角度来看，这是一种降维处理技术。 基本原理 假定有n个样本，每个样本共有p个变量，构成一个np阶的数据矩阵 当p较大时，在p维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息，同时它们之间又是彼此独立的。 n

3、pnnppxxxxxxxxxx212222111211（3.5.1） 定义定义：记x1，x2，xp为原变量指标，z1，z2，zm（mp）为新变量指标pmpmmmppppxlxlxlzxlxlxlzxlxlxlz22112222121212121111(3.5.2) n系数lij的确定原则： zi与zj（ij；i，j=1，2，m）相互无关； z1是x1，x2，xp的一切线性组合中方差最大者， z2是与z1不相关的x1，x2，xp的所有线性组合 中方差最大者； zm是与z1，z2，zm1都不相关 的x1，x2，xp， 的所有线性组合中方差最大者。 则新变量指标z1，z2，zm分别称为原变量指标x1

4、，x2，xp的第一，第二，第m主成分。 从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2 ， p）在诸主成分zi（i=1，2，m）上的荷载 lij（ i=1，2，m； j=1，2 ，p）。 从数学上容易知道，从数学上可以证明，它们分别是的相关矩阵的m个较大的特征值所对应的特征向量。 计算步骤（一）计算相关系数矩阵 rij（i，j=1，2，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为：pppppprrrrrrrrrr212222111211（3.5.3） nknkjkjikinkjkjikiijxxxxxxxxr11221)()()(（3.5.4） （二

5、）计算特征值与特征向量： 解特征方程，常用雅可比法（jacobi） 求出特征值，并使其按大小顺序排列，即 ； 0ri0,21p 分别求出对应于特征值的特征向量 要求 =1，即，其中表示向量的 第j个分量。i), 2 , 1(pieiie112pjijeije 计算主成分贡献率及累计贡献率 贡献率:),2, 1(1pipkki累计贡献率: ),2, 1(11pipkkikk一般取累计贡献率达8595%的特征值所对应的第一、第二、第m（mp）个主成分。 m,21 计算主成分载荷 各主成分的得分： ), 2 , 1,(),(pjiexzplijijiij（3.5.5） nmnnmmzzzzzzzzz

6、z212222111211（3.5.6） 3. 主成分分析方法应用实例 样本序号x1：人口密度(人/km2)x 2：人均耕地面积(ha)x 3：森林覆盖率(%)x 4：农民人均纯收入(元/人)x 5：人均粮食产量(kg/人)x 6：经济作物占农作物播面比例()x 7：耕地占土地面积比率()x 8：果园与林地面积之比()x 9：灌溉田占耕地面积之比()1363.9120.35216.101192.11295.3426.72418.4922.23126.2622141.5031.68424.3011752.35452.2632.31414.4641.45527.0663100.6951.06765

7、.6011181.54270.1218.2660.1627.47412.4894143.7391.33633.2051436.12354.2617.48611.8051.89217.5345131.4121.62316.6071405.09586.5940.68314.4010.30322.932表3.4.5 某农业生态经济系统各区域单元的有关数据 668.3372.03276.2041540.29216.398.1284.0650.0114.861795.4160.80171.106926.35291.528.1354.0630.0124.862862.9011.65273.3071501.

8、24225.2518.3522.6450.0343.201986.6240.84168.904897.36196.3716.8615.1760.0556.1671091.3940.81266.502911.24226.5118.2795.6430.0764.4771176.9120.85850.302103.52217.0919.7934.8810.0016.1651251.2741.04164.609968.33181.384.0054.0660.0155.4021368.8310.83662.804957.14194.049.114.4840.0025.791477.3010.62360.

9、102824.37188.0919.4095.7215.0558.4131576.9481.02268.0011255.42211.5511.1023.1330.013.4251699.2650.65460.7021251.03220.914.3834.6150.0115.59317118.5050.66163.3041246.47242.1610.7066.0530.1548.70118141.4730.73754.206814.21193.4611.4196.4420.01212.94519137.7610.59855.9011124.05228.449.5217.8810.06912.6

10、5420117.6121.24554.503805.67175.2318.1065.7890.0488.46121122.7810.73149.1021313.11236.2926.7247.1620.09210.078步骤如下：（1）将表3.4.5中的数据作标准差标准化处理，然后将它们代入公式（3.5.4）计算相关系数矩阵（见表3.5.1）。x1x2x3x4x5x6x7x8x9x11-0.327 -0.714 -0.3360.3090.4080.790.1560.744x2-0.331-0.0350.6440.420.2550.009-0.0780.094x3-0.71-0.03510.07

11、-0.74-0.755-0.93-0.109-0.924x4-0.340.6440.0710.3830.069-0.05-0.0310.073x50.3090.42-0.740.38310.7340.6720.0980.747x60.4080.255-0.7550.0690.73410.6580.2220.707x70.790.009-0.93-0.0460.6720.6581-0.030.89x80.156 -0.078 -0.109 -0.0310.0980.222-0.0310.29x90.7440.094-0.9240.0730.7470.7070.890.291表3.5.1相关系数矩

12、阵 （2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表3.5.2）。由表3.5.2可知，第一，第二，第三主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。 主成分特征值贡献率(%)累积贡献率(%)z14.66151.79151.791z22.08923.21675.007z31.04311.58986.596z40.5075.63892.234z50.3153.50295.736z60.1932.1497.876z70.1141.27199.147z80.04530.50499.65z90.03150.35100

13、表3.5.2特征值及主成分贡献率 （3）对于特征值=4.6610，=2.0890，=1.0430分别求出其特征向量e1，e2，e3，再用公式（3.5.5）计算各变量x1，x2，x9在主成分z1，z2，z3上的载荷（表3.5.3）。 123z1z2z3占方差的百分数（%）x10.739-0.532-0.006182.918x20.1230.887-0.002880.191x3-0.9640.00960.009592.948x40.00420.8680.003775.346x50.8130.444-0.001185.811x60.8190.1790.12571.843x70.933-0.133-0

14、.25195.118x80.197-0.10.9798.971x90.964-0.00250.009292.939表3.5.3主成分载荷 上述计算过程，可以借助于spss或matlab软件系统实现。 第一主成分是生态经济结构的代表。 第二主成分， 分析：分析：显然，用三个主成分z1、z2、z3代替原来9个变量（x1，x2，x9），描述农业生态经济系统，可以使问题更进一步简化、明了。第三主成分z3，与x8呈显出的正相关程度最高，其次是x6，而与x7呈负相关，因此可以认为第三主成分在一定程度上代表了农业经济结构。 另外，表3.5.3中最后一列（占方差的百分数），在一定程度反映了三个主成分z1、z2

15、、z3包含原变量（x1，x2，x9）的信息量多少。 spss实现 将以上数据导入到数据窗口中，先定义各变量为numberic型。 激活analysis菜单选data reduction的factor.命令项，弹出factor analysis对话框（图1）。在对话框左侧的变量列表中选变量至，点击钮使之进入variables框。 点击descriptives.钮，弹出factor analysis:descriptives对话框（图2），在statistics中选univariate descriptives项要求输出各变量的均数与标准差，在correlation matrix栏内选coeffi

16、cients项要求计算相关系数矩阵，并选kmo and bartletts test of sphericity项，要求对相关系数矩阵进行统计学检验。点击continue钮返回factor analysis对话框。 点击descriptives.钮，弹出factor analysis:descriptives对话框（图2），在statistics中选univariate descriptives项要求输出各变量的均数与标准差，在correlation matrix栏内选coefficients项要求计算相关系数矩阵，并选kmo and bartletts test of sphericity项

17、，要求对相关系数矩阵进行统计学检验。点击continue钮返回factor analysis对话框。 点击extraction.钮，弹出factor analysis:extraction对话框（图3），系统提供如下因子提取方法： principal components：主成分分析法；unweighted least squares：未加权最小平方法；generalized least squares：综合最小平方法；maximum likelihood：极大似然估计法；principal axis factoring：主轴因子法；alpha factoring： 因子法；image fac

18、toring：多元回归法。 本例选用principal components方法，之后点击continue钮返回factor analysis对话框。 点击rotation.钮，弹出factor analysis:rotation对话框，系统有5种因子旋转方法可选： none：不作因子旋转；varimax：正交旋转；equamax：全体旋转，对变量和因子均作旋转；quartimax：四分旋转，对变量作旋转；direct oblimin：斜交旋转。旋转的目的是为了获得简单结构，以帮助我们解释因子。本例选正交旋转法，之后点击continue钮返回factor analysis对话框。 点击scor

19、es.钮，弹出弹出factor analysis:scores对话框，系统提供3种估计因子得分系数的方法，本例选regression（回归因子得分），之后点击continue钮返回factor analysis对话框，再点击ok钮即完成分析。 结果解释 在输出结果窗口中将看到如下统计数据：descriptive statistics113.076 064.256 54211.009 81.434 212155.017 8117.881 64211 067.000405.633 321257.297 699.471 32116.643 149.249 56216.721 104.457 1521

20、.905 331.936 722110.356 107.300 6321x1：人口密度(人/km2)x 2：人均耕地面积(ha)x 3：森林覆盖率(%)x 4：农民人均纯收入(元/人)x 5：人均粮食产量(kg/人)x 6：经济作物占农作物播面比例()x 7：耕地占土地面积比率()x 8：果园与林地面积之比()x 9：灌溉田占耕地面积之比()meanstd. deviationanalysis n系统首先输出各变量的均数（mean）与标准差（std dev），并显示共有21例观察单位进入分析； 接着输出相关系数矩阵（correlation matrix）， kmo and bartletts

21、test.759159.76736.000kaiser-meyer-olkin measure of samplingadequacy.approx. chi-squaredfsig.bartletts test ofsphericity经bartlett检验表明：bartlett值 = 159.767，p0.0001，即相关矩阵不是一个单位矩阵，故考虑进行因子分析。 communalities1.000.8321.000.8031.000.9471.000.7571.000.8581.000.7181.000.9521.000.9901.000.938x1：人口密度(人/km2)x 2：人均

22、耕地面积(ha)x 3：森林覆盖率(%)x 4：农民人均纯收入(元/人)x 5：人均粮食产量(kg/人)x 6：经济作物占农作物播面比例()x 7：耕地占土地面积比率()x 8：果园与林地面积之比()x 9：灌溉田占耕地面积之比()initialextractionextraction method: principal component analysis. 使用主成分分析法得到3个因子，因子矩阵（factor matrix）如下，变量与某一因子的联系系数绝对值越大，则该因子与变量关系越近。如本例变量与第一因子的值为-0.964，与第二因子的值为0.009 56，可见其与第一因子更近，与第二

23、因子更远。或者因子矩阵也可以作为因子贡献大小的度量，其绝对值越大，贡献也越大。component matrixa.739-.532-6.11e-02.123.887-2.82e-02-.9649.561e-029.486e-024.164e-02.8683.702e-02.813.444-1.09e-02.819.179.125.933-.133-.251.197-.100.970.964-2.50e-029.167e-02x1：人口密度(人/km2)x 2：人均耕地面积(ha)x 3：森林覆盖率(%)x 4：农民人均纯收入(元/人)x 5：人均粮食产量(kg/人)x 6：经济作物占农作物播面比例()x 7：耕地占土地面积比率()x 8：果园与林地面积之比()x 9：灌溉田占耕地面积之比()123componente