主成分分析法例子

1、一、主成分分析的基本原理 v假定有n个样本，每个样本共有p个变量，构成一个np阶的数据矩阵npnnppxxxxxxxxxX212222111211（1） v降维处理！当p较大时，在p维空间中考察问题比较麻烦。降维是用较少的几个综合指标代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多变量指标所反映的信息，同时它们之间又是彼此独立的。定义：记x1，x2，xP为原变量指标，z1，z2，zm（mp）为新变量指标pmpmmmppppxlxlxlzxlxlxlzxlxlxlz22112222121212121111(2) v系数lij的确定原则： zi与zj（ ij；i，j=1，2

2、，m ）相互无关； z1是x1，x2，xP的一切线性组合中方差最大者，z2是与z1不相关的x1，x2，xP的所有线性组合中方差最大者； zm是与z1，z2，zm1都不相关的x1，x2，xP， 的所有线性组合中方差最大者。 则新变量指标z1，z2，zm分别称为原变量指标x1，x2，xP的第一，第二，第m主成分。 从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2 ， p）在诸主成分zi（i=1，2，m）上的载荷 lij（ i=1，2，m； j=1，2 ，p）。 从数学上可以证明，载荷lij分别是相关矩阵的m个较大的特征值所对应的特征向量。 二、计算步骤 （一）计算相关系数矩阵

3、（一）计算相关系数矩阵 rij（i，j=1，2，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为：pppppprrrrrrrrrR212222111211（3） nknkjkjikinkjkjikiijxxxxxxxxr11221)()()(（4） （二）计算特征值与特征向量：（二）计算特征值与特征向量： 解特征方程，求出特征值，并使其按大小顺序排列 ； 0RI0,21p 分别求出对应于特征值的特征向量 ，要求 =1，即，其中表示向量 的第j个分量。i), 2 , 1(piliil112pjijlijlil 计算主成分贡献率及累计贡献率 贡献率:),2, 1(1pipkki累计

4、贡献率: ),2, 1(11pipkkikk一般取累计贡献率达8595%的特征值所对应的第一、第二、第m（mp）个主成分。 m,21pnpnnppxxxlllllllllZ.21212222111211（6） 各主成分的得分三、 主成分分析方法应用实例表表1 1 某农业生态经济系统各区域单元的有关数据某农业生态经济系统各区域单元的有关数据 668.3372.03276.2041540.29216.398.1284.0650.0114.861795.4160.80171.106926.35291.528.1354.0630.0124.862862.9011.65273.3071501.24225

5、.2518.3522.6450.0343.201986.6240.84168.904897.36196.3716.8615.1760.0556.1671091.3940.81266.502911.24226.5118.2795.6430.0764.4771176.9120.85850.302103.52217.0919.7934.8810.0016.1651251.2741.04164.609968.33181.384.0054.0660.0155.4021368.8310.83662.804957.14194.049.114.4840.0025.791477.3010.62360.10282

6、4.37188.0919.4095.7215.0558.4131576.9481.02268.0011255.42211.5511.1023.1330.013.4251699.2650.65460.7021251.03220.914.3834.6150.0115.59317118.5050.66163.3041246.47242.1610.7066.0530.1548.70118141.4730.73754.206814.21193.4611.4196.4420.01212.94519137.7610.59855.9011124.05228.449.5217.8810.06912.654201

7、17.6121.24554.503805.67175.2318.1065.7890.0488.46121122.7810.73149.1021313.11236.2926.7247.1620.09210.078步骤如下：（1）将表1中的数据作标准差标准化处理，然后将它们代入公式（4）计算相关系数矩阵（见表2）。x1x2x3x4x5x6x7x8x9x11-0.327 -0.714 -0.3360.3090.4080.790.1560.744x2-0.331-0.0350.6440.420.2550.009-0.0780.094x3-0.71-0.03510.07-0.74-0.755-0.93-

8、0.109-0.924x4-0.340.6440.0710.3830.069-0.05-0.0310.073x50.3090.42-0.740.38310.7340.6720.0980.747x60.4080.255-0.7550.0690.73410.6580.2220.707x70.790.009-0.93-0.0460.6720.6581-0.030.89x80.156-0.078 -0.109 -0.0310.0980.222-0.0310.29x90.7440.094-0.9240.0730.7470.7070.890.291表表2 2相关系数矩阵相关系数矩阵 （2）由相关系数矩阵计

9、算特征值，以及各个主成分的贡献率与累计贡献率（见表3）。由表3可知，第一，第二，第三主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。 表表3 3特征值及主成分贡献率特征值及主成分贡献率 （3）对于特征值=4.6610，=2.0890，=1.0430分别求出其特征向量l1，l2，l3。表表4 4 主成分载荷主成分载荷 z1z2z3占方差的百分数（%）x10.739-0.532-0.006182.918x20.1230.887-0.002880.191x3-0.9640.00960.009592.948x40.00420.8680.003775.346x50.8130.444-0.001185.811x60.8190.1790.12571.843x70.933-0.133-0.25195.118x80.197-0.10.9798.971x90.964-0.00250.009292.939 第一主成分z1与x1，x5，x6，x7，x9呈显出较强的正相关，与x3呈显出较强的负相关，而这几个变量则综合反映了生态经济结构状况，因此可以认为第一主成分z1是生态经济结构的代表。 第二主成分z2与x2，x4，x5呈显出较强的正相关，与x1呈显出较强的负相关，其中，除了x1为人口总数外，x2，x4，x5都反映了人均占有资源量的情况