应用多元分析第7章主成分分析

主成分概念首先由KarlParson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。

第七章主成分分析(Principalcomponentanalysis)§7.1引言

在多数实际问题中，不同指标之间是有一定相关性。由于指标较多及指标间有一定的相关性，势必增加分析问题的复杂性。

主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来的指标的信息。第一页，共四十九页。主成分分析是考察多个数值变量间相关性的一种多元统计方法，它是研究如何通过少数几个主成分来解释多变量的方差—协方差结构。导出几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间不相关。第二页，共四十九页。一、主成分分析的基本思想将原来众多具有一定相关性的指标重新组合成一组新的相互无关的综合指标来代替原来指标。以两个指标为例，信息总量以总方差表示：第三页，共四十九页。Principalcomponentin2d第四页，共四十九页。One-dimensionalprojection第五页，共四十九页。其中y1、y2分别都是x1、x2的线性组合，并且信息尽可能地集中在y1上。在以后的分析中舍去y2，只用主成分y1来分析问题，起到了降维的作用。主成分分析就是通过适当的变量替换，使新变量成为原变量的线性组合，并寻求主成分来分析事物的一种方法。第六页，共四十九页。二、几何解释x1x2y1y2第七页，共四十九页。旋转变换的目的是为了使得n个样本点在y1轴方向上的离散程度最大，即y1的方差最大，变量y1代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量y2也损失不多的信息。y1与y2除起了浓缩作用外，还具有不相关性。y1称为第一主成分，y2称为第二主成分。第八页，共四十九页。推广开来，对于p维总体，寻求正交变换，使得在所有正交变换中，所选正交矩阵U，使最大；与不相关；并且在所有与不相关的变量中最大；与、不相关，同时在所有与、不相关的变量中最大；依次类推。

为总体的主成分，为第一主成分，为第二主成分…第九页，共四十九页。三、主成分分析的数学原理对原有变量作坐标变换，要求满足：第十页，共四十九页。如果z1=u1’x满足

则称z1为第一主成分.如果z2=u2’x满足

则称z2为第二主成分.…第十一页，共四十九页。§7.2总体的主成分

设为一p维随机向量，其二阶矩存在，记为的特征值，为相应的单位特征向量，且相互正交。则yi为第i个主成分。一、主成分的导出第十二页，共四十九页。二、主成分的性质1、主成分的均值与协方差记第十三页，共四十九页。

2、主成分的总方差

第十四页，共四十九页。3、原始变量与主成分的相关系数第十五页，共四十九页。4、m个主成分对原始变量的贡献率的复相关系数的平方称为m个主成分与第十六页，共四十九页。第十七页，共四十九页。第十八页，共四十九页。第十九页，共四十九页。其特征值为相应的特征向量为第二十页，共四十九页。0.0000.8550.0000.9961.0001.000-0.9250.8550.9980.9960.0000.000123I第二十一页，共四十九页。Proc

iml;X={1-2

0,-2

5

0,0

0

2};Val=eigval(x);Vec=eigvec(x);D=1:2;B=(val)[d,1];c=(vec)[,d];F1=(sqrt(inv(diag(X)))*vec*sqrt(diag(val)))[,d];F2=(f1#f1)[,1];F=diag(c*diag(b)*t(c))*inv(diag(x))*j(3,1);Printvalvecbcf1f2f;第二十二页，共四十九页。

VALVECBC5.8284271-0.38268300.92387955.8284271-0.382683020.923879500.382683420.923879500.171572901001

F1F2F-0.9238800.85355340.85355340.997484200.99497470.99497470101第二十三页，共四十九页。Dataw(type=cov);Inputx1x2x3;Cards;1-20-250002;Procprincompcov;Run;第二十四页，共四十九页。ThePRINCOMPProcedureObservations10000Variables3TotalVariance8EigenvaluesoftheCovarianceMatrixEigenvalueDifferenceProportionCumulative15.828427123.828427120.72860.728622.000000001.828427120.25000.978630.171572880.02141.0000EigenvectorsPrin1Prin2Prin3x1-.3826830.000000.923880x20.9238800.000000.382683x30.0000001.000000.000000第二十五页，共四十九页。第二十六页，共四十九页。第二十七页，共四十九页。第二十八页，共四十九页。主成分分析在经济指标综合评价中的应用核心：通过主成分分析，选择m个主成分y1,y2,…,ym，以每个主成分yi的方差贡献率αi作为权数，构造综合评价函数，其中为第i个主成分的得分（求出主成分的表达式后，将标准化后的数据再代入yi中）

当把m个主成分得分代入F函数后，即可得到每个样本的综合评价函数得分，以得分的大小排序，可排列出每个样本的经济效益的名次。第二十九页，共四十九页。5、原始变量对主成分的影响

称为第i主成分在第j个原始变量上的载荷第三十页，共四十九页。

第三十一页，共四十九页。第三十二页，共四十九页。分析：y1主要由x3控制，y2主要由x1控制，y3主要由x2

控制Y1的贡献率为：109.793/117=0.938x1,x2,x3之间的线性关系第三十三页，共四十九页。Dataw(type=cov);Inputx1x2x3;Cards;16230214304100;Procprincompcov;Run;第三十四页，共四十九页。三、从相关矩阵出发求主成分第三十五页，共四十九页。性质：第三十六页，共四十九页。例7.2.3在例中，x的相关矩阵第三十七页，共四十九页。相应的主成分为：第三十八页，共四十九页。§7.3样本的主成分设数据矩阵为第三十九页，共四十九页。样本协方差矩阵为样本相关矩阵为第四十页，共四十九页。

例

在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有：身高(x1)、坐高(x2)、胸围(x3)、手臂长(x4)、肋围(x5)和腰围(x6)。所的样本相关矩阵如下：X1X2X3X4X5X6

X1X2X3X4X5X61.000.791.000.360.311.000.760.550.351.000.250.170.640.161.000.510.350.580.380.631.00表7.3.1男子身材六项指标的样本相关矩阵第四十一页，共四十九页。SAS程序dataexamp731(type=corr);inputx1-x6;cards;1.00.....0.791.00....0.360.311.00...0.760.550.351.00..0.250.170.640.161.00.0.510.350.580.380.631.00;procprincomp;Run;第四十二页，共四十九页。

TheSASSystem08:44Wednesday,November24,20061ThePRINCOMPProcedureObservations10000Variables6EigenvaluesoftheCorrelationMatrixEigenvalueDifferenceProportionCumulative13.287200781.880960730.54790.547921.406240040.947144960.23440.782230.459095080.032753350.07650.858840.426341730.131541600.07110.929850.294800130.168477900.04910.978960.126322230.02111.0000

Eigenvectors

Prin1Prin2Prin3Prin4Prin5Prin6x10.468906-.3647560.092208-.1224270.079696-.785645x20.403726-.3966060.6130110.326444-.0270350.443430x30.3935700.396800-.2788700.655713-.405232-.125342x40.407640-.364842-.704801-.1078290.2345850.370564x50.3374720.5692140.164251-.0192970.7305020.033531x60.4268220.3083690.119265-.660671-.4899410.178828第四十三页，共四十九页。

特征向量

0.469-0.3650.0920.404-0.3970.6130.3940.397-0.2970.408-0.365-0.7050.3370.5690.1640.4270.3080.119

特征值3.2871.4060.459

贡献率0.5480.2340.077累计贡献率0.5480.7820.859第四十四页，共四十九页。第四十五页，共四十九页。

例7.3.3测得八项男子径赛运动纪录，样本相关矩阵如下：X1X2X3X4X5X6

X7X8X1X2X3X4X5X6

X7X8

1.0000.9231.0000.8410.8511.0000.7560.8070.8701.0000.7000.7750.8350.9181.0000.6190.6950.7790.8640.9281.0000.6330.6970.7870.8690.9350.9751.0000.5200.5960.7050.8060.8660.9320.9431.000第四十六页，共四十九页。dataexamp733(type=corr);inputx1-x8;cards;1.000.......0.9231.000......0.8410.8511.000...