主成分分析方法

1、主成分分析方法简介在经济问题的研究中，我们常常会遇到影响此问题的很多变量，这些变量多且又有一定的相关性，因此我们希望从中综合出一些主要的指标，这些指标所包含的信息量又很多。这些特点，使我们在研究复杂的问题时，容易抓住主要矛盾。 那么怎样找综合指标？主成分分析是将原来众多具有一定相关性的指标重新组合成一组新的相互无关的综合指标来代替原来指标的统计方法,也是数学上降维的一种方法.一. 主成分分析法简介主成分分析是将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法，又称主分量分析。在实际问题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个

2、问题的某些信息。但是，在用统计分析方法研究这个多变量的问题时，变量个数太多就会增加问题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此问题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映问题的信息方面尽可能保持原有的信息。信息的大小通常用离差平方和或方差来衡量。主成分分析的基础思想是将数据原来的p个指标作线性组合,作为新的综合指标(F1,F2, ,FP)。其中F1是“信息最多”的指标，即原指标所有线性组合中使va

3、r(F1)最大的组合对应的指标，称为第一主成分；F2为除F1外信息最多的指标，即cov(F1,F2) 0且var(F2)最大，称为第二主成分；依次类推。易知F1,F2, ,FP互不相关且方差递减。实际处理中一般只选取前几个最大的主成分（总贡献率达到85%），达到了降维的目的。主成分分析是一种进行信息压缩的方法。通过这种方法，可以将原来相关的若干变量，变换成不相关的变量。二.求主成分方法步骤：（1）对样本数据的标准化设有n个样品，P个指标，得到的原始资料矩阵为了实现样本数据的标准化，应求样本数据的均值和方差。样本数据的标准化是基于数据的均值和方差进行的。 因为在实际应用中，往往存在指标的量纲不同

4、，所以在计算之前须先消除量纲的影响，而将原始数据标准化。对数据矩阵Y作标准化处理，即对每一个指标分量作标准化变换，变换公式为：其中：样本均值样本标准差得标准化后的数据矩阵称为标准化矩阵。（2）计算相关矩阵对于给定的n个样本，求样本间的相关系数。相关矩阵中的每一个元素由相应的相关系数所表示。称为相关性矩阵。其中（3）求特征值和特征向量设求得的相关矩阵为R ，求解特征方程：|R-i|=0通过求解特征方程，可得到m个特征值 （i=1m），和对应于每一个特征值的特征向量：ai=(ai1,ai2,.,aip) i=1m且有 设相应123m0 Ai=(1i,2i,.,pi) i=1m 1的特征向量（4）求

5、主成分 （取线性组合）根据求得的m个特征向量，m个主要成分分别为：F1=11x1+12x2+ . +1pxpF2=21x1+22x2+ . +2pxp. . . . . .Fm=m1x1+m2x2+ . +mpxp上式就是主成分分析的模型，其通式为：Fi=i1x1+i2x2+ . +ipxp i=1,2,. m 称为主成份，称F1是第一主成份，F2是第二主成份，i是第i主成份。 求各主成份的关键是求特征根（）及其相应的特征向量（ ）。主成分分析以较少的m个指标代替了原来的p个指标对系统进行分析，这F给我们对系统的综合分析评价带来了很大的方便。（5）定义：称1为第一主成分的贡献率。这个值越大，表明第i主成分综合pii=1信息的能力越强。 称i=1i=1pmi为前m个主成分的累计贡献率。表明取前几个主成分基本包含了全部测i量指标所具有信息的百分率。保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比(即累计贡献率)，它标志着前几个主成分概括信息之多寡。实践中，粗略规定一个百分比便可决定保留几个主成分；如果