(完整word版)主成分分析PCA(含有详细推导过程以和案例分析matlab版)

1、主成分分析法 (PCA)在实际问题中. 我们经常会遇到研究多个变量的问题. 而且在多数情况下. 多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性. 势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量. 既能够代表原始变量的绝大多数信息 . 又互不相关 . 并且在新的综合变量基础上. 可以进一步的统计分析. 这时就需要进行主成分分析。I. 主成分分析法 (PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法. 找出几个综合变量来代替原来众多的变量. 使这些综合变量能尽可能地代表原来变量的信息量. 而且彼此之间互不相关。这种将把多个变量

2、化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性的变量. 重新组合为一组新的相互无关的综合变量来代替原来变量。通常. 数学上的处理方法就是将原来的变量做线性组合 . 作为新的综合变量. 但是这种组合如果不加以限制. 则可以有很多. 应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为F1 . 自然希望它尽可能多地反映原来变量的信息 . 这里“信息”用方差来测量. 即希望 Var ( F1 ) 越大 . 表示 F1 包含的信息越多。因此在所有的线性组合中所选取的F1 应该是方差最大的 . 故称 F1 为第一主成

3、分。 如果第一主成分不足以代表原来 p 个变量的信息 . 再考虑选取F2 即第二个线性组合 . 为了有效地反映原来信息 . F1 已有的信息就不需要再出现在F2 中 . 用数学语言表达就是要求 Cov (F1 , F2 ) 0 .称 F2 为第二主成分 . 依此类推可以构造出第三、四 第p 个主成分。（二）主成分分析的数学模型对于一个样本资料 . 观测 p个变量 x1 , x2 ,xp . n 个样品的数据资料阵为：x11x12x1 pXx21x22x2 px1 , x2 , xpxn1xn2xnp.x1 j其中： x jx2 j,j1,2, pxnj主成分分析就是将p个观测变量综合成为p个新

4、的变量（综合变量）. 即F1a11 x1a12 x2a1 p xpF2a21 x1a22 x2a2 p xpFpa p1 x1ap 2 x2app x p简写为：F jj1 x1j 2 x2jp x pj1,2, p要求模型满足以下条件： Fi , F j 互不相关（ ij .i, j1,2, p ） F1 的方差大于 F2的方差大于F3 的方差 . 依次类推 ak12ak 22akp21k1,2,p .于是 . 称 F1 为第一主成分 . F2为第二主成分 . 依此类推 . 有第 p 个主成分。 主成分又叫主分量。这里 aij我们称为主成分系数。上述模型可用矩阵表示为：FAX .其中F1x1

5、FF2Xx2F px pa11a12a1 pa1Aa21a22a2 pa2a p1a p 2a ppa pA 称为主成分系数矩阵。( 三 ) 主成分分析的几何解释.假设有 n 个样品 . 每个样品有二个变量. 即在二维空间中讨论主成分的几何意义。设 n 个样品在二维空间中的分布大致为一个椭园. 如下图所示：图 1主成分几何解释图将坐标系进行正交旋转一个角度. 使其椭圆长轴方向取坐标y1 . 在椭圆短轴方向取坐标 y2 . 旋转公式为y1 jx1 j cosx2 j siny2 jx1 j (sin)x2 j cosj1,2ny11y12y1n写成矩阵形式为： Yy22y2ny 21cossin

6、x11x12x1nU Xsincosx21x22x2 n其中U 为坐标旋转变换矩阵. 它是正交矩阵.即有U U 1,UUI .即满足sin 2cos21。经过旋转变换后 . 得到下图的新坐标：.图 2主成分几何解释图新坐标 y1y2 有如下性质：(1) n 个点的坐标 y1 和 y2 的相关几乎为零。(2) 二维平面上的 n 个点的方差大部分都归结为y1 轴上 . 而 y2 轴上的方差较小。y1和 y2 称为原始变量 x1和 x2 的综合变量。 由于 n 个点在 y1 轴上的方差最大 . 因而将二维空间的点用在 y1 轴上的一维综合变量来代替. 所损失的信息量最小 . 由此称 y1 轴为第一主

7、成分 . y2 轴与 y1 轴正交 . 有较小的方差 . 称它为第二主成分。II. 主成分分析法 (PCA)推导一、主成分的导出根据主成分分析的数学模型的定义. 要进行主成分分析. 就需要根据原始数据. 以及模型的三个条件的要求. 如何求出主成分系数. 以便得到主成分模型。这就是导出主成分所要解决的问题。1、根据主成分数学模型的条件要求主成分之间互不相关. 为此主成分之间的协差阵应该是一个对角阵。即. 对于主成分 .FAX其协差阵应为.Var (F )Var ( AX )( AX ) ( AX )AXX A12=p2、设原始数据的协方差阵为V . 如果原始数据进行了标准化处理后则协方差阵等于相

8、关矩阵 .即有.VRXX3、再由主成分数学模型条件和正交矩阵的性质. 若能够满足条件最好要求A 为正交矩阵 . 即满足AAI.于是 . 将原始数据的协方差代入主成分的协差阵公式得Var ( F )AXX AARAARARAA展开上式得r11r12r1 pa11 a21ap1r 21r22r2 pa12 a22ap 2r p1r p 2rppa1 p a2 pappa11a21a p11a12a22a p 22a1 pa2 pa ppp展开等式两边 . 根据矩阵相等的性质. 这里只根据第一列得出的方程为：r111 a11r12a12r1 p a1p0r21a11( r221 )a12r2 p a

9、1 p0rp1a11r p2a12(rpp1 )a1 p0为了得到该齐次方程的解 . 要求其系数矩阵行列式为0. 即r111r12r1 pr21r221r2 p0r1pr p2r pp1R1I0显然 . 1 是相关系数矩阵的特征值. a1a11, a12 ,a1 p是相应的特征向量。根据第二列、第三列等可以得到类似的方程. 于是i 是方程RI0的 p 个根 .i 为特征方程的特征根. a j 是其特征向量的分量。4、下面再证明主成分的方差是依次递减设相关系数矩阵R 的 p 个特征根为12p . 相应的特征向量为a j.a11a12a1 pa1a21a22a2 pa2Aa p1a p2a ppa

10、 p相对于 F1 的方差为Var (F1 )a1 XX a1a1 Ra11同样有： Var ( Fi )i . 即主成分的方差依次递减。并且协方差为：Cov( ai X , a j X )ai Ra jpai (a a )a j1p( ai a )( a a j )0,ij1综上所述 . 根据证明有 . 主成分分析中的主成分协方差应该是对角矩阵. 其对角线上的元素恰好是原始数据相关矩阵的特征值. 而主成分系数矩阵A 的元素则是原始数据相关矩阵特征值相应的特征向量。矩阵A是一个正交矩阵。于是 . 变量x1, x2 ,xp 经过变换后得到新的综合变量F1a11x1a12 x2a1p x pF2a2

11、1x1a22 x2a2 p x pFpa p1 x1 a p2 x2app x p新的随机变量彼此不相关. 且方差依次递减。二、主成分分析的计算步骤假设样本观测数据矩阵为：x11x12x1px21x22x2 pXxn1xn2xnp第一步：对原始数据进行标准化处理。.xij*xijx j(i1,2, ,n; j 1,2, p)var( x j )1n其中x jxijn i11nx j )2( j 1,2, , p)var( x j )( xijn1 i 1第二步：计算样本相关系数矩阵。r11r12r1pRr21r22r2 prp1r p2r pp为方便 . 假定原始数据标准化后仍用X 表示 .

12、则经标准化处理后的数据的相关系数为:1nrijxti xtjn 1 t 1(i , j1,2, p)第三步：用雅克比方法求相关系数矩阵R 的特征值（1 , 2p ）和相应的特征向量ai ai1 , ai 2 , aip , i1,2p 。第四步：选择重要的主成分. 并写出主成分表达式。主成分分析可以得到p 个主成分 . 但是 . 由于各个主成分的方差是递减的. 包含的信息量也是递减的 . 所以实际分析时. 一般不是选取 p 个主成分 . 而是根据各个主成分累计贡献率的大小选取前 k 个主成分 . 这里贡献率就是指某个主成分的方差占全部方差的比重. 实际也就是某个特征值占全部特征值合计的比重。即

13、i贡献率 = pii 1贡献率越大 . 说明该主成分所包含的原始变量的信息越强。主成分个数 k 的选取 . 主要根据主成分的累积贡献率来决定. 即一般要求累计贡献率达到85%以上 . 这样才能保证综合变量能包括原始变量的绝大多数信息。另外 . 在实际应用中 . 选择了重要的主成分后. 还要注意主成分实际含义解释。主成分分.析中一个很关键的问题是如何给主成分赋予新的意义. 给出合理的解释。 一般而言 . 这个解释是根据主成分表达式的系数结合定性分析来进行的。主成分是原来变量的线性组合. 在这个线性组合中个变量的系数有大有小. 有正有负 . 有的大小相当. 因而不能简单地认为这个主成分是某个原变量

14、的属性的作用. 线性组合中各变量系数的绝对值大者表明该主成分主要综合了绝对值大的变量. 有几个变量系数大小相当时. 应认为这一主成分是这几个变量的总和. 这几个变量综合在一起应赋予怎样的实际意义. 这要结合具体实际问题和专业. 给出恰当的解释. 进而才能达到深刻分析的目的。第五步：计算主成分得分。根据标准化的原始数据 . 按照各个样品 . 分别代入主成分表达式 . 就可以得到各主成分下的各个样品的新数据 . 即为主成分得分。具体形式可如下。F11F12F1kF21F22F2 kFn1Fn2Fnk第六步：依据主成分得分的数据. 则可以进行进一步的统计分析。其中 . 常见的应用有主成份回归 . 变

15、量子集合的选择. 综合评价等。III. 主成分分析法 (PCA)案例为了系统的分析某IT 类企业的经济效益. 选择统计了8 个不同的利润指标 .15 家企业关于这 8 个指标的统计数据如下所示 . 试对此进行主成分分析 . 并进行相关评价。变净产值量利润率企（%）业Xi1序号1 40.42 25.03 13.24 22.35 34.315 家企业的利润指标的统计数据固定资总产值销售收产品成物耗人均利流动产利润利润率入利润本利润利润润率资金率（ %）（%）率（ %）率(%)率(%)( 千元利润X i 2Xi3Xi 4Xi 5X i6/ 人)率 (%)Xi 7X i824.77.26.18.38.

16、72.44220.012.711.211.012.920.23.5429.13.33.94.34.45.50.5783.66.75.63.76.07.40.1767.311.87.17.18.08.91.72627.5.635.612.516.416.722.829.33.01726.6722.07.89.910.212.617.60.84710.6848.413.410.99.910.913.91.77217.8940.619.119.819.029.739.62.44935.81024.88.09.88.911.916.20.78913.71112.59.74.24.24.66.50.87

17、43.9121.80.60.70.70.81.10.0561.01332.313.99.48.39.813.32.12617.11438.59.111.39.512.216.41.32711.61526.210.15.615.67.730.10.12625.9解：根据题目中的数据 . 利用 matlab 软件编程求解 . 对问题进行主成分分析。求解结果如下：1. 标准化结果如下： v =1.0023 2.3473 -0.3410 -0.5714 -0.3496 -0.6574 0.9030 0.4483 -0.2286 0.3072 0.4774 0.3896 0.2835 0.4309 1.

18、9108 -0.6218 -1.1718 -1.2909 -1.0162 -0.9244 -0.8863 -0.9603 -0.8049 -1.1617 -0.4444 -0.7129 -0.6684 -1.0421 -0.6661 -0.7805 -1.1732 -0.7985 0.5148 0.1541 -0.3615 -0.3752 -0.3909 -0.6385 0.2470 1.18460.6187 0.2732 1.5414 1.5075 1.6460 1.2922 1.4298 1.0963 -0.4684 -0.5259 0.2114 0.2327 0.2422 0.1849

19、-0.5584 -0.4745 1.6418 0.4262 0.4160 0.1739 0.0083 -0.1653 0.2891 0.23231.0183 1.3952 2.2371 1.9586 2.5956 2.2670 0.9094 1.9995 -0.2446 -0.4919 0.1910 -0.0222 0.1459 0.0524 -0.6115 -0.1702 -1.2277 -0.2029 -0.9549 -0.9440 -0.8588 -0.8656 -0.5337 -1.1323 -2.0830 -1.7500 -1.6710 -1.6304 -1.3818 -1.3767

20、 -1.2831 -1.4170 0.3549 0.5112 0.1091 -0.1399 -0.1431 -0.2221 0.6134 0.16360.8505 -0.3049 0.4979 0.0954 0.1872 0.0713 -0.1186 -0.3763 -0.1327 -0.1349 -0.6684 1.2918 -0.4321 1.3679 -1.2190 1.02762. 相关系数矩阵 : std =1.00000.76300.70170.58680.59590.48960.59730.73000.76301.00000.55040.46670.51580.41960.704

21、60.67170.70170.55041.00000.84070.97600.81610.69410.68250.58680.46670.84071.00000.86670.98230.49260.79380.59590.51580.97600.86671.00000.86670.62600.71530.48960.41960.81610.98230.86671.00000.42160.75050.59730.70460.69410.49260.62600.42161.00000.46560.73000.67170.68250.79380.71530.75050.46561.00003. 特征

22、向量 (vec) 及特征值 (val)：.vec =0.21820.1370-0.27810.22830.67270.31150.37880.3334-0.0745-0.1102-0.2276 -0.5733 -0.40460.18710.55620.3063-0.7186-0.05200.1186-0.22400.3874-0.3182-0.11480.39000.0386-0.6914-0.38080.2788-0.15470.0888-0.35080.37800.6385-0.06600.3451-0.41580.1518-0.2715-0.22540.3853-0.01230.6864

23、-0.3738 -0.0066 -0.25540.0696-0.43370.36160.06750.10570.07160.5033-0.2816-0.61890.41470.3026-0.12860.04130.66920.2552-0.20550.5452-0.00310.3596val =0.0027000000000.0060000000000.1369000000000.1456000000000.2858000000000.5896000000001.0972000000005.7361特征根从大到小排序：5.736141.097230.5896340.2857910.145620.1368830.005986810.002710844. 根据累计贡献率 . 假设阈值为 90%.选出主成分 . 计算如下：贡献率：newrate =0.71700.13720.07370.03