主成分分析第二讲

1、第七章主成分分析v二、由相关矩阵求解主成分二、由相关矩阵求解主成分 当分析中所选择的经济变量具有不同的量纲，变量水当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析平差异很大，应该选择基于相关系数矩阵的主成分分析。 量纲对于主成分分析的影响及消除方法对数据进行标准化处理，以使每一个变量的均值为均值为0 0，方差为，方差为1 1。 )(*iiiiXDXEXX数据标准化后数据标准化后,总体的协方差矩阵与总体的相关系数相等.),cov()()(),cov()()()(),cov(*jijijiijjijjiijiXXXDXDXXXXEXEXXEXEXX11

2、121212112pppp主成分与原始变量的关系式为：)()(1*21XEXUXUF例：企业经济效益综合分析。用5个经济指标进行考核。用相关系数矩阵法求解主成分。其中计算出的相关系数矩阵为：1499. 04168. 07316. 05621. 013668. 04244. 03475. 014545. 07536. 014532. 01（1 1）计算其特征值：）计算其特征值：（2)2)各特征值的累计方差贡献率为：各特征值的累计方差贡献率为：（3 3）从以上方差贡献率看，）从以上方差贡献率看，k=2k=2时主成分个数较为合适。时主成分个数较为合适。 对应的特征向量为：对应的特征向量为：049.

3、0206. 0331. 0719. 1695. 254321000. 1990. 0949. 0883. 0539. 0/1pjkk21和520. 0074. 0470. 0503. 0501. 01u305. 0744. 0388. 0285. 0348. 02u（4 4）建立第一和第二主成分：）建立第一和第二主成分：*5*4*3*2*11520. 0074. 0470. 0503. 0501. 0 xxxxxF*5*4*3*2*12305. 0744. 0388. 0285. 0348. 0 xxxxxFp从相关系数矩阵出发求解主成分的步骤：从相关系数矩阵出发求解主成分的步骤：1 1、标准

4、化各观测变量数据。、标准化各观测变量数据。2 2、求解标准化各观测变量的相关系数矩阵。、求解标准化各观测变量的相关系数矩阵。3 3、求解相关系数矩阵的特征根。、求解相关系数矩阵的特征根。4 4、求解各特征根对应的特征向量。、求解各特征根对应的特征向量。 三、主成分性质三、主成分性质 1 1，主成分的协方差阵为对角阵，主成分的协方差阵为对角阵 2 2、P P个随机变量的总方差为个随机变量的总方差为协方差矩阵的所有特征根之和所有特征根之和 说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。 当进行相关系数矩阵求解主成分，各变量标准化后，则p个主成分总的方差之和等于p。 p

5、iiFVar1)(ppp221121piiFVar1)(ppp221121 3 3、贡献率：、贡献率： 第i个主成分的方差在全部方差中所占比重 ，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。 4 4、累积贡献率：、累积贡献率： 前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重 来描述，称为累积贡献率。piii1 piikii11 5.5.原始变量与主成分之间的相关系数（因子负荷量）原始变量与主成分之间的相关系数（因子负荷量） 和 的相关密切程度与对应线性组合系数向量成正比，与主成分标准差成正比，与原始变量的标准差成反比。 当原始变量标准化后，标准化变量

6、与主成分的相关关系：iijijjiijijjiuuFx),(ixjFixjijjiuFx),(pmmj, 2 , 11111211221222212ppppppppxuuuFxuuuFxuuuF XUFXUF ppjjjjxuxuxuF22111122( ,)(,)ijiiippjijjCov x FCov u Fu Fu F FuiijijjiijijjiuuFx),(样本主成分求解样本主成分求解变量X样本协方差为总体协方差的无偏估计相关矩阵R为总体相关矩阵的估计ppppppxxxxxxxxxX212222111211nkjkjikixxxxnS111pUUSUXUUXY.)cov()cov

7、()cov(21若X已标准化，则可用相关矩阵代替协方差矩阵pppppppppppppppppppuuuuuuuuuuuuuuuuuurrrrrrrrrUURUUURUUUR.212122221112112122221112112122221112110)(.0.)(0.)(.1112211112121221112111212111111112211111212122211121111112121111pppppppppppppppppppurururururururururuurururuurururuururur000.1121212221112111IRIRrrrrrrrrripppppp

8、为相关矩阵的为相关矩阵的特征值特征值将将R R的特征根依大小顺序排列的特征根依大小顺序排列其对应的特征向量记为其对应的特征向量记为U U1 1，U U2 2, ,U,Up p说明说明y1y1有最大方差，有最大方差，y2y2有次大方差。有次大方差。jijijiiiiRUUXUXUyyXUyXUy),cov(),cov()var()var()var()var(11100.1.000.1.00)()(),cov(111pttjttipttjttpttiijjiUUUUUUUURuuFF说明新的综合指标即主成分彼说明新的综合指标即主成分彼此不相关此不相关样本主成分的性质：样本主成分的性质：1、第K个主

9、成分yk的系数向量是第K个特征根k所对应的标准化特征向量。2、第K个主成分的方差为第K个特征根k，且任意两个主成分都是不相关的，也就是y1,y2,yp的样本协方差矩阵是对角矩阵3、样本主成分的总方差等于原变量样本的总方差，为p4、第K个样本主成分与第j个变量样本之间的相关系数为： （因子载荷量）kjku主成分个数的确定以及主成分分析的实现主成分个数的确定以及主成分分析的实现一、主成分个数的选取一、主成分个数的选取 1.累积贡献率达到85%以上 2.根据特征根的变化来确定数据标准化情况下： 3.作碎石图描述特征值的贡献描述特征值的贡献i111piipScree PlotComponent Num

10、ber654321Eigenvalue43210p三、主成分分析的步骤三、主成分分析的步骤1 1、根据研究问题选取初始分析变量；、根据研究问题选取初始分析变量；2 2、根据初始变量特性判断用协方差矩阵求主成分还是用相关矩阵求主成分、根据初始变量特性判断用协方差矩阵求主成分还是用相关矩阵求主成分；（量纲不一致则将原始数据进行标准化处理用相关矩阵求主成分）；（量纲不一致则将原始数据进行标准化处理用相关矩阵求主成分）3 3、求协方差矩阵或相关矩阵的特征根与相应的特征向量；、求协方差矩阵或相关矩阵的特征根与相应的特征向量；4 4、判断是否存在明显的多重共线性，若存在，返回至第、判断是否存在明显的多重共

11、线性，若存在，返回至第1 1步；步；5 5、得到主成分表达式并确定主成分个数，依据方差贡献率选取主成分；、得到主成分表达式并确定主成分个数，依据方差贡献率选取主成分；6 6、对主成分作出合理解释，并结合其他研究法对研究问题进行深入分析、对主成分作出合理解释，并结合其他研究法对研究问题进行深入分析。例3. 城市环境生态化是城市发展的必然趁势，表现为城市环境生态化是城市发展的必然趁势，表现为社会、经济、环境与生态全方位的现代化水平，一个社会、经济、环境与生态全方位的现代化水平，一个符合生态规律的生态城市应该是结构合理、功能高效符合生态规律的生态城市应该是结构合理、功能高效和关系协调的城市生态系统。

12、所谓结构合理是指适度和关系协调的城市生态系统。所谓结构合理是指适度的人口密度，合理的土地利用，良好的环境质量，充的人口密度，合理的土地利用，良好的环境质量，充足的绿地系统，完善的基础设施，有效的自然保护；足的绿地系统，完善的基础设施，有效的自然保护；功能高效是指资源的优化配置、物力的经济投入、人功能高效是指资源的优化配置、物力的经济投入、人力的充分发挥、物流的畅通有序、信息流的快捷；关力的充分发挥、物流的畅通有序、信息流的快捷；关系协调是指人和自然协调、社会关系协调、城乡协调系协调是指人和自然协调、社会关系协调、城乡协调、资源利用和更新协调。一个城市要实现生态城市的、资源利用和更新协调。一个城

13、市要实现生态城市的发展目标，关键是在市场经济的体制下逐步改善城市发展目标，关键是在市场经济的体制下逐步改善城市的生态环境质量，防止生态环境质量恶化，因此，对的生态环境质量，防止生态环境质量恶化，因此，对城市的生态环境水平调查评价很有必要。城市的生态环境水平调查评价很有必要。 我们对江苏省十个城市的生态环境状况进行了调查，得到生我们对江苏省十个城市的生态环境状况进行了调查，得到生态环境指标的指数值，见表态环境指标的指数值，见表1。现对生态环境水平分析和评。现对生态环境水平分析和评价价。利用Matlab中的princomp命令实现。具体程序如下X= 0.7883 0 .7391 0.8111 0.

14、6587 0.6543 0.8259 0.8486 0.6834 0.8495 0.7846 0.7633 0.7287 0.7629 0.8552 0.7564 0.7455 0.7800 0.9490 0.8918 0.8954 0.4745 0.5126 0.8810 0.8903 0.8288 0.7850 0.8032 0.8862 0.3987 0.3970 0.8246 0.7603 0.6888 0.8977 0.7926 0.7856 0.6509 0.8902 0.6799 0.9877 0.8791 0.8736 0.8183 0.9446 0.9202 0.9263 0

15、.9185 0.9505 0.8620 0.8873 0.9538 0.9257 0.9285 0.9434 0.9154 0.8871 0.9357 0.8760 0.9579 0.9741 0.8785 0.8542 0.8537 0.9027 0.8729 0.8485 0.8473 0.9044 0.8866 0.9035 0.6305 0.6187 0.6313 0.7415 0.6398 0.6142 0.5734 0.8980 0.6186 0.7382 0.8928 0.7831 0.5608 0.8419 0.8464 0.7616 0.8234 0.6384 0.9604

16、0.8514;这样，前三个主成分为 第一主成分贡献率为43.12，第二主成分贡献率为29.34，第三主成分贡献率为11.97，前三个主成分累计贡献率达84.24。 如果按80 以上的信息量选取新因子，则可以选取前三个新因子。第一新因子z1 包含的信息量最大为43.12，它的主要代表变量为X8(城市文明)、X7(生产效率)、X4 (城市绿化)，其权重系数分别为0.4815、0.4236、0.4048，反映了这三个变量与生态环境水平密切相关，第二新因子Z2 包含的信息量次之为29.34，它的主要代表变量为X3(地理结构)、X6(资源配置)、X9 (可持续性)，其权重系数分别为0.5299、0.52

17、73、0.4589，第三新因子 Z3包含的信息量为11.97，代表总量为 X9(可持续性)、 X5(物质还原)，权重系数分别为0.5933、0.5664。这些代表变量反映了各自对该新因子作用的大小，它们是生态环境系统中最重要的影响因素。 根据前三个主成分得分，用其贡献率加权，即得十个城市各自的总得分 根据总得分排序，结果见表1。v2.主成分回归 考察进口总额Y与三个自变量：国内总产值x1,存储量x2，总消费量x3之间的关系，现收集数据如下，试用主成分回归分析方法求进口总额与总产值、存储量和总消费量的定量关系式.序号 x1 x2 x3 Y1234567891011149.3161.2171.5175.5180.8190.7202.1212.4226.1231.9239.04.24.13.13.11.12.22.15.65.05.10.7108.1114.8123.2126.9132.1137.7146.0154.1162.3164.3167.615.916.419.019.118.820.422.726.528.127.626.3 v分析：本题目可先尝试一般的线性回归模型，但拟合的效果一般，故可尝试主成分回归分析方法v解：首先对各个变量数据进行标准化处理，其次，其次， 建立指标之间的相关系数阵并求出建立指标之间的相关系数阵并求出相关阵的特征值分别为：相关阵的特征值分别为：