主成分分析课件

主成分分析

主成分分析1§11.1什么是主成分分析及其基本思想问题的提出：

在对某一事物进行实证分析研究中，为了更全面准确反映出事物的特征及其发展规律，往往考虑与其有关系的多个指标，因此会产生的问题：（1）为避免漏掉重要信息而考虑尽量多的指标（2）随着考虑指标的增多增加了问题的复杂性，并且多指标之间不可避免会造成信息的大量重叠（相关性），这种重叠有时甚至会掩盖事物的真正特征与内在规律。

目的：§11.1什么是主成分分析及其基本思想问题的提出：2§11.1什么是主成分分析及其基本思想

主成分分析（PrincipalComponentAnalysis，PCA）也称为主分量分析，是一种数据降维技术，主成分分析正是研究如何将多个具有较强相关性指标化为少数几个综合指标来解释原来变量绝大多数信息的一种多元统计方法。把转化生成的综合指标称之为主成分。

§11.1什么是主成分分析及其基本思想3§11.1什么是主成分分析及其基本思想

例1：某厂商要做一件上衣，需要测量很多尺寸，如身长，体重，袖长，胸围，腰围，肩宽，肩厚等十几项指标

将多种指标综合成几个少数的综合指标，作为分类的型号，可综合成3项指标：一项反映长度的指标，一项反映胖瘦的指标，一项反映特体的指标。§11.1什么是主成分分析及其基本思想4例2：医学研究中常常需要对患者的健康状况等进行评价，而这类评价要求内容全面，多个测量指标，最后产出综合评价结果。将多个指标进行综合总会面临以下问题：1.各指标量纲不同，不能直接相加；2.各指标间存在相关，直接相加产生信息重叠；3.相加时需要考虑各指标的权重。

主成分分析ppt课件5主成分分析的基本思想：

设法将用原来众多具有一定相关性的指标（比如p个）重新组合成一组新的相互无关的综合指标来代替原来指标，同时根据实际需要，从中取几个较少的综合指标（主成分）尽可能多地反映原来指标的信息。§11.1什么是主成分分析及其基本思想§11.1什么是主成分分析及其基本思想6注：

通常数学上的处理：新的综合指标是原来p个指标的线性组合。指标“信息量”的表达用方差来表示，方差越大，表示该指标包含的信息越多。因此，在所有的线性组合中选取方差最大的F1作为第一主成分，将方差次大的F2作为第二主成分，且要求Cov(F1,)=0，保证F1中的信息不出现在F2中，以此类推，构造第三、第四，…第p主成分。

§11.1什么是主成分分析及其基本思想§11.1什么是主成分分析及其基本思想7§11.1什么是主成分分析及其基本思想实际工作中，挑选前几个最大的主成分代替原来的指标信息，虽然会损失一部分信息，但是由于我们抓住了主要矛盾，在实际问题的研究中得益比损失大，这种既减少了变量的数目又抓住了主要矛盾的做法有利于问题的分析和处理。§11.1什么是主成分分析及其基本思想8原始指标的线性组合综合指标间不相关，且方差递减第一主成分，第二主成分，…第p主成分选取前几个最大的主成分代替原来指标的信息尽可能多地找出相关指标作为原始指标主成分分析流程图：原始指标的线性组合综合指标间不相关，且方差递减第一主成分，第9§11.2主成分分析数学模型及几何解释§11.2主成分分析数学模型及几何解释10上述方程组要求：§11.2主成分分析数学模型及几何解释上述方程组要求：§11.2主成分分析数学模型及几何解释11§11.2主成分分析数学模型及几何解释用数学语言描述就是要求：§11.2主成分分析数学模型及几何解释用数学语言描述就是12§11.2主成分分析数学模型及几何解释注：（1）数学模型中用线性组合基于两种原因：数学上容易处理和在实践中效果好。（2）每次主成分的选取使Var(Fi)最大，如果不加限制就可使Var(Fi)趋于无穷大，就没有意义了，常用的限制要求就是：§11.2主成分分析数学模型及几何解释注：13•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴••••••••••••••••••••••••••••••14

如果我们将xl

轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。如果我们将xl轴和x2轴先平移，再同时按15

根据旋转变换的公式：根据旋转变换的公式：16

旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大部分信息，在研究某问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。旋转变换的目的是为了使得n个样品点17§11.3总体主成分的推导及性质(1)主成分的推导：求主成分就是寻找X的线性函数使相应的方差尽可能地大，即使§11.3总体主成分的推导及性质(1)主成分的推导：18§11.3总体主成分的推导及性质§11.3总体主成分的推导及性质19§11.3总体主成分的推导及性质§11.3总体主成分的推导及性质20§11.3总体主成分的推导及性质§11.3总体主成分的推导及性质21§11.3总体主成分的推导及性质上述推导表明：

X1，X2，…Xp的主成分就是以Σ的特征向量为系数的线性组合，它们互不相关，其方差为Σ的特征根。主成分的名词是按照特征根取值大小的顺序排列的。在解决实际问题时，一般不是取p个主成分，而是根据累计贡献率的大小取前K个。§11.3总体主成分的推导及性质上述推导表明：22§11.3总体主成分的推导及性质定义：称第一主成分的贡献率为，由于，所以，

因此，第一主成分的贡献率及时第一主成分方差在全部方差中的比值，这个比值越大，表明第一主成分综合X1，X2，…，Xp信息的能力越强。§11.3总体主成分的推导及性质定义：23§11.3总体主成分的推导及性质

前K个主成分的贡献率（累计贡献率）定义为：

如果前k个主成分的贡献率达到85%，表明取前k个主成分基本包含了全部测量指标所具有的信息，这样既减少了变量的个数又便于对实际问题的分析和研究。§11.3总体主成分的推导及性质前K个主24§11.3总体主成分的推导及性质(2)主成分性质性质1性质2§11.3总体主成分的推导及性质(2)主成分性质25§11.3总体主成分的推导及性质性质3F1…FK…FPX1ρ(F1,X1)…ρ(FK,X1)…ρ(FP,X1)X2ρ(F1,X2)…ρ(FK,X2)…ρ(FP,X2)………………Xpρ(F1,XP)…ρ(FK,XP)…ρ(FP,XP)§11.3总体主成分的推导及性质性质3F1…FK…FPX26§11.3总体主成分的推导及性质性质4§11.3总体主成分的推导及性质性质427§11.3总体主成分的推导及性质性质5

此性质说明：上表中Fk对应的每一列关于各变量相关系数的加权平方和为λk即Var(Fk)。§11.3总体主成分的推导及性质性质528§11.3总体主成分的推导及性质§11.3总体主成分的推导及性质29§11.4有关问题的讨论（一）从协差阵出发还是从相关阵出发求主成分

从协差阵出发——求原始数据的协差阵的特征值特征向量的过程。

从相关阵出发——求原始数据的相关阵（标准化数据的协差阵）的特征值特征向量的过程。

从协差阵出发和从相关阵出发所求得的主成分一般来说是有差别的，而且这种差别有时候还很大。§11.4有关问题的讨论（一）从协差阵出发还是从相关阵出30§11.4有关问题的讨论

对于度量单位不同的指标或是取值范围彼此差异非常大的指标，一般不直接由其协差阵出发而应该考虑将数据标准化。

原始数据标准化处理后倾向于各个指标的作用在主成分的构成中相等。数据标准化的过程实际上就是抹杀原始变量离散程度差异的过程，标准化后各变量方差相等均等于1，而实际上方差也是对数据信息的重要概括形式，即对原始数据进行标准化后抹杀了一部分重要信息，因此才使得标准化后各变量在对主成分构成中的作用趋于相等。

§11.4有关问题的讨论对于度量单位不同的31§11.4有关问题的讨论

因此从相关阵出发求主成分有其不足之处，实际问题中不可盲目将数据标准化处理，可分别从协差阵和相关阵出发进行求解并研究其结果的差别，看是否有显著差异并分析产生差异的原因，以确定用哪种结果更为可信。§11.4有关问题的讨论32§11.4有关问题的讨论（二）主成分分析不要求数据来自正态总体

与很多多元统计分析方法不同，主成分分析不要求数据来自于正态总体，主成分分析实际上就是对矩阵结构的分析，主要用到矩阵运算及矩阵对角化技术。§11.4有关问题的讨论33§11.4有关问题的讨论（三）主成分分析与重叠信息

主成分分析适用于变量之间存在较强相关性的数据，如果原始数据相关性较弱，运用主成分分析后不能起到很好的降维作用，即所得的各个主成分浓缩原始变量信息的能力差别不大。一般当原始数据大部分变量的相关系数都小于0.3时，运用主成分分析不会取得很好的效果。

§11.4有关问题的讨论（三）主成分分析与重叠信息34§11.4有关问题的讨论

主成分分析对重叠信息的剔除是无能为力的。在实际选取初始变量进入分析时，对原始变量存在多重共线性的问题，应用主成分分析方法时要慎重。要考虑选取的初始变量是否合适，如果出于避免漏掉某些信息而特意选取了过多存在重叠信息的变量时，就要注意应用主成分分析得到的结果。

如果所得样本协差阵的最小特征值接近于0，就意味着原始变量之间存在着多重共线性，即原始变量存在着不可忽视的重叠信息。§11.4有关问题的讨论主成分分析对重叠35§11.5由样本数据求主成分例1.测得10名幼儿的身高，体重如下表，求主成分。对象号x1体重(kg)x2身高(cm)116.3108213.088318.3111415.095511.988614.495713.594812.188913.3931013.595均数14.1395.5标准差1.9658477.989577§11.5由样本数据求主成分例1.测得10名幼儿的身高361.求相关系数矩阵Rr11=r22=1,r12=r21=0.95472.求R的特征根，解方程：即（1-λ）*（1-λ）-0.9547*0.9547=0得两个根1.9547和0.0453，记为：λ1=1.9547，λ2=0.04531.求相关系数矩阵R2.求R的特征根，解方程：即（1-λ）*373.求特征向量Liλ1=1.9547所对应的特征向量用下式解：l11+0.9547l12=1.9547l110.9547l11+l12=1.9547l12l112+l122=1得l11=0.7071,l12=0.7071,第一主成分为：C1=0.7071X1+0.7071X2同样的方法，用λ2=0.0453可计算出第二主成分，此处略。3.求特征向量Li38§11.5由样本数据求主成分

设样本观测矩阵为Xn*p,样本主成分计算步骤：1.将原始数据标准化（可选）2.求原始数据的协差阵Σ或相关阵R3.求Σ（或R）的特征根和特征向量4写出主成分

§11.5由样本数据求主成分39§11.5由样本数据求主成分练习：§11.5由样本数据求主成分练习：4041特征值标准正交特征向量是否有接近0的情况是其他处理否主成分对主成分进行分析深入分析选择初始变量度量或取值范围相同？是否（否）对比分析相关阵分析协方差阵主成分分析的逻辑框图见图5-3：41特征值标准正交特征向量是否有接近0的情况是其他处理否主成41【例5.2】数据集Employeedata为Midwestern银行在1969-1971年之间雇员情况的数据，共包括474条观测及如下10个变量：Id（观测号）、Gender（性别）、Bdate（出生日期）、Educ（受教育程度（年数））、Jobcat（工作种类）、Salary（目前年薪）、Salbegin（开始受聘时的年薪）、Jobtime（受雇时间（月））、Prevexp（受雇以前的工作时间（月））、Minority（是否少数民族）。下面我们用主成分分析方法处理该数据，以期用少数变量来描述该地区居民的雇佣情况。2023/8/9中国人民大学六西格玛质量管理研究中心42

目录上页下页返回结束

§11.6主成分分析的上机实现SPSS软件FACTOR模块提供了主成分分析的功能。下面先以SPSS软件包自带的数据Employeedata.sav为例介绍主成分分析的上机实现方法，在SPSS软件的安装目录下可以找到该数据集；然后，我们举一个实际的例子介绍主成分分析的具体应用。2023/8/9【例5.2】数据集Employeedata为Midwes42§11.6主成分分析的上机实现

进入SPSS软件，打开数据集Employeedata.sav。依次点选Analyze→DataReduction→Factor….进入FactorAnalysis（因子分析）对话框。（在SPSS软件中，主成分分析与因子分析均在FactorAnalysis模块中完成。此时，数据集Employeedata.sav中的变量名均已显示在左边的窗口中，依次选中变量educ、salary、salbegin、jobtime、prevexp并点向右的箭头按钮，这五个变量便进入variables窗口（此时若选中variables窗口中的变量，则窗口左侧的箭头按钮即转向左侧，点此按钮即可剔除所选中变量）。点击右侧的OK按钮，即可得到如下输出结果5-1。§11.6主成分分析的上机实现进入SPSS软件，打开43§11.6主成分分析的上机实现输出结果11-1（1）Communalities给出了该次分析从每个原始变量中提取的信息，表格下面的注示表明，该次分析是用Factoranalysis模块默认的信息提取方法即主成分分析完成的。可以看到除受教育程度信息损失较大外，主成分几乎包含了各个原始变量至少90%的信息。§11.6主成分分析的上机实现输出结果11-1（1）Com44输出结果11-1（2）TotalVarianceExplained表则显示了各主成分解释原始变量总方差的情况，SPSS默认保留特征根大于1的主成分，在本例中看到当保留3个主成分为宜，这3个主成分集中了原始5个变量信息的90.66%，可见效果是比较好的。输出结果11-1（2）TotalVarianceExpl45输出结果11-1（3）输出结果11-1（3）46SPSS默认是从相关阵出发求解主成分，且默认保留特征根大于1的主成分，实际上，对主成分的个数我们可以自己确定SPSS默认是从相关阵出发求解主成分，且默认保留特征根大于147

【例11.2】在企业经济效益的评价中，设计的指标往往很多。为了简化系统结构，抓住经济效益评价中的主要问题，我们可由原始数据矩阵出发求主成分。在对我国部分省、市、自治区独立核算的工业企业的经济效益评价中，涉及到9项指标，原始数据见表11-7，即样品数n=28，变量数p=9。【例11.2】48

100固定资产原值实现值（%）100元固定资产原值实现利税（%）100元资金实现利税（%）100元工业总产值实现利税（%）100元销售收入实现利税（%）每吨标准煤实现工业产值（元）每千瓦时电力实现工业产值（元）全员劳动生产率（元/人.年）100元流动资金实现产值（元）北京（1）119.2930.9829.9225.9715.4821783.4121006296.7天津（2）143.9831.5930.2121.9412.2928524.2920254363.1河北（3）94.817.217.9518.149.3711672.0312607322.2山西（4）65.811.0811.0612.1516.848.821.6510166284.7内蒙（5）54.799.249.5416.866.278941.87564225.4辽宁（6）94.5121.1222.8322.3511.2814162.3613.386311.7吉林（7）80.4913.3613.7616.67.1413062.079400274.1黑龙江（8）75.8615.8216.6720.8610.3712672.269830267上海（9）187.7945.939.7724.4415.0943464.1131246418.6江苏（10）205.9627.6522.5813.427.8132024.6923377407.2浙江（11）207.4633.0625.7815.949.2838114.1922054385.5安徽（12）110.7820.720.1218.696.614682.2312578341.1福建（13）122.7622.5219.9318.348.3522002.6312164301.2表11-7100固定资产原值实现值（%）100元固定资产原值实现利税（%）100元资金实现利税（%）100元工业总产值实现利税（%）100元销售收入实现利税（%）每吨标准煤实现工业产值（元）每千瓦时电力实现工业产值（元）全员劳动生产率（元/人.年）100元流动资金实现产值（元）北京（1）119.2930.9829.9225.9715.4821783.4121006296.7天津（2）143.9831.5930.2121.9412.2928524.2920254363.1河北（3）94.817.217.9518.149.3711672.0312607322.2山西（4）65.811.0811.0612.1516.848.821.6510166284.7内蒙（5）54.799.249.5416.866.278941.87564225.4辽宁（6）94.5121.1222.8322.3511.2814162.3613.386311.7吉林（7）80.4913.3613.7616.67.1413062.079400274.1黑龙江（8）75.8615.8216.6720.8610.3712672.269830267上海（9）187.7945.939.7724.4415.0943464.1131246418.6江苏（10）205.9627.6522.5813.427.8132024.6923377407.2浙江（11）207.4633.0625.7815.949.2838114.1922054385.5安徽（12）110.7820.720.1218.696.614682.2312578341.1福建（13）122.7622.5219.9318.348.3522002.6312164301.2100固定资产49

江西（14）94.9414.714.1815.496.6916692.2410463274.4山东（15）117.5821.9320.8918.659.118202.817829331.1河南（16）85.9817.317.1820.127.6713061.8911247276.5湖北（17）103.9619.518.4818.779.1618292.7515745308.9湖南（18）104.0321.4721.2820.638.7212721.9813161309广东（19）136.4423.6420.8317.337.8529593.7116259334广西（20）100.7222.0420.921.889.6717322.1312441296.4四川（21）84.7314.3514.1716.937.9613102.3411703242.5贵州（22）59.0514.4814.3524.538.0910681.329710206.7云南（23）73.7221.9122.729.729.3814471.9412517295.8陕西（24）78.0213.1312.5716.839.1917312.0811369220.3甘肃（25）59.6214.0716.2423.5911.349261.1313084246.8青海（26）51.668.328.2616.117.0510551.319246176.49宁夏（27）52.958.258.8215.576.588341.1210406245.4新疆（28）60.2911.2613.1418.688.3910412.910983266续表5-7江西（14）950

0.4235231.3384051.5902821.6875562.2396340.4819710.9547461.2603710.0488050.9951991.4096491.6314530.6672281.0658731.1887581.8553941.1338441.200166-0.14352-0.271-0.10906-0.29487-0.00854-0.57821-0.45763-0.152790.49097-0.81499-0.98577-1.08721-1.811432.740046-1.79273-0.84655-0.56349-0.15927-1.06992-1.20067-1.303-0.61894-1.14919-0.86449-0.69303-1.00129-1.18752-0.150240.1868270.5837370.7710330.694243-0.3171-0.11989-2.27170.308902-0.47486-0.71949-0.7039-0.68477-0.82907-0.43245-0.4167-0.69238-0.34307-0.58206-0.43218-0.290780.393790.359408-0.47334-0.22224-0.62003-0.466192.0095833.0809562.9886561.3001862.0961332.7554331.6711712.9832842.1625242.4302940.9494850.548246-1.48989-0.582541.5557832.264781.6592991.9648512.4650251.5813351.002539-0.85187-0.041662.1944081.7530481.43671.5885780.2264810.1377740.199007-0.15562-1.02776-0.26257-0.25294-0.157670.8186910.5038680.3503370.172033-0.24423-0.383850.5050410.156444-0.227320.126834-0.14028-0.56298-0.64428-0.9658-0.99465-0.05179-0.24271-0.51352-0.337870.3839290.2814290.308322-0.16574-0.107890.1065570.3304330.725830.645294表5-8首先标准化原始数据，标准化后的数据见表5-8。0.4235251§5.7主成分分析的上机实现

-0.34774-0.25932-0.218380.206435-0.63406-0.43245-0.60092-0.38161-0.301460.068569-0.00238-0.03382-0.13536-0.085810.1159940.279260.375190.2603510.070190.2277050.3636890.335558-0.24771-0.4681-0.50881-0.059580.2620850.8206170.4811450.299804-0.49995-0.567831.3009631.2617850.4616730.695579-0.006450.2942770.3097410.6520370.1018430.014276-0.35529-0.180720.043603-0.37669-0.60386-0.6457-0.60122-0.52735-0.42825-0.14036-0.30489-0.89101-0.97128-0.58868-0.620141.322972-0.47952-0.68202-1.18429-0.64022-1.51177-0.631610.2790930.5652822.636993-0.00486-0.28459-0.54975-0.167930.033199-0.53205-0.74635-0.87284-0.62654-0.074770.013227-0.40646-0.36109-1.27595-0.95809-0.63656-0.351821.084980.71632-0.83093-1.37875-0.07253-0.81645-1.14239-1.30812-1.48472-0.80883-0.86219-0.69566-1.19453-0.71829-2.03561-1.11252-1.3163-1.40522-0.94555-1.03512-0.92741-1.38899-0.52311-0.84073-0.94257-0.96475-0.79192-0.15815-0.36913-0.710340.432779-0.42603-0.48353续表5-8§5.7主成分分析的上机实现52

将表5-8数据导入spss软件，依次点选Analyze-DataReduction-Factor进入FactorAnalysis对话框。（在spss中，主成分分析与因子分析均在FactorAnalysis模块中完成。）如图5-4所示：将表5-8数据导入spss软件，依次53§5.7主成分分析的上机实现

此时，数据集5-5.sav中的变量名均显示在对话框左边的窗口中，选择变量x1，x2，x3，x4，x5，x6，x7，x8，x9进入variables窗口中，操作如图5-5所示：图5-5§5.7主成分分析的上机实现此时，54

图5-5点击descriptives按钮，在弹出的对话框中，在correlationmatrix中选择coefficients。回到原对话框点击右侧的Ok，即可得到输出结果5-4和输出结果5-5。图5-5点击descriptives55

输出结果5-4输出结果5-456

输出结果5-5由输出结果5-4看到，前面2个主成分、的方差和占全部方差的比例为84.7%。我们就选取为第一主成分，为第二主成分，且这两个主成分之方差和占全部方差的84.7%，即基本上保留了原来指标的信息，这样由原来的9个指标转化为2个新指标，起到了降维的作用。输出结果5-5由输出结果5-4看到，57

SPSS软件得到因子载荷矩阵如下图：SPSS软件得到因子载荷矩阵如下图：58

对SPSS的因子分析模块运行结果输出的ComponentMatrix的第列的每个元素分别除以第个特征根的平方根就得到主成分分析的第个主成分的系数。结果如下表：对SPSS的因子分析模块运行结果输出的Compo59

主成分1主成分2x10.3755586-0.25951x20.39339580.134374x30.37525560.265294x40.09353430.711329x50.1745590.491327x60.3721494-0.16496x70.3616165-0.2254x80.3513161-0.05236x90.3625942-0.12675主成分1主成分2x10.3755586-0.25951x260

（11.13）

其中，表示对原始变量标准化后的变量。由上表得到前2个主成分，，的线性组合为：由上表得到前2个主成分，，的线性组合为：其中，表示对原始变量标准化后的变量。由上表得到前2个主成分，，的线性组合为：

（11.13）其中，61

对所选主成分作经济解释。主成分分析的关键在于能否给主成分赋予新的意义，给出合理的解释，这个解释应根据主成分的计算结果结合定性分析来进行。主成分是原来变量的线性组合，在这个线性组合中，各变量的系数有大有小，有正有负，有的大小相当，因而不能简单地认为这个主成分是某个原变量的属性的作用。线性组合中个变量的系数的绝对值大者表明该主成分主要综合了绝对值大的变量，有几个变量系数大小相当时，应认为这一主成分是这几个变量的总和，这几个变量综合在一起应赋予怎样的经济意义，要结合经济专业知识，给出恰如其分的解释，才能达到深刻分析经济成因的目的。对所选主成分作经济解释。主成分分析62

我们所取的例子中有9个指标