系统工程教学课件系统工程主成分分析

1、系统工程(System Engineering)主成分分析Principal Component Analysis1、掌握什么是主成分分析。2、理解主成分分析的基本思想和几何意义。3、理解主成分求解方法：协方差矩阵与相关系数矩阵的差异。本次课程主要内容一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。主成分分析的基本思想在进行主成分分析后，竟以97.4的精度，用三个新变量就取代了原17个变量。根据

2、经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：主成分分析的基本思想F1F2F3IItF11F201F3001I0.995-0.0410.0571I-0.0560.948-0.124-0.1021t-0.369-0.282-0.836-0.414-0.1121主成分分析的基本思想主成分分析：将原来较多的指标简化为少数几个新的综合指标的多元统计方法。主成分：由原始指标综合形成的几个新指标。依据主成分所含信息量的

3、大小成为第一主成分，第二主成分等等。主成分分析的定义主成分分析得到的主成分与原始变量之间的关系：主成分保留了原始变量绝大多数信息。主成分的个数大大少于原始变量的数目。各个主成分之间互不相关。每个主成分都是原始变量的线性组合。主成分分析的定义假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2， Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，Fk (kp），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。数学模型与几何解释数学模型这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维

4、。主成分分析通常的做法是，寻求原指标的线性组合Fi。数学模型与几何解释数学模型满足如下的条件：每个主成分的系数平方和为1。即主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即F1、F2.Fp分别称为原变量的第一、第二.第p个主成分。数学模型与几何解释数学模型为了方便，我们在二维空间中讨论主成分的几何意义： 设有n个样品，每个样品有两个观测变量x1和x2，在由变量x1 和x2所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着x1 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量x1的方差和x2的方差定量地表示。显

5、然，如果只考虑x1和x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。数学模型与几何解释几何解释如果我们将x1轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。数学模型与几何解释几何解释平移、旋转坐标轴平移、旋转坐标轴旋转变换的公式旋转变换的目的：为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。 (变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局)。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。数学模型与几何解释几何解释Fl、 F2除了可

6、以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。数学模型与几何解释几何解释由此可概括出主成分分析的几何意义：主成分分析的过程也就是坐标旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，新坐标系中各坐标轴的方向就是原始数据方差最大的方向。数学模型与几何解释几何解释从相关的X1, X2, Xk,求出相互独立的新综合变量（主成分）Y1,Y2Yk。Y（ Y1, Y2Yk ）

7、所反映信息的含量无遗漏或损失的指标方差，等于X（ X1, X2 Xk ）的方差 。X与Y之间的计算关系是：主成分分析的目标复习复习复习设：则：上述结论可推广到p个随机变量的线性组合。复习设X的协方差阵为由于x为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得从协方差矩阵出发求解主成分其中1, 2, p为x的特征根，不妨假设12 p 。而U恰好是由特征根相对应的特征向量所组成的正交阵。从协方差矩阵出发求解主成分是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。证明：设有P维正交向量从协方差矩阵出发求解主成分当且仅当a1=u1时，即F1=u11X1+up1Xp时，有最

8、大的方差1。因为如果第一主成分的信息不够，则需要寻找第二主成分。从协方差矩阵出发求解主成分第二主成分在约束条件COV(F1,F2)=0下，寻找第二主成分由U的正交性质可得：对p维向量u2，有从协方差矩阵出发求解主成分所以如果取线性变换： 则F2的方差次大。以此类推从协方差矩阵出发求解主成分写为矩阵形式：从协方差矩阵出发求解主成分例，设协方差矩阵为：从协方差矩阵出发求解主成分例，求协方差矩阵的特征根 依据求解从协方差矩阵出发求解主成分例，求特征根对应的特征向量可在Matlab中用下列语句求解v,d=eig(a)或u,s,v=svd(a)其中，v为对应的特征向量，d为特征值。从协方差矩阵出发求解主

9、成分例，主成分各主成分的贡献率及累计贡献率： 第一主成分贡献率： 第二主成分贡献率： 第三主成分贡献率：从协方差矩阵出发求解主成分例，第一和第二主成分的累计贡献率：由此可将以前三元的问题降维为两维问题第一和第二主成分包含了以前变量的绝大部分信息97.85%从协方差矩阵出发求解主成分累积贡献率说明了前r个成分能够反映原样本信息量的程度。若前两个主成分的累积贡献率为95%，则前两个主成分能反映95%原多个指标的信息量。从协方差矩阵出发求解主成分当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。量纲对于主成分分析的影响及消除方法对数据进行标准化处理，以使

10、每一个变量的均值为0，方差为1。从相关矩阵出发求解主成分数据标准化后,总体的协方差矩阵与总体的相关系数相等从相关矩阵出发求解主成分例，例：企业经济效益综合分析。用5个经济指标进行考核。用相关系数矩阵法求解主成分。其中计算出的相关系数矩阵为从相关矩阵出发求解主成分例，计算其特征值：各特征值的累计方差贡献率为：从以上方差贡献率看，k=2时主成分个数较为合适1和2对应的特征向量为：从相关矩阵出发求解主成分例，建立第一和第二主成分：从相关矩阵出发求解主成分从相关系数矩阵出发求解主成分的步骤：标准化各观测变量数据。求解标准化各观测变量的相关系数矩阵。根据矩阵知识 求解相关系数矩阵的特征根。求解各特征根对

11、应的特征向量。 其中最大特征根的特征向量对应第一主成分的系数向量；第二大特征根对应的特征向量是第二大主成分的系数向量从相关矩阵出发求解主成分系统工程(System Engineering)聚类分析Cluster Analysis什么是聚类分析聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强。 聚类分析的目的：使类内对象的同质性最大化和类间对象的异质性最大化。聚类分析的基本思想聚类分析的应用：无处不在早在孩提时代，人就通过不断改进下意识中的聚类模式来学会如何区分猫和狗，动物和植物谁经常光顾商

12、店，谁买什么东西，买多少？按忠诚卡记录的光临次数、光临时间、性别、年龄、职业、购物种类、金额等变量分类这样商店可以.识别顾客购买模式（如喜欢一大早来买酸奶和鲜肉，习惯周末时一次性大采购）刻画不同的客户群的特征（用变量来刻画，就象刻画猫和狗的特征一样）聚类分析的基本思想为什么这样分类？（分类的好处）因为每一个类别里面的人消费方式都不一样，需要针对不同的人群，制定不同的关系管理方式，以提高客户对公司商业活动的参与率。挖掘有价值的客户，并制定相应的促销策略：如，对经常购买酸奶的客户对累计消费达到12个月的老客户针对潜在客户派发广告，比在大街上乱发传单命中率更高，成本更低！聚类分析的基本思想又如，当我

13、们对企业的经济效益进行评价时，建立了一个由多个指标组成的指标体系，由于信息的重叠，一些指标之间存在很强的相关性，所以需要将相似的指标聚为一类，从而达到简化指标体系的目的。聚类分析的基本思想基本思想：是根据一批样品的多个观测指标，具体地找出一些能够度量样品或指标之间相似程度的统计量，然后利用统计量将样品或指标进行归类。把相似的样品或指标归为一类，把不相似的归为其他类。直到把所有的样品（或指标）聚合完毕. 相似样本或指标的集合称为类。问题：如何来选择样品（或指标）间相似的测度指标，如何将有相似性的类连接起来？聚类分析的基本思想聚类分析的类型有：对样本分类，称为Q型聚类分析对变量分类，称为R型聚类分

14、析Q型聚类是对样本进行聚类，它使具有相似性特征的样本聚集在一起，使差异性大的样本分离开来。R型聚类是对变量进行聚类，它使具有相似性的变量聚集在一起，差异性大的变量分离开来，可在相似变量中选择少数具有代表性的变量参与其他分析，实现减少变量个数，达到变量降维的目的。聚类分析的类型及方法聚类分析的方法：系统聚类（层次聚类）非系统聚类（非层次聚类）系统聚类法包括：凝聚方式聚类、分解方式聚类非系统聚类法包括：模糊聚类法、K均值法（快速聚类法）等等聚类分析的类型及方法以系统聚类法为例聚类分析的类型及方法样本或变量的相似性程度的数量指标：相似系数 性质越接近的变量或样品，它们的相似系数越接近于1或一l，而彼

15、此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类；距离 它是将每一个样品看作p维空间的一个点，并用某种度量方法测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类。样本分类（Q型聚类）常以距离刻画相似性指标分类(R型聚类)常以相似系数刻画相似性相似性度量常用距离明考夫斯基距离(Minkowski distance)明氏距离有三种特殊形式：绝对距离（Block距离）:当q=1时相似性度量常用距离明氏距离有三种特殊形式：欧氏距离(Euclidean distance):当q=2时切比雪夫距离:当 q= 时相似性度量明考夫斯基距离主要有以下两个缺点：明氏距

16、离的值与各指标的量纲有关，而各指标计量单位的选择有一定的人为性和随意性，各变量计量单位的不同不仅使此距离的实际意义难以说清，而且，任何一个变量计量单位的改变都会使此距离的数值改变从而使该距离的数值依赖于各变量计量单位的选择。明氏距离的定义没有考虑各个变量之间的相关性和重要性。实际上，明考夫斯基距离是把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合。相似性度量当各变量的单位不同或测量值范围相差很大时，不应直接采用明氏距离，而应先对各变量的数据作标准化处理，然后用标准化后的数据计算距离。常用的标准化处理：其中 为第j个变量的样本均值； 为第j个变量的样本方差。相似性度量相似系数相

17、似系数（或其绝对值）越大，变量之间的相似性程度越高；反之，越低。聚类时，比较相似的变量归为一类，不太相似的变量归为不同的类。变量xi与xj的相似系数用cij表示，满足以下三个条件相似性度量相关系数设 和 是第i和j个样品的观测值，则二者之间的相似测度为:相似性度量例，为了研究辽宁省5省区某年城镇居民生活消费的分布规律，根据调查资料做类型划分聚类分析省份x1x2x3x4x5x6x7x8辽宁7.90 39.778.49 12.9419.2711.052.0413.29浙江7.6850.3711.3513.3019.2514.592.7514.87河南9.42 27.938.208.1416.179

18、.421.559.76甘肃9.1627.989.019.3215.999.101.8211.35青海10.0628.6410.5210.0516.188.391.9610.81例，G1=辽宁，G2=浙江，G3=河南，G4=甘肃，G5=青海采用欧氏距离：d12 =(7.9-7.68)2+(39.77-50.37)2+(8.49-11.35)2+(12.94- 13.3)2+(19.27-19.25)2+(11.05-14.59)2+(2.04-2.75)2+(13.29-14.87)20.5=11.67 d13=13.80 d14=13.12 d15=12.80 d23=24.63 d24=24.06 d25=23.54 d34=2.2 d35=3.51 d45=2.21聚类分析在Matlab中首先倒入数据河南与甘肃的距离最近，先将二者（3和4）合为一类G6=G2，G4聚类分析 squareform(pdist(a)ans = 0 11.6726 13.8054 13.1278 12.7983 11.6726 0 24.6353 24.0591 23.5389 13.8054 24.