(5.2.1)-3.1 主成分分析-投资效益分析

脚本-数据建模中的统计模型——多元统计分析（PPT1,PPT2）同学，你好，今天我们介绍数据建模中的统计模型——多元统计分析。（PPT3）（动画1）多元统计分析是从经典统计学中发展起来的一个分支，是一种综合分析方法，它能够在多个对象和多个指标互相关联的情况下分析它们的统计规律。（动画2）主要内容包括（动画3）主成分分析、（动画4）因子分析、（动画5）聚类分析、（动画6）相关性分析和（动画7）回归分析。（PPT4）（动画1-3）下面，我们先介绍主成分分析由模型背景、数学模型、模型建立步骤、案例分析和模型应用5个部分构成。（PPT5）（动画1）首先我们来讲一下模型背景（PPT6）（动画1）现在有一门非常热门的技术——人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，其常见应用场景有（动画2）手机的屏幕解锁、（动画3）刷脸取件等等。一般来说，人脸识别系统包括人脸图像采集、人脸图像预处理、人脸图像特征提取和人脸图像匹配与识别。我们知道，人脸的不同主要体现在几个主要特征上，很多的输入像素在识别人脸时实际所起的作用并不大，这就是主成分分析的一个思想。（PPT7）（动画1）概括来说，在研究实际问题时，往往需要涉及多个变量，而通常多个变量间存在较强的相关关系，即这些变量间存在较多的信息重复，假如直接利用它们进行分析，不但模型复杂，还会因为变量间存在多重共线性而引起较大的误差。（动画2）主成分分析，就是用较少的新变量代替原来较多的旧变量，但同时这种代替仍可以反映原来多个变量的大部分信息。（PPT8）（动画1）接下来，我们来介绍第2部分，主成分分析的数学模型描述。（PPT9）（动画1）主成分分析（简写为PCA）,是一种数学降维的方法。（动画2）该方法通过构造原变量的一系列线性组合形成一组新的互不相关的变量，使这些新变量尽可能多地反映原变量的信息。（动画3）这里的“信息”主要由数据变量的方差反映，即方差越大，包含的信息越多。（PPT10）数学模型具体描述如下：（动画1）设变量x1,x2,...,x_p经过线性变换后得到新的综合变量y1,y2,...,y_p，即（动画2）y1=u_11*x1+u_12*x2+...+u_1p*x_p,y2=u_21*x1+u_22*x2+...+u_2p*x_p,y_p=u_p1*x1+u_p2*x2+...+u_pp*x_p,（动画3）满足以下条件：（动画4)1.新变量的系数向量u_i是单位向量，i=1,...p（动画5）2.新变量之间线性无关（动画6）3.新变量的方差单调递减。称这个数学模型为主成分分析模型，其中（动画7）y1为第一主成分，（动画8）y2为第二主成分，依次下去，（动画9）y_p为第p主成份。从模型可知，要得到主成分分析模型，需做两点：第一点，求主成分的线性变换系数向量，第二点，求主成分的方差。（PPT11）接下来，通过模型建立步骤，我们介绍解决这两点的方法。（PPT12）模型建立由以下5个步骤构成：（动画1）原始数据标准化处理，（动画2，动画3）计算样本相关系数矩阵R，（动画4，动画5）计算相关系数矩阵的特征值和特征向量，根据主成份分析理论，主成分的方差等于相关系数矩阵的特征值，（动画6，动画7）根据累计贡献率选择重要的主成分，（动画8，动画9）计算每个样本的主成分值，并可进一步计算综合得分。下面我们来一起看每步的具体操作。（PPT13）第1步.原始数据标准化处理（这一步目的:消除变量在量纲上的的影响。）（动画1）假设指标变量有p个，共有n个待评价对象，记第i个评价对象的第j个指标为x_ij，构成的指标向量记为x1,x2,...,x_p，将各指标值xij转化成标准化指标值xij’的公式为：（动画2）xij’=(x_ij-xj指标向量的样本均值)/xj指标向量的样本标准差（动画3）标准化后的指标向量记为x1’,x2’,...,xp’。（PPT14）第2步.计算样本相关系数矩阵R（动画1）样本相关系数矩阵记为R，是一个p*p的方阵。（动画2）其中元素rij是第i个指标与第j个指标的相关系数，定义为：（动画3）rij=第i个标准化指标xi’与第j个标准化指标xj’的样本协方差除以它们标准差的乘积。（PPT15）第3步.计算相关系数矩阵的特征值和特征向量（动画1）解特征方程|lambda*I-R|=0，求得特征值并按从大到小排列，即lambda1>=lambda2>=...>=lambda_p>=0。（动画2）对应的单位特征向量记为u1,u2,...,u_p，（动画3）根据主成分分析理论可知，第j主成分的方差等于特征值lambda_j，该主成分的系数向量为lambda_j对应的单位特征向量u_j，即第j主成分的表达式为：（动画4）y_j=u_1j*x1’+u_2j*x2’+...u_pj*xp’，j=1,2,...,p（PPT16）第4步.以累计贡献率来选择重要的主成分（动画1）这里，主成分贡献率的定义为：某个主成分的方差占全部方差和的比重，也就是某个特征值占全部特征值总和的比重。（动画2）第j个成分的贡献率为：beta_j=lambda_j/(lambda_1+...+lambda_p)，j=1,2,...,p（动画3）前m个成分的累计贡献率为：alpha_m=beta1+...+beta_m.（动画4）在实践中，一般要求选取主成分的累计贡献率达到85%以上。到了这一步，就得到了主成分的数学模型，在某些应用中，还要基于主成分模型进行进一步的讨论，如进行综合评价，排序等，因此，可根据实际进行第5步。（PPT17）第5步计算综合得分（动画1）综合得分计算公式如下：Z=beta_1*y1+...+beta_m*y_m（动画2）然后，根据每个待评价对象的综合得分值，对其进行评价。（PPT18）（接下来，我们通过一个案例分析来了解主成分分析的应用）（PPT19）右表是我国1984-2000年宏观投资的一些数据，试利用主成分分析对投资效益进行分析和排序。（PPT20）首先，我们对初始数据标准化，并计算样本相关系数矩阵：（动画1）（PPT21）第2步，计算相关系数矩阵的特征根，贡献率，累计贡献率，如下表所示（动画1）（动画2）可以看出，前三个特征根的累计贡献率已经达到93%以上，选前三主成分进行分析。（PPT22）第3步，选择重要的主成分，并写出主成分表达式。前三个特征值对应的特征向量为（动画1）（动画2）由此可得前三主成分的表达式为（动画3）y1=0.4905*x1+0.5254*x2-0.4871*x3+0.0671*x4-0.4916*x5，y2,y3的表达式具体请看屏幕。（PPT23）第4步，计算综合得分。（动画1）根据综合得分的计算公式得Z=beta1*y1+beta2*y2+beta3*y3=0.6269y1+0.2337y2+0.07y3。计算各年份得分并排序为：（动画2，动画3）（动画4）可见1993年投资效益最高，1998年最低。(ppt24)（动画1）那么主成分分析在我们的实际生活中有哪些重要的应用呢？（ppt25）（动画1）主成分分析可以用来研究我国经济发展的基本情况。（动画2）我国的经济发展情况可以由下面几个指标来表现，（动画3）GDP，也就是国内生产总值，（动画4）商品零售价格指数，（动画5）居民消费价格指数，（动画6）货物周转量，（动画7）固定资产投资，（动画8）工厂总产值，（动画9）职工平均工资。我们可以通过对这些指标进行主成分分析，来研究我国经济发展的情况。（p