多元统计分析绪论讲义

1、注意电子文档使用范围多 元 统 计 分 析Multivariate Statistical Analysis主讲：统计学院 统计学院应用统计学教研室School of Statistics 第一章 绪 论【教学目的】1 让学生了解什么是多元统计分析？它的发展与现状；2 让学生了解多元统计分析的主要范畴、功能；3 回顾相关的矩阵理论和多元正态分布理论；4 阐述多元数据的表示方法。【教学重点】1 从一元到多元的过度；2 多元正态理论及其相关命题。1 引言一、 什么是多元统计分析在实践中，常会碰到需要同时观测若干指标的问题。例如衡量一个地区的经济发展水平：总产值、利润、效益、劳动生产率等；在医学诊断

2、中，有病还是无病，需做多项检测：血压、体温、心跳、白血球等 实际上，每项指标都是随机变量。提出问题：如何同时对多个随机变量的观测数据进行有效的分析和处理？有两种做法：分开研究；同时研究。但前者会损失一定的信息量。多元统计分析就是研究多个随机变量之间相互依赖关系以及内在统计规律的一门学科，利用其中的不同方法可对研究对象进行分类和简化。二、 多元统计分析的产生和发展11928年Wishert发表论文多元正态总体样本协方差阵的精确分布，是多元统计分析的开端；220世纪30年代，Fisher, Hotelling, 许宝碌等奠定了多元统计分析的理论基础；320世纪40年代，在心理学、教育学、生物学等方

3、面有不少应用，但由于计算量大，发展受到限制；420世纪50年代中期，随着计算机的出现和发展，使多元分析方法在地质、气象、医学和社会学方面得到广泛应用；520世纪60年代，通过应用和实践又完善和发展了理论，使得它的应用范围更广；620世纪70年代初期，才在我国受到各个领域的极大关注，近30多年在理论上和应用上都取得了若干新进展。三、 多元统计分析的主要范畴（研究内容）在对社会、经济、技术系统的认识过程中，都需要收集和分析大量表现系统特征和运行状态的数据信息。这类原始数据集合往往由于样本点数量巨大，用于刻画系统特征的指标变量众多，并且带有动态特性，而形成规模宏大、复杂难辨的数据海洋。如何分析和认识

4、高维复杂数据集合中的内在规律性，简明扼要地把握系统的本质特征；如何对高维数据集合进行最佳综合，迅速将隐藏在其中的重要信息集中提取出来；如何充分发掘数据中的丰富内涵，清晰地展示系统结构，准确地认识系统元素的内在联系，以及直观地描绘系统的运动历程。利用统计学和数学方法，对多维复杂数据集合进行科学分析的理论和方法，就是多元统计数据分析研究的基本内容。其主要范畴包括：多元正态总体的参数估计和假设检验以及常用的统计方法。具体地有：多元数据图表示法；多元回归分析；聚类分析；判别分析；主成分分析；因子分析；对应分析；典型相关分析；路径分析；多维标度分析等。四、 多元统计分析的功能和应用领域主要用于对高维数据

5、进行处理，包括：简化数据和数据结构、能够进行假设检验、进行分类和组合、进行相应的评价、预测、控制等。主要用于：经济学、医学、教育学、心理学、体育科学、生态学、地质学、社会学、考古学、军事科学、环境科学、文学等。五、 如何学习多元统计分析可以说多元统计分析课程有两种讲授方法和学习方式：一是重理论推导型；二是重实证应用型。我们的讲授以实证应用为主，辅以部分的理论介绍。同学们应该重点学习多元统计分析中各种常用的分析方法，领悟与掌握各种方法的实际背景、基本思想、理论依据、应用场合和可能结论，同时对每种方法会解决实际问题。每一部分都配有相应的案例 这些案例都有相应的经济背景，以后学生可在论文写作和毕业工

6、作中套用这些模式。，请同学在上机的时候完成，也作为平时作业给予相应的成绩。六、 先修课程1线性代数2概率论3数理统计4相应的统计软件5经济学七、 统计和计算机和统计软件现代生活越来越离不开计算机了。最早使用计算机的统计当然更离不开计算机了。事实上，最初的计算机仅仅是为科学计算而设计和建造的。大型计算机的最早一批用户就包含统计。而现在统计仍然是进行数字计算最多的用户。当然计算机现在早已脱离了仅有数字计算功能的单一模式，而成为百姓生活的一部分。计算机的使用，也从过去必须学会计算机语言到只需要“傻瓜式”地点击鼠标。结果也从单纯的数字输出到包括漂亮的表格和图形在内的各种形式。统计软件的发展，也使得统计

7、从统计学家的圈内游戏变成了大众的游戏。只要输入你的数据，点几下鼠标，做一些选项，马上就得到令人惊叹的漂亮结果了。人们可能会问，是否傻瓜式统计软件的使用可以代替统计课程了？当然不是。数据的整理和识别，方法的选用，计算机输出结果的理解都不象使用傻瓜相机那样简单可靠。有些诸如法律和医学方面的软件都有不少警告，不时提醒你去咨询专家。但统计软件则不那么负责。只要数据格式无误、选项不矛盾而且不用零作为除数就一定给你结果，而且几乎没有任何警告。另外，统计软件输出的结果太多；即使是同样的方法，不同软件输出的内容还不一样；有时同样的内容名称也不一样。这就使得使用者大伤脑筋。即使是统计学家也不一定能解释所有的输出

8、。因此，就应该特别留神，明白自己是在干什么。不要在得到一堆毫无意义的垃圾之后还沾沾自喜。统计软件的种类很多。有些功能齐全，有些价格便宜；有些容易操作，有些需要更多的实践才能掌握。还有些是专门的软件，只处理某一类统计问题。面对太多的选择往往给决策带来困难。这里介绍最常见的几种。1 SPSS：这是一个很受欢迎的统计软件；它容易操作，输出漂亮，功能齐全，价格合理。它也有自己的程序语言，但基本上已经“傻瓜化”。它对于非专业统计工作者是很好的选择。2 SAS：这是功能非常齐全的软件；尽管价格相当不菲，许多公司，特别是美国制药公司，还是因为其功能众多和某些美国政府机构认可而使用。尽管现在已经尽量“傻瓜化”

9、，但仍然需要一定的训练才可以进入。也可以对它编程；但对于基本统计课程则不那么方便。3 Statistica：也是功能强大而齐全的“傻瓜化”的软件，在我国用的也不如SAS与SPSS那么普遍。4 Excel：它严格说来并不是统计软件，但作为数据表格软件，必然有一定统计计算功能。而且凡是有Microsoft Office的计算机，基本上都装有Excel。但要注意，有时在装Office时没有装数据分析的功能，那就必须装了才行。当然，画图功能是已经具备的了。对于简单分析，Excel还算方便，但随着问题的深入，Excel就不那么“傻瓜”，需要使用宏命令来编程；这时就没有相应的简单选项了。多数专门一些的统计

10、推断问题还需要其他专门的统计软件来处理。5 S-plus：这是统计学家喜爱的软件。不仅由于其功能齐全，而且由于其强大而又方便的编程功能，使得研究人员可以编制自己的程序来实现自己的理论和方法。它也在进行“傻瓜化”以争取顾客。但仍然以编程方便为顾客所青睐。6 R软件：这是一个免费的，由志愿者管理的软件。其编程语言与S-plus所基于的S语言一样，很方便。还有不断加入的从事各个方向研究的统计学家编写的统计软件包。同时从网上可以不断更新和增加有关的软件包和程序。这是发展最快的软件，受到世界上统计师生的欢迎。是用户量增加最快的统计软件。它的语言结构和C+、Fortran、Matlab、Pascal、Ba

11、sic等很相似，容易举一反三。对于一般非统计工作者来说，主要问题是它没有“傻瓜化”。7 Minitab：这个软件是很方便的功能强大而又齐全的软件，也已经“傻瓜化”，在我国用的不如SPSS与SAS那么普遍。8 MATLAB：这也是应用于各个领域的以编程为主的软件，在工程上应用广泛。编程类似于S和R。但是统计函数不多。9 Eviews：这是一个处理回归和时间序列等问题很方便的软件。10 GAUSS：这是一个很好用的统计软件，许多搞经济的喜欢它。主要也是编程功能强大。目前在我国使用的人不多。11 FORTRAN：这是应用于各个领域的历史很长的非常优秀的编程软件，功能强大，也有许多数学软件包和一些统计

12、软件包。由于可以编译成机器语言，计算速度比这里介绍的其他软件都快得多。但需要编程和编译。当然，还有很多其他的软件，没有必要一一罗列。其实，聪明的读者只要学会使用一种“傻瓜式”软件，使用其他的软件也不会困难；最多看看帮助和说明即可。如果只有英文帮助，那还可以顺便提高你的英文阅读能力。学习软件的最好方式是需要时在使用中学。八、 几点要求1 复习矩阵代数及数理统计的有关内容；2 及时消化课堂内容；3 按时完成作业；4 其它事项。九、 参考书目1 孙慧钧：多元统计分析方法与应用，内蒙古大学出版社，1997年8月。2 于秀林、任雪松：多元统计分析，中国统计出版社，1999年8月。3 罗积玉、邢英：经济统

13、计分析方法及预测，清华大学出版社，1987年8月。4 何晓群：应用回归分析，中国人民大学出版社，2001年6月。5 Ruchard A. Johnson & Dean W. Wichern著，陆璇译：实用多元统计分析，清华大学出版社，2001年4月。6 张尧庭、方开泰：多元统计分析引论，科学出版社，1997年8月（第三次印刷）。7 方开泰：实用多元统计分析，华东师范大学出版社，1989年9月。8 胡国定，张润楚：多元数据分析方法纯代数处理，南开大学出版社，1990年。9 张润楚：多元统计理论与数据分析方法（校内讲义），南开大学数学科学学院，2003年2月。10 任若恩：多元统计数据分析理论、方

14、法、实例，国防工业出版社，1997年6月。11 郭志刚：社会统计分析方法SPSS软件应用，中国人民大学出版社，1999年12月。12 卢纹岱、朱一力、沙捷、朱红兵：Spss for Wingdows从入门到精通，电子工业出版社，1997年6月。13 易丹辉：STATISTICA6.0，中国统计出版社，2002、10；14 Anderson,T.W.(1984), An Introduction to Multivariate Statistical Analysis, 2nd ed., New York: John Wiley & Sons.15 Eaton,M.L.(1983), Multi

15、variate Statistics:A Vector Space Approach, New York: John Wiley & Sons.16 Johnson,R.A. and Wichern,D.W.(1982), Applied Multivariate Statistical Analysis, New York: Prentice-Hall, Inc.2 矩阵理论及随机向量 这里讨论的均值向量和协方差矩阵均为总体的，实际上还可以讨论样本均值向量和样本协方差矩阵。一些概念和结论可以从一元随机变量那儿推广过来。本节主要介绍多元统计分析中用到的矩阵和向量代数知识，以及将概率论及数理统计

16、中的随机变量理论推广到随机向量。一、 矩阵代数 可以参阅经济学家的数学手册一书。1 单位矩阵：，；2 对称矩阵：；3 转置运算：；4 逆运算：；5 矩阵乘法：；6 矩阵的迹：主对角线元素之和 这里为矩阵的特征根。；7 正交矩阵 正交矩阵的各行和各列分别都是正交的。：或；8 幂等矩阵：；9 投影矩阵：对称的幂等矩阵；10 平方根矩阵：因正定，必存在正交矩阵，使得二、 随机向量和随机矩阵随机向量是元素为随机变量的向量；随机矩阵是元素为随机变量的矩阵。定义1：设，若对于任意的，均为随机变量，则称为维随机向量。定义2：设中每一个元素均为随机变量，则称为维随机矩阵。三、 随机向量及其分布设为一维随机向量

17、，如果该向量在空间中存在概率分布，即对任何，概率存在。并称元函数为的分布函数，记，称服从分布，也称为的联合分布函数。如果一个随机向量，有空间中的非负函数使得其分布函数可表为积分，为连续型随机向量，则称为的概率分布密度函数（简记为pdf）。四、 均值向量和协方差矩阵1均值向量和均值矩阵设，若，存在，则称为随机向量的均值向量。同理，称为随机矩阵的期望矩阵或均值矩阵。2协方差矩阵（方差-协方差矩阵）令，则称为随机向量的协方差矩阵。那么由的定义知NOTE：协方差阵的特点：，对于任意的，即为对称矩阵；当时，为第个分量的方差；对于任意的，表示的第个分量与第个分量的协方差。若，则称与是互不相关的 在概率论中

18、，我们已经知道，若与相互独立，则它们互不相关，但反之未必成立。3相关系数矩阵令（），则为变量与的相关系数，它度量了随机变量与之间的线性相关程度 的值越在，说明与之间的线性相关程度越大，反之越小。当时，与正相关；当时，与负相关。则称阶矩阵为随机变量的相关系数矩阵。若记，则。若已知，则与之间相互确定。事实上， 左乘是行变换，右乘是列变换。作业五、 随机向量线性变换的均值向量和协方差矩阵设是维随机向量，为阶常数矩阵，为维向量，令，则为维随机向量。1；2作业：设和分别为维和维随机向量，定义 称为互协方差矩阵，描述随机向量之间的线性相关关系。，且和分别为和维常数矩阵，则有下面结论：3六、 随机向量的二次

19、型设为维随机向量，为阶对称矩阵，则称随机变量为的二次型。1设，则。其中表示矩阵的对角线上的元素和。特别地，（1）若，则；（2）若，则；（3）若，则。3 多元正态分布及其推广 除多元正态分布，还有其它许多重要的多元分布，如：椭球等高分布簇、多元指数型分布簇、其它一些多元分布（这些多元分布可以由一元分布推广而得到，主要的推广方法有：直接推广法、共成分推广法、随机推广法）。多元正态分布是多元统计分析的基础，其地位如同一元统计分析中的一元正态分布一样。把我们熟悉的一元正态分布向多元推广，在多元分析中起着十分重要的作用。多元统计中的大多数方法都是基于数据从一个多元正态分布生成的假设。虽然实际的数据从来不

20、会恰好是多元正态的，然而正态分布常常是“真实的”总体分布的一种有效近似。正态分布的重要性在于它的双重作用，既可作为某些自然现象总体模型，又可作为许多统计量近似的抽样分布。一、 多元正态的概率密度及其性质1多元正态概率密度多元正态分布是一元正态向维的推广。定义：若随机变量的概率密度函数为则称具有均值为，方差为的正态随机变量，记为。定义：若维随机向量的密度函数为其中，是正定矩阵，则称服从元正态分布，记作：。NOTE：当时，即为一元正态分布密度函数；为的均值，为的协方差矩阵；当时，该定义有缺陷，采取下面的定义方式。定义：独立标准正态变量的有限组合称为维正态随机向量，记为，其中。NOTE：这种定义是用

21、多个正态变量的任意线性组合给出多元正态随机向量的定义，其优点是多元正态的某些性质，可用一元正态性质得到；除此之外，还有特征函数的定义。重要特例：二元正态分布重要的参数有：。当时，与不相关，此时有所以与相互独立。即对于二元正态变量来说，与不相关与相互独立。% 多元正态概率密度函数图源代码mu=1,-1;Sigma = 1 0; 0 1; X = mvnrnd(mu,Sigma,10000); p = mvnpdf(X,mu,Sigma);plot3(X(:,1),X(:,2),p);二、 多元正态变量的基本性质1 若，是对角矩阵，则相互独立；2 若，则对于任意维向量，有；反之，若对于任意维向量，

22、有，则；推论：若，则对于任意的，有且成立。即正态变量的任何一个分量仍是正态变量，任何两个分量的和与差均为正态变量；3 若，为常数矩阵，为维常数向量，则，且，即正态随机向量的线性函数还是正态的；推论1：若，则；推论2：若，则；4 若，将可以作如下分割，则，；例如：若，记，则，其中，；。5 设，则与相互独立。6 设，且与相互独立，则NOTE：多元正态分布的任何边缘分布都是正态分布，但反之不真；由于，故表示与不相关；对于多元正态变量来说，与不相关与独立是等价的；要判断一批数据是否来自正态总体较困难，但反过来却有简易的方法 如果服从多元正态分布，则它的每个分量必服从一元正态分布。一元正态分布的检验方法

23、比较成熟，常用的有：直方图，P-P图，Q-Q图，正态概率纸，K-S检验，卡方拟合优度检验等。；对于非正态数据可以通过幂指数变换和Box-Cox变换成近似正态。三、 多元正态分布的参数估计设，其均值向量和协差阵未知。1多元样本的概率及表示从多元总体中随机抽取个个体：，若它们相互独立且与总体同分布，则称为该总体的一个多元随机样本，简称简单样本。将个样品对个指标进行观测，结果如下 行代表样品，列代表指标。其中，。把每个样品看作一个随机向量，因此就是一个随机矩阵，为观测矩阵或样本资料库。NOTE：多元样本中的每个样品，对个指标的观测值往往有相关关系，但不同样品之间的观测值一定相互独立；多元分析处理的多

24、元数据一般都属于横截面数据（PANEL DATA），如果是时序数据则属于多元时间序列分析的范畴。2多元样本的数字特征 样本均值向量和样本协差阵也可用样本资料阵直接表示，详见教材P26。定义：设为来自元总体的样本，其中（）（1）样本均值可定义为（2）样本离差阵可定义为（3）样本协差阵可定义为（4）样本相关阵可定义为3多元正态分布参数的极大似然估计及其基本性质（1）极大似然估计的定义、基本步骤定义步骤：STEP01：求样本似然函数；STEP02：求对数似然函数；STEP03：求似然函数的极大化。（2）一元正态分布参数的极大似然估计（3）多元正态分布参数的极大似然估计为了方便地求解参数地极大似然估计

25、，先引入如下引理。引理：设为阶对称正定矩阵，常数，则对任意正定矩阵，有仅当时，等号成立。定理：设，为来自的样本，则，分别是和的极大似然估计量，其观测值称为和的极大似然估计值。（4）极大似然估计量的基本性质无偏性：，即是的无偏估计；，即不是的无偏估计；而，即是的无偏估计；，分别是，的有效估计；，（或）分别是，的一致估计（相合估计）。样本均值向量和样本离差阵在多元统计推断中具有十分重要的作用，并有如下结论：定理：设和分别是正态总体的样本均值向量和离差阵，则（1）；（2）离差阵可以写为：，其中独立同分布于；（3）与相互独立；（4）为正定矩阵的充要条件是。四、 多元正态分布的变形形式 在介绍这些分布之

26、前，应该首先介绍二次型的分布。在一元统计分析中，我们有，和等一些基本统计量分布，以这些分布作为基础对一元统计问题进行推断。和一元情形一样，多元统计分析也需要建立一些基本的多元统计量分布作为多元统计问题分析的基础。Wishart分布，分布和分布等分布就是其中的最重要的几种。Wishart于20世纪20年代导出Wishart分布，后来又由Hotelling, Wilks, 许宝禄等人建立了和等分布，这些为多元分析奠定了基础。1Wishart分布及其性质首先回顾分布定义。如果为独立同分布于，则；如果相互独立，且各自的分布分别为，则，其中。（1）定义（两种形式的定义）首先从形式上推广，有矩阵形式的定义

27、。定义：设且相互独立,则由组成的随机矩阵的分布称为非中心Wishart分布，记为。其中，称为分布的自由度；为非中心参数。当时，该分布称为中心的Wishart分布，记为。NOTE：显然Wishart分布是分布在维正态情况下的推广，因为当时，就是，其中为非中心参数。其次给出它的密度形式定义，这是由Wishart（1928）导出的。这里只给出它的中心分布的密度形式，非中心分布的密度比它复杂。定义：设为阶对称随机矩阵，并以概率1正定。如果其上对角块元素有密度函数（2）基本性质性质1：若，且与相互独立，则。性质2：若，则。2Hotelling 分布在一元统计中，若来自总体的样本，则统计量：其中，。事实上

28、，则显然，其中，（1）定义定义：设，且与相互独立，则称统计量的分布为非中心Hotelling 分布，记为。NOTE：该分布首先由Harold Hotelling提出，我国统计学家许宝禄于1938年用不同的方法也导出了分布的密度函数；由定义可知，该分布是一元分布的多元推广。（2）性质在一元统计中，若统计量分布，则分布，即把分布的统计量转化统计量来处理，在多元统计分析中统计量也有类似性质。若，且与相互独立，令，则3Wilks 分布回顾一元时的Beta分布。设，且相互独立，则。下面引入多元情形下的类似分布。（1）定义定义：设，且与相互独立，则称为Wilks统计量，的分布为Wilks分布，简记为。其中

29、，为自由度。NOTE：当时，显然正好是一元统计中的Beta分布，因此它是Beta分布在多元情形的推广；分布还有一些非常特殊的形式；在实际应用中，经常把统计量化为统计量进而转化为统计量，利用统计量来解决多元统计分析中有关检验问题。事实上，当时，用代替，可以得到它们之间的关系如下：（2）性质性质1：，其中，相互独立。性质2：和具有相同的分布。五、 多元变量的正态性检验1和的抽样分布定理：设，是来自总体的样本，有，则：（1）；（2）；（3）与是相互独立的。2和的大样本特性在一元中，无论总体的分布类型如何，由中心极限定理知，样本均值近似服从正态分布，只要样本容量充分大。这个结论对于多元也成立。定理（中

30、心极限定理）：设是来自任何有均值与有极限协方差矩阵的总体的独立观测结果，则对大样本容量有又因为当充分大时，依概率收敛到，从而3多元正态分布的检验根据正态分布的性质，多元正态分布的边缘分布是正态分布，且多元正态密度的轮廓线是椭球面，因此，可以提出下面几个问题：（1）的每个分量的边缘分布是否是正态？分量的几个线性组合是否是正态？（2）根据各种特征的观测结果所作出的散布图，是否呈现出正态总体期望的椭圆形状？（3）是否存在应该进行检验以确保精确度的“杂乱”观测值？问题可以转化为一元正态性的检验和二元正态性的检验，现将其叙述如下：二元正态分布的检验方法：方法1：轮廓线如果观测值是一个从多元正态分布生成的

31、，则每个二元分布是正态变量，其常数密度轮廓线应是椭圆；散布图显示一个近乎椭圆的形状，从而与这个结构一致。方法2：卡方图在判断一个数据集的联合正态性时，一种更正式一些的方法是基于广义平方距离：其中是样本观测值。当总体是多元正态的且与都很大时，构造卡方图的方法：4多元正态数据的获得如果数据不是来自正态总体，则许多统计方法就不能直接使用，为此，我们考虑通过数据变换，使非正态数据变成更接近正态的数据。在适当的数据变换后，就可以实现正态理论分析。而Box-Cox变换可以实现这一使命。4 关于均值向量和协差阵的推断从本节开始，就转入多元统计学的方法论，将集中讨论关于总体均值向量及其分量的统计推断问题。虽然

32、将从假设检验开始统计推断的讨论，但最终目的还是要基于联合置信域的形式给出均值向量诸分量的一个完整的统计分析。多元分析的精髓之一就是必须对个相关变量同时进行分析。一、 均值向量的检验1均值向量的检验2协差阵相等时，两个正态总体均值向量的检验3协差阵不等时，两个正态总体均值向量的检验4多个正态总体均值向量的检验（多元方差分析）二、 协差阵的检验1一个正态总体协差阵检验2多个协差阵相等检验5 多元数据的图形分析法一、 问题提出图形有助于对数据的直观了解，一般只能给出1维、2维和3维的图形。但在许多实际问题中，多元数据的维数都大于3。自20世纪70年代以来，关于多元数据的图表示法，人们设计了不少的办法，大体上可以分为两类：第一，使高维空间的点与平面上的某种图形对应，这种图形能反映高维数据的某些特点或数据间的某些关系；第二，在尽可能多地保留原数据信息的原则下降维，若能将数据维 降维的方法主要有：主成分分析、因子分析等。数降至3维或以下，则可以在空间、平面上进行作图。二、 轮廓图1作图步骤2图形样式三、 雷达图（蛛网图）1作图步骤2图形样式NOTE：只有正半轴，负的数据要作适当的变换；可将数据进行标准化后作图；可