第6章 多元统计分析初步

第六章多元统计分析初步一、多元正态分布的参数估计与检验二、判别分析三、主成分分析四、因子分析五、典型相关分析一、多元正态分布的参数估计与检验1、多元正态分布2、参数的估计3、参数的检验如果维随机向量(随机变量)1、多元正态分布定义(联合)概率密度函数为则称随机向量为维正态随机向量，其中称为均值向量，为协方差矩阵(协差阵)，且对于一般情形仍可定义多维正记为。～态随机向量，当时，假设令多元正态分布的性质：〔1〕维正态分布由其均值向量和协方差阵唯一确定。〔2〕对于任一维向量及阶非负定矩阵，〔3〕设，是常数矩阵，～是维向量，～则必存在维正态随机向量。～有前面的密度表示，而当时，的分布是退化的正态分布。〔4〕为维正态随机向量的充要条件为对任一维向量，是一维正态随机变量。〔5〕设为多维正态随机向量，则与互不相关的充要条件是与相互独立。注：假设，则称与互不相关。〔6〕设，～则的充要条件是存在矩阵使得其中。～证明充分性由性质3立得。下证必要性。由于是秩为的非负定阵，则必存在正交矩阵使得其中。令则有令则由性质3知，～且,～由上式可得假设记它是矩阵，即有〔7〕假设,～且，则～证明由可知是正定矩阵，所以存在且为对称矩阵，这样令则～且由性质3知的每个分量服从标准正态分布，且相互独立，故分布的定义知～2、参数的估计在此给出多元正态分布的参数和的估计。为简单计，仅考虑的情形。设是来自多元正态总体的简单样本，令——样本均值向量—样本离差阵定理18.1则是设是来自多元正态总体的简单样本，且，的极大似然估计，是的极大似然估计。定理18.2则是设是来自多元正态总体的简单样本，且，的一致最小方差无偏估计，是的一致最小方差无偏估计。3、均值的检验〔一〕协差阵时，均值的检验设是来自多元正态总体的简单样本，其中。考虑假设检验问题令则可以证明当成立时，即时，～而当不成立时，有偏大的趋势。因此，对给定的显著性水平，当时拒绝，否则接受，即拒绝域为〔二〕协差阵未知时，均值的检验设是来自多元正态总体的简单样本，其中未知。考虑假设检验问题令则可以证成立时，即时，～明当而当不成立时，有偏大的趋势。因此，对给定的显著性水平，当时拒绝，否则接受，即拒绝域为〔三〕两个正态总体均值相等的检验设是来自多元正态总体的简单样本，考虑假设检验问题是来自多元正态总的简单样本，且两个样本相互独立，协方差阵。根据协方差阵和未知分两种情形：〔1〕检验统计量可以证明当成立时，即时，～而当不成立时，有偏大的趋势。因此，对给定的显著性水平，当时拒绝，否则接受，即拒绝域为〔2〕未知检验统计量可以证明当成立时，即时，其中是协方差阵的估计量。～而当不成立时，有偏大的趋势。因此，对给定的显著性水平，拒绝域为二、判别分析1、距离判别2、Bayes判别3、Fisher判别1、距离判别定义18.1〔一〕马氏距离设和是总体中抽取的样品，称的均值和协方差阵分别为和为与之间的马氏距离，记为，即为与总体的马氏距离，容易证明满足距离的三条根本公里：称〔1〕非负性：〔2〕自反性：且当且仅当时，〔3〕三角不等式：对任意三个点及有〔二〕两个总体的判别设有两个总体为和，对于给定的样品需要判断它来自哪个总体？判别的规则是：当时，判定；否则判定。定理18.1当参数及时，判别准则是：当时，判定；否则，判定，其中，两个总体协方差阵相同的情形：证明因为令所以当时，有判定；否则判定由于函数是的线性函数，故称为的线性判别函数，称为判别系数。在实际应用中，参数及往往是未知的，此时需要根据收集到的样本资料对参数作出估计，然后将其相应的估计值代入线性判别函数中。下面就给出参数的估计。设是来自总体的样本，是来自总体的样本，且两样本相互独立，则样本平均值分别是总体均值和的无偏估计。的估计为这样的估计可取为其中故当参数均未知时，判别函数为其中判别系数为注：距离判别法没有要求知道总体的分布。两个总体协方差阵不等的情形：设两个总体和的协方差阵为和，且所有的参数均，这时就直接用样品到总体的马氏距离来判别，即判别规则为当时，当时，其中当参数未知时，需用来自两个总体的相互独立的样本来估计这些参数，即将这些估计值代入上述判别法即可进行判别。通常为了初略了解所建立的判别方法的误判率，需进行回报判别，即对已给的两个样本逐个进行判别，可以计算出回报误判率。假设回报的误判率较大，则说明所建立的判别规则不适用，分析其原因，重新建立恰当的判别规则。注：回报的误判率并不是错判概率，一般情形下，前者比后者小，这种衡量标准仅供参考。〔三〕多个总体的判别设有个总体：其均值和协方差阵分别为及且所有的。当这些参数都时，计算假设存在某个使得成立，则判别。同样地当总体的参数是未知的时，应先利用来自个总体的相互独立的样本给出所有未知参数的估计，再利用上述判别法进行判别。对同协方差阵的情形，可以由个样本给出的估计具体判别过程不再赘述。2、Bayes判别〔一〕Bayes判别法的根本概念设有个总体，其概率密度分别为且是互不相同的。进一步假设个总体各自发生的概率为这个的概率称为先验概率，它可以由经验给出，也可以由收集到的历史资料确定。定义损失函数，表示将本来属于的样品错判为属于所造成的损失，规定显然应有当然也可用矩阵表示，即其中或，由于一个判别规则实质上是就是对维空间划分成个互不相交的局部，即满足和故为了方便起见，可简记一个的样品判为属于的〔错判概率〕概率记为判别规则为那么将属于即注意这里的积分是重积分。这样在判别规则下，错判来自总体的个这时表示正确判别的概率，即因此有体所造成的平均损失为其中表示损失矩阵的第行元素，而表示矩阵的第行元素。由于每个总体发生的概率为所以通过判别规则来进行判别所造成的总平均损失为Bayes方法的原理是寻求使平均损失到达最小的规则或一种划分这种规则或划分称为Bayes判别法。并将〔二〕两个总体的判别设有两个总体其密度函数分两个总体的先验概率为损失函数矩阵为定理18.2别为则Bayes判别法具有如下形式在实际使用Bayes判别法时，并不需要求出集合而只要将需判别的样品代入假设该不等式成立，则判定否则，判定如果总体分别服从协方差阵相同的正态分布则Bayes判别法有更简便的形式，依定理形式给出如下。定理18.3设总体分别服从协方差阵相Bayes判别法同的正态分布且则当参数均时，具有如下形式其中注：从的表达式可知Bayes判别函数与距离判别函数完全相同，只是临界值有所不同，领先验概率，即任取一个样品，它等可能地来自总体或，且错判损失时，有这说明在种情况下Bayes判别与距离判别等价。其它情形下两者并不等价。当参数均时，定理18.3中的Bayes判别法的所产生的错判概率为其中在实际应用中，参数及往往是未知的，此时需要根据收集到的样本资料对参数作出估计，然后将其相应的估计值代入线性判别函数中不再赘述。例子可参见P316。〔三〕多个总体的判别设有个总体，其概率密度分别为且各个总体出现的先验概率为错判造成的损失为假设为维空间的一个划分，则在规则下，错判的平均损失为如何寻找一个划分，使到达最小呢？我们有如下的定理。定理18.4设有个总体，其概率密度分别为且各个总体出现的先验概率为错判造成的损失为则使到达最小的划分为其中由定理所获得的划分称为划分的Bayes解。定理18.4给出了实际可行的具体判别方法。对给定的样品，计算个错判平均损失然后比较他们的大小，假设最小，则判定。推论18.1在定理18.4的条件下，假设(即错判的损失均相同)，则Bayes解为此推论说明当错判损失相同时，Bayes解具有上述更简单的形式。3、Fisher判别设有个总体：其均值和协方差阵分别为及任给一个样品,考虑它的线性函数，则在来自的条件下有假设令其中判别函数中的系数的选取应使目标函数到达极大，此时极大值称为判别效率。定理18.5设有个总体：其均值和协方差阵分别为及任给一个样品,在下，使得正是矩阵的最大特征值所对应的特征到达最大的线性判别函数中的系数向量，其中是所有元素都是的矩阵。判别方法：对给定的样品，计算假设存在使得成立，则判定。如果认为这种判别法还不很好的区分各个总体，还可以由的前个特征值所对应的特征向量建立个线性判别函数这样就相当于把原来的个指标压缩成个指标，再用这个指标，根据欧氏距离的大小来规定的范围，即对维空间作划分其中当样品时，则判定。方法。所研究的问题是：设有某个维总体三、主成分分析主成分分析是一种将多个指标化为少数几个指标以便揭示问题背后隐藏深层次原因的统计每个样品都测得个指标，而这个指标往往互有影响。能否将这个指标综合成很少几个综合性指标(或特征)，要求这几个综合既能尽可能充分反映原来个指标的信息，且彼此间互不相关。〔一〕从个指标求主元的方法设为维随机向量，那么如何将这个指标综合成很少的几个指标且要尽可能反映原来指标的作用，又彼此不相关呢？一个自然的方法是寻找指标线性组合(线性变换)。我们先来考虑第一个总合指标，令其中是待定的常向量。现在的任务是选取适当的使得最大限度地反映原来指标的作用，这就相当于要求要有尽可能大的方差，即选取使得尽可能地大。说明是的无界函数。然而不能通过加大向量的长度使的方差变因为对任意的常数，有因此如果对不加大，即只要变长倍，相应的方差就扩大倍，也限制，问题就会变得毫无意义。一个自然的限制是令即要求是单位向量。从而问题变为：在的条件下，求使到达最大的。定理19.1设总体的均值和协方差阵分别为是总体的个指标，令其中，则使得的方差和到达最大的正好是矩阵的最大特征根所对应的特征向量。证明用Lagrange乘数法来证明。令则有令可得这样就有由于根据克莱姆法则知，上述齐次线性方程有非零解的充要条件是系数行列式为零，即这说明是矩阵的特征根，且由可知是对应于特征根的特征向量。又由可知欲使的方差最大，只要取为的最大特征根即可，这样就是对应的单位特征向量。由定理19.1可知，第一个综合指标为其中是的对应于矩阵最大特征值的单位特征向量，称为第一主成分(或第一主元)。假设协方差矩阵即是非负定的，由矩阵论知它有个非负的特征根，不妨设为且是对应的个特征向量。自然应为的第二大特征根所对应的单位特征向量，并称为第二主成分。类似地，第二个综合指标可以取为重复以上过程，可得的第个综合指标称为的第个主成分。总之，我们可得到个主成分且其中是协方差阵的非零特征根并有而是对应的单位特征向量。假设用矩阵可表示如下其中且即矩阵是行正交矩阵。因此，所谓的主成分分析也可以看作是对原来的个指标进行了一次正交变换而得到个互不相关的综合指标，即主成分这样关于寻找总体的综合指标——主成分的问题就转化为求的协方差矩阵的特征值和标准正交特征向量的问题，归纳为如下几个步骤：1.求的协方差阵的特征值，记为2.求对应的单位特征向量且要求正交。3.获得第个主成分注：假设，则可得到的个主成分；当

有重特征值时，主成分不唯一。实际应用时到底应取多少个主成分作为分析问题的综合指标的问题留在后面讨论。在实际应用时，经常会遇到个指标的量纲不尽相同或取值彼此差异很大的问题，处理的一般方法是先将各指标进行标准化，即其中的协方差阵为但应注意这时即为相关矩阵其中因此求的主成分就是求的特征值和相应的单位特征向量，然后可得的分量的线性组合，即为所求的主成分。协方差阵和相关矩阵往往是未知的。这时在实际问题中，所研究的总体的均值需对总体进行抽样，设样本为取和的估计分别为——样本均值〔二〕样本主成分——样本相关矩阵设的特征值为对应的单位特征向量为则称为的第个样本主成分。——样本协方差阵同样地，假设记的特征值为对应的单位特征向量为则称为标准化变量的第个样本主成分，其中对于样本可以得到相应的主成分的样本为了区别起见，将这小节的主成分统称为样本主成分；而上一小节的主成分统称为总体主成分。〔二〕奉献率和主成分的解释构造综合指标的目的是想用尽可能少的主成分来代替原有的个指标，且能对原始资料所具有的意义做出合理的解释。那么到底应该选择多少主成分才合理呢？下面就来讨论总体主成分个数的选取问题，对样本主成分也有类似的分析。设维总体的协方差阵为的第个主成分为由于这些主成分时互不相关的，因此有这说明的“总方差〞(即个分量的方差之和)等于个互不相关的随机变量的方差之和，其中具有最大的方差，次之且有方差具有最小方差这样主成分依次集中了各分量的变化的主要局部，第一主成分的方差最大，即是以变化最大的方向向量为系数所得到的线性函数作为比值说明了方差在“全部方差〞中所占的比重，显然这个比值越大，说明这个变量“综合〞原始资料的能力越强。通常称这个比值为第一主成分的奉献率。类似地称为第个主成分的奉献率。而称为前个主成分的累计奉献率。这就是说，奉献率约达，则对应的主成分反映的能力就越强，反之则弱。因此，在实用常常略去那些奉献率小的主成分。经验指出：一般只要前个主成分的累计奉献率超过85%就足够了。这样就可以用前个不相关的主成分的变化来刻画的个相关分量的变化，即就是说可以用低维指标来反映高维指标的变化特性。例子参见P340.例某还海湾地区生物和地理环境之间的关系分析，在某海湾地区设置了274块地，调查了8个环境变量和7个物种。环境变量的选择是根据预备调查资料分析而确定的，变量名称和物种名称如表所示。由于量纲不同，现将它们进行标准化。环境因子(%)平均标准差物种平均(个/m2)标准差>250µm颗粒1.214.479Macomabalthica23255996125-250颗粒20.3123.27Tellinatenuis49.254462.5-125颗粒53.6721.36Hydrobiaulvae374.21014<62.5颗粒24.7420.77Corophiumvolutator540.51180燃烧损失1.5040.555Nereisdiversicolor63.5116Ca2.4010.704Arenicolamarina16.726P0.0280.056Nephthyshomergii4.9417N0.0130.0093某海湾地区环境与物种关系调查因子表四、因子分析因子分析法是用尽可能少的不可观测的所谓的“公共因子〞的线性函数与特定因子之和来描述原来观测的每一分量。其目的是尽可能合理地解释存在于原始变量之间的相关性，且简化变量的维数与结构。〔一〕因子模型模型称为因子模型，其中假设1.是可观测的向量，且均值协方差阵等于其相关矩阵2.是不可观测的向量，其均值协方差阵是3.与相互独立，且的协方差阵为对角矩阵用矩阵可将因子模型表示为其中满足前面的三个假设条件，是矩阵，即模型中叫做公共因子，它们是在各个原变量的表达式中都共同出现的因子，是相互独立的不可观测的理论变量。叫做特殊因子，是原单一变量(各分量)所特有因子，各特殊因子之间以及特殊因子与公共因子之间都是相互独立的。矩阵的元素叫做因子载荷，当的绝对值大时()说明与的相依程度大，或说公共因子对于的载荷量大，因此称为公共因子载荷量，简称因子载荷，而矩阵称为因子载荷矩阵。所谓因子分析，就是如何从一组资料出发，分析出公共因子与特殊因子来，并求出相应的〔二〕因子载荷矩阵的统计意义载荷矩阵，最后解释各个公共因子的含义。1.因子载荷的统计意义因为且因此既是与协方差，又是它们的相关系数，即就是说是用来度量可用线性组合表示的程度，这样称因子载荷叫做权，表示与的依赖程度。2.变量共同度的统计意义称因子载荷矩阵中各行的平方和为变量的共同度。由于即上式说明变量的方差有两局部组成：其一是它是全部公共因子对于变量的总方差所作出的奉献；其二是它是变量的特殊因子所产生的方差，仅与变量的本身变化有关，而与公共因子无关，常称为剩余方差。3.公共因子的方差奉献统计意义将载荷矩阵的各列元素平方和称为公共因子对的奉献。〔二〕因子载荷矩阵得求法五、典型相关分析典型相关分析是一种研究两个随机向量的相关关系的统计方法。类似于主成分分析，它是将两个随机向量的相关变为两个新随机变量之间的相关来进行讨论，同时又尽可能保存原变量的信息，即就是分别对两个随机向量构造其分量的线性组合，并使两个线性组合所形成为典型相关，形成的两个新变量为典型变量。进而还可