第二章多元正态分布的参数估计

§2.1多元正态分布的定义一元正态分布N(μ,σ2)的概率密度函数为：若随机向量

的概率密度函数为则称X服从p元正态分布，记作X~Np

(μ,Σ)，其中，参数μ和Σ分别为X的均值和协差阵。当前第1页\共有64页\编于星期三\9点例1（二元正态分布）设X~N2(μ,Σ)，这里易见，ρ是X1和

X2的相关系数。当|ρ|<1时，可得X的概率密度函数为：当前第2页\共有64页\编于星期三\9点二元正态分布的密度曲面图下图是当时二元正态分布的钟形密度曲面图。当前第3页\共有64页\编于星期三\9点二元正态分布等高线等高（椭圆）线：上述等高线上的密度值当前第4页\共有64页\编于星期三\9点二元正态分布的密度等高线族

（由10000个二维随机数生成）|ρ|越大，长轴越长，短轴越短，即椭圆越扁平；|ρ|越小，长轴越短，短轴越长，即椭圆越圆；|ρ|=1时椭圆退化为一条线段；|ρ|=0时即为圆。当前第5页\共有64页\编于星期三\9点§2.2多元正态分布的性质（1）多元正态分布的特征函数是：（2）设X是一个p维随机向量，则X服从多元正态分布，当且仅当它的任何线性函数均服从一元正态分布。性质（2）常可用来证明随机向量服从多元正态分布。（3）设X~Np

(μ,Σ)，Y=CX+b其中C为r×p常数矩阵，则该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量。当前第6页\共有64页\编于星期三\9点（4）设X~Np

(μ,Σ)，则X的任何子向量也服从（多元）正态分布，其均值为μ的相应子向量，协方差矩阵为Σ的相应子矩阵。该性质说明了多元正态分布的任何边缘分布仍为（多元）正态分布。需注意，随机向量的任何边缘分布皆为（多元）正态分布未必表明该随机向量就服从多元正态分布。§2.2多元正态分布的性质当前第7页\共有64页\编于星期三\9点正态变量的线性组合未必就是正态变量。证明:

反证法。若命题“一元正态变量X1,X2,⋯,Xn的一切线性组合一定是一元正态变量”成立，则由性质（2）知，X1,X2,⋯,Xn的联合分布必为多元正态分布，于是命题“一元正态变量的联合分布必为多元正态分布”成立，从而矛盾。§2.2多元正态分布的性质当前第8页\共有64页\编于星期三\9点

当前第9页\共有64页\编于星期三\9点当前第10页\共有64页\编于星期三\9点当前第11页\共有64页\编于星期三\9点当前第12页\共有64页\编于星期三\9点当前第13页\共有64页\编于星期三\9点则（i）

；

（ii）

；（iii）

。例3

设X~N4(μ,Σ)，这里当前第14页\共有64页\编于星期三\9点§2.2多元正态分布的性质（5）设X1,X2,⋯,Xn相互独立，且Xi~Np

(μi,Σi)，i=1,2,⋯,n，则对任意n个常数，有此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量。（6）设X~Np

(μ,Σ)，对X,μ,Σ(>0)作如下的剖分：当前第15页\共有64页\编于星期三\9点则子向量X1和X2相互独立，当且仅当Σ12=0。该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。（7）设X~Np

(μ,Σ),Σ>0，则例4

设X~N3(μ,Σ)，其中

则X2和X3不独立，X1和(X2,X3)独立。当前第16页\共有64页\编于星期三\9点（8）设X~Np

(μ,Σ),Σ>0，作如下剖分

则给定X2时X1的条件分布为，其中μ1·2和Σ11·2分别是条件数学期望和条件协方差矩阵，Σ11·2通常称为偏协方差矩阵。当前第17页\共有64页\编于星期三\9点这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。例5设X~N3(μ,Σ)，其中

试求给定X1+2X3时

的条件分布。当前第18页\共有64页\编于星期三\9点§2.3复相关系数和偏相关系数一、复相关系数二、偏相关系数当前第19页\共有64页\编于星期三\9点一、复相关系数相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量X1与一组随机变量X2,⋯,Xp之间线性关系的强弱。将X,Σ(>0)剖分如下：当前第20页\共有64页\编于星期三\9点

X1和X2的线性函数间的最大相关系数称为X1和X2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作ρ1∙2,⋯,p,它度量了一个变量X1与一组变量X2,⋯,Xp间的相关程度。可推导出例4

随机变量X1,⋯,Xp的任一线性函数F=l1X1+⋯+lpXp与X1,⋯,Xp的复相关系数为1。证明:当前第21页\共有64页\编于星期三\9点二、偏相关系数将X,Σ(>0)剖分如下：称为给定X2时X1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，Xi和Xj之间的协方差。当前第22页\共有64页\编于星期三\9点给定X2时Xi

和Xj的偏相关系数（partialcorrelationcoefficient）定义为:其中。ρij∙k+1,⋯,p度量了剔除Xk+1,⋯,Xp的（线性）影响之后，Xi和Xj间相关关系的强弱。对于多元正态变量X，由于Σ11∙2也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ρij∙k+1,⋯,p同时也度量了在Xk+1,⋯,Xp值给定的条件下Xi和Xj间相关关系的强弱。当前第23页\共有64页\编于星期三\9点§2.4极大似然估计及估计量的性质一、样本X1,X2,⋯,Xn的联合概率密度二、μ和Σ的极大似然估计三、相关系数的极大似然估计四、估计量的性质当前第24页\共有64页\编于星期三\9点设X~Np(μ,Σ),Σ>0，X1,X2,⋯,Xn是从总体X中抽取的一个简单随机样本（今后简称为样本），即满足：X1,X2,⋯,Xn独立，且与总体分布相同。令称之为（样本）数据矩阵或观测值矩阵。当前第25页\共有64页\编于星期三\9点一、样本X1,X2,⋯,XN的联合概率密度极大似然估计是通过似然函数来求得的，似然函数可以是样本联合概率密度

f(x1,x2,⋯,xn)的任意正常数倍，我们不妨取成相等，记为L(μ,Σ)。可具体表达为：当前第26页\共有64页\编于星期三\9点二、Μ和Σ的极大似然估计一元正态情形：多元正态情形：其中称为样本均值向量（简称为样本均值），

称为样本离差矩阵。当前第27页\共有64页\编于星期三\9点三、相关系数的极大似然估计1.简单相关系数2.复相关系数3.偏相关系数当前第28页\共有64页\编于星期三\9点1.简单相关系数相关系数ρij的极大似然估计为:其中

。称S为样本协方差矩阵、rij为样本相关系数、

为样本相关矩阵。当前第29页\共有64页\编于星期三\9点2.复相关系数将X,Σ(>0),S剖分如下：则复相关系数ρ1∙2,⋯,p的极大似然估计为r1∙2,⋯,p,称之为样本复相关系数。其中

当前第30页\共有64页\编于星期三\9点3.偏相关系数将X,Σ(>0),S剖分如下：则偏相关系数ρij∙k+1,⋯,p的极大似然估计为rij∙k+1,⋯,p，称之为样本偏相关系数，其中当前第31页\共有64页\编于星期三\9点§3.5和(N−1)S2的抽样分布一、的抽样分布二、(n−1)S的抽样分布当前第32页\共有64页\编于星期三\9点一、的抽样分布1.正态总体设X~Np

(μ,Σ),Σ>0，X1,X2,⋯,Xn是从总体X中抽取的一个样本，则2.非正态总体（中心极限定理）设X1,X2,⋯,Xn是来自总体X的一个样本，μ和Σ存在，当n很大且n相对于p也很大时，上式近似地成立。当前第33页\共有64页\编于星期三\9点当前第34页\共有64页\编于星期三\9点

当前第35页\共有64页\编于星期三\9点当前第36页\共有64页\编于星期三\9点当前第37页\共有64页\编于星期三\9点

当前第38页\共有64页\编于星期三\9点

当前第39页\共有64页\编于星期三\9点当前第40页\共有64页\编于星期三\9点

当前第41页\共有64页\编于星期三\9点二、均值向量与协差阵的最大似然估计

当前第42页\共有64页\编于星期三\9点

当前第43页\共有64页\编于星期三\9点

当前第44页\共有64页\编于星期三\9点

当前第45页\共有64页\编于星期三\9点

当前第46页\共有64页\编于星期三\9点三、估计量的性质1.无偏性2.有效性3.一致性4.充分性当前第47页\共有64页\编于星期三\9点充分统计量1充分性的概念例1为研究某种产品的合格品率，我们对该产品进行检查，从该产品中随机抽取10件进行观测，发现除第三、六件产品不合格外，其余8件产品都是合格品。这样的观测结果包含了两种信息：(1)10件产品有8件是合格品；(2)2件不合格品分别是第三和第六件。当前第48页\共有64页\编于星期三\9点第二种信息对了解该产品合格品率是没有什么帮助的。一般地，设我们对该产品进行n次观测，得到x1,x2,…,xn，每个xj

取值非0即1，合格为1，不合格为0。令T=x1+…+xn

，T为观测到的合格品数。在这种场合仅仅记录使用T不会丢失任何与合格品率有关的信息，统计上将这种“样本加工不损失信息”称为“充分性”。样本x=(x1,x2,…,xn)有一个样本分布F

(x)，这个分布包含了样本中一切有关的信息。当前第49页\共有64页\编于星期三\9点统计量T=T(x1,x2,…,xn)也有一个抽样分布FT(t)，这个分布包含了统计量T中一切有关的信息.当我们期望用统计量T代替原始样本且不损失任何有关的信息时，也就是期望抽样分布FT(t)像F(x)一样概括了有关的一切信息.这即是说在统计量T取值为t的情况下样本x的条件分布F(x|T=t)已不含的信息，这正是统计量具有充分性的含义。当前第50页\共有64页\编于星期三\9点定义

(充分统计量)设x1,x2,…,xn

是来自某个总体的样本，总体分布函数为F

(x;)，统计量T=T(x1,x2,…,xn)称为的充分统计量，如果在给定T的取值后，x1,x2,…,xn的条件分布与无关.当前第51页\共有64页\编于星期三\9点例2设总体为二点分布为样本,令

则T是的充分统计量;若则S不是的充分统计量.下面我们给出几个例子,根据定义来验证一个统计量是不是充分的.当前第52页\共有64页\编于星期三\9点在一般场合直接由定义出发验证一个统计量是充分统计量比较困难.奈曼(Neyman)给出了一个简单的判别方法---因子分解定理.充分性原则：在充分统计量存在的场合，任何统计推断都可以基于充分统计量进行，这可以简化统计推断的程序,称该原则为充分性原则.当前第53页\共有64页\编于星期三\9点

当前第54页\共有64页\编于星期三\9点四、WISHART分布

当前第55页\共有64页\编于星期三\9点

当前第56页\共有64页\编于星期三\9点当前第57页\共有64页\编于星期三\9点当前第58页\共有64页\编于星期三\9点通过上面的理论分析知道，多元正态总体均值向量和协差阵的最大似然估计分别是样本均值向量和样本协差阵。利用SPSS软件可以迅速地计算出多元分布的样本均值向量、样本离差阵和样本协差阵。下面通过一个实例来说明多元正态分布参数估计的SPSS实现过程。从沪深两市上市公司中随机抽取300家公司，取其三个反映收益情况的三个财务指标：每股收益率（eps）、净资产收益率（roe）和总资产收益率（roa）。现要求对这三个指标的均值和协差阵进行估计。当前第59页\共有64页\编于星期三\9点均值向量的估计在SPSS中计算样本均值向量的步骤如下：

1.选择菜