第二章多元正态分布的参数估计详解演示文稿

第二章多元正态分布的参数估计详解演示文稿当前1页，总共63页。优选第二章多元正态分布的参数估计当前2页，总共63页。例1（二元正态分布）设X~N2(μ,Σ)，这里易见，ρ是X1和

X2的相关系数。当|ρ|<1时，可得X的概率密度函数为：当前3页，总共63页。二元正态分布的密度曲面图下图是当时二元正态分布的钟形密度曲面图。当前4页，总共63页。二元正态分布等高线等高（椭圆）线：上述等高线上的密度值当前5页，总共63页。二元正态分布的密度等高线族

（由10000个二维随机数生成）|ρ|越大，长轴越长，短轴越短，即椭圆越扁平；|ρ|越小，长轴越短，短轴越长，即椭圆越圆；|ρ|=1时椭圆退化为一条线段；|ρ|=0时即为圆。当前6页，总共63页。§2.2多元正态分布的性质（1）多元正态分布的特征函数是：（2）设X是一个p维随机向量，则X服从多元正态分布，当且仅当它的任何线性函数均服从一元正态分布。性质（2）常可用来证明随机向量服从多元正态分布。（3）设X~Np

(μ,Σ)，Y=CX+b其中C为r×p常数矩阵，则该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量。当前7页，总共63页。（4）设X~Np

(μ,Σ)，则X的任何子向量也服从（多元）正态分布，其均值为μ的相应子向量，协方差矩阵为Σ的相应子矩阵。该性质说明了多元正态分布的任何边缘分布仍为（多元）正态分布。需注意，随机向量的任何边缘分布皆为（多元）正态分布未必表明该随机向量就服从多元正态分布。§2.2多元正态分布的性质当前8页，总共63页。正态变量的线性组合未必就是正态变量。证明:

反证法。若命题“一元正态变量X1,X2,⋯,Xn的一切线性组合一定是一元正态变量”成立，则由性质（2）知，X1,X2,⋯,Xn的联合分布必为多元正态分布，于是命题“一元正态变量的联合分布必为多元正态分布”成立，从而矛盾。§2.2多元正态分布的性质当前9页，总共63页。

当前10页，总共63页。当前11页，总共63页。当前12页，总共63页。当前13页，总共63页。当前14页，总共63页。则（i）

；

（ii）

；（iii）

。例3

设X~N4(μ,Σ)，这里当前15页，总共63页。§2.2多元正态分布的性质（5）设X1,X2,⋯,Xn相互独立，且Xi~Np

(μi,Σi)，i=1,2,⋯,n，则对任意n个常数，有此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量。（6）设X~Np

(μ,Σ)，对X,μ,Σ(>0)作如下的剖分：当前16页，总共63页。则子向量X1和X2相互独立，当且仅当Σ12=0。该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。（7）设X~Np

(μ,Σ),Σ>0，则例4

设X~N3(μ,Σ)，其中

则X2和X3不独立，X1和(X2,X3)独立。当前17页，总共63页。（8）设X~Np

(μ,Σ),Σ>0，作如下剖分

则给定X2时X1的条件分布为，其中μ1·2和Σ11·2分别是条件数学期望和条件协方差矩阵，Σ11·2通常称为偏协方差矩阵。当前18页，总共63页。这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。例5设X~N3(μ,Σ)，其中

试求给定X1+2X3时

的条件分布。当前19页，总共63页。§2.3复相关系数和偏相关系数一、复相关系数二、偏相关系数当前20页，总共63页。一、复相关系数相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量X1与一组随机变量X2,⋯,Xp之间线性关系的强弱。将X,Σ(>0)剖分如下：当前21页，总共63页。

X1和X2的线性函数间的最大相关系数称为X1和X2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作ρ1∙2,⋯,p,它度量了一个变量X1与一组变量X2,⋯,Xp间的相关程度。可推导出例4

随机变量X1,⋯,Xp的任一线性函数F=l1X1+⋯+lpXp与X1,⋯,Xp的复相关系数为1。证明:当前22页，总共63页。二、偏相关系数将X,Σ(>0)剖分如下：称为给定X2时X1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，Xi和Xj之间的协方差。当前23页，总共63页。给定X2时Xi

和Xj的偏相关系数（partialcorrelationcoefficient）定义为:其中。ρij∙k+1,⋯,p度量了剔除Xk+1,⋯,Xp的（线性）影响之后，Xi和Xj间相关关系的强弱。对于多元正态变量X，由于Σ11∙2也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ρij∙k+1,⋯,p同时也度量了在Xk+1,⋯,Xp值给定的条件下Xi和Xj间相关关系的强弱。当前24页，总共63页。§2.4极大似然估计及估计量的性质一、样本X1,X2,⋯,Xn的联合概率密度二、μ和Σ的极大似然估计三、相关系数的极大似然估计四、估计量的性质当前25页，总共63页。设X~Np(μ,Σ),Σ>0，X1,X2,⋯,Xn是从总体X中抽取的一个简单随机样本（今后简称为样本），即满足：X1,X2,⋯,Xn独立，且与总体分布相同。令称之为（样本）数据矩阵或观测值矩阵。当前26页，总共63页。一、样本X1,X2,⋯,XN的联合概率密度极大似然估计是通过似然函数来求得的，似然函数可以是样本联合概率密度

f(x1,x2,⋯,xn)的任意正常数倍，我们不妨取成相等，记为L(μ,Σ)。可具体表达为：当前27页，总共63页。二、Μ和Σ的极大似然估计一元正态情形：多元正态情形：其中称为样本均值向量（简称为样本均值），

称为样本离差矩阵。当前28页，总共63页。三、相关系数的极大似然估计1.简单相关系数2.复相关系数3.偏相关系数当前29页，总共63页。1.简单相关系数相关系数ρij的极大似然估计为:其中

。称S为样本协方差矩阵、rij为样本相关系数、

为样本相关矩阵。当前30页，总共63页。2.复相关系数将X,Σ(>0),S剖分如下：则复相关系数ρ1∙2,⋯,p的极大似然估计为r1∙2,⋯,p,称之为样本复相关系数。其中

当前31页，总共63页。3.偏相关系数将X,Σ(>0),S剖分如下：则偏相关系数ρij∙k+1,⋯,p的极大似然估计为rij∙k+1,⋯,p，称之为样本偏相关系数，其中当前32页，总共63页。§3.5和(N−1)S2的抽样分布一、的抽样分布二、(n−1)S的抽样分布当前33页，总共63页。一、的抽样分布1.正态总体设X~Np

(μ,Σ),Σ>0，X1,X2,⋯,Xn是从总体X中抽取的一个样本，则2.非正态总体（中心极限定理）设X1,X2,⋯,Xn是来自总体X的一个样本，μ和Σ存在，当n很大且n相对于p也很大时，上式近似地成立。当前34页，总共63页。当前35页，总共63页。

当前36页，总共63页。当前37页，总共63页。当前38页，总共63页。

当前39页，总共63页。

当前40页，总共63页。当前41页，总共63页。

当前42页，总共63页。二、均值向量与协差阵的最大似然估计

当前43页，总共63页。

当前44页，总共63页。

当前45页，总共63页。

当前46页，总共63页。

当前47页，总共63页。三、估计量的性质1.无偏性2.有效性3.一致性4.充分性当前48页，总共63页。充分统计量1充分性的概念例1为研究某种产品的合格品率，我们对该产品进行检查，从该产品中随机抽取10件进行观测，发现除第三、六件产品不合格外，其余8件产品都是合格品。这样的观测结果包含了两种信息：(1)10件产品有8件是合格品；(2)2件不合格品分别是第三和第六件。当前49页，总共63页。第二种信息对了解该产品合格品率是没有什么帮助的。一般地，设我们对该产品进行n次观测，得到x1,x2,…,xn，每个xj

取值非0即1，合格为1，不合格为0。令T=x1+…+xn

，T为观测到的合格品数。在这种场合仅仅记录使用T不会丢失任何与合格品率有关的信息，统计上将这种“样本加工不损失信息”称为“充分性”。样本x=(x1,x2,…,xn)有一个样本分布F

(x)，这个分布包含了样本中一切有关的信息。当前50页，总共63页。统计量T=T(x1,x2,…,xn)也有一个抽样分布FT(t)，这个分布包含了统计量T中一切有关的信息.当我们期望用统计量T代替原始样本且不损失任何有关的信息时，也就是期望抽样分布FT(t)像F(x)一样概括了有关的一切信息.这即是说在统计量T取值为t的情况下样本x的条件分布F(x|T=t)已不含的信息，这正是统计量具有充分性的含义。当前51页，总共63页。定义

(充分统计量)设x1,x2,…,xn

是来自某个总体的样本，总体分布函数为F

(x;)，统计量T=T(x1,x2,…,xn)称为的充分统计量，如果在给定T的取值后，x1,x2,…,xn的条件分布与无关.当前52页，总共63页。例2设总体为二点分布为样本,令

则T是的充分统计量;若则S不是的充分统计量.下面我们给出几个例子,根据定义来验证一个统计量是不是充分的.当前53页，总共63页。在一般场合直接由定义出发验证一个统计量是充分统计量比较困难.奈曼(Neyman)给出了一个简单的判别方法---因子分解定理.充分性原则：在充分统计量存在的场合，任何统计推断都可以基于充分统计量进行，这可以简化统计推断的程序,称该原则为充分性原则.当前54页，总共63页。

当前55页，总共63页。四、WISHART分布

当前56页，总共63页。

当前57页，总共63页。当前58页，总共63页。当前59页，总共63页。