第二章多元正态分布的参数估计详解演示文稿

第二章多元正态分布的参数估计详解演示文稿目前一页\总数六十三页\编于七点优选第二章多元正态分布的参数估计目前二页\总数六十三页\编于七点例1（二元正态分布）设X~N2(μ,Σ)，这里易见，ρ是X1和

X2的相关系数。当|ρ|<1时，可得X的概率密度函数为：目前三页\总数六十三页\编于七点二元正态分布的密度曲面图下图是当时二元正态分布的钟形密度曲面图。目前四页\总数六十三页\编于七点二元正态分布等高线等高（椭圆）线：上述等高线上的密度值目前五页\总数六十三页\编于七点二元正态分布的密度等高线族

（由10000个二维随机数生成）|ρ|越大，长轴越长，短轴越短，即椭圆越扁平；|ρ|越小，长轴越短，短轴越长，即椭圆越圆；|ρ|=1时椭圆退化为一条线段；|ρ|=0时即为圆。目前六页\总数六十三页\编于七点§2.2多元正态分布的性质（1）多元正态分布的特征函数是：（2）设X是一个p维随机向量，则X服从多元正态分布，当且仅当它的任何线性函数均服从一元正态分布。性质（2）常可用来证明随机向量服从多元正态分布。（3）设X~Np

(μ,Σ)，Y=CX+b其中C为r×p常数矩阵，则该性质表明，（多元）正态变量的任何线性变换仍为（多元）正态变量。目前七页\总数六十三页\编于七点（4）设X~Np

(μ,Σ)，则X的任何子向量也服从（多元）正态分布，其均值为μ的相应子向量，协方差矩阵为Σ的相应子矩阵。该性质说明了多元正态分布的任何边缘分布仍为（多元）正态分布。需注意，随机向量的任何边缘分布皆为（多元）正态分布未必表明该随机向量就服从多元正态分布。§2.2多元正态分布的性质目前八页\总数六十三页\编于七点正态变量的线性组合未必就是正态变量。证明:

反证法。若命题“一元正态变量X1,X2,⋯,Xn的一切线性组合一定是一元正态变量”成立，则由性质（2）知，X1,X2,⋯,Xn的联合分布必为多元正态分布，于是命题“一元正态变量的联合分布必为多元正态分布”成立，从而矛盾。§2.2多元正态分布的性质目前九页\总数六十三页\编于七点

目前十页\总数六十三页\编于七点目前十一页\总数六十三页\编于七点目前十二页\总数六十三页\编于七点目前十三页\总数六十三页\编于七点目前十四页\总数六十三页\编于七点则（i）

；

（ii）

；（iii）

。例3

设X~N4(μ,Σ)，这里目前十五页\总数六十三页\编于七点§2.2多元正态分布的性质（5）设X1,X2,⋯,Xn相互独立，且Xi~Np

(μi,Σi)，i=1,2,⋯,n，则对任意n个常数，有此性质表明，独立的多元正态变量（维数相同）的任意线性组合仍为多元正态变量。（6）设X~Np

(μ,Σ)，对X,μ,Σ(>0)作如下的剖分：目前十六页\总数六十三页\编于七点则子向量X1和X2相互独立，当且仅当Σ12=0。该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。（7）设X~Np

(μ,Σ),Σ>0，则例4

设X~N3(μ,Σ)，其中

则X2和X3不独立，X1和(X2,X3)独立。目前十七页\总数六十三页\编于七点（8）设X~Np

(μ,Σ),Σ>0，作如下剖分

则给定X2时X1的条件分布为，其中μ1·2和Σ11·2分别是条件数学期望和条件协方差矩阵，Σ11·2通常称为偏协方差矩阵。目前十八页\总数六十三页\编于七点这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。例5设X~N3(μ,Σ)，其中

试求给定X1+2X3时

的条件分布。目前十九页\总数六十三页\编于七点§2.3复相关系数和偏相关系数一、复相关系数二、偏相关系数目前二十页\总数六十三页\编于七点一、复相关系数相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量X1与一组随机变量X2,⋯,Xp之间线性关系的强弱。将X,Σ(>0)剖分如下：目前二十一页\总数六十三页\编于七点

X1和X2的线性函数间的最大相关系数称为X1和X2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作ρ1∙2,⋯,p,它度量了一个变量X1与一组变量X2,⋯,Xp间的相关程度。可推导出例4

随机变量X1,⋯,Xp的任一线性函数F=l1X1+⋯+lpXp与X1,⋯,Xp的复相关系数为1。证明:目前二十二页\总数六十三页\编于七点二、偏相关系数将X,Σ(>0)剖分如下：称为给定X2时X1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，Xi和Xj之间的协方差。目前二十三页\总数六十三页\编于七点给定X2时Xi

和Xj的偏相关系数（partialcorrelationcoefficient）定义为:其中。ρij∙k+1,⋯,p度量了剔除Xk+1,⋯,Xp的（线性）影响之后，Xi和Xj间相关关系的强弱。对于多元正态变量X，由于Σ11∙2也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ρij∙k+1,⋯,p同时也度量了在Xk+1,⋯,Xp值给定的条件下Xi和Xj间相关关系的强弱。目前二十四页\总数六十三页\编于七点§2.4极大似然估计及估计量的性质一、样本X1,X2,⋯,Xn的联合概率密度二、μ和Σ的极大似然估计三、相关系数的极大似然估计四、估计量的性质目前二十五页\总数六十三页\编于七点设X~Np(μ,Σ),Σ>0，X1,X2,⋯,Xn是从总体X中抽取的一个简单随机样本（今后简称为样本），即满足：X1,X2,⋯,Xn独立，且与总体分布相同。令称之为（样本）数据矩阵或观测值矩阵。目前二十六页\总数六十三页\编于七点一、样本X1,X2,⋯,XN的联合概率密度极大似然估计是通过似然函数来求得的，似然函数可以是样本联合概率密度

f(x1,x2,⋯,xn)的任意正常数倍，我们不妨取成相等，记为L(μ,Σ)。可具体表达为：目前二十七页\总数六十三页\编于七点二、Μ和Σ的极大似然估计一元正态情形：多元正态情形：其中称为样本均值向量（简称为样本均值），

称为样本离差矩阵。目前二十八页\总数六十三页\编于七点三、相关系数的极大似然估计1.简单相关系数2.复相关系数3.偏相关系数目前二十九页\总数六十三页\编于七点1.简单相关系数相关系数ρij的极大似然估计为:其中

。称S为样本协方差矩阵、rij为样本相关系数、

为样本相关矩阵。目前三十页\总数六十三页\编于七点2.复相关系数将X,Σ(>0),S剖分如下：则复相关系数ρ1∙2,⋯,p的极大似然估计为r1∙2,⋯,p,称之为样本复相关系数。其中

目前三十一页\总数六十三页\编于七点3.偏相关系数将X,Σ(>0),S剖分如下：则偏相关系数ρij∙k+1,⋯,p的极大似然估计为rij∙k+1,⋯,p，称之为样本偏相关系数，其中目前三十二页\总数六十三页\编于七点§3.5和(N−1)S2的抽样分布一、的抽样分布二、(n−1)S的抽样分布目前三十三页\总数六十三页\编于七点一、的抽样分布1.正态总体设X~Np

(μ,Σ),Σ>0，X1,X2,⋯,Xn是从总体X中抽取的一个样本，则2.非正态总体（中心极限定理）设X1,X2,⋯,Xn是来自总体X的一个样本，μ和Σ存在，当n很大且n相对于p也很大时，上式近似地成立。目前三十四页\总数六十三页\编于七点目前三十五页\总数六十三页\编于七点

目前三十六页\总数六十三页\编于七点目前三十七页\总数六十三页\编于七点目前三十八页\总数六十三页\编于七点

目前三十九页\总数六十三页\编于七点

目前四十页\总数六十三页\编于七点目前四十一页\总数六十三页\编于七点

目前四十二页\总数六十三页\编于七点二、均值向量与协差阵的最大似然估计

目前四十三页\总数六十三页\编于七点

目前四十四页\总数六十三页\编于七点

目前四十五页\总数六十三页\编于七点

目前四十六页\总数六十三页\编于七点

目前四十七页\总数六十三页\编于七点三、估计量的性质1.无偏性2.有效性3.一致性4.充分性目前四十八页\总数六十三页\编于七点充分统计量1充分性的概念例1为研究某种产品的合格品率，我们对该产品进行检查，从该产品中随机抽取10件进行观测，发现除第三、六件产品不合格外，其余8件产品都是合格品。这样的观测结果包含了两种信息：(1)10件产品有8件是合格品；(2)2件不合格品分别是第三和第六件。目前四十九页\总数六十三页\编于七点第二种信息对了解该产品合格品率是没有什么帮助的。一般地，设我们对该产品进行n次观测，得到x1,x2,…,xn，每个xj

取值非0即1，合格为1，不合格为0。令T=x1+…+xn

，T为观测到的合格品数。在这种场合仅仅记录使用T不会丢失任何与合格品率有关的信息，统计上将这种“样本加工不损失信息”称为“充分性”。样本x=(x1,x2,…,xn)有一个样本分布F

(x)，这个分布包含了样本中一切有关的信息。目前五十页\总数六十三页\编于七点统计量T=T(x1,x2,…,xn)也有一个抽样分布FT(t)，这个分布包含了统计量T中一切有关的信息.当我们期望用统计量T代替原始样本且不损失任何有关的信息时，也就是期望抽样分布FT(t)像F(x)一样概括了有关的一切信息.这即是说在统计量T取值为t的情况下样本x的条件分布F(x|T=t)已不含的信息，这正是统计量具有充分性的含义。目前五十一页\总数六十三页\编于七点定义

(充分统计量)设x1,x2,…,xn

是来自某个总体的样本，总体分布函数为F

(x;)，统计量T=T(x1,x2,…,xn)称为的充分统计量，如果在给定T的取值后，x1,x2,…,xn的条件分布与无关.目前五十二页\总数六十三页\编于七点例2设总体为二点分布为样本,令

则T是的充分统计量;若则S不是的充分统计量.下面我们给出几个例子,根据定义来验证一个统计量是不是充分的.目前五十三页\总数六十三页\编于七点在一般场合直接由定义出发验证一个统计量是充分统计量比较困难.奈曼(Neyman)给出了一个简单的判别方法---因子分解定理.充分性原则：在充分统计量存在的场合，任何统计推断都可以基于充分统计量进行，这可以简化统计推断的程序,称该原则为充分性原则.目前五十四页\总数六十三页\编于七点

目前五十五页\总数六十三页\编于七点四、WISHART分布

目前五十六页\总数六十三页\编于七点

目前五十七页\总数六十三页\编于七点目前五十八页\总数六十三页\编于七点目前五十九页\总数六十三