2多元正态分布及参数估计.ppt

1、1,应用多元统计分析,第二章 多元正态分布及 参数的估计,2,在多元统计分析中,多元正态分布占有相当重要的地位.这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布;当样本量很大时,许多统计量的极限分布往往和正态分布有关;此外,对多元正态分布,理论与实践都比较成熟,已有一整套行之有效的统计推断方法.基于这些理由,我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题.,第二章 多元正态分布及参数的估计,3,第二章 多元正态分布及参数的估计 目 录,2.1 随机向量 2.2 多元正态分布的定义与基本性质 2.3 条件分布和独立性 2

2、.4 随机阵的正态分布* 2.5 多元正态分布的参数估计,4,本课程所讨论的是多变量总体.把p个随机变量放在一起得 X=(X1,X2,Xp) 为一个p维随机向量,如果同时对p维总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个np矩阵,称为样本资料阵.,第二章 多元正态分布及参数的估计 2.1 随 机 向 量,5,第二章 多元正态分布及参数的估计 2.1 随 机 向 量 ,其中 X(i)( i=1,n)是来自p维总体的一个样品.,=(X1,X2,Xp),def,6,表示对第 j 个变量的 n 次观测,在具体观测之前,它是一个 n 维随机向量;而样本数据阵 X 是一个随机阵.,在多

3、元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机阵.,X,7,在多元统计分析中涉及到的都是随机向量, 或是多个随机向量放在一起组成的随机矩阵. 本节有关随机向量的一些概念(联合分布,边缘分布,条件分布,独立性;X的均值向量,X的协差阵和相关阵,X与Y的协差阵)要求大家自已详细复习.,第二章 多元正态分布及参数的估计 2.1 随 机 向 量 ,8,一、随机向量的（联合，边缘，条件）分布,1、联合分布 随机变量X的分布函数： 随机向量 的分布函数：,9,多元概率密度函数,一元的情形： 多元的情形： 多元密度f (x1, ,xp)的性质：,10,2、边缘分布,设X是p维随机向量，

4、由它的r(p) 个分量组成的向量X(1)的分布称为X的关于X(1)的边缘分布。 不妨设 ，则对连续型的分布，有,11,例2.1.1 设二维随机向量 的联合密度函数为,试求 X1 和 X2 关于随机向量 X 的边缘密度.,解: 首先可验证 f(x1 , x2) 满足联合密度函数的两条性质.在利用边缘密度的计算公式,有,类似可得出,12,3、条件分布,设 是p维连续型的随机向量，在给 定 的条件下， 的条件密度定义为 或表达为,13,均成立,则称 相互独立.在连续型随机变量的情况下, 相互独立,当且仅当 的 联合密度函数 f (x1,x2,xp),满足,在例2.1.1 中随机向量 X 的两个分量

5、X1, X2 互相不独立.,4、独立性,14,两个连续型随机向量的独立 n个连续型随机向量的独立 在实际应用中，若随机向量之间的取值互不影响，则认为它们之间是相互独立的。,15,二、随机向量的数字特征,1、数学期望（均值） 2、协方差矩阵 3、相关矩阵,16,1、数学期望（均值）,随机向量 的数学期望 记为=(1,2,p)。 随机矩阵X=(xij)的数学期望,17,随机矩阵X的数学期望的性质,(1)设a为常数，则 E(aX)=aE(X) (2)设A,B,C为常数矩阵，则 E(AXB+C)=AE(X)B+C 特别地，对于随机向量X，有 E(AX)=AE(X) (3)设X1,X2,Xn为n个同阶的

6、随机矩阵，则 E(X1+X2+ Xn)=E(X1)+E(X2)+E(Xn),18,2、协方差矩阵,协方差定义为 若Cov(X,Y)=0，则称X和Y不相关。 两个独立的随机变量必然不相关，但两个不相关的随机变量未必独立。 当X=Y时，协方差即为方差，也就是 的协方差矩阵（简称协差阵）定义为,19,20,X和Y的协方差矩阵与Y和X的协差阵互为转置关系，即有 若COV(X,Y)=0，则称X和Y不相关。 两个独立的随机向量必然不相关，但两个不相关的随机向量未必独立。 X=Y时的协差阵COV(X,X)称为X的协差阵，记作D(X)，即 D(X)亦记作=(ij)，其中ij=Cov(Xi,Xj)。,21,协差

7、阵既包含了X各分量的方差，也包含了每两个分量之间的协方差。显然，是一个对称矩阵。 例 随机向量一分为二后，其协差阵分为四块： 其中，对角线块为子向量的协差阵，非对角线块为两个子向量之间的协差阵。熟悉这四块子矩阵的含义很有益处。,22,三 协方差阵的性质 (1) 设X,Y为随机向量(矩阵） D(AX+b)=AD(X)A COV(AX,BY)=ACOV(X,Y)B,第二章 多元正态分布及参数的估计 2.1 随 机 向 量 ,23,(2) 若X,Y相互独立,则COV(X,Y)=O;反之不成立. 若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关

8、,则未必相互独立. (3) 随机向量X=(X1,X2,Xp)的协差阵D(X)=是对称非负定阵.记为0. 即 = , 0 (为任给的p维常量).,第二章 多元正态分布及参数的估计 2.1 随 机 向 量 ,24,第二章 多元正态分布及参数的估计 2.1 随机向量协差阵的性质,(4) =L2 ,其中L为非负定阵. 由于0(非负定),利用线性代数中实对称阵的对角化定理，存在正交阵,使,25,第二章 多元正态分布及参数的估计 2.1 随机向量协差阵的性质, 当矩阵0(正定)时，矩阵L也称为的平方根矩阵，记为1/2.,当矩阵0(正定)时,必有pp非退化矩阵A使得 =AA,26,第二章 多元正态分布及参数

9、的估计 2.1 随机向量协差阵的性质,若0(非负定),必有pq矩阵A1使得 =A1A1,这里记=(1 | 2) , 1为pq列正交阵(p q). 并设：,27,协差阵的性质,（1）协差阵是对称非负定阵，记为0。 即 = , 0 (为任给的p维常量). 推论 若|0，则0。 （2）设A为常数矩阵，b为常数向量，则 当p=1时，上述等式就是我们熟知的如下等式： 例 的分量之间存在线性关系（以概率1）。,28,3、相关矩阵,随机变量X和Y的相关系数定义为 的相关阵定义为,29,即 R=(rij)和 =(ij)之间有关系式：R=V1V1 其中V见下 ；R和的相应元素之间的关系式为,30,标准差矩阵,3

10、1,前述关系式即为,32,33,34,习题二(P46-50): 1，2, 3, 6, 9, 11.,书面作业一：,35,在一元统计中，若UN(0,1),则U的任意线性变换X=U+N(,2)。利用这一性质，可以从标准正态分布来定义一般正态分布： 若UN(0,1),则称X =U+的分布为一般正态分布,记为X N(, 2 )。 此定义中，不必要求0,当退化为0时仍有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义,36,定义2.2.1 设U=(U1,Uq)为随机向量, U1,Uq相互独立且同N(0，1)分布；设为p

11、维常数向量，A为pq常数矩阵，则称X=AU + 的分布为p维正态分布，或称X为p 维正态随机向量,记为X Np(, AA)。 简单地说，称q个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为多元正态分布。,第二章 多元正态分布及参数的估计 2.2 多元正态分布的第一种定义,37,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质1,在一元统计中,若XN(,2),则X的特征函数为 (t)=E(eitX)=expit-t 22 /2,38,第二章 多元正态分布及参数的估计2.2 多元正态分布的性质1,39,性质1 设U= (U1,Uq)为随机向量, U1, ,Uq 相互独立

12、且同 N(0,1)分布；令X=+AU,则X的特征函数为,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质1,这里t=(t1,tp), 故X(t)为p元函数.,当 XN(0,1)时,(t)=exp-t 2 /2.,40,性质1的证明 ： 根据随机向量特征函数的定义和性质，经计算即可得出X的特征函数为 X(t)= E(eitX)= E(eit (AU+) ),第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质1,令tA=s=(s1,sq),41,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质1,(因U1 , Uq相互独立,乘积的期望等于期望的乘积),42,定义2

13、.2.2 若p维随机向量X的特征函数为:,第二章 多元正态分布及参数的估计 2.2 多元正态分布的第二种定义,一元正态: (p=1),则称X服从 p 维正态分布,记为 X Np(,) .,记=AA，则有以下定义。,43,性质2 设XNp(,), B为sp常数阵，d为s1常向量，令Z=BX+d,则 ZNs(B+d , BB ). 该性质指出正态随机向量的任意线性组合仍为正态分布.,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质2,44,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质2,证明 因 0, 可分解为=AA ,其中A为pq 矩阵.已知XNp(,),由定义2.2

14、.1可知 X = AU+ (d表示两边的随机向量服从相同的分布.) 其中U=(U1,Uq),且U1,Uq 相互独立同 N(0，1)分布。,d,45,Z=BX+d = B(AU+)+d,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质2,d,= (BA)U+(B+d) 由定义2.2.1可知 Z Ns(B+d, (BA)(BA)， 即 Z Ns(B+d, BB). (这里=AA). ,46,推论 设X= Np(,),将,剖分为,第二章 多元正态分布及参数的估计 2.2 多元正态分布性质2的推论,则 X(1) Nr(1),11), X(2) Np-r(2),22).,X(1) r X(2

15、) p-r,47,证明：,由性质2可得：,类似地,第二章 多元正态分布及参数的估计 2.2 多元正态分布性质2的推论,48,此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，也不一定能导出该随机向量服从多元正态分布. 如例2.1.1,证明了X1,X2均为一元正态分布,但由(X1,X2) 联合密度函数的形式易见它不是二元正态.,第二章 多元正态分布及参数的估计 2.2 多元正态分布性质2的推论,49,第二章 多元正态分布及参数的估计 2.2 多元正态分布性质2的推论,例2.1.1 (X1,X2)的联合密度函数为,我们从后面将给出的正态随机向量的联合密度

16、函数的形式可知, (X1,X2)不是二元正态随机向量.但通过计算边缘分布可得出: X1N(0,1) , X2N(0,1) 这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元正态分布.,50,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质简单例子,例如:设三维随机向量X=(X1,X2,X3),且,则有(1) X1 N(2,1),51,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质简单例子,由性质2知,Y为3维正态随机向量,且,(2),52,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质简单例子,

17、53,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质简单例子,(3) 设Z=2 X1-X2+3X3,试求随机变量Z的分布. Z=2 X1-X2+3X3 =(2,-1,3)X=CX 故有:,所以 Z N(4,29).,54,性质3 若XNp(,),E(X)=,D(X)=. 证明 因0,可分解为：=AA， 则由定义2.2.1可知 X = AU+ (A为pq实矩阵) 其中U=(U1,Uq),且U1,Uq相互独立同N(0，1)分布,故有 E(U )=0, D(U )=Iq .,d,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质3,55,第二章 多元正态分布及参数的

18、估计 2.2 多元正态分布的性质3,利用均值向量和协差阵的有关性质可得：,此性质给出多元正态分布中参数和的 明确统计意义.是随机向量X的均值向量， 是随机向量X的协差阵。,如简单例子中,由性质2知Z服从正态分布,利用性质3,56,性质4 设X=(X1,Xp)为p维随机向量，则X服从p维正态分布 对任一p维实向量a,=aX是一维正态随机变量. 必要性的证明由性质2即得（只须取B=a,d=0即可）. 充分性的证明： 首先说明随机向量X的均值和协方差阵存在: 因对任给p维实向量 tR p, = tX一元正态分布，可知的各阶矩存在，,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质4,57

19、,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质4,如取t = ei =(0,1,0), Xi = eiX,且 E(Xi) (i=1,2,p) 存在. E(Xi2) (i=1,2,p) 也存在. 再比如取 t =(0,1,0,1,.,0), = t X= Xi +Xj ,且 E( )=E(Xi +Xj ) (i,j=1,2,p) 存在. E( 2) =E(Xi +Xj )2= E(Xi2)+ 2E(XiXj )+ E(Xj2) 也存在, 即E(XiXj ) (i,j=1,2,p)存在. 故E(Xi),Cov(Xi,Xj)=E(XiXj )-E(Xj) E(Xi) (i,j=1,p

20、)存在.,58,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质4,记 E(X)=,D(X)=., 计算的特征函数: 对任意给定的tRp,因随机变量=t X服从 N(t,t t).，故知的特征函数为 ()=E(ei) =expi(t) -2(t t)/2, 计算随机向量X的特征函数: 在的特征函数中，取=1，即得,59,第二章 多元正态分布及参数的估计 2.2 多元正态分布的第三种定义,(1)=E(ei)=E(e it X)=X(t) = expit - t t / 2 由定义2.2.2可知，XNp(,).,定义2.2.3 若p维随机向量X的任意线性组合均服从一元正态分布，则称X为

21、p维正态随机向量.,60,第二章 多元正态分布及参数的估计 2.2 一元正态分布的密度函数,在概率论中大家都知道一元正态随机变量的密度函数是,这个式子可改写为:,61,作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数.,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质5,性质5 设XNp(,),且0 (正定),则X的联合密度函数为,62,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质5,证明 因0,rk()=p,由线性代数的知识知存在非奇异方阵A,使得 =AA，且 X = AU+ 其中U=(U1,Up),且U1,Up相互独立同N(0，1)分布。

22、,d, U的联合密度函数(p元函数）为,63,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质5, 利用U的联合密度函数及随机向量的变换求X=AU+的密度函数。 对任给Borel可测集B，求p元函数fX(x)使得,其中 D=u | u=A-1(x-), xB,64,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质5,根据附录8 (P397)公式(8.4),即有,以下来求Jacobi行列式J(ux).,65,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质5, 积分变换的Jacobi行列式J(ux)可利用线性变换x=Au+及J(xu)来计算： ,因,向量微商的

23、公式见附录8 (8.1),66,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质5,关于积分变换的Jacobi行列式J(ux)的有关内容请参阅附录部分。,故,67,第二章 多元正态分布及参数的估计 2.2 多元正态分布的性质5, 写出X=AU+的密度函数：,( 这里=AA, ),68,其中是p维实向量,是p阶正定阵,则称X=(X1,X2Xp )服从(非退化的)p元正态分布.也称X为p维正态随机向量,简记为 XNp(,).,第二章 多元正态分布及参数的估计 2.2 多元正态分布的第四种定义,定义2.2.4 p 维随机向量X=(X1,X2Xp) 的联合密度函数为,69,第二章 多元正态

24、分布及参数的估计 2.2 多元正态分布的多种定义及关系,以上给出了多元正态分布的4种定义。定义2.2.4用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定义里要求是正定阵,它给出的是非退化的正态分布的定义。 另三种定义中把阵推广到非负定的情形,这三种定义是等价的。,70,例2.2.1(二元正态分布),第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.1,(即10,20,|1) (1)试写出X的联合密度函数和边密度 函数； (2)试说明的统计意义.,71,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.1,解:（1）因

25、,注意改p26,72,二元正态随机向量X的联合密度函数为,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.1,73,另由性质2的推论，即得,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.1,(2)因Cov(X1 ,X2)=12 =12 ,而X1与X2的相关系数为,故二元正态分布的参数就是两个分量的相关系数.,74,显然 当=0时，f(x1, x2)=f1(x1)f2(x2)，即X1与X2相互独立. 当|=1时，|=0 (退化,即的列向量或行向量线性相关)，则存在非零向量t =(t1, t2) ,使得t =0, 从而t t =

26、0，故而随机变量 =t (X-)的方差为 Vart (X-)= t t =0, 这表示 Pt (X-)=0=1.,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.1,75,即 t1(X1-1)+t2(X2-2)=0 以概率1成立； 反之，若X1与X2以概率1存在线性相关关系，则|=1. 当0时,我们称X1与X2存在正相关; 当0时,我们称X1与X2存在负相关.,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.1,76,例2.2.2 二元正态密度函数的图形及等高线的图形,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定

27、义与基本性质-例2.2.2,为了对多维正态密度函数有更直观地了解，下面的例子给出几组参数下二维正态密度函数的几何图形. 我们把具有等密度的点的轨迹称为等高线(面). 显然当 p=2 时,它是一族中心在(1,2 )的椭园.,77,一般的p维正态密度等高面为,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.2,取1 =0,2 =0,以下绘制三组参数下二元正态密度函数及密度等高线图形：,（1）当 时,（2）当 时,（3）当 时,78,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.2,79,第二章 多元正态分布及参数的估计 2.2

28、多元正态分布的定义与基本性质-例2.2.2,80,第二章 多元正态分布及参数的估计 2.2 多元正态分布的定义与基本性质-例2.2.2,81,第二章 多元正态分布及参数的估计 2.3 条件分布和独立性-独立性,以下是关于独立性的一条重要结论：,设XNp(,) (p2),将X,剖分为,82,第二章 多元正态分布及参数的估计 2.3 条件分布和独立性-独立性,定理2.3.1 设p维随机向量XNp(,)，,则 X(1)与X(2)相互独立 12Or(p-r) (即X(1)与X(2)不相关) ,证明:必要性显然成立.,83,第二章 多元正态分布及参数的估计 2.3 条件分布和独立性-独立性,(充分性)：

29、设120 ，则X的联合密度函数为,所以X(1)与X(2)相互独立.,84,第二章 多元正态分布及参数的估计 2.3 条件分布和独立性-独立性,推论1 设ri1(i=1,k),且r1 + r2 + rk=p，,则X(1),X(k)相互独立ij0(一切ij),推论2 设XNp(，)，若为对角形矩阵，则X1,Xp 相互独立.,85,第二章 多元正态分布及参数的估计 2.3 条件分布和独立性-独立性例子,例如:设三维随机向量X=(X1,X2,X3),且,则有(1),(2),86,第二章 多元正态分布及参数的估计 2.3 条件分布和独立性-独立性的例子,(3) X1与X3 , X2与X3 ,也相互独立;

30、,(4),(5) 令,87,第二章 多元正态分布及参数的估计 2.3 条件分布和独立性-独立性例子,(6) Y的密度函数为,X3的密度函数为,故二维随机向量Z的联合密度函数为,88,第二章 多元正态分布及参数的估计 2.5 多元正态分布的参数估计,考虑p维正态总体XNp(,), 设X(i)=(Xi1, Xip )(i1,n)为p维总体X的简单随机样本，资料阵,是一个随机矩阵.,89,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本的数字特征,(1) 样本均值向量X,90,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本的数字特征,中心化数据阵:,91,第二章 多元正态分布及

31、参数的估计 2.5 - 多元正态样本的数字特征,(2) 样本离差阵A (交叉乘积阵),其中,92,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本的数字特征,或者把A表为:,93,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本的数字特征,或者把A表为:,94,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本的数字特征,(3) 样本协方差S:,(4) 样本相关阵R:,95,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本数字特征的例子,例:设从某书店随机抽取4张收据了解图书的销售情况.每张收据记录售书数量X2及总金额X1,具体数值如下:,试计算样本均值,

32、样本离差阵,样本协差阵和相关阵. 解:,96,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本数字特征的例子,样本离差阵A的计算公式为:,中心化数据阵,97,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本数字特征的例子,98,第二章 多元正态分布及参数的估计 2.5 - 多元正态样本数字特征的例子,99,第二章 多元正态分布及参数的估计 2.5 - ，的最大似然估计,设X(i)(i1,n) 为p维正态总体N(,) 的随机样本， 以下用最大似然法来求参数,的最大似然估计.,100,定理2.5.1 设X(i)(i1,n) 是多元正态总体Np(,)的随机样本， np，则,的最大

33、似然估计为,第二章 多元正态分布及参数的估计 2.5 - ，的最大似然估计,101,例 对某地区农村的6名2周岁男婴的身高、胸围、上半臂围进行测量，得样本数据如表所示。现欲在多元正态性假定下估计参数, 。,表 某地区农村男婴的体格测量数据,102,103,104,105,106,107,第三章 多元正态总体参数的假设检验 一般结论最大似然估计量单个总体,单个p维正态总体Np(,)，设X(i)(i=1,n)为来自p维总体的随机样本.样本的似然函数为,108,第三章 多元正态总体参数的假设检验 最大似然估计量单个总体,109,第三章 多元正态总体参数的假设检验 最大似然估计量单个总体,110,第三章 多元正态总体参数的假设检验 所涉及的最大似然估计量单个总体,111,第三章 多元正态总体参数的假设检验 一般结论最大似然估计量两个总体,两个p维正态总体Np(1),)和Np(2),)，设X(t)