多元正态分布教案

1、第一章第一章 多元正态分布多元正态分布主要内容主要内容 1 1 一元分布一元分布2 2 多元分布的基本概念多元分布的基本概念3 3 随机向量的数字特征随机向量的数字特征4 4 多元正态分布多元正态分布5 5 样本分布样本分布1 1 一元分布一元分布一、一、 一元随机变量与概率分布函数一元随机变量与概率分布函数二、概率分布函数的类型二、概率分布函数的类型三、随机变量的数字特征三、随机变量的数字特征四、一些重要的一元分布四、一些重要的一元分布2 2 多元分布的基本概念多元分布的基本概念 一、随机向量一、随机向量二、多元概率分布函数二、多元概率分布函数三、多元概率密度函数三、多元概率密度函数四、边际

2、分布四、边际分布五、条件分布五、条件分布六、独立性六、独立性2 2 多元分布的基本概念多元分布的基本概念 一、随机向量一、随机向量),(21 pxxxx1.对同一个体观测的对同一个体观测的p个变量：个变量：2.第第 个样品的观测值：个样品的观测值：()12(,) ,1,2,pxxxxn3.样本资料矩阵：样本资料矩阵：(1)1112121222(2)1212( )(,)qqqnnnqnXxxxxxxXXXXXxxxX定义：设定义：设 为为p个随机变量，则由它们个随机变量，则由它们组成的向量组成的向量 称作随机向量。称作随机向量。12( ,)pxx xx12,px xx 1 1、分布函数的定义、分

3、布函数的定义 随机向量随机向量 的概率分布函数定义为的概率分布函数定义为),(21 pxxxx121122( )(,)(,)pppF aF a aaP xa xaxa 2 2、分布函数的性质、分布函数的性质 非非降的右连续函数；降的右连续函数；二、多元概率分布函数二、多元概率分布函数121122( )(,)(,)pppF aF a aaP xa xaxa 分布函数的取值范围为分布函数的取值范围为00，11，即，即 120( )(,)1pF aF a aa 分布函数当变量取值为无穷大时，函数值收敛到分布函数当变量取值为无穷大时，函数值收敛到1 1，即，即( ,)1F 三、多元概率密度函数三、多元

4、概率密度函数 1 1、定义、定义随机向量随机向量 的分布函数可以表示为的分布函数可以表示为),(21 pxxxx),(),(221121pppaxaxaxPaaaF 1121( ,)paappf x xxdxdx 则称则称 为连续型随机向量。为连续型随机向量。 称称非负非负函数函数 为为x x的多元概率密度函数。的多元概率密度函数。 ),(21pxxxf),(21 pxxxx若若 在点在点 连续，则连续，则12(,)pF x xx12(,)px xx),(),(212121ppppxxxFxxxxxxf 12(,)1pF x xx且有0，即1),(1211 ppdxdxxxxfv注：一个注：一

5、个P维变量的函数维变量的函数 能做为某个随机能做为某个随机向量的分布函数，当且仅当向量的分布函数，当且仅当 思考：思考： 分析分析P3例例11(1) ( )0,(2)( )1ppRf xxRf x dx ( )f x 例：两个常用的离散多元分布两个常用的离散多元分布 （1 1）多项分布）多项分布12(,)mx xxx若有如下分布11122112!(,)!mkkmmmmnP xk xkxkppk kk01ip其中，1,2,im ；12mkkkn121mppp 则称 服从多项分布。12(,)mx xxx （2 2）多元超几何分布）多元超几何分布有如下分布若),(21 mxxxx nNkNkNkxk

6、xkxPmmmm112211),(),min(, 1 , 0iiNnk 则 服从多元超几何。mi, 2 , 1 nkkkm 21NNNNm 21),(21 mxxxx四、边际分布四、边际分布 设连续随机向量 ， 12( ,)px xx x不妨设 是 的q个分量组成，则 的分布为 (1)12(,)qx xx x12(,)px xxx(1)12(,)qx xx x),(),(221121)1 (qqqaxaxaxPaaaF),(12211pqqqxxaxaxaxP1121( ,)qaappf x xxdxdx 11211(,)qaapqpqf x xxdxdxdxdx 所以所以 的密度函数为的密度

7、函数为(1)12(,)qx xx xpqpqdxdxxxxfxxf1211)1(),(),(1)(1)()()()()FFff称为的边际分布函数，称为的边际分布密度函数。例例 有概率密度函数),(21xxx)sinsin1 (21),(212212221xxexxfxx 试分别求 的边际密度函数。21,xx2212221211122212222122()( ,)1(1 sinsin)21(1 sinsin)2xxxxf xf x x dxexx dxeexx dx解：解： 22221212222211212211( )sinsin22xxxxf xeedxexex dx21212xe，1x22

8、2221()2xfxe同理，1x思考：P3例11中的边际密度函数如何？五、条件分布五、条件分布 1 1、问题的引入、问题的引入 若若A A和和B B是任意两个事件，且是任意两个事件，且 ，则称，则称为在为在B B事件发生的条件下，事件事件发生的条件下，事件A A发生的条件概率。发生的条件概率。( )0P B )(/ )()/(BPABPBAP例：考虑随机向量 ，其中 表示人的身高（单位：米）， 表示人的体重（单位：公斤），在身高为1.9米的人群中，体重 的分布就再也不是原来的分布了，而是在 的条件分布。),(21xxx1x2x90. 11x2x 2 2、条件分布的定义、条件分布的定义 连续随机

9、向量 ),(21 pxxxx 不妨设 是 的q个分量组成。 是余下的p-q个分量组成， ),(21)1(qxxxx),(21pxxxx),(21)2(pqqxxxx),(),(),|,(1)2(2111pqppqqxxfxxxfxxxxf是 条件下， 的分条件密度函数。),(21)2(pqqxxxx),(21)1(qxxxx 例例 设X=(x1,x2)有概率密度函数其它010 , 10) 1(56),(21212121xxxxxxxf试求条件密度函数f(x1/x2）和f(x2/x1）。)(),()|(112112xfxxfxxf)(),()|(222121xfxxfxxf因为分析：分析： 所以

10、先求边际分布 1211112206()(41)5f xxx xdx12112206(41)5xx xdx212156512xx 5256)(222xxf同理121456512) 14(56)(),()|(12121222121222112xxxxxxxxxfxxfxxf13) 14(35256) 14(56)(),()|(1212122121222121xxxxxxxxxfxxfxxf六、六、 独立性独立性 1 1、定义、定义设 和 是两个随机向量，若 对一切 、成立，则称 和 相互独立。y)()(),(yxyxyFFFxxxyxy(2) 设 是 个随机向量，若 对一切 成立，则 相互独立。n

11、21xxx,n)()()(),(21mmmFFFFxxxxxx2121nm n21xxx,n21xxx,(1) 设 和 是两个连续随机向量， 和 相互独立，当且仅当 或对一切 、 成立。)()(),(yxyxyFFFx)()|(xyxxffxyxyxy2、独立性的判别：、独立性的判别： 例例 设X=(x1,x2,x3)有概率密度函数其它00,0, 0),(321)(321321xxxexxxfxxx试证 x1,x2,x3相互独立。1231()112300()xxxxf xedx dxe 1232()221300()xxxxfxedx dxe 1233()331200()xxxxfxedx dx

12、e 3 3 随机向量的数字特征随机向量的数字特征一、数学期望：均值一、数学期望：均值二、协方差矩阵二、协方差矩阵三、相关系数矩阵三、相关系数矩阵3 3 随机向量的数字特征随机向量的数字特征一、数学期望：均值一、数学期望：均值1 1、定义：、定义：pqppqqxxxxxxxxx212221212111X 是由随机变量构成的随机矩阵，定义X的数学期望为)()()()()()()()()()(212221212111pqppqqxExExExExExExExExEEX特别当时 ，便可得到随机向量 的数学期望为1q),(21pxxxx) )(,),(),()(21pxExExEEx 2 2、性质、性质

13、 1） 设为常数，则 ； )()(XXaEaE2）设 分别为常数矩阵，则CBA,CBXACAXB)()(EE 3）设 为 个同阶矩阵，则n21XXX,n)(n21XXXEn21XXXEEE 二、协方差矩阵二、协方差矩阵 1 1、定义：、定义：设 和 分别为 维和 维随机向量，则其协方差矩阵为),(21pxxxx),(21qyyyypq)()()()()()(22112211qqppyEyyEyyEyxExxExxExE),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(212221212111YXyxyxyxyxyxyxyxy

14、xyxqpppqq的协方差矩阵为),(21pxxxx)var(),cov(),cov(),cov()var(),cov(),cov(),cov()var()(2122121211pppppxxxxxxxxxxxxxxxVarx2 2、协方差矩阵的性质、协方差矩阵的性质 1）若x x=(x1,x2,，xp) 和y y=(y1,y2,，yp)不相关，则111212122212cov( ,)cov( ,)cov( ,)cov(,)cov(,)cov(,)cov(x,y)cov(,)cov(,)cov(,)0qqpppqx yx yx yxyxyxyxyxyxy显然，x与y相互独立时，上式成立。 若(

15、x1,x2,，xp)的分量相互独立, 则协方差矩阵 除主对角线上的元素外均为零，即)var(000)var(000)var()(21pxxxVarx2）随机向量X的协方差矩阵是非负定矩阵。 证：设a为任意与X有相同维数的常数向量，则axxEaaa)()(axxaE0)(2xaE 3）设A是常数矩阵，b为常数向量，则 V(AX+b)=AV(X)AV(AX+b)=AV(X)A ； )(bAX V()()EAXbAb()()AXbAbAxxA)(EAxA)(V4)若x x=(x1,x2,，xp) 和y y=(y1,y2,，yq)分别是p和q维随机向量，A和B为常数矩阵，则 (,)A( , )CovC

16、ovAx Byx y B),(ByAxCov证 )()(xBBxxAAxEEEBxxA)(E5)若k1,k2,，kn是n个不全为零的常数， x1,x2,，xn是相互独立的p维随机向量，则12()nV kkk12nxxx22212()()()nk Vk Vk V12nxxx 三、相关系数矩阵三、相关系数矩阵 若x x=(x1,x2,，xp) 和y y=(y1,y2,，yq)分别是p和q维随机向量，则其相关系数矩阵为),(),(),(),(),(),(),(),(),(),(212221212111qpppqqyxyxyxyxyxyxyxyxyxyx( , )x y0若，两随机向量不相关。cov(

17、 ,)( ,)( )()iiiiiix yx yV xV y其中：x=(x1,x2,，xp)的相关系数矩阵为111212122212( ,)( ,)( ,)(,)(,)(,)R( )(,)(,)(,)ppijp pppppr x xr x xr x xr x xr x xr x xrr xxr xxr xx4 多元正态分布多元正态分布一、多元正态分布的定义一、多元正态分布的定义二、多元正态分布的性质二、多元正态分布的性质三、多元正态分布的条件分布和独立性三、多元正态分布的条件分布和独立性四、均值向量和协方差阵的点估计四、均值向量和协方差阵的点估计4 多元正态分布多元正态分布121 221121

18、2( ,)1( ,)(2 )exp()()(0)2( ,)( ,).ppppppXx xxf x xxxxXx xxpXpXN 若 元随机变量 =的概率密度函数为： 则称 =遵从 元正态分布，也称 为 元正态变量。记为 ：定义 ： ( ,) E( )D().pXNXX 设，则，定理 ：一、多元正态分布的定义一、多元正态分布的定义v例：二元正态分布的密度公式 设 遵从二元正态分布，则12=(,)XX X21112112211121222221222121222212121,1,(1),1(1)rrrrrrr 故X1与X2的密度函数为211122 1/22212121122222122()11(,

19、)exp2(1)2(1)()()()2xf x xrrxxxr 思考：r=0,r0,r p 设样品相互独立，同遵从于 元正态分布，且，则122( )111ni1i=1nnii=1iipnipi=1xXxXXXnnXx是 的无偏估计。1、总体均值 的估计值为样本均值向量m( )( )n211112211i 1n22222i 1n2i 111()()()()()()()()()()1()iiiiiiippiiippippSXXXXnnxXxXxXxXxXxXxXxXnxXni 1nni 1i 1ni 12、总体协方差阵的极大似然估计为：m11Sn 不是的无偏估计，样本协方差阵为无偏估计，故一般用作

20、为总体协方差阵的估计。5 5 样本分布样本分布 一、维希特一、维希特（Wishart）分布的基本概念分布的基本概念二、维希特二、维希特（Wishart）分布的性质分布的性质三、多元正态总体的抽样分布三、多元正态总体的抽样分布 四、基于维斯特四、基于维斯特（Wishart）分布的统计量分布的统计量5 5 样本分布样本分布 一、维希特一、维希特（Wishart）分布的基本概念分布的基本概念 1 1、定义、定义 随机矩阵的分布随机矩阵的分布npnnppxxxxxxxxx212222111211X设随机矩阵 矩阵中的每一个元素均为随机变量，则矩阵X的分布是其列向量拉长，组成一个长向量的分布。npnpp

21、xxxxxx1221111x 2 2、定义、定义 维希特维希特（Wishart）分布的统计量分布的统计量 设 个随机向量 n), 3 , 2 , 1(),(21niXXXipiiiXnpnnpnnppXXXXXXXXXXXX21212222111211X 独立同分布于 ，则随机矩阵),( pN n1iii 服从自由度为 的非中心维斯特分布，记为 。n),( nWpnlljilXX1 112111112112222212221212npnpppnpnnnpAX Xxxxxxxxxxxxxxxxxxx 在一元正态随机变量中，我们曾经讨论了 分布，在多元正态随机变量也有类似的样本分布，即维希特分布。

22、2当 ， 时，由卡方分布的定义可知221( )niiAxn可见可见维希特分布是卡方分布在多元下的推广维希特分布是卡方分布在多元下的推广。1 p1 定理定理1：若 ，且 ， ，则 的分布密度为特别，当 和 时， 服从 分布。),(nWppn 0 0,)21(|2)21exp(|)(1221)1(212)1( ainAtraaFpinnppnpp1 p1 23 3、维希特、维希特（Wishart）分布的密度函数分布的密度函数二、维斯特二、维斯特(Wishart)分布的性质分布的性质 （1）若A1和A2独立，其分布分别 和 ， 则 的分布为 ，即维斯特(Wishart)分布有可加性。),(1nWp)

23、,(2nWp21 ),(21nnWp （2） ，C为mp阶的矩阵，则 的分布为 分布。),(nWpCC),(CC nWm（3） ， 为任一p元常向量，满足 ,则 .),(nWpa0aa 2( )a Aanaa三、三、 多元正态分布总体的抽样分布多元正态分布总体的抽样分布 定理定理1 1：设X1,X2,Xn是来自多元正态总体Np(,)的简单随机样本，有),(11211 pxxx1x),(222212 pxxxx),(21 npnnnxxxx11niin 令 ， n1iXXXXS)(ii 则有XXXXSi nnjj111( ,)pNn、2S、 和 相互独立), 1(3 nWSp、), 4 , 3

24、, 2 , 1(ni iX)(1)(0120 xx0nT )()(01 xx0n服从自由度为 的卡方分布。p定理定理2 2 设 独立同正态分布，则统计量 在一元正态的情形下，我们有样本的统计量在一元正态的情形下，我们有样本的统计量当总体的方差未知时，我们必须用样本的方差当总体的方差未知时，我们必须用样本的方差来代替总体的方差，则来代替总体的方差，则那么在多元正态的情形下，是否有相同的问题呢？回答那么在多元正态的情形下，是否有相同的问题呢？回答是肯定的。是肯定的。) 1 , 0( NnxZ niixxnS122*)(11) 1(* ntnSxt定义定义1 1： 则相互独立和设,),(),( pp

25、NunW),(212uunpTn 称T2服从参数为P和n的非中心霍特林（Hotelling)分布。定理定理3 3：),()()(212npTxxn 则相互独立和设,),(),(ppNxnW 当 时， 服从自由度为n的中心霍特林分布，记为 。0uu12 nuu12 n),(2npT) 1,(12pnpFTnppn另见书另见书P89,定义定义1.8 ),(11211 pxxx1x),(222212pxxxx),(21 npnnnxxxx11niixxn令样本均值()()iiSxxxxni 1样本离差矩阵) 1,()()() 1(212npTxSxnn 则) 1,(1),(2 pnpFpnnpnpT且 定理定理4 4：设 是来自多元正态总体 的简单随机