第二章 多元正态分布及参数的估计汇总

第二章多元正态分布及参数的估计在多元统计分析中，多元正态分布占有相当重要的地位.这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布；当样本量很大时，许多统计量的极限分布往往和正态分布有关;此外，对多元正态分布，理论与实践都比较成熟，已有一整套行之有效的统计推断方法.基于这些理由，我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题.目录§2.1随机向量§2.2多元正态分布的定义与基本性质§2.3条件分布和独立性§2.4多元正态分布的参数估计§2.1随机向量§2.1随机向量本课程所讨论的是多变量总体.把p个随机变量放在一起得庐01,A2,•••,Xp)'为一个刀维随机向量，如果同时对p维总体进行一次观测，得一个样品为P维数据•常把门个样品排成一个nXp矩阵,称为样本资料阵.£“2…A(l)X=兀21••%22…••••X2p••de•••宀1••Xn2…•X"P)忍J=(X1，x29其中X(i)(匚\,…，门)是来自刀维总体的一个样品.在多元统计分析中涉及到的都是随机向量，或是多个随机向量放在一起组成的随机矩阵.本节有关随机向量的一些概念(联合分布，边缘分布，条件分布,独立性;X的均值向量,J的协差阵和相关阵,X与卩的协差阵)要求大家自已复习.三、均值向量和协方差阵的性质设x卩为随机向量，凡於为常数阵，则E(AX)=A・E(A),E(AX&=A・E(A)•BD(AX)=A•D(X)•A，COV(AX,BY)=A•COV(X,Y)•B，若X,Y相互独立，则COV(X,Y)二0;反之不成立.若COV(X,Y)=0,我们称X与Y不相关.故有：两随机向量若相互独立，则必不相关；

两随机向量若不相关，则未必相互独立.（3）随机向量X二（X1,X2,…,Xp）‘的协差阵D（X）=S是对称非负定阵.即E二&,&Za^O（a为任给的p维常量）.（4）为二02,其中0为非负定阵.由于工20（非负定），利用线性代数中实对称阵的对角化定理，存、Or^r、Or^r、or1V^7jx=rI0=L•Lfo]其中l=rr\l=厶‘，古攵厶＞o.I。V^7j当矩阵E＞0（正定）时，矩阵「也称为工的平方根矩阵，记为V.当矩阵工＞0（正定）时，必有pXp非退化矩阵A使得共中A=r若工20（若工20（非负定），必有PxQ矩阵A]使得*4（纟VP）-其中A】=rLo（纟VP）-这里记厂=（厂1/厂2）,厂1为pXq列正交阵S2Q）.并设:A>0(Z=l5---5q)爲+1=0,-=0.§2.2多元正态分布的定义在一元统计中，若0~N(O,1),则/的任意线性变换X二001〜N(U,/)。利用这一性质，可以从标准正态分布来定义一般正态分布：若厶〜N(0,1),则称X二。莎U的分布为一般正态分布，记为T〜N(U,CT2)O此定义中，不必要求。＞0,当。退化为0时仍有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。定义2.2.1设庐(S,…，佝)'为随机向量，/,・・・，％相互独立且同N(0,1)分布；设U为p维常数向量，A为pXQ常数矩阵，贝IJ称X=AU+卩的分布为刀维正态分布，或称X为卩维正态随机向量，记为X〜Np(u,AAf)o简单地说，称q个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为多元正态分布。§2.2多元正态分布的性质1在一元统计中，若X~N(“。，),则X的特征函数为<p(J)=E{el,x)=e?qpitu——t2cr2.IOO_Gv—Z£>L=Eyx)=丄—「e心e2—dx—oo—ooTOC\o"1-5"\h\z=,f2、/2兀-iopooIcrr’1「一亏["~一2“6”+("b)-—]ez—/Ie2du「・12T1-^u-itcr)-=exprirzz—一才」b」]x—zIe2du=exp[ir/z——严cH]当4N(0,1)时，<1)(t)=exp[—尸/2]・性质1设“（乙…,Uq）'为随机向量，U、,…,Uq相互独立且同N（0,l）分布；令庐“+犹；则X的特征函数为eX(疋)=it'i这里匸（/”・・・，/»）,故①X&）为p元函数.性质1的证明:根据随机向量特征函数的定义和性质，经计算即可得出X的特征函数为①X&)=E(ei#A)二E(eit'U莎“))令tzA=sf=(町,・・・$g)oxp>(zr>z)・豆y'55+a、、ezxipyz)・豆ydsXX)

（因"，…，S相互独立，乘积的期望等于期望的乘积）=)xx“)itfjLL)・丄丄——7=1=exjp<Zr>z=exjp<Zr>z)・oxjp[——++巧）]§2.2多元正态分布的第二种定义记工二A4',则有以下定义。定义2.2.2若p维随机向量X的特征函数为：8*a）="—旷了了]>O〉则称X服从p维正态分布，记为T〜NpJu,工）.一元正态：Q1）(p(t)=(p(t)=expitu—=expitu—t2cy2§2.2多元正态分布的性质2性质2设X〜助（卩，工），〃为sXp常数阵，〃为sXl常向量，令Z/r，d则7-Ns（g“+",BZB）.该性质指出正态随机向量的任意线性组合仍为正态分布.证明：因工20,工可分解为工二AA；其中A为pXq矩隊已知

X〜Np（u,S）,由定义2.2.1可知X二AU+卩（d表示两边的随机向量服从相同的分布.）其中U二Uq）：且/，…,Uq相互独立同N（O,1）分布。丹閃二B（AUW+d二（BA）快（Bu+d）由定义2.2.1可知Z〜NslBu+d,（场）（场）'），即Z〜Ns（B"d,B》B）.（这里工二曲）.推论设F推论设F梓（叮〜Np（u,工），将门，工剖分为则X⑴〜NrSu),X⑵〜N」®,%).证明：取d二ap）‘r维向量心二o，由性质2可得：rxp类似地B2(P・r)xpGB2(P・r)xp我®=Bx*+d?~TVd®佶“〉・此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，也不一定能导出该随机向

量服从多元正态分布.如例2.1.1,证明了X,均为一元正态分布，但由(X”XJ联合密度函数的形式易见它不是二元正态.例2.1.1(X“XJ的联合密度函数为/(x19x2)=-^-eW+曰［1+乂心曲心)2兀我们从后面将给出的正态随机向量的联合密度函数的形式可知,(X】，xj不是二元正态随机向量.但通过计算边缘分布可得出：X］〜N(O,1),X2〜N(O,1)这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元正态分布.例如：设三维随机向量X二(X”X,,X),且110rulv、—丿200ZHV(A—■■y123JVJVJV110rulv、—丿200ZHV(A—■■y123JVJVJV-JV120\y0039\|7115(2N(0020)03=29=29「rA7「rA72=BX、l^sJ010100001由性质2知，y为3维正态随机向量,且X1J002200厂」X1J002200厂」-丿010100001、y001010、——丿030201101厂a、丿loo001010zll\、—丿00312011OB、丿、—丿JO1O1O1X1oO030BOO1201rn\z/ln\V--(x2)/0、/201、Y_X2N(090303X210111丿k//（3）设Z=2X1-X2+3X3,试求随机变量Z的分布.Z=2X1-X2+3X3二⑵T,3）X^CX故有：1201112011O再比如取再比如取t=(0,•••,1,0,•••!,..,0)所以Z所以Z〜N(4,29)・性质3若4Np(u,艺)，EQ)二u,DCm.证明：因工20,工可分解为：S=A4Z,则由定义2.2.1可知X二AU+UU为pXq实矩阵)其中山口，…,U)，且U”…,匕相互独立同N(0,1)分布，故有E(tO=0,D(〃)二帀・利用均值向量和协差阵的有关性质可得：EQX)=U+“)=AEQU)+jLi=JLI、Q(X)=DQAU+“)=DQAU)=.此性质给出多元正态分布中参数U和E的明确统计意义.U是随机向量X的均值向量，S是随机向量X的协差阵。如简单例子中，由性质2知Z服从正态分布，利用性质3,宀=E(N)=EQUX)=Ujlj=4,匚=Q(N)=DQUX)==bf=29.性质4设胆(血…,血)'为卩维随机向量，则X服从p维正态分布u＞对任一p维实向量=a'X是一维正态随机变量.证明：必要性的证明由性质2即得(只须取B=af，由0即可).充分性的证明：①首先说明随机向量X的均值和协方差阵存在：因对任给P维实向量tERp,§二己X~一元正态分布,可知§的各阶矩存在，如取r二s二(o,…，1,・・・,o)‘,X^etzX且E(XQ(1=1,2,-,p)存在，E(X,.2)(2=1,2,•••,p)也存在.§二t'X二X,+Xj,且E(§)-E(X,+Xj)(Z户1,2,…,p)存在.E(严)-E[(X,+XJ2]二E(x,2)+2E(X")+E(X「)也存在，即E(X")(乙户1,2,…,p)存在.故E(Xj),Cov(X,,)=E(X/j)-E(X,)E(Xf・)(2,J=lf…,p)存在.i己E(力二U,D(A)二工.计算§的特征函数：对任意给定的re卍,因随机变量§二厂X服从N(r”厂wt).,故知E的特征函数为0§(心(严)二exp[i〃(厂U)~02(厂工才)/2]计算随机向量X的特征函数：在§的特征函数中，取〃二1,即得化⑴二E(<)二E(©t‘X)二①X(t)=exp[it，卩一t'St/2]由定义2.2.2可知，X〜Np(u,S).定义2.2.3若p维随机向量T的任意线性组合均服从一元正态分布，则称X为p维正态随机向量.在概率论屮人家都知道一元正态随机变量的密度函数是f（X）1JCT（兀一f（X）1JCT（兀一“）22cr2（bAO）这个式子可改写为:/（X）=^Fcr2/（X）=^Fcr21/2exp-£（兀-“）@2尸（兀—“）作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数.性质5设4Np（u,工），且工>0（正定），则X的联合密度函数为f（X）=f（X）=[（2兀）必E1/21=exp|2童"~—“）'（工）7（兀—X7）证明①因2>0,rk（E）=A由线性代数的知识知存在非奇异方阵4使得工二曲',且AlA\x其中匸口,…,U"，且U、，・・・,Up相互独立同N（0,1）分布。②〃的联合密度函数3元函数）为

frr(U)=——右eXO——U'LAJ八丿(2疋)必2③利用/的联合密度函数及随机向量的变换求X=AL^u的密度函数。对任给Borel可测集B,求p元函数册(力使得P{XP{XeB}jjfxJx'dxBP{UD}jjP{UD}jj几(m)★D其中D=jww=A-1(x-u),xgB)根据附录§8(P397)公式(8.4),即有P{Xg^}=JJ(u)du[u=A-l(x-jU)]D=JJ(A-1(jc—//))•丿(％tx)dxB=\\fxMdxB以下来求Jacobi行列式J(u-^x).积分变换的Jacobi行列式Jlu-处可利用线性变换x二Au+“及Jlxfii)来计算：因dxYJ(xTVL)=dxrJ(xTVL)=dxrduduxdxYdux&pdu..=|Af|+=|AAf/2=|Z|1/2>x)=J(JV>x)=J(JV—>VL)—JL/2关于积分变换的Jacobi行列式J（il必的有关内容请参阅附录部分。写出X二AU+卩的密度函数：fx（兀）=（2：严exp-扣％心TX）=1/V2eXP—斗［AT（X—“）］"-心一“）］|习T"\Z7T）L么_=~~exp—1（兀一“）'工7（兀一“）（2疋）绢习厶L2J（这里工二曲，,另-=（心'）"=）定义2.2.4p维随机向量用（X”Xj・J0）‘的联合密度函数为

f（X）=二~~exp（2^）/?/2|E|vL2」其中〃是刀维实向量，工是p阶正定阵，则称r（x”X?…xpy服从（非退化的）p元正态分布.也称x为p维正态随机向量,简记为4Np（",工）.以上给出了多元正态分布的4种定义。定义2.2.4用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定义里要求工是正定阵，它给出的是非退化的正态分布的定义。另三种定义中把工阵推广到非负定的情形，这三种定义是等价的。例2.2.1（二元正态分布）N2(“£)，pcy^cy^>0N2(“£)，pcy^cy^>0(即6>0,6>0,IP|<1)（1）试写出x的联合密度函数和边际密度函数;⑵试说明p的统计意义。解：（1）因|纠=bjbja—K)

1bjb；(JL—q2)(2rr2—1bjb；(JL—q2)(2rr2—pb|rr22Z11一jO、1bj1—盯11pb[b2b;丿Qb[b2b]b]pb'b?2二元正态随机向量X的联合密度函数为/('^2)=2^T^exp-+-Q1ex1exP2兀b\b?7\—p-f1z、乂丄一XZ1[2(1—K)■b丄>Z、2—2p乂2—卜丄2—2p<b?丿另由性质2的推论，即得X]〜Njgbjx?〜NgC因Cov{XI，肠二。12二q。2，而幻与膨的相关系数为

pgxj=“譲:賦仏)=^7=P故二元正态分布的参数P就是两个分量的相关系数.显然当P二0时，f（y,心）二/；（耳）•人（心），即X］与兀相互独立.当丨P|=1时，丨工1=0（工退化，即工的列向量或行向量线性相关），贝|J存在非零向量r二a,），,使得st=o,从而厂wt=o,故而随机变量k-tf（X-U）的方差为Var［厂（X-u）］二厂工t=0,这表示P{tf（X-U）=O}=1.即匚（XpJ+g（X「g）二0以概率1成立；反之，若X占兀以概率1存在线性相关关系，贝lj|P1=1.当P>0时,我们称/与X,存在正相关;当P<0时,我们称/与X,存在负相关.例2例2・2・2二元正态密度函数的图形及等高线的图形为了对多维正态密度函数有更直观地了解，下面的例子给出几组参数下二维正态密度函数的几何图形.我们把具有等密度的点的轨迹称为等咼线（面）.显然当尸2时f（x“J二C（00）=>2—2pX]-w2—2pX]-w1x2-U2_I6)2二a2它是一族中心在（w1,h2）/的椭园.一般的©维正态密度等高面为（x—%）士J—（20）取吩0,◎二0,以下绘制三组参数下二元正态密度函数及密度等高线

图形：(1)当o-/=l,o-,2=1，P=O时当=1,6,=1,Q=0.75时当巧2=4,帘=l,p=_0.75时crj=15ct22=15/7=0CT,二1,込2-^p-0.75

<7j2二4,cr?2-\^p--0.75§2.3条件分布和独立性--独立性设X〜心(U,S)(p22),将尤厂三剖分为*2)p~r*2)p~r推论推论1设/；Ml（f二1，…，0，且斤+q+…+rk-p,厂三丄丄乏^21以下是关于独立性的一条重要结论:定理2.3.1设卩维随机向量X〜心（卩，工）,^21无22力厂厂（^21无22力“2）<\"丿则X⑴与X㈢相互独立O兀=0皿_刀（即X⑴与X⑵不相关）证明：必要性显然成立.（充分性）：设召=0,则X的联合密度函数为/(*)二11/21exp<——気00$22-1（2龙严％1X（2刃|爲21/2exp一扣⑴一“⑴炖（宀“⑴）1/2exp卜扣⑵一“⑵y羽（x⑵一“⑵）=力（乂⑴）X兀（乂⑺）,所以X⑴与X⑵相互独立./•…艺nX=;?xl•■X®7〜Nprk■■5■•■■■■■■...y厶贼」)则X⑴X⑷相互独立O绻=0(—切iHj)推论2设X〜心(U,工)，若工为对角形矩阵，则X」，…，Xp相互独立.例如:设三维随机向量r(x“X2,Xj',且1则有⑴2、1〜2V(O,3)(xj例如:设三维随机向量r(x“X2,Xj',且1则有⑴2、1〜2V(O,3)(xj与X3相互独同因％=1°丿丿X3的密度函数为/2X3的密度函数为/2(x3)=exp(—2x3⑶X]与X3,X2与兀，也相互独立；⑷丄X]-丄X,与禺也相互独立；22-更一般地，aXL+bX2与兀也相互独立;(5)令丫=5|-丄X’，则Y〜N(1丄)；且22-4(Y\Z=&丿故二维随机向量Z的联合密度函数为小5島叫-20—1）2一沪§2.4多元正态分布的参数估计考虑P维正态总体X〜Np（U,S）,设x（“二（X^…,X）（A1,…，门）为p维总体X的简单随机样本，资料阵Xnxp51乂Xnxp51乂21乂12乂22V))是一个随机矩阵.XpxlXpxl^xpy=乂2JL■■■、1巧2■■兀22■■■■■■■f2■■1■=丄％1”,n■■■■■n乂r2p■■■丿11J屮心化数据阵:二二XX（X=GX）X=兀21—瓦nxp:^12-^2*^22•^2P7=x-inxf=x-1J-x'lj=（厶--i」：）x,nn记G二/〃_丄则G=G2,G=Gn（2）样本离差阵/!（交叉乘积阵）—乂）a=l(兀辺一九…(兀辺一九…n=sa=l

——\_X1=（勺）wn（i,j二1,2（i,j二1,2P)a=l或者把表为:层=f（Xg-左輕3—司a=l(X⑴-乂，…,Xg-司X”）-刃J,1.,X人一一1乙X=XGX=g)pxp或者把力表为:nZ=1nAPxP—*3ZX⑷Xg-工-E轧；+z乂&ja=la=la=la=l(x(i),…>x(p))-nX(X')jX(p)=XX-nX^X样本协方差S:或者sP"样本相关阵斤R=y异ru/『R=y异ruy/Siiyj^jjyj^JJ例：设从某书店随机抽取4张收据了解图书的销售情况.每张收据记录售书数量A2及总金额川，具体数值如下:42524、5X=4x2484^583>(n二4,p=2)试计算样本均值，样本离差阵，样本协差阵和相关阵.解:—11解:—11(42524858、11‘50、X=-Xln=-——n4<4543,11<4,样本离差阵£的计算公式为:=乂=乂Xx(°7=1—乂)或4=或4=(X⑴-乂,"竿631-6—6、"竿631-6—6、2>45-3-2-22‘42-504—4、80、52-505-421X=—48-504-4-20、58—503-4?<8-1>'(X⑴一乂厂…，X(4)-刃10D'丿此例中,其中，£为中心化数据阵。r-8O'〜,〜<-82-28)21‘136-6、故A=XX=、010—1丿-20-62丿,8-1.样本协方差