北大随机过程课件：第5章第1讲高斯随机变量

1、6 #6 # 髙期分布K机变量及其性质中心极限定理高斯分布的随机变量N维高斯随机变屋的统计独立特性高斯随机变駅的线性变换高斯分布的随机变崑的条件分布和边缘分布1.列肯.中“51限定理给定n个独立的随机变量兀.，i=l,2,-n,它们的和为：x=xl+x2+-+xn,x的均值为=i+2+”，方差为钦=bj+bj+町，在一定的条件下,当n趋于无穷时，X的概率密度函数f(x)趋向J：具有相同均值和方差的高斯(正态)分布：2T:6 6 #中心极限定理逼近的性质以及对一个给定误差所蛊的随机变起的数目n依赖r概率密度函数/(X)。2髙新分布的他机变量典型高斯分布的随机变駅的概率密度与特征函数的描述。,(“

2、)=匸严了(x)dx2.1元离期K机交量一元高斯随机变駅N(O,1),均值为零、方差为1,其概率密度和特征函数:(it)=e2一元高斯随机变N（U,o2）,均值为U.方差为弗,其概率密度和特征函数:1一(L“ff=-T=e心J2兀bJJajg-(w)=e4二3,兀）=2龙J；尸exp-x.2-2rxx.+a21I2(1-rj-.1p-qB=T-.J.1丿l-r2UJ二元高斯随机变彊刍,均值为零.协方差矩阵为:,|B|=l-r2其二元概率密度和特征函数为:6 #6 # #6 #6 # #.心(W)=(*+2ruLit2+疋二元高斯随机变彊勺疋空其均值、协方差矩阵为,b河(1)11TOC o 1-

3、5 h z/x-xococ=fjexp(;uyx)-oc=i-x=i-和B.分别是J,J的互协方差矩阵。Bu=（B：jH,j,J相互统计独立的充要条件是b12=o证明:首先证明必要性。若J，J相互统计独立，它们之间的任意两个分量都统计独立，它们2间的任意两个分量的协方差都是零，相应的协方差矩阵b12=o,B21=0o其次证明充分性。(B110A若B辺=0,B：x=0,相应g的相关矩阵B=o令u=(11】11与相应分量的维数与g=一致，它们的特征函数，三(u)=exp(JuTn-utBu/2)=exp(ju1TjijuJji2-u1TB11u1+u2tB22u2/2)=exp(jujpi-u1T

4、B11u1/2)-exp(ju2Tn2-u2TB22u2/2)fnJ叫2(UJ等r两个子欠最的特征函数的乘积，因此这两个子矢最是相互独立的。4离新他机变畳的线性交换 # # # #设g=(J,J,J)是N维随机矢量，其数学期壑是U=(MX,Px),协方差矩阵是Bo高斯随机变吊弋各个分駅线性组合=n=,aT=(a】，a?,aGn=l高斯随机变吊线性组介的均值,E=E工啼”=工山论”H=1/?=!N?=1高斯随机矢吊线性组介的协方差,b“=纠工厂心）l/?=1rn=l.W=1/?l=lNN=工工d”认”W=1/?l=l=a7Ba4.2离斷随机变量的妣性凭换设g=（J,J,J）是N维随机矢量，其数学

5、期塑是U=（,，X）,协方差矩阵是Bo线性变换C,是M*N的矩阵，E经过线性变换C得到n=CE,均值：En=Ec=CE=CMr协方差矩阵：d（n-En=e（h-EnKn-內）（Cg-ECWEC。=ec（u訐了c=3&）訐了卜7=CBCr4.3定理1设g=（J,j,J）是N维随机矢量，其数学期望是，U=（U1,、），协方差矩阵是Bog服从N元高斯分布的充要条件是它的任意一个线性组合N尸診“=服从一元高斯分布。/?=1证明：首先证明必要性。N如果E的任意一个线性组合工乩=a7?服从一元高斯分布。W=1考虑到乙的均值是|U=a7p,=E|exp(juou).=1丿.=exp(juoufT-p=-uB

6、.uMq2/2)=exp(ju1p厂11昆11/2)上述推导的第一步，是按照欠屋点积的表达式写出的，上述推导的第二步，是将u=叫11代入表达式的，上述推导的第三步，是鉴的任意一个线性组合服从一元高斯分布，因而写出和应的特征函数表达式，上述推导的第四步，是再次将口=叫11代入表达式的，推导的结呆说明E的特征函数貝有高斯欠最的形式，必耍性得到证明。其次证明充分性。N如果g是N维高斯随机欠甌它的任意一个线性组合尸工匕盒=飞的特征函H=1数是,Eexp帥$)=可exp曲W.g/-=E()/2)上述推导的第四步，是按照高斯随机欠起的特征函数表达式写出的,推导的结果说明4的特征函数貝有高斯变起的形式，充分

7、性性得到证明。4.4定理2设g=(J,J,J)是N维随机矢量，其数学期望是，U=(U1,X,X),协方差矩阵是B,服从高斯分布N(U.B)C是MXN矩阵，g经过线性变换C得到n=cg,八为MX1列欠量，它服从M元高斯分布N(Cp,CBCT)o证明：因为g=(J,J)是NX1维随机列矢量，C是MXN矩阵，所以n=Cg是MX1列矢量。其次，考虑MX1列欠量t,相应n的特征函数是：Eexp(jt7n)=Eexp(jtrC)=EexpC/(C)p)=expj(Cyt)7M-(C，I)，B(C?t)/2=expjt7Cn-t7CBC7t/2=expjt7(C|i)-17(CBC)t/2由高斯分布随机矢駅

8、的线性变换的性质知，n的均值是CP,协方差是cbct,Ifun的特征函数是expjtr(Cm)-17(CBC7)t/2,故e经过线性变换c得到n=eg是高斯随机变最。4.5定理2推论设g=(J,J,EQ是n维高斯随机矢量，服从高斯分布N(uJB)。设存在一个正交变换U,使得n=Ug是一个具有独立高斯分布分崑的高斯分布的随机欠量，它的数学期望是UU,方差分最是协方差矩阵B的特征值。证明：对于一个实对称的协方差矩阵B,存在特征值4,和特征欠量up1=1,2,N,有Buf=diuj,U=(uiiJu/)U7=(U1u2nJUU7=I, #TOC o 1-5 h zBIT=B(U1U2Uv)=(dgd

9、gdg)(、4=(U1U2U.v)kN=U7DUBU7=DB=UDUUBU7=D.U作为高斯随机欠最的线性变换矩阵，可以得到n=Ug的数学期望是UU,协方差矩阵是D。即EU=UE=U5离期分布的随机变量的条件分布和边缘分布5.1均方最小的条件估值设g和八是两个随机矢最，两者存在联合分布，设n是观察欠鼠，通过n対I进行估值,求均方误差最小的估值。硝-i(n)/n=y=mme笊一k|2/n=y解：计算估值的均方误差E佔-k5=y=E氏E旳+E訥-k/i=y=E(|E/n-k|25=y4-e|K-e/nE/n-k|/n=y4-e|E/n-kK-e/n|/1|=y+引卜旳5=y=E|E?/n-k|25

10、=y+引卜旳5=y为了使均方误差最小，应使估值k=Eg/i即均方误差最小的条件估值是条件均值：i(n=y)=fe/n=y5.2二元髙斯分布随机变畳的条件分布利边缘分布二元高斯随机变吊协方差矩阵三角化分解和逆矩阵二元高斯随机变最刍,冬，均值为零.协方差矩阵可表示为,8=巧902协方差矩阵行列式可表示为，11=rcr.cr“j=-=Tfcr；(l-r-)6c;，10昇61010b2G170协方差矩阵可进行三角化分解,则，协方差矩阵的逆是,考虑到Bl=1-rJ2/TJ1/tTf0、(11o1J01/(1-nJ1-5/6宀I1/cr；-厂/ocrJ1一厂-66l/g丿二元高斯随机变駅条件分布和边缘分布

11、01/(1-r2)(7；10;1:;)即,宀1/cr；-x1r/cr1cr2x2/cr;)=x.2/cr2-xr/（J,jx.r/aa/cr;厂二尤高斯随机变最：，条件分布和边缘分布是，TOC o 1-5 h zA冬(兀，=-一I,2珂(1-广)片巧(rX-x/(y+(x2-xlr(y2/aiy/(l-r2)cr;1(1A=Fexphv/J-?=exP一6)/(1_尸)兀(2龙(1一厂)V2=(兀/兀)g(51)=exp-(x2-xYr(yJ7/(l-r2)(7：?2_1exp丄j2/r(l-k)bA(兀)=c二元高斯随机变鼠勺，女，条件均值和条件期望值是,兀=E2+xlra2/cy5.3二个

12、多元离斷分布他机变畳的条件分布和边缘分布二个多元高斯随机变起协方差矩阵三角化分解和逆矩阵二个多元高斯随机变鼠E19E2,均值为零，联合协方差矩阵可进行三角化分解,耳血丿1“0、%0b22-b“b;；b-1“0、0Y/丿oBh-b“b;；bJB=1“B他0nt # # # #则，协方差矩阵的逆是,A.-B他1B；00區-诂弘尸 # # # #二个多元高斯随机变鼠e19e2,协方差矩阵的行列式可表示为,=阳-毘离境 # # # #二个多元高斯随机变危条件分布和边缘分布，考虑到rf人-皿)210Int/ # # # #（睬0、(/”0、0、讥B；/(-j=(X/x/-X/B12)，B；0丫蜀、+（叮-曾酣）（%-%酣弘尸（事-弘酣右）二个多尤高斯随机变帚三|,三2的条件分布和边缘分布是， # #（2龙）5|3ILlg