依分布收敛及中心极限定理

第四章第四章极限定理§1依分布收敛与中心极限定理一、一、分布函数弱收敛概率论早期发展的目的在于揭示由于大量随机因素产生影响而呈现的规律性.贝努里首先认识到研究无穷随机试验序列的重要性，并建立了概率论的第一个极限定理一一大数定律，清楚地刻画了事件的概率与它发生的频率之间的关系.棣莫佛和拉普拉斯提出将观察的误差看作大量独立微小误差的累加，证明了观察误差的分布一定渐近正态一一中心极限定理.随后，出现了许多各种意义下的极限定理.这些结果和研究方法对概率论与数理统计及其应用的许多领域有着重大影响.本章着重介绍上述大数定律和中心极限定理等有关内容.§1依分布收敛与中心极限定理我们知道，如果E是概率空间(Q,F,P)上的随机变量，那么它的分布函数F(x)=P(E<X)刻画了它的全部概率性质.因此，对随机变量序列的研究就必须首先对相应的分布函数序列作深入研究.一、分布函数弱收敛定义1设F是一分布函数，(Fn｝是一列分布函数，如果对F的每个连续点XGR，都有Fn(x)fF(x)(nf8)，则称Fn弱收敛(weakconvergence)于F，记作Fn一^^F.设；是一随机变量，｛&n｝是一列随机变量，如果&n的分布函数列弱收敛于；的分布函数，贝师称；贝师称；n依分布收敛(convergenceindistribution注1注1分布函数逐点收敛的极限函数未必是分布函数.(0,x<n,例如，Fn(x)="x项该分布函数列处处收敛于0,但G(x)三0不是分布函数.因此对一般的分布函数列，要它们逐点收敛于分布函数，要求是过高了，不得不如定义1加上限制.注2定义1中的限制条件“对F的每个连续点x，Fn(x)fF(x)”是足够宽的，例如，|0,x<1/n,|0,x<0,Fn(X)=U，x-1/nF(x)=4X-0-除在0点以外(Fn(0)=0书F(0)=1),逐点收敛于F(x),而0点刚好是F(x)的唯一不连续点，因此按定义1,Fn—F.*注3由于分布函数F的不连续点最多有可数个，Fn—^F意味着Fn在R的一个稠密子集上处处收敛于F(D在R上稠密，是指对任意xo£R,在xo的任意小邻域内，一定有XeD).下面给出海莱(Helly)定理，它们对分布函数列弱收敛性的研究起着重要作用.定理1(海莱第一定理)设｛Fn｝是一列分布函数，那么存在一个单调不减右连续的函数F(不一定是分布函数)，0-F(x)-1,xeR,和一子列｛Fnk｝，使得对F的每个连续点x，F.nk(x)TF(x)(kf+8).一”<F(x)<1F(r)证令D表示全体有理数.0<n⑴—1意味着｛n(I｝是有界数列，因此可以找到F(r)G(r)=limf(r)一个收敛子列｛F1n3｝,记1nr+8'3.F(r)F(r)接着考虑有界数列｛1n(/2)｝，存在它的一个收敛子列｛2n('2'｝，记n，n，G(r)=limF(r)2nr+8F2n('2).如此继续，得到FFG(r)=limF(r)｛kn｝U｛k-1,n｝,knr+8knk,k二2.FlimF(r)G(r)—…言.、_现在考虑对角线序列｛nn｝.显然，nr+3nnk=(k)对所有正整数k都成立.另外，口r<rG(r)<G(r)由于Fn单调不减，如果rirj，有(/)(j).因此G(r)是定义在有理数上的有界不减函数.定义F(x)=infG(r)这个函数在有理数上与G(x)相等，它显然也是有界不减的.下面证明，对F的每个连续点x,limF(x)nr+3nn'=F(x).(2)任意给定£>0和F的连续点x，选取h>0，使得F(x+h)--F(x--h)<e/2.根据有理数的稠密性，存在有理数满足x-h<ri<X<rj<x+h,从而TOC\o"1-5"\h\zF(x-h)<F(r)<F(x)<F(r)<F(x+h)(3)另外，存在N(6)使得当n-N(£)时，IF(r)-F(r)l<£/2IF(r)-F(r)l<£/2nnii,nnjj.(4)进而由Fn和F的单调性，当n-N(£)时，F(x)<F(r)<F(r)+£/2<F(x+h)+£/2<F(x)+£nnnnjjF(x)>F(r)>F(r)-£/2>F(x-h)-£/2>F(x)-£nnnnii综合得到(5)|F(x)-F(x)l<£⑵式得证.由F的定义(1)，在它的不连续点上是右连续的.定理1证毕.(5)定理2(海莱第二定理)设F是一分布函数，｛Fn｝是一列分布函数，Fni^F.如果g(x)是R上的有界连续函数，则卜g(x)dF(x)T卜g(x)dF(x)-8n-8.(6)证因为g是有界函数，必存在c>0使得lg(x)I<c,xGR.因为F的所有连续点构成R上的稠密集，又由F(-8)=0,F(8)=1，故对于任意给定的£>0,可以选取a>0使得土a是F的连续点，并且F(-a)<£/12c,1-F(a)<£/12c.由于Fn-^F，存在N1(£),使得当n>N1(£)时,TOC\o"1-5"\h\z|Fn(-a)-F(-a)|<£/12c,|1-Fn(a)-(1-F(a))|<£/12c,(8)这样我们有f-ag(x)dF(x)一f-ag(x)dF(x)+J8g(x)dF(x)一J8g(x)dF(x)||-8n-8anac(F(-a)+F(-a)+1-F(a)+1-F(a))c[|Fn(-a)-F(-a)|+2F(-a)+|1-F(a)-(1-F(a))|+2(1-F(a))]<£/2.(9)下面考虑|f?""⑴I?⑴|.由于g(x)在闭区间[-a,a]上一致连续，可以选——x<x<<x—maxx取ax0<x1<<七a,使得所有xi是F的连续点，且xi-1<x<xi|g(x)--g(xi)|<£/8.于是|Jag(x)dF(x)-Jag(x)dF(x)|尤f：g(x)dFn(x)-尤f：g(x)dF(x)-an-a|=i=1xi-1i=1xi-1|

<]Efxi|g(x)-g(x.)|dF(x)尤fx，|g(x)-g(x.)|dF(x)i=1x，T+i=1'Ii+i=1尤|g(x)|-1fxidF(x)一JxidFi+i=1TOC\o"1-5"\h\zxxIi-1i-1|<-]E{F(x)-F(x)+F(x)-F3)}+2见|F(x)-F(x)|8nini-1ii-1niii=1-(F(a)-F(-a)+F(a)-F(-a))+2c尤|F(x)-F(x)|Rnnnii8i=0.(10)2(£)时,|Fn(x,)-F(x,)l<就i=0,1,2，…,m.(11)由于Fn⑴-F2(£)时,|Fn(x,)-F(x,)l<就i=0,1,2，…,m.(11)(12)故(10)式不超过£/2.因此，当n>max(气(£),%(£))时，|卜g(x)dF(x)-「g(x)dF(x)-8街-8|<£定理证毕.(12)定理3(勤维(Levy)连续性定理(continuitytheorem))设F是一分布函数，｛Fn｝是一列分布函数.如果Fn—F，则相应的特征函数列｛fn⑴｝关于t在任何有限区间内一致收敛于F的特征函数f(t)对任何b>0,仅考虑|t|<b.令gt(x)eitX,xGR,注意到下列事实：sup|g(x)—g(y)|<|b|-1x—y||gt(x)|=1,|t|<btt,则该定理的证明完全类似于定理2,不再重复.由前面一章知道，特征函数与分布函数相互唯一确定.同样，勒维连续性定理的逆命题也成立.定理4(逆极限定理)设fn("是分布函数Fn(X)的特征函数,如果对每一个t,fn(t)…f(t)nn，I，n,且f(t)在t=0处连续，则f(t)一定是某个分布函数F的特征函数，且Fn—^F.本定理的证明比较繁复，从略.但定理的作用是很大的，它使得特征函数成为研究某些极限定理的重要工具.这里先举个例子来说明这个定理的应用.例1用特征函数法证明二项分布的泊松逼近定理.limnp=X证设&n服从二项分布B(n,pn)，且nr+8n.它的特征函数为

其中qn=1-Pn.当n—+8时，它的极限为limf(t)=lim(1+"'n")n=eMe泛1)n—+3nnr+3n，这正是泊松分布的特征函数.由逆极限定理，二项分布B(n,pn)依分布收敛于泊松分布P(入).二、性质除连续性定理外，分布函数弱收敛还有下列性质.性质1设｛%是一列分布函数，如果Fni^F,F是一连续的分布函数，则Fn(x)在R上一致收敛于F(x).证明留给读者.性质2设&是一随机变量，｛&n｝是一列随机变量，g(x)是R上的连续函数，如果&n-^6，则gGn)一g化).证假设&和&n的分布函数分别为F和Fn.如果^n&，即F~F，由定理2,。止)\+^eitg(x)dF(x)\+^eitg(x)dF(x)g(6n)的特征函数fn收敛于f,该极限正是g(6)的特征函数.再类似定理4,g化n)的分布函数弱收敛于g&)的分布函数，即g化n)~^g化).性质3设｛气｝和"n｝是两列常数，F是一分布函数，｛Fn｝是一列分布函数.如果气一a,bn一b,Fn―^F,则Fn("+气)-F(ax+b)，其中x使得ax+b是F的连续点.证设x使得ax+b是F的连续点.令6>0使得F在ax+b±£处连续(这是可能的，因为F的连续点在R上稠密).显然anx+bn一ax+b,故对充分大的n,ax+b-e<ax+b<ax+b+&.(13)因此F(ax+b-e)<F(ax+b)<F(ax+b+e).nnnnnF(ax+b-e)<limF(ax+b)<limF(ax+b)<F(ax+b+e).(13)让e一0，nT+8由于F在ax+b处连续，即可完成证明.让e一0，nT+8由于F在ax+b处连续，即可完成证明.推论如果&n「^&，则an6n+^n"^+这是因为"这是因为"Jnx一b)与F(a)，再应用性质3x-bn与"&+b的分布函数分别为Fn("n即可.三、中心极限定理设一次贝努里试验中成功的概率为p(0<p<1),令Sn表示n重贝努里试验中成功的次数，那么，概率P(Sn=k)=b(k;n,p).在实际问题中，人们常常对成功次数介于两整数a和B之间(a<B)的概率感兴趣，即要计算a<S<p)=£b(k;n,p)P(n«<k<p.(14)这一和式往往涉及很多项，直接计算相当困难.然而德莫佛和拉普拉斯发现，当n—8时可以用正态分布函数作为二项分布的渐近分布.定理5(德莫佛一拉普拉斯定理)设中(x)为标准正态分布的分布函数.对-8<x<8,有f<pIgL①(x),limns(15)其中q=1-p.注意到ESn=np,VarSn=npq,(15)式左边是Sn标准化后的分布函数的极限，因此这个定理表示二项分布的标准化变量依分布收敛于标准正态分布.简单地说成二项分布渐近正态分布.历史上人们是通过精确估计二项分布的值来说明该定理的.但从现代分析概率论的观点看，这个结果只是将要介绍的更一般的中心极限定理(见定理6)的特殊情形.因此，我们不再给出它的证明.定理的直接应用是：当n很大，p的大小适中时，(14)式可用正态分布近似计算：a-np<S-np右P-np|npqP(以<S<P)=p却-nP'IJnpqI、=中-①*<x：npq'次］"pq)(16)它的含义可用右图(图4-1)显示(为了直观，图中显示的是未标准化的随机变量)：作相邻小矩形，各小矩形的底边中心为k(aWkWB)，底边长为1，高度为b(k;n,p)，这些小矩形面积之和即为P(a<Sn<p).再作N(np,npq)的密度曲线，在［a,B］之间曲线覆盖的面积为(16)式右边之值.注1第二章讲过二项分布渐近于泊松分布的泊松定理，它与定理5是没有矛盾的.因为泊limnp=X松定理要求n*n是常数，而定理5中p是固定的.实际应用中，当n很大时，1。若p大小适中，用正态分布中(x)去逼近(15)式左边的概率，精度达到O(n-1/2)；2。如果p接近0(或1),且np较小(或较大)，则二项分布的图形偏斜度太大，用正态分布去逼近效果就不好.此时用泊松分布去估计精度会更高.注2实际计算中，若n不很大，把(16)式右边修正为靠+0.5-np'(17)一般可提高精度(从上图看，相当于计算密度曲线下［a,B+］之间的面积).例2设(17)一般可提高精度(从上图看，相当于计算密度曲线下［a,B+］之间的面积).例2设n=104,p=5x10-3,求P(，n-70).解尽管p很小，但np=50很大，此时用泊松逼近并不好，故用定理5.pS<70P(n)=PV亮IpS<70P(n)=PV例3抛掷一枚均匀硬币时需要抛掷多少次才能保证出现正面的频率在与之间的概率不小于90%?解令n为抛掷次数，Sn为出现正面的次数，Sn〜B(n,1/2).题意要求n,使Pn>利用定理5,上式左边等于(0.4n—n/2S—n/20.6n—n/2)<n<"<n/4v'n/4眼/4|'n-①*n=2①*n-1当n>69时，上式>.如果用第三章的切比雪夫不等式，则因E(Sn/n)=1/2,Var(S〃/n)=1/4n，取e=，则P<Sn,"<Sn/n,只当n>250时才满足要求.通过比较可以看出正态逼近比切比雪夫不等式要精确得多.德莫佛一拉普拉斯定理的意义远不限于这些数值计算.该定理及其推广形式实际上是概率论早期研究的中心问题.定义2设｛&n｝是一列随机变量.如果存在常数列Bn>0与An，使—才七—A鸟(18)Bnk=1knN(0,1),(18)L就称｛n｝满足中心极限定理(centrallimittheorem).定理6(林德贝格(Lindeberg)—勒维定理)设｛&n｝是一列独立同分布的随机变量.记Sn=k=1乎&k,E&1=a,Var&1=a2,则中心极限定理成立，即S-na我们用特征函数法.令f⑺与fn⑴分别为&1-a与W的特征函数，由于，&n独立同分布，故fn(^).另外，已知E&i=a,Var&1=。2,所以特征函数有二阶连续导数，并且由泰勒(Taylor)展开式得f⑴=f(0)+f'(0)X+jf70)12+。(］2)x—0.对给定的tGR,12[1\——+o2n从而fn(()T°T2/2,后者是标准正态分布的特征函数，由定理4即得定理6的结论.中心极限定理有着广泛的应用，在实际工作中，只要n足够大，便可以把独立同分布的随机变量和的标准化当作正态变量.下面再看两个例子.例4近似计算时，原始数据七四舍五入到小数第m位，这时舍入误差&k可以看作在［X10-m,X10-m］上均匀分布，而据此得n个七的和'七，按四舍五入所得的误差是多少呢？习惯上人们总是以各k误差上限的和来估计k的误差限，即XnX10-m.当n很大时，这个数自然很大.&..、一，-&&事实上，误差不太可能这么大因为广k｝独立同分布，E、k=0Var&k=b2=10-2m/12由，.，,.定理6,P(|E&产"而)。2”)-1.若取x=3,上述概率为.和的误差超过"n=0.5X%3X10-w的可能性仅为.显然，对较大的n，这一误差界限远小于习惯上的保守估计xnx10-m.*例5正态随机数的产生有各种方法.除第二章§5介绍的以外，下面这种方法也是常用的:设｛&k｝独立同分布，都服从［0,1］上的均匀分布，则E&k=,。二，财&k="己2，由中心-8k=1_:极限定理，n很大时,n=572近似服从标准正态分布，事实上取n=12就够了.于是取卜象-6k区间［0,1］上12个均匀随机数，则k=1即近似为标准正态随机数.定理6要求各&k同分布，这要求有时还是高了一点.更一般地，林德贝格证明了在各独立£(&-庞)&-庞£k,kk随机变量&k组成的和式I"Var^k中，只要各被加项\'£&无k依概率“均匀地小”，中心极限定理就仍然成立.即定理7(林德贝格一费勒(Lindeberg-Feller)定理)设｛'k｝为独立随机变量序列，则limmax&k181<k<n£vargk=1=0(费勒条件)与£(g-Eg)kkk=1―^^中(X)£vargVk'k=1成立的充要条件是林德贝格条件被满足：Vt>0,£j£■―-(x-Egk)2dFJx)特别地有定理8(李雅普诺夫(Lyapunov)定理)若对独立随机变量序列｛gk｝，存在常数8>0,使当n一8时有——1£E|g-Eg|2+8—»0(£varg)1+8/2k=1kkk

k=1,则中心极限定理成立.这些结果解释了正态随机变量在自然界中普遍存在的原因.(-kk)心土L………….g心一「曰0505_例6设gk是相互独立的随机变量序列，gk的分布列是*^.易知

E&=0Var&=k2EI&|3=k3XI&kk=1也就是说满足李雅普洛夫条件|3/(Xvar&)32=£k3/(Xk2)32一0.kk=1k=1k=1XI&kk=1也就是说满足李雅普洛夫条件所以*k＞满足中心极限定理.对数理统计学的许多分支，如参数（区间）估计、假设检验、抽样调查等，中心极限定理都有