大数定律与中心极限定理

1、大数定律与中心极限定理第五章5.1大数定律的概念5.2切贝谢夫不等式5.3切贝谢夫定理5.4中心极限定理例2 测量一个长度a,一次测量的结果不见得就等于a,量了若干次,其算术平均值仍不见得等于a,但当测量的次数很多时,算术平均值接近于a几乎是必然的. 例1 掷一颗均匀的正六面体的骰子,出现么点的概率是1/6,在掷的次数比较少时,出现么点的频率可能与1/6相差得很大.但是在掷的次数很多时,出现么点的频率接近1/6几乎是必然的.5.1大数定律的概念这两个例子说明： 在大量随机现象中,不仅看到了随机事件的频率具有稳定性,而且还看到大量测量值的平均结果也具有稳定性。这种稳定性就是本章所要讨论的大数定律

2、的客观背景。即无论个别随机现象的结果如何,或者它们在进行过程中的个别特征如何,大量随机现象的平均结果实际上与每一个别随机现象的特征无关,并且几乎不再是随机的了。 大数定律以确切的数学形式表达了这种规律性,并论证了它成立的条件,即从理论上阐述了这种大量的、在一定条件下的、重复的随机现象呈现的规律性即稳定性.由于大数定律的作用,大量随机因素的总体作用必然导致某种不依赖于个别随机事件的结果.5.2 切贝谢夫不等式5.2 切贝谢夫不等式 一个随机变量离差平方的数学期望就是它的方差,而方差又是用来描述随时机变量取值的分散程度的.下面研究随机变量的离差与方差之间的关系式.切比雪夫不等式切比雪夫不等式 (P

3、104) 若随机变量随机变量的期望和方差存在，则对任意0，有这就是著名的切比雪夫切比雪夫(Chebyshev)不等式。不等式。 它有以下等价的形式：2( )|( )|1.DPE 2( )|( )| (5.1)DPE ED ,0,设随机变量 有期望值及方差则任给有切贝谢夫不等式的证明: 2()1DPE 2()DPE证:如果是离散型的随机变量,那么()()kkxEPEPx把概率转化把概率转化为求和为求和把求和因把求和因子放大子放大把求和范把求和范围放大围放大22222()()kkkkkxEkxExEDPp例1设随机变量的数学期望E=，方差D=2则由切贝谢夫不等式有解：根据切贝谢夫不等式P-3 2(

4、 )|( )|;DPE222D1P-3 =(3 )99 1 P-3 9 所以1,2,实际计算P( -E)例2 设是掷一颗骰子所出现的点数,若给定 并验证切贝谢夫不等式成立.解:因为的概率函数是()1/6(1,2,6)PkkE=7/2 D=35/12P(-7/21)=2/3P(-7/22)=P(=1)+P(=6)=1/3=1: D/2=35/122/3=2: D/2=1/435/12=35/481/3可见,满足切贝谢夫不等式.2( )|( )|;DPE例3 设电站供电网有10000盏电灯,夜晚每一盏电灯开灯的概率都是0.7,而假定开关时间彼此独立,估计夜晚同时开着的灯数在6800与7200之间的

5、概率.解:令表示在夜晚同时开着的灯的数目,它服从参数n=10000,p=0.7的二项分布.若要准确计算,应该用贝努里公式:如果用切贝谢夫不等式估计:E=np=100000.7=7000 D=npq=2100P68007200P6800720022100=P-70002001-2000.957199kk10000 k10000k=6801=C0.70.3 可见,虽然有10000盏灯,但是只要有供应7200盏灯的电力就能够以相当大的概率保证够用.事实上,切贝谢夫不等式的估计只说明概率大于0.95,后面将具体求出这个概率约为0.99999,切贝谢夫不等式在理论上具有重大意义,但估计的精确度不高.已知

6、某种股票每股价格已知某种股票每股价格的平均值为的平均值为1 1元元，标准差为，标准差为0.10.1元，求元，求a,a,使股价超过使股价超过1+a1+a元或低于元或低于1-a1-a元的概率小于元的概率小于10%10%。解解:由切比由切比雪夫不等式雪夫不等式令令20.01|1|;Paa20.010.1a20.1a0.32a5.3大数定律 定义5.1 若存在常数a,使对于任何5.3大数定律0,lim()1nnPa有一、依概率收敛一、依概率收敛则称随机变量序列n依概率收敛于a设n为随机变量序列，为随机变量，若任给0, 使得则称n依概率收敛依概率收敛于于. 可记为可记为切比雪夫不等式切比雪夫不等式lim

7、 |1nnP.Pn 如如意思是意思是:当当a而而意思是意思是:时时,n落在落在内的概率越来越大内的概率越来越大.,当当pna nn (,)aa00,n nnaa00, n 0nn|nanannlimP-=1anlim=na1. 1.切比雪夫大数定律的特殊情况切比雪夫大数定律的特殊情况 设k, k=1,2,.为相互独立的随机变量序列，且具有相同的数学期望，及方差20，则即若任给0, 使得11nPnkkYn lim |1nnP Y这说明：这说明：在定理成立的条件下，n个随机变量的算术平均值，当n无限增加时，将几乎变成一个常数。证明证明:由切由切比雪夫不等式比雪夫不等式这里这里故故11()()nnk

8、kE YEn2211()()nnkkD YDnn2()|()|1.nnnD YP YE Y 22|1.nP Yn lim |1nnP Y lim |1nnP Y011nnkkYn定理5.1(切贝夫定理)设1,2是相互独立的随机变量序列,各有数学期望E1,E2及方差 D1,D2 并且对于所有k=1,2,都有Dk0,有随机变量的随机变量的算术平均值算术平均值随机变量期望随机变量期望的算术平均值的算术平均值nnkknk=1k=111limPE=1 (5.2)nn将比较密地聚集在它的数学期望的附近.它与数学期望之差,当时n,依概率收敛到0.这就是大数定律.切贝谢夫定理为这一定律作出了精确的数学公式.它

9、也称为切贝谢夫大数定律.切贝谢夫定理的一个推论通常称为贝努里大数定律.切贝谢夫定理说明:在定理的条件下,当n充分大时,n个独立随机变量的平均数这个随机变量的离散程度是很小的.这意味,经过算术平均后得到的随机变量nkk=11Ennkk=11np 定理5.2(贝努里大数定律)在独立试验序列中,当试验次数n无限增加时,事件A的频率/n(是n次试验中事件A发生的次数),依概率收敛于它的概率P(A).即对于任意给定的0,有nlimPp=1 (5.3)n即：即： 设进行设进行n次独立重复试验，每次试验中事件次独立重复试验，每次试验中事件A发生的概率为发生的概率为p，记，记fn为为n次试验中事件次试验中事件

10、A发生的频发生的频率，则率，则证明证明:设设第第i次试验事件次试验事件A发生发生第第i次试验事件次试验事件A不发生不发生则则由切由切比雪夫大数定理比雪夫大数定理10i( ), ( )(1)iiEpDppp1 niinfpn pnfpn 如果事件A的概率很小,则正如贝努里定理指出的,事件A的频率也是很小的,即事件A很少发生.例如P(A)=0.001,则在1000次试验中只能希望事件A发生一次.在实际中概率很小的随机事件在个别试验中几乎是不可能发生的.因此,人们常常忽略了那些概率很小的事件发生的可能性.这个原理叫作小概率事件的实际不可能性原理(简称小概率原理).它在国家经济建设事业中有着广泛的应用

11、.至于”小概率”小到什么程度才能看作实际上不可能发生,则要视具体问题的要求和性质而定.从小概率事件的实际不可能性原理容易得到下面的重要结论:如果随机事件的概率很接近1,则可以认为在个别试验中这事件几乎一定发生定理5.3 （辛钦大数定律辛钦大数定律） 如果1,2 是相互独立并且具有相同分布的随机变量.有E k= (k=1,2, ),有 11nPnkkYn 推论推论:若若i,i=1.2,.为独立为独立同分布同分布随机变量序列随机变量序列, E(1k)= , 则则111()nPkkiiEn nknk=11limP=1 (5.4)n是不完全相同的.这些结果可以看作是服从同一分布并且期望值为的n个相互独

12、立的随机变量1,2 n 的试验数值。由定理3可知,当n充分大时,取这一定理使算术平均值的法则有了理论依据.假使要测量某一个物理量,在不变的条件下重复测量n次,得到的观测值12n,x xx 作为的近似值,可以认为所发生的误差是很小的,即对于同一个随机变量进行n次独立观察,则所有观察结果的算术平均数依概率收敛于随机变量的期望值.11nPnkkYn 11nkkxn大数定律告诉我们两个结论大数定律告诉我们两个结论: 随机变量序列依概率收敛随机变量序列依概率收敛pna 11nPnkkYn nknk=11limP=1nnlimPp=1n1. 随机变量的算术平均值随机变量的算术平均值2. 随机事件的频率随机

13、事件的频率pnfpn nnkknk=1k=111limPE=1nnP1121、3、6、7、8、5.4中心极限定理 在客观实际中有许多随机变量,它们是由大量的相互独立的随机因素的综合影响所形成的。而其中每一个别因素在总的影响中所起的作用都是微小的。这种随机变量往往近似地服从正态分布，这种现象就是中心极限定理的客观背景。 正态分布在随机变量的各种分布中,占有特别重要的地位.在某些条件下,即使原来并不服从正态分布的一些独立的随机变量,它们的和的分布,当随机变量的个数无限增加时,也是趋于正态分布的. 在概率论里,把研究在什么条件下,大量独立随机变量和的分布以正态分布为极限这一类定理称为中心极限定理.一

14、一.依分布收敛依分布收敛 设设 n n 为随机变量序列，为随机变量序列， 为随机变量，其对应为随机变量，其对应的分布函数分别为的分布函数分别为F Fn n( (x), F(), F(x). ). 若在若在F(F(x) )的连续点，的连续点，有有则称则称n依分布收敛依分布收敛于于. 可记为可记为lim( )( ),nnF xF x.wn 1*,(0,1), .nnknkwnnYYYN 现令若 的标准化随机变量则称满足中心极限定理 一般说来,如果某些偶然因素对总和的影响是均匀的,微小的,即没有一项起特别突出的作用,那么就可以断定描述这些大量独立的随机因素的总和的随机变量是近似的服从正态分布. 这是

15、数理统计中大样本的理论基础,用数学形式来表达就是李雅普诺夫定理.二二.几个常用的中心极限定理几个常用的中心极限定理1.1.定理定理5.4 5.4 （李雅普诺夫（李雅普诺夫Liapunov定理）定理） 设1,2是相互独立的随机变量,有期望及方差2kkkkE=a D=0 k=1,2,2nnkkk=1k=120nn2kk=1a1limP=( )2txxedtx二二. .几个常用的中心极限定理几个常用的中心极限定理（5. 5） 这个定理的实际意义是:如果一个随机现象由众多的随机因素所引起,每一因素在总的变化里起着不显著的作用,就可以推断,描述这个随机现象的随机变量近似的服从正态分布.由于这些情况很普遍

16、,所以有相当多一类随机变量遵从正态分布,从而正态分布成为概率统计中最重要的分布.这个定理对离散的和连续的随机变量都适用2.独立同分布独立同分布中心极限定理中心极限定理(Levy-Lindeberg) 设设n为独立为独立同分布同分布随机变量序列，若随机变量序列，若Ek= ，Dk= 2 ，k=1, 2, , 则则n满足满足中心极限中心极限定理。定理。根据上述定理，当根据上述定理，当n充分大时充分大时01()niixnpxn 在一般情况下在一般情况下,很难求出很难求出n个随机变量之和个随机变量之和1nnkkY的分布函数，根据中心极限定理，当的分布函数，根据中心极限定理，当n充分大时，充分大时，可以通

17、过正态分布给出其近似的分布。可以通过正态分布给出其近似的分布。例例1.1.将一颗骰子连掷将一颗骰子连掷100100次，则点数之和不少于次，则点数之和不少于500500的概率是多少？的概率是多少？解解:设设 k为第为第k 次掷出的点数次掷出的点数,k=1,2,100,则则1,100独立同分布独立同分布.由中心极限定理由中心极限定理62111714935( ), ( )26412iEDk01(8.78)0 100100101777100500 100500 1002225001353535101010121212iiiiPP 标准化变换标准化变换设随机变量设随机变量n(n=1, 2, .)服从参数

18、为服从参数为n, p(0p1)的二的二项分布，则项分布，则3.德莫佛-拉普拉斯中心极限定理(De Moivre-Laplace)证明证明:设设第第i次试验事件次试验事件A发生发生第第i次试验事件次试验事件A不发生不发生则则由中心极限定理由中心极限定理,结论得证结论得证(0,1).wnnpNnpq 10iX1(), ()(1), niiniiE XpD XppX4. 4.定理定理5.55.5（拉普拉斯定理）（拉普拉斯定理）（1 1）局部极限定理：当）局部极限定理：当n n时时2(k-np)2npq011knpP =k= 5.6npq2npqnpqe（）（2）积分极限定理：当）积分极限定理：当n时

19、时 P abba 00bbpabp= 5.7npqnpq（）B(n p)，解 设一盒重量为,盒中第i个螺丝钉的重量为 i(i=1, 100) . 1, 100相互独立,例1.一个螺丝钉重量是一个随机变量,期望值是1两,标准差是0.1两.求一盒(100个)同型号螺丝钉的重量超过10.2斤的概率.根据中心极限定理,有iii= E =E=100 E=100, D =11001且iiii=E=1, D=0.1, 1001则有 01-(2)=1-0.977250=0.022750-100P102=P2 =1-P -10021解 令第i次轰炸命中目标的次数为i,100次轰炸命中目标次数例2 对敌人的防御地

20、段进行100次轰炸,每次轰炸命中目标的炸弹数目是一个随机变量,其期望值为2,方差为1.69.求100次轰炸中有180颗到220颗炸弹命中目标的概率.02(1.54) 1=0.87644 P180220=P2002020020=P1313w2 N(200,13 ) 根据中心极限定理100100iii=1i=1 E =E=E=100 2=200100ii=1=100100iii=1i=1D =D= D =100 1.69169(1)直接计算:(2)的计算结果与(1)的相差较大,这是由于n不够大.一般要求n至少为50,有时也放宽到n30使用.例3 10部机器独立工作,每部停机的概率为0.2.求3部机

21、器同时停机的概率解 10部机器中同时停机的数目B(10, 0.2)33710P =3=C0.20.80.2013(2)若用局部极限定理近似计算:01=0.79 =0.23081.265001knp132P =3=1.2651.265npqnpq解例4 用拉普拉斯积分极限定理计算:设电站供电网有10000盏电灯,夜晚每一盏电灯开灯的概率都是0.7,而假定开关时间彼此独立,估计夜晚同时开着的灯数在6800与7200之间的概率.B(10000, 0.7) np=7000 npq=45.83P680072000-7000200P=2(4.36)-145.8345.83=P-7000200=0.999 99解 10000件产品中的废品数服从二项分布,正态分布和普哇松分布虽然都是二项分布的极限分布,但普哇松分布以n,同时p0,np为条件,而正态分布则只要求n这一条件.一般说来,对于n很大,p(或q)很小的二项分布(np5)用正态分布来近似计算不如用普哇松分布计算精确.例5 产品为废品的概率为P=0.005,求10000件产