概率论与数理统计：5大数定律与中心极限定理

1、第五章第五章大数定律与中心极限定理大数定律与中心极限定理 概率论是研究随机现象统计规律性的学科概率论是研究随机现象统计规律性的学科. 随机现象的规律性只有在相同的条件下进行随机现象的规律性只有在相同的条件下进行大量大量重复试验重复试验时才会呈现出来时才会呈现出来. 也就是说，要从随机也就是说，要从随机现象中去寻求必然的法则，应该研究大量随机现现象中去寻求必然的法则，应该研究大量随机现象象.研究大量的随机现象，常常研究大量的随机现象，常常采用极限形式采用极限形式，由，由此导致对极限定理进行研究此导致对极限定理进行研究. 极限定理的内容很极限定理的内容很广泛，其中最重要的有两种广泛，其中最重要的有

2、两种:与与大数定律大数定律中心极限定理中心极限定理下面我们先介绍大数定律下面我们先介绍大数定律 大量的随机现象中平均结果的稳定性大量的随机现象中平均结果的稳定性 大数定律的客观背景大数定律的客观背景大量抛掷硬币大量抛掷硬币正面出现频率正面出现频率字母使用频率字母使用频率生产过程中的生产过程中的废品率废品率一、大数定律一、大数定律主要：(1) 频率稳定性(2) 大量测量结果算术平均值的稳定性。 引例：设引例：设Sn是是n重贝努里试验中事件重贝努里试验中事件A发生的次数，发生的次数， p是事件是事件A发生的概率，发生的概率，否则，发生次试验如第，01AiXi引入引入i=1,2,n则则 ,1niin

3、XSniinXnnS11是事件是事件A发生的频率发生的频率?pp？怎样收敛于何时收敛于考虑nSnniinniiiXnnSpXEnpXE11,1,)(1,)(？何时怎样收敛于问题等价于：niiniiXEnXn11)(11 PYYn定义定义2 2 设Xn为一随机变量序列,E(Xn)存在，记 , 2 , 111 nXEXnYniiin , 11limlim1 niiinnnXEXnPYP若若则称Xn服从（弱）大数定律。大数定律。 YYPn 1lim YYPnn定义定义1 1 设Y1，Y2，Yn，是一随机变量序列，若对任意正数，有 ,则称序列Y1，Y2，Yn，依概率收敛于Y Y，记为 定义定义4 4

4、设Xn为一随机变量序列,E(Xn)存在，记 , 2 , 111 nXEXnYniiin, 101lim0lim1niiinnnXEXnPYP若则称Xn服从（强）大数定律。大数定律。 YYean.YYsan.1)lim(YYPnn定义定义3 3 设Y1，Y2，Yn，是一随机变量序列，若有 ,则称序列Y1，Y2，Yn，以概率1收敛于Y，或称几乎处处收敛于Y，记为 定理定理1（切比雪夫大数定律切比雪夫大数定律）niniiinXEnXnP111| )(11|lim 设设 X1,X2, 是两两不相关的随机变量序列，它们都有有限是两两不相关的随机变量序列，它们都有有限的方差，并且方差有共同的上界，即的方差

5、，并且方差有共同的上界，即 D(Xi) K，i=1,2, ，则对任意的则对任意的0，切比雪夫大数定律给出了平均值稳定性的科学描述切比雪夫大数定律给出了平均值稳定性的科学描述切比雪夫大数定律表明，两两不相关随机变量序列切比雪夫大数定律表明，两两不相关随机变量序列Xn，如果方差有共同的上界，则如果方差有共同的上界，则niiXn11与其数学期望与其数学期望niiXEn1)(1 偏差很小的偏差很小的概率接近于概率接近于1. ,1)(111)(212121nKnKnXDnXDnXnDYDniiniiniin由切比雪夫不等式对于任意正数，有 21/1)(1nKXEXnPYPniiin令n，注意到概率不能大

6、于1，即得 .1)(1limlim1niiinnnEXXnPYP,11niiinXEXnY证：令, 0)(nYE这个结果1866年由俄国数学家切比雪夫证得。它是关于大数定律的一个相当普遍的结论，许多大数定律的古典结果是它的特例。此外，其证明方法（先构造一个不等式）也很有创造性，在此基础上发展起来的一系列不等式是研究各种极限定理的有力工具。Pafnuty Lvovich Chebychef (1821-1894) 111lim11 niniiinXEnXnP 注注 因此更一般的定理有马尔可夫大数定理：对于随机变量X1，X2，,Xn，若条件()成立，则对于任意0，有 0)(1lim12niinXD

7、n 在切比雪夫大数定理的证明过程中可以看出只要 ()， 则大数定理就能成立。这个条件称为马尔可夫条件。作为切比雪夫大数定律的特殊情况，有下面定理作为切比雪夫大数定律的特殊情况，有下面定理.1|1|lim1 niinXnP定理定理2（切比雪夫大数定律的特殊情况（切比雪夫大数定律的特殊情况） 设设X1,X2, 是独立随机变量是独立随机变量序列，且序列，且E(Xi)= ，D(Xi)= ， i=1,2,则对任给则对任给 0,2 设设Sn是是n重贝努里试验中事件重贝努里试验中事件A发生的发生的 次数，次数，p是是事件事件A发生的概率，则对任给的发生的概率，则对任给的 0，定理定理3（贝努里大数定律贝努里

8、大数定律）1|lim pnSPnn或或0|lim pnSPnn 贝努里大数定律表明，当重复试验次数贝努里大数定律表明，当重复试验次数n充分充分大时，事件大时，事件A发生的频率发生的频率Sn/n与事件与事件A的概率的概率p有较有较大偏差的概率很小大偏差的概率很小. 贝努里大数定律提供了通过试验来确定事贝努里大数定律提供了通过试验来确定事件概率的方法件概率的方法. 证：引入随机变量 , 2 , 1,01 kAkAkXk不不发发生生次次实实验验中中在在第第发发生生次次实实验验中中在在第第 由于各次试验是独立的。于是X1，X2，,Xn是相互独立的；又由于Xk k服从(0-1)分布，所以E(Xk k)=

9、p，D(Xk k)=p(1-p)，k=1，2，n，。 显然: Sn=X1+X2+Xn，11lim1 niinpXnP1limpnSPnn即由定理2有 历史上，历史上，J. Bernoulli第第一个研究了大数定律，一个研究了大数定律，在其在其1718年发表的论文年发表的论文中中(这是概率论的第一这是概率论的第一篇论文），他建立了本篇论文），他建立了本定理，这是全部定理，这是全部大数定大数定律中的第一个律中的第一个。Jacob Bernoulli (1654-1705) 下面给出的下面给出的独立同分布独立同分布下的大数定律，下的大数定律，不要求随机变量的方差存在不要求随机变量的方差存在. 设随机

10、变量序列设随机变量序列X1,X2, 独立同分布，独立同分布，具有有限的数学期望具有有限的数学期望E(Xi)=, i=1,2,， 则对任给则对任给 0 ，定理定理4（辛钦大数定律辛钦大数定律）1|1|lim1 niinXnP辛钦大数不要求随机变量的方差存在辛钦大数不要求随机变量的方差存在.它为寻找它为寻找随机变量的期望值提供了一条实际可行的途径随机变量的期望值提供了一条实际可行的途径.Xinchin(1894-1959) 二、二、中心极限定理定理背景定理背景例如：炮弹射击的落点与目标的例如：炮弹射击的落点与目标的偏差，就受着许多随机因素的影偏差，就受着许多随机因素的影响响.如空气阻力所产生的误差

11、，瞄如空气阻力所产生的误差，瞄准时的误差，炮弹或炮身结构所准时的误差，炮弹或炮身结构所引起的误差等等引起的误差等等.如果一个量是由大量相互独立的随机因素的影响所如果一个量是由大量相互独立的随机因素的影响所造成，而每个因素所起的作用不大造成，而每个因素所起的作用不大. 则这种量一般则这种量一般都服从或近似服从正态分布都服从或近似服从正态分布.高斯高斯指出误差服从指出误差服从正态分布正态分布.中心极限定理中心极限定理是研究独立随机变量之和的极限分布的定理是研究独立随机变量之和的极限分布的定理注意：由于无穷个随机变量之和可能趋于注意：由于无穷个随机变量之和可能趋于，故我，故我们不研究们不研究n个随机

12、变量之和本身而考虑它的标准化个随机变量之和本身而考虑它的标准化的随机变量的随机变量nkknknkkknXDXEXZ111)()(的分布函数的极限的分布函数的极限.可证明，满足一定的条件上述极限分布是可证明，满足一定的条件上述极限分布是标准正态分标准正态分布布。 这就是下面要介这就是下面要介绍的绍的 中心极限定理中心极限定理定义定义6 6 设Xn为一随机变量序列,E(Xn) ,DE(Xn) ,D(Xn)存在，记 定义定义5 5 设随机变量序列Xn和X的分布函数分别为Fn(x)，F(x)， n=1,2, . 若对F(x)的一切连续点x，有： ，则称Xn依分布收敛到X。 xFxFnn )(limnk

13、knkknkknXDXEXZ111)lim,xZPRxnn即若Zn依分布收敛到N(0,1)dtetx2/221lim111xXDXEXPnkknkknkkn则称Xn服从中心极限定理。 )()(,xFxFXXWXXWnWnn记为lim1xnnXPniin定理定理1（独立同分布下的中心极限定理独立同分布下的中心极限定理/ LevyLindberg ）x-2t -dte212 表明，当表明，当n充分大时，充分大时，n个具有期望和方差的独立同分布的个具有期望和方差的独立同分布的r.v之和近似服从正态分布之和近似服从正态分布. 一般，很难求出一般，很难求出X1+X2+ +Xn 的分的分布确切形式，但当布

14、确切形式，但当n很大时，可以求出近似分布很大时，可以求出近似分布.设设X1,X2, 是独立同分布的随机变量序列，且是独立同分布的随机变量序列，且E(Xi)= ，D(Xi)= ，i=1,2,，则，则2 下面的棣莫佛拉普拉斯定理下面的棣莫佛拉普拉斯定理（二项分布的正态近似）是上述（二项分布的正态近似）是上述定理的特殊情况定理的特殊情况.定理定理2( (棣莫佛拉普拉斯定理）棣莫佛拉普拉斯定理）)1 (limxpnpnpYPnn设随机变量设随机变量 服从参数服从参数n, p( (0p1) )的二项分布，则对任的二项分布，则对任意意x，有，有nYdtext2221 定理表明，当定理表明，当n很大，很大，

15、0p1920)由于由于E(Y)=1600,D(Y)=160000由中心极限定理由中心极限定理,近似近似N(0,1)4001600YP(Y1920)=1-P(Y 1920)40016001920( 1- =1- (0.8)=1-0.7881=0.2119用用X表示在某时刻工作着的车床数，表示在某时刻工作着的车床数，解：对每台车床的观察作为一次试验，解：对每台车床的观察作为一次试验，每次试验观察该台车床每次试验观察该台车床在某时刻是否工作，在某时刻是否工作， 工作的概率为工作的概率为0.6，共进行，共进行200次试验次试验.依题意，依题意，XB(200,0.6),现在的问题是：现在的问题是：求满足

16、求满足P(XN)0.999的最小的的最小的N.设需设需N千瓦电力，千瓦电力，（由于每台车床在开工时需电力（由于每台车床在开工时需电力1千瓦，千瓦，N台工作所台工作所需电力即需电力即N千瓦千瓦.）例例2. (供电问题供电问题)某车间有某车间有200台车床台车床,在生产期间由于需要检修、在生产期间由于需要检修、调换刀具、变换位置及调换工件等常需停车调换刀具、变换位置及调换工件等常需停车. 设开工率为设开工率为0.6, 并设每台车床的工作是独立的，且在开工时需电力并设每台车床的工作是独立的，且在开工时需电力1千瓦千瓦.问应供应多少千瓦电力就能以问应供应多少千瓦电力就能以99.9%的概率保证该车间不会

17、的概率保证该车间不会因供电不足而影响生产因供电不足而影响生产? 由德莫佛由德莫佛-拉普拉斯极限定理拉普拉斯极限定理)1 (pnpnpX近似近似N(0,1),于是于是 P(XN)= P(0XN)XB(200,0.6), np=120, np(1-p)=48)48120()48120(N由由3准则，准则，此项为此项为0。)48120N(由由 0.999，)48120(N查正态分布函数表得查正态分布函数表得999. 0) 1 . 3(48120N 3.1,故故从中解得从中解得N141.5,即所求即所求N=142. 也就是说也就是说, 应供应应供应142 千瓦电力就能以千瓦电力就能以99.9%的概率的

18、概率保证该车间不会因供电不足而影响生产保证该车间不会因供电不足而影响生产. 定理定理3 3(Lindberg中心极限定理）中心极限定理） 设随机变量X1，X2，,Xn，相互独立，它们具有数学期望和方差, E(Xk)=k ， D(Xk)=k20 (k=1，2，),记 nkknB122 （选讲）（选讲）若Xk概率密度为fk(x)，使得0)()(1lim1|22nkBXkknnnkkdxxfxB则随机变量则随机变量 nnkknkknkknkknkknBXXDXEXZ 11111 的分布函数Fn(x)对任意x，满足 dtexBXPxFtxnnkknkknnn2/11221limlim , 0注释：(1)定理3表明，在定理的条件下，随机变量, nnkknkknBXZ 11 2111,nnkknkknnnkkBNZBX 近似地服从正态分布.当n很大时，近似地服从正态分布 N(0，1)。由此，当n很大时，(2)同时定理也提供了大量独立随