概率论及数理统计大数定律与中心极限定理

1、第五章第五章极极 限限 定定 理理 初初 步步 概率论与数理统计是研究随机现象统计概率论与数理统计是研究随机现象统计规律性的学科规律性的学科. 随机现象的规律性只有在相随机现象的规律性只有在相同的条件下进行大量重复试验时才会呈现出同的条件下进行大量重复试验时才会呈现出来来. 也就是说，要从随机现象中去寻求必然也就是说，要从随机现象中去寻求必然的法则，应该研究大量随机现象的法则，应该研究大量随机现象. 研究大量的随机现象，常常采用极限研究大量的随机现象，常常采用极限形式，由此导致对极限定理进行研究形式，由此导致对极限定理进行研究. 极极限定理的内容很广泛，其中最重要的有两限定理的内容很广泛，其中

2、最重要的有两种种:与与大数定律大数定律中心极限定理中心极限定理下面我们先介绍大数定律下面我们先介绍大数定律大大 数数 定定 律律第一节第一节 大量的随机现象中平均结果的稳定性大量的随机现象中平均结果的稳定性 大数定律的客观背景大数定律的客观背景大量抛掷硬币大量抛掷硬币正面出现频率正面出现频率字母使用频率字母使用频率生产过程中的生产过程中的废品率废品率1|1|lim1 niinxnp 设设x1,x2, 是独立同分布的随机变量是独立同分布的随机变量序列，且序列，且e(xi)= ，d(xi)= ， i=1,2,其中方差有共同的上界，则对任给其中方差有共同的上界，则对任给 0,2 作为切比雪夫大数定律

3、的作为切比雪夫大数定律的特殊情况，有下面的定理特殊情况，有下面的定理.定理（独立同分布下的大数定律）定理（独立同分布下的大数定律） 切比雪夫切比雪夫设设 x xn n 为随机变量序列，为随机变量序列，x x为随机变量，若为随机变量，若任给任给 0, 0, 使得使得1)|(|limxxpnn则称则称 x xn n 依概率收敛于依概率收敛于x. x. 可记为可记为.xxpn依概率收敛依概率收敛aaanxaxpn如如意思是意思是:当当n时时,xn落在落在),(aa内的概率越来越大内的概率越来越大.00,nnnaxn而而意思是意思是:0, 0n|axn,当当0nn 证明证明:由切由切比雪夫不等式比雪夫

4、不等式.)(1)| )(|2nnnydyeyp这里这里nkknxenye1)(1)(nxdnydnkkn212)(1)().(1)|(|222是有界的nypn故故1)|(|limnnyp则nkknxny11 切比雪夫大数定律表明，独立随机变切比雪夫大数定律表明，独立随机变量序列量序列xn，如果方差有共同的上界，则，如果方差有共同的上界，则niixn11与其数学期望与其数学期望niixen1)(1 偏差很小的偏差很小的 概率接近于概率接近于1. niixn11随机的了，取值接近于其数学期望的概率接随机的了，取值接近于其数学期望的概率接近于近于1.即当即当n充分大时，充分大时，差不多不再是差不多不

5、再是切比雪夫大数定律给出了平均值稳定性的科学描述切比雪夫大数定律给出了平均值稳定性的科学描述 下面给出的贝努里大数定律，下面给出的贝努里大数定律，是上述定理的一种特例是上述定理的一种特例.贝努里贝努里 设设sn是是n重贝努里试验中事件重贝努里试验中事件a发发生的次数，生的次数，p是事件是事件a发生的概率，发生的概率，否则，发生次试验如第，01aixi引入引入i=1,2,n则则 niinxs1niinxnns11是事件是事件a发生的频率发生的频率 于是有下面的定理：于是有下面的定理： 设设sn是是n重贝努里试验中事件重贝努里试验中事件a发生的发生的 次数，次数，p是事件是事件a发生的概率，则对任

6、给的发生的概率，则对任给的 0，定理定理5.1.1（贝努里大数定律）（贝努里大数定律）1)|(|limpnspnn或或0)|(|limpnspnn贝努里贝努里 贝努里大数定律提供了通过试验来确贝努里大数定律提供了通过试验来确定事件概率的方法定事件概率的方法.0)|(|limpnspnn任给任给0， 贝努利大数定律表明：当重复试验次数贝努利大数定律表明：当重复试验次数n充分大时，事件充分大时，事件a发生的频率发生的频率sn/n几乎等于几乎等于事件事件a的概率的概率p。因此可用事件发生的频率。因此可用事件发生的频率作为相应概率的估计。作为相应概率的估计。蒲丰投针问题中解法的蒲丰投针问题中解法的理论

7、依据就是大数定律理论依据就是大数定律 当投针次数当投针次数n很大时，用针与线相交的很大时，用针与线相交的频率频率m/n近似针与线相交的近似针与线相交的概率概率p，从而求得，从而求得的的近似值近似值.针长针长l线距线距aamln2 下面给出的独立同分布下的大数定下面给出的独立同分布下的大数定律，不要求随机变量的方差存在律，不要求随机变量的方差存在. 设随机变量序列设随机变量序列x1,x2, 独立同分独立同分布，具有有限的数学期望布，具有有限的数学期望e(xi)=, i=1,2,， 则对任给则对任给 0 ，定理定理5.1.2（辛钦大数定律）（辛钦大数定律）1)|1(|lim1niinxnp辛钦辛钦

8、 辛钦大数定律为寻找随机变量的期辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径望值提供了一条实际可行的途径.辛钦大数定律表明：当辛钦大数定律表明：当n无限增大时，无限增大时，n个个独立同分布的随机变量算术平均值独立同分布的随机变量算术平均值)(121nxxxnx几乎等于常数几乎等于常数因此可用算术平均值作为因此可用算术平均值作为的估计的估计1)|1(|lim1niinxnp 例如要估计某地区的平均亩产量，只例如要估计某地区的平均亩产量，只要收割某些有代表性的地块，例如要收割某些有代表性的地块，例如n 块块. 计算其平均亩产量，则当计算其平均亩产量，则当n 较大时，可用较大时，可用它

9、作为整个地区平均亩产量的一个估计它作为整个地区平均亩产量的一个估计. 大数定律以严格的数学形式表达了随大数定律以严格的数学形式表达了随机现象最根本的性质之一：机现象最根本的性质之一：它是随机现象统计规律的具体表现它是随机现象统计规律的具体表现.大数定律在理论和实际中都有广泛的应用大数定律在理论和实际中都有广泛的应用.平均结果的稳定性平均结果的稳定性第第 二二 节节中中 心心 极极 限限 定定 理理 中心极限定理的客观背景中心极限定理的客观背景 在实际问题中，常常需要考虑许多随机在实际问题中，常常需要考虑许多随机因素所产生总影响因素所产生总影响.例如：炮弹射击的落点与目标的偏差，就受例如：炮弹射

10、击的落点与目标的偏差，就受着许多随机因素的影响着许多随机因素的影响. 空气阻力所产生的误差，空气阻力所产生的误差，对我们来说重要的是这些对我们来说重要的是这些随机因素的总影响随机因素的总影响.如瞄准时的误差，如瞄准时的误差，炮弹或炮身结构所引起的误差等等炮弹或炮身结构所引起的误差等等. 观察表明，如果一个量是由大量相互独观察表明，如果一个量是由大量相互独立的随机因素的影响所造成，而每一个别因立的随机因素的影响所造成，而每一个别因素在总影响中所起的作用不大素在总影响中所起的作用不大. 则这种量一则这种量一般都服从或近似服从正态分布般都服从或近似服从正态分布. 自从高斯指出测量误差服从正自从高斯指

11、出测量误差服从正态分布之后，人们发现，正态分布态分布之后，人们发现，正态分布在自然界中极为常见在自然界中极为常见. 现在我们就来研究独立随机变量之和所现在我们就来研究独立随机变量之和所特有的规律性问题特有的规律性问题. 当当n无限增大时，这个和的极限分布是无限增大时，这个和的极限分布是什么呢？什么呢？在什么条件下极限分布会是正态的呢？在什么条件下极限分布会是正态的呢？ 由于无穷个随机变量之和可能趋于由于无穷个随机变量之和可能趋于，故我们不研究故我们不研究n个随机变量之和本身而考虑个随机变量之和本身而考虑它的标准化的随机变量它的标准化的随机变量nkknknkkknxdxexy111)()(的分布

12、函数的极限的分布函数的极限.可见可见n越大越接近正态分布。越大越接近正态分布。例例:20个个0-1分布的和的分布密度分布的和的分布密度x1 f(x)x1 +x2g(x)x1 +x2+x3 h(x)几个几个(0,1)上均匀分布的和的分布密度上均匀分布的和的分布密度0123xfgh 在概率论中，习惯于把和的分布在概率论中，习惯于把和的分布收敛于正态分布这一类定理都叫做收敛于正态分布这一类定理都叫做中心中心极限定理极限定理.我们只讨论几种简单情形我们只讨论几种简单情形. 下面给出的独立同分布随机变量序列下面给出的独立同分布随机变量序列的中心极限定理，也称的中心极限定理，也称列维一林德伯格列维一林德伯

13、格（levylindberg）定理）定理.xniinxnnxp-2t -1dte21)(lim2定理定理5.2.1（独立同分布下的中心极限定理）（独立同分布下的中心极限定理） 它表明，当它表明，当n充分大时，充分大时，n个具有期望和方差个具有期望和方差的独立同分布的的独立同分布的r.v之和近似服从正态分布之和近似服从正态分布.设设x1,x2, 是独立同分布的随机是独立同分布的随机变量序列，且变量序列，且e(xi)= ，d(xi)= ，i=1,2,，则，则2 1niinxnynn(0,1)()()(1nnannbbxapnii时，nnkknknkkknxdxexy111)()(例例1 根据以往经

14、验，某种电器元件的寿命服从均根据以往经验，某种电器元件的寿命服从均值为值为100小时的指数分布小时的指数分布. 现随机地取现随机地取16只，设只，设它们的寿命是相互独立的它们的寿命是相互独立的. 求这求这16只元件的寿命只元件的寿命的总和大于的总和大于1920小时的概率小时的概率.由题给条件知，诸由题给条件知，诸xi独立，独立，16只元件的寿命的总和为只元件的寿命的总和为161kkxy分析分析: 设第设第i只元件的寿命为只元件的寿命为xi , i=1,2, ,16e(xi)=100, d(xi)=10000依题意，所求为依题意，所求为p(y1920)由题给条件知由题给条件知,诸诸xi独立独立,

15、16只元件的寿命的总和为只元件的寿命的总和为161kkxy解解: 设第设第i只元件的寿命为只元件的寿命为xi , i=1,2, ,16e(xi)=100,d(xi)=10000依题意，所求为依题意，所求为p(y1920)由于由于e(y)=1600,d(y)=160000由中心极限定理由中心极限定理,近似近似n(0,1)4001600y =1-(0.8) =1-0.7881=0.2119)40016001920( =1-p(y1920)=1-p(y1920) 虽然在一般情况下，我们很难求出虽然在一般情况下，我们很难求出x1+x2+ +xn 的分布的确切形式，但当的分布的确切形式，但当n很大时，可

16、以求出近似分布很大时，可以求出近似分布. 德莫佛拉普拉斯定理德莫佛拉普拉斯定理（二项分布的（二项分布的正态近似）是上述定理的特殊正态近似）是上述定理的特殊 情况情况.定理定理5.2.2( (德莫佛拉普拉斯定理）德莫佛拉普拉斯定理）dtexpnpnpzpxtnn2221)1 (lim 设随机变量设随机变量 服从参数服从参数n, p( (0p1) )的的二项分布，则对任意二项分布，则对任意x，有，有nz 定理表明，当定理表明，当n很大，很大，0p0,nkknxnp11| 1 . 01|lim (2) 至少应取球多少次才能使至少应取球多少次才能使“0”出现的频出现的频率在率在0.09-0.11之间的

17、概率至少是之间的概率至少是0.95?解：设应取球解：设应取球n次，次，0出现频率为出现频率为nkkxn11, 1 . 0)1(1nkkxnenxndnkk09. 0)1(1由中心极限定理由中心极限定理近似近似n(0,1)nnxnkk3 . 01 . 01nxnnkk3 . 01 . 011xkp0 10.9 0.1)11. 0109. 0(1nkkxnp)01. 0| 1 . 01(|1nkkxnp)30|3 . 01 . 01(|1nnxnpnkk1)30(2n nxnnkk3 . 01 . 011近似近似n(0,1)95. 01)30(2n 欲使欲使975. 0)30(n 即即96. 13

18、0n查表得查表得从中解得从中解得3458n即至少应取球即至少应取球3458次次才能使才能使“0”出现的频出现的频率在率在0.09-0.11之间的之间的概率至少是概率至少是0.95.若用切比雪夫不等式估计呢？若用切比雪夫不等式估计呢？)01. 0| 1 . 01(|1nkkxnp21)01. 0()1(1nkkxnd2)01. 0(09. 01n95. 0/9001 n则18000 n得即至少应取球即至少应取球18000次才能使次才能使“0”出现的出现的频率在频率在0.09-0.11之间之间的概率至少是的概率至少是0.95.n/9001(3) 用中心极限定理计算在用中心极限定理计算在100次抽取

19、中次抽取中,数码数码“0”出现次数在出现次数在7和和13之间的概率之间的概率.解：在解：在100次抽取中次抽取中, 数码数码“0”出现次数为出现次数为1001kkx由中心极限定理由中心极限定理,100110011001)()(kkkkkkxdxex近似近似n(0,1)3101001kkx即即近似近似n(0,1)e(xk)=0.1, d(xk)=0.09即在即在100次抽取中，数码次抽取中，数码“0”出现次数在出现次数在7和和13之间的概率为之间的概率为0.6826.1001)137(kkxp=0.68263101001kkx近似近似n(0,1) 13101(1001kkxp) 1() 1 (1

20、) 1 (2不知大家是否还记得街头赌博的演示不知大家是否还记得街头赌博的演示? 现在我们用现在我们用中心极限定理中心极限定理来揭穿这个来揭穿这个赌博中的奥秘赌博中的奥秘. .街头赌博街头赌博再看演示请点击再看演示请点击如图如图, ,钉板有钉板有n=1616层，可以层，可以求出标准差求出标准差 ,416 n次碰钉后小球的位置次碰钉后小球的位置yn近似服从正态分布近似服从正态分布n(0,n). e(yn)=0, d(yn)=n .根据正态分布的查表计算根据正态分布的查表计算知道知道, ,落在落在2 以内即中线以内即中线左右左右8颗钉子以内的概率近似为颗钉子以内的概率近似为95.6%, ,说说, ,

21、落在这以外的概率只有落在这以外的概率只有4%左右左右. . 即是即是如图钉板有如图钉板有n=1616层，可以层，可以求出标准差求出标准差 ,416 根据正态分布的查表计算根据正态分布的查表计算知道知道, ,落在落在2 以内即中线以内即中线左右左右8颗钉子以内的概率颗钉子以内的概率近似为近似为95.6%, ,即是说即是说, ,落落在这以外的概率只有在这以外的概率只有4%4%左左右右. .现在你知道为什么摆摊的人敢于现在你知道为什么摆摊的人敢于在上面放那么值钱的东西了吧在上面放那么值钱的东西了吧! 在后面的课程中，我们还将经常用到中心在后面的课程中，我们还将经常用到中心极限定理极限定理. 中心极限定理是概率论中最著名的结果中心极限定理是概率论中最著名的结果之一，它不仅提供了计算独立随机变量之和之一，它不仅提供了计算独立随机变量之和的近似概率的简单方