概率论与随机过程：第五章 大数定律与中心极限定理

1、 第五章第五章大数定律与中心极限定理大数定律与中心极限定理 引言 概率论是研究随机现象统计规律性的学科概率论是研究随机现象统计规律性的学科. 随机现象随机现象的规律性只有在相同的条件下进行的规律性只有在相同的条件下进行大量大量重复试验时才会呈重复试验时才会呈现出来现出来. 也就是说，要从随机现象中去寻求必然的法则，也就是说，要从随机现象中去寻求必然的法则，应该研究应该研究大量随机现象大量随机现象. 极限定理的内容很广泛，其中最重要的有两种极限定理的内容很广泛，其中最重要的有两种:与与大数定律大数定律中心极限定理中心极限定理下面我们先介绍大数定律下面我们先介绍大数定律 (1)事件发生的频率具有稳

2、定性，即随着试验次数的增事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数。加，事件发生的频率逐渐稳定于某个常数。大数定律的客观背景大数定律的客观背景(现象)：大量抛掷硬币大量抛掷硬币正面出现频率正面出现频率字母使用频率字母使用频率生产过程中的生产过程中的废品率废品率一、大数定律一、大数定律(2)特别的，在实践中人们认识到大量测量值的算术平均特别的，在实践中人们认识到大量测量值的算术平均值具有稳定性。值具有稳定性。1.大数定律的定义 定义定义1 1 设X1,X2,Xn,为一随机变量序列,如果对于任意正整数k(k2)及任意k个随机变量 相互独立，则称随机变量序列X1

3、,X2,Xn,相互独立。 kiiiXXX,21定义定义2 2 设Y1，Y2，Yn，是一随机变量序列，a是一常数，若对任意正数，有 ,则称序列Y1，Y2，Yn，依概率收敛Y，记为 1lim YYPnn PYYn定义定义3 3 设Xn为一随机变量序列,E(Xn)存在，记 , 2 , 111 nXEXnYniiin , 11limlim1 niiinnnXEXnPYP若若则称Xn服从（弱）大数定律。大数定律。 2 2几个常见的大数定律几个常见的大数定律的定理的定理 定理定理1 1( (切比雪夫大数定理切比雪夫大数定理) ) 设X1，X2，,Xn，是相互独立的随机变量序列，且具有相同的数学期望与方差：

4、E(Xk k)=，D(Xk k)=2(k=1，2),则Xn服从大数定律。即对于任意正数，有 . 11limlim1 niinnnXnPYP,1)(1111 nnXEnXnEniinii由由于于切比雪夫切比雪夫 ,111111 niiniiniiinXnXnXEXnY证证： 设随机变量设随机变量X有期望有期望E(X)和方差和方差 ，则对于任给则对于任给 0,2 221| )(| XEXP,1)(11222121nnnXDnXnDniinii 由切比雪夫不等式对于任意正数，有 221/11 nXnPYPniin 令n，注意到概率不能大于1，即得 .11limlim1 niinnnXnPYP 作为切

5、比雪夫大数定律的特殊情况，有下面的定理作为切比雪夫大数定律的特殊情况，有下面的定理.分析分析 定理定理2(2(贝努利大数定理贝努利大数定理) ) 设nA A为n次独立重复试验中事件A发生的次数。p是事件A在每次试验中发生的概率,则事件A的频率依概率收敛到概率p，即对于任意正数，有 . 1lim pnnPAn 证：引入随机变量 , 2 , 1,01 kAkAkXk不不发发生生次次实实验验中中在在第第发发生生次次实实验验中中在在第第 由于各次试验是独立的。于是X1，X2，,Xn是相互独立的；又由于Xk k服从(0-1)分布，所以E(Xk k)=p，D(Xk k)=p(1-p)，k=1，2，n，。

6、显然: nA=X1+X2+Xn，由定理一有 11lim1 niinpXnP1lim pnnPAn即即 切比雪夫大数定理的条件可以减弱为（不要求方差存在不要求方差存在）定理定理3 3( (辛钦定理辛钦定理) ) 设随机变量X1，X2，,Xn，相互独立，服从同一分布，具有数学期望E(Xk k)= (k=1，2，)，则对于任意正数，有 . 11lim1 niinXnP分析分析 (1)在切比雪夫大数定理的证明过程中可以看出只要 ()， 则大数定理就能成立。这个条件称为马尔可夫条件。因此更一般的定理有马尔可夫大数定理：对于随机变量X1，X2，,Xn，若条件()成立，则对于任意0，有 0)(1lim12

7、niinXDn 111lim11 niniiinXEnXnP注释注释 例如要估计某地区的平均亩产量，要收割某些有代表例如要估计某地区的平均亩产量，要收割某些有代表性的地块，例如性的地块，例如n 块块. 计算其平均亩产量，则当计算其平均亩产量，则当n 较大时，较大时，可用它作为整个地区平均亩产量的一个估计可用它作为整个地区平均亩产量的一个估计. 大数定律为寻找随机变量的期望值提供了一条实大数定律为寻找随机变量的期望值提供了一条实际可行的途径际可行的途径.下面我们再举一例说明大数定律的应用下面我们再举一例说明大数定律的应用. .定积分的概率计算法。定积分的概率计算法。 求求的值的值10)(dxxg

8、I 介绍均值法，步骤是介绍均值法，步骤是1) 产生在产生在(0,1)上均匀分布的随机数上均匀分布的随机数rn,2) 计算计算g(rn)， n=1,2,Nn=1,2,N即即IrgNINnn1)(13) 用平均值近似积分值用平均值近似积分值 原理是什么呢？原理是什么呢？因此，当因此，当N充分大时，充分大时，设设XU(0, 1)由大数定律由大数定律1|)()(1|lim101dxxgrgNPNnnNIrgNINnn1)(1其它, 010, 1)(xxfX101)()(1dxxgrgNNnn, 0 10)(dxxgdxxfxgXgE)()()(应如何近似计算？请思考应如何近似计算？请思考.请看请看 定

9、积分的概率计算法定积分的概率计算法 问：若求问：若求的值的值badxxgI)( 中心极限定理的客观背景中心极限定理的客观背景 在实际问题中，常常需要考虑许多随机因素所产生总在实际问题中，常常需要考虑许多随机因素所产生总影响影响.例如：炮弹射击的落点与目标的偏差，就受着许多随机因素例如：炮弹射击的落点与目标的偏差，就受着许多随机因素的影响的影响.二、二、中心极限定理 空气阻力所产生的误差，空气阻力所产生的误差，对我们来说重要的是这些随机因素的总影响对我们来说重要的是这些随机因素的总影响.如瞄准时的误差，如瞄准时的误差，炮弹或炮身结构所引起的误差等等炮弹或炮身结构所引起的误差等等. 自从高斯指出测

10、量误差服从正态分布之后，人们发自从高斯指出测量误差服从正态分布之后，人们发现，正态分布在自然界中极为常见现，正态分布在自然界中极为常见. 在实际中所遇到的许多随机变量，往往服从正态在实际中所遇到的许多随机变量，往往服从正态分布或近似服从正态分布。分布或近似服从正态分布。 他们共同的特点：这些随机现象是由大量的相互独立他们共同的特点：这些随机现象是由大量的相互独立随机因素的综合作用的结果。而其中每个个别因素所起随机因素的综合作用的结果。而其中每个个别因素所起的作用是微小的，只是它们作用总和中的一部分。大量的作用是微小的，只是它们作用总和中的一部分。大量实践经验告诉我们这一总和的分布是近似服从正态

11、分布。实践经验告诉我们这一总和的分布是近似服从正态分布。 现在我们就来研究独立随机变量之和所特有的规律性现在我们就来研究独立随机变量之和所特有的规律性问题问题. 当当n无限增大时，这个和的极限分布是什么呢？在什无限增大时，这个和的极限分布是什么呢？在什么条件下极限分布会是正态的呢？么条件下极限分布会是正态的呢？ 由于无穷个随机变量之和相当复杂，故我们不研究由于无穷个随机变量之和相当复杂，故我们不研究n个个随机变量之和本身而考虑它的标准化的随机变量随机变量之和本身而考虑它的标准化的随机变量nkknknkkknXDXEXZ111)()(的分布函数的极限的分布函数的极限. 在概率论中，习惯于把和的分

12、布收敛于正态分在概率论中，习惯于把和的分布收敛于正态分布这一类定理都叫做布这一类定理都叫做中心极限定理中心极限定理.我们只讨论几种简单情形我们只讨论几种简单情形.1 1定义：定义： 设随机变量Xn和X的分布函数分别为Fn(x)，F(x)， n=1,2, . 若对F(x)的一切连续点x，有： ，则称Xn依分布收敛到X。 xFxFnn )(lim2. 2. 中心极限定理中心极限定理 定理定理1 1(独立同分布的中心极限定理) 设随机变量X1，X2，,Xn，相互独立，服从同一分布，且具有数学期望和方差 E(Xk k)=，D(Xk k)=20,(k=1,2,) 则随机变量 nnXXDXEXYnkknk

13、knkknkkn 1111依分布收敛到Y,而YN(0,1). 即Yn的分布函数Fn(y),对于任意x满足 dteynnXPyFtynkknnn2/1221lim)(lim 定理定理2 2(李雅普诺夫Liapunov定理) 设随机变量X1，X2，,Xn，相互独立，它们具有数学期望和方差, E(Xk)=k ， D(Xk)=k20 (k=1，2，),记 nkknB122 若存在正数，使得当n时， ,则随机变量 01122 nkkknXEB nnkknkknkknkknkknBXXDXEXZ 11111 的分布函数Fn(x)对任意x，满足 dtexBXPxFtxnnkknkknnn2/11221lim

14、lim 注释：(1)定理2表明，在定理的条件下，随机变量, nnkknkknBXZ 11 2111,nnkknkknnnkkBNZBX 近似地服从正态分布.当n很大时，近似地服从正态分布 N(0，1)。由此，当n很大时，(2)同时定理也提供了大量独立随机变量之和有关的事件概率的近似计算方法.定理定理3 3(德莫佛-拉普拉斯De Moivre-Laplace定理) 设随机变量n (n=1，2，) 服从参数为n,p (0p105 的近似值。 nkkVV1解: 易知E(Vk)=5，D(Vk)=100/12(k=1，2，20)。 由定理1，随机变量 2020/1005202020/1005201 VV

15、nkk近似服从正态分布N(0，1)， 2020/1005201052020/100520105VPVP于于是是 387. 02020/100520VP 387. 02020/1005201VP348. 0)387. 0(1 即有 PV1050.348。 例2: 保险业是最早使用概率论的部门之一，保险公司为了估计企业的利润，需要计算各种概率。假设现要设置一项保险：一辆自行车年交保费2元，若自行车丢失，保险公司赔偿200元，设在一年内自行车丢失的概率为0.001,问至少要有多少辆自行车投保才能以不小于0.9的概率保证这一保险不亏本？ 解: 设有n辆自行车投保，n表示一年内n辆自行车中丢失的数量。则

16、 nb(n, 0.001),问题归结为n至少为多少时， P2n-200n00.9 上式化为 Pn0.01n0.9 nnnnnPnPnn000999. 0001. 001. 0000999. 0001. 001. 0 9 . 0)000999. 0009. 0( nn查表得29. 1000999. 0009. 0 nn,解不等式得n21.例例1 根据以往经验，某种电器元件的寿命服从均值为根据以往经验，某种电器元件的寿命服从均值为100小时的小时的指数分布指数分布. 现随机地取现随机地取16只，设它们的寿命是相互独立的只，设它们的寿命是相互独立的. 求这求这16只元件的寿命的总和大于只元件的寿命的

17、总和大于1920小时的概率小时的概率.由题给条件知，诸由题给条件知，诸Xi独立，独立，16只元件的寿命的总和为只元件的寿命的总和为161kkXY解解: 设第设第i只元件的寿命为只元件的寿命为Xi , i=1,2, ,16E(Xi)=100, D(Xi)=10000依题意，所求为依题意，所求为P(Y1920)由题给条件知由题给条件知,诸诸Xi独立独立,16只元件的寿命的总和为只元件的寿命的总和为161kkXY解解: 设第设第i只元件的寿命为只元件的寿命为Xi , i=1,2, ,16E(Xi)=100,D(Xi)=10000依题意，所求为依题意，所求为P(Y1920)由于由于E(Y)=1600,

18、D(Y)=160000由中心极限定理由中心极限定理,近似近似N(0,1)4001600YP(Y1920)=1-P(Y 1920) =1- (0.8)40016001920( 1-=1-0.7881=0.2119例例2. (供电问题供电问题)某车间有某车间有200台车床台车床,在生产期间由于需要检在生产期间由于需要检修、调换刀具、变换位置及调换工件等常需停车修、调换刀具、变换位置及调换工件等常需停车. 设开工率设开工率为为0.6, 并设每台车床的工作是独立的，且在开工时需电力并设每台车床的工作是独立的，且在开工时需电力1千瓦千瓦.问应供应多少瓦电力就能以问应供应多少瓦电力就能以99.9%的概率保

19、证该车间不会因的概率保证该车间不会因供电不足而影响生产供电不足而影响生产?解：对每台车床的观察作为一次试验，解：对每台车床的观察作为一次试验，每次试验观察该台车床在某时刻是否工作，每次试验观察该台车床在某时刻是否工作， 工作的概率为工作的概率为0.6，共进行，共进行200次试验次试验.用用X表示在某时刻工作着的车床数，表示在某时刻工作着的车床数，依题意，依题意，XB(200,0.6),现在的问题是：现在的问题是：P(XN)0.999的最小的的最小的N.求满足求满足设需设需N台车床工作，台车床工作，（由于每台车床在开工时需电力（由于每台车床在开工时需电力1千瓦，千瓦，N台工作所台工作所需电力即需

20、电力即N千瓦千瓦.） 由德莫佛由德莫佛-拉普拉斯极限定理拉普拉斯极限定理)1 (pnpnpX近似近似N(0,1),于是于是 P(XN)= P(0XN)48120()48120(N由由3准则，准则，此项为此项为0。)48120N(查正态分布函数表得查正态分布函数表得由由 0.999，)48120(N从中解得从中解得N141.5,即所求即所求N=142. 也就是说也就是说, 应供应应供应142 千瓦电力就能以千瓦电力就能以99.9%的概率保证该车间不会因供电不的概率保证该车间不会因供电不足而影响生产足而影响生产.999. 0) 1 . 3(48120N 3.1,故故例例3 在一个罐子中在一个罐子中,装有装有10个编号为个编号为0-9的同样的球，从罐的同样的球，从罐中有放回地抽取若干次，每次抽一个，并记下号码中有放回地抽取若干次，每次抽一个，并记下号码.问对序列问对序列Xk,能否应用大数定律？能否应用大数定律？ 诸诸Xk 独立同分布，且期望存在，故能使用大数定律独立同分布，且期望存在，故能使用大数定律.解解: ,9 . 01 . 001kXk=1,2, E(Xk)=0.1, 否则次取到号码第001kXk(1) 设设，k=1,2, nkknXnP11| 1 . 01|lim 即对即对任意的任意的0,(2) 至少应取球多少次才能使至