概率论 大数定律与中心极限定理

第五章

大数定律与中心极限定理

§5.1大数定律

(Largenumberlaw)§5.2中心极限定理

(CentralLimitTheorem)

本章要解决的问题

为何能以某事件发生的频率作为该事件的概率的估计？为何能以样本均值作为总体期望的估计？为何正态分布在概率论中占有极其重要的地位？大样本统计推断的理论基础是什么？答复大数定律中心极限定理

大量的随机现象中平均结果的稳定性

大数定律的客观背景大量抛掷硬币正面出现频率字母使用频率生产过程中的废品率……几个常见的大数定律定理1（切比雪夫大数定律）

设X1,X2,…是相互独立的随机变量序列，它们都有有限的方差，并且方差有共同的上界，即D(Xi)≤K，i=1,2,…，切比雪夫则对任意的ε>0，

证明切比雪夫大数定律主要的数学工具是切比雪夫不等式.

设随机变量X有期望E(X)和方差，则对于任给>0,

切比雪夫大数定律表明，独立随机变量序列{Xn}，如果方差有共同的上界，则与其数学期望

偏差很小的

概率接近于1.随机的了，取值接近于其数学期望的概率接近于1.即当n充分大时，差不多不再是切比雪夫大数定律给出了平均值稳定性的科学描述

作为切比雪夫大数定律的特殊情况，有下面的定理.定理2（独立同分布下的大数定律）

设X1,X2,…是独立同分布的随机变量序列，且E(Xi)=，D(Xi)=，i=1,2,…,则对任给

>0,定理的意义当

n

足够大时,算术平均值几乎是一常数.具有相同数学期望和方差的独立r.v.序列的算术平均值依概率收敛于数学期望.算术均值数学期望近似代替可被

下面给出的贝努里大数定律，是定理2的一种特例.贝努里

设Sn是n重贝努里试验中事件A发生的次数，p是事件A发生的概率，引入i=1,2,…,n则是事件A发生的频率

于是有下面的定理：

设Sn是n重贝努里试验中事件A发生的次数，p是事件A发生的概率，则对任给的ε>0，定理3（贝努里大数定律）或贝努里

贝努里大数定律表明，当重复试验次数n充分大时，事件A发生的频率Sn/n与事件A的概率p有较大偏差的概率很小.

贝努里大数定律提供了通过试验来确定事件概率的方法.任给ε>0，在概率的统计定义中,事件A

发生的频率“稳定于”事件A在一次试验中发生的概率是指：频率与

p

有较大偏差是小概率事件,因而在n

足够大时,可以用频率近似代替p.这种稳定称为依概率稳定.贝努里(Bernoulli)大数定律的意义定义a

是一常数，(或则称r.v.序列依概率收敛于常数a,记作故是一系列r.v.设有若

在Bernoulli定理的证明过程中，Yn

是相互独立的服从(0,1)分布的r.v.序列{Xk}的算术平均值,Yn

依概率收敛于其数学期望

p.

结果同样适用于服从其它分布的独立r.v.序列蒲丰投针问题中解法的理论依据就是大数定律

当投针次数n很大时，用针与线相交的频率m/n近似针与线相交的概率p，从而求得π的近似值.针长L线距a下面给出的独立同分布下的大数定律，不要求随机变量的方差存在.

设随机变量序列X1,X2,…独立同分布，具有有限的数学期E(Xi)=μ,i=1,2,…，则对任给ε>0，定理3（辛钦大数定律）辛钦

辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径.

例如要估计某地区的平均亩产量，要收割某些有代表性的地块，例如n块.计算其平均亩产量，则当n

较大时，可用它作为整个地区平均亩产量的一个估计.

下面我们再举一例说明大数定律的应用.定积分的概率计算法求的值

我们介绍均值法，步骤是1)产生在(0,1)上均匀分布的随机数rn,2)计算g(rn)，n=1,2,…,Nn=1,2,…,N即3)用平均值近似积分值求的值因此，当N充分大时，

原理是什么呢？设X~U(0,1)由大数定律这一讲我们介绍了大数定律

大数定律以严格的数学形式表达了随机现象最根本的性质之一：它是随机现象统计规律的具体表现.大数定律在理论和实际中都有广泛的应用.平均结果的稳定性

本讲首先介绍了几个大数定律：切比雪夫大数定律（独立同分布下的大数定律），贝努里大数定律和辛钦大数定律。

切比雪夫大数定律主要结论如下:贝努里大数定律是切比雪夫大数定律的特例:设nA是

n重贝努里试验中事件A发生的频数,

p

是A发生的概率，对任给的ε>0，有辛钦大数定律条件较宽：

设随机变量序列X1,X2,…独立同分布，有有限的数学期E(Xi)=μ,

i=1,2,…，则对任给ε

>

0，有

其后介绍了两个中心极限定理:列维—林德伯格定理和棣莫佛—拉普拉斯定理。

棣莫佛

—

拉普拉斯定理的内容是：当n很大时，二项分布可用正态分布近似。列维—林德伯格定理的内容是：独立同分布随机变量之和标准化之后的极限分布是标准正态分布；§5.2中心极限定理

(CentralLimitTheorem)

中心极限定理是棣莫弗(DeMoivre)在18世纪首先提出的，到现在内容已十分丰富。在这里，我们只介绍其中两个最基本的结论。当

n

无限增大时，独立同分布随机变量之和的极限分布是正态分布；2.当

n很大时，二项分布可用正态分布近似。为何正态分布在概率论中占有极其重要的地位？大样本统计推断的理论基础是什么？§5.2定理一林德伯格-列维中心极限定理[独立同分布的中心极限定理]定理二棣莫弗-拉普拉斯中心极限定理[二项分布以正态分布为极限分布](Lindberg-levy)(DeMoivre-Laplace)

客观背景:

在实际问题中，常常需要考虑许多随机因素所产生总影响.例如：炮弹射击的落点与目标的偏差，就受着许多随机因素的影响.

空气阻力所产生的误差，对我们来说重要的是这些随机因素的总影响.如：瞄准时的误差，炮弹或炮身结构所引起的误差等等.内容：独立的随机变量之和的特性.

♫当n无限增大时，这个和的极限分布是什么？♫

在什么条件下，极限分布会是正态分布的呢？一个量由大量独立的随机因素组成个别因素在总影响中所起的作用不大则这种量一般都（近似）服从正态分布.高斯指出：测量误差服从正态分布人们发现：正态分布极为常见.

虽然在一般情况下，我们很难求出X1+X2+…+Xn

的分布的确切形式，但当n很大时，可以求出近似分布.请看演示中心极限定理的直观演示U两点分布(Two-point

distribution)

随着n的增大,分布如何变化？中心极限定理的直观演示的概率分布n=1的概率分布n=3的概率分布n=5的概率分布n=8的概率分布n=20的概率分布n=50的概率分布n=90的概率分布n=150的概率分布n=180的概率分布n=200的概率分布n=200两点分布之和正态分布

由于无穷个随机变量之和可能趋于∞，故我们研究n个随机变量之和的标准化:若~N(0,1)

若X～N(0,1),§5.2定理一林德伯格-列维中心极限定理[独立同分布的中心极限定理](Lindberg-levy)当

n

无限增大时，独立同分布随机变量之和的极限分布是正态分布；定理1（独立同分布的中心极限定理）设X1,X2,…是独立同分布的随机变量序列，且E(Xi)=，D(Xi)=，i=1,2,…，则近似近似服从

它表明，当n充分大时，n个具有期望和方差的独立同分布的r.v之和近似服从正态分布.定理二棣莫弗-拉普拉斯中心极限定理[二项分布以正态分布为极限分布](DeMoivre-Laplace)2.当

n很大时，二项分布可用正态分布近似。定理(棣莫佛－拉普拉斯定理）

设随机变量服从参数n,p(0<p<1)的二项分布，则对任意x，有Yn

~N(np,np(1-p))(近似)例1：设一批产品的强度服从期望为14,方差为4的分布。每箱中装有这种产品100件。求(1).每箱产品的平均强度超过14.5的概率；(2).每箱产品的平均强度超过期望14的概率。解：n=100,设

Xi是第

i件产品的强度，则

E(Xi)=14,Var(Xi)=4,i=1,2,…,100。每箱产品的平均强度为根据定理1，有μσ2/n例2：某公司有200名员工参加一种资格证书考试。按往年经验，考试通过率为0.8。试计算这200名员工至少有150人考试通过的概率。解:

令

依题设，知P{Xi=1

}=0.8,np=200×0.8=160，np(1-p)=32，X1+X2+…+X200

是考试通过人数,因Xi满足棣莫佛—拉普拉斯定理的条件，故依此定理，近似地有于是中心极限定理的应用应用1

根据以往经验，某种电器元件的寿命服从均值为100小时的指数分布.现随机地取16只，设它们的寿命是相互独立的.求这16只元件的寿命的总和大于1920小时的概率.应用1由题给条件知,诸Xi独立,16只元件的寿命的总和为解:设第i只元件的寿命为Xi,i=1,2,…,16E(Xi)=100,D(Xi)=10000依题意，所求为P(Y>1920)由于E(Y)=1600,D(Y)=160000由中心极限定理,近似N(0,1)P(Y>1920)=1-P(Y

1920)=1-

(0.8)1-=1-0.7881=0.2119应用2.

(供电问题)

某车间有200台车床,在生产期间由于需要检修、调换刀具、变换位置及调换工件等常需停车.设开工率为0.6,并设每台车床的工作是独立的，且在开工时需电力1千瓦.问应供应多少电力能以99.9%的概率保证该车间不会因供电不足而影响生产?用X表示在某时刻工作着的车床数，解：依题意，X~B(200,0.6),现在的问题是：P(X≤N)≥0.999的最小的N.求满足设需N千瓦电力，

由德莫佛-拉普拉斯极限定理近似N(0,1),于是P(X≤N)=P(0≤X≤N)这里

np=120,np(1-p)=48由3σ准则，此项为0。查正态分布函数表得由≥0.999，从中解得N≥141.5,即所求N=142.

也就是说,应供应142千瓦电力就能以99.9%的概率保证该车间不会因供电不足而影响生产.≥3.1,故应用3

在一个罐子中