概率论与数理统计-第三版-第五章-大数定律和中心极限定理

第五章大数定律和中心极限定理5.1大数定律第五章大数定律和中心极限定理5.1大数定律

内容摘要：切比雪夫不等式揭示随机变量与其数学期望间偏差的概率与方差的关系,由此给出三个常用的大数定律,它们是概率论和统计推断的理论基础.

(1)为什么可以利用某事件发生的频率作为该事件的概率的近似值？5.1.1提出问题

(2)为什么可以利用随机变量的算术平均或样本均值作为总体均值的估计？随机事件的概率，随机变量的均值和方差.

5.1.2预备知识5.1.3建立理论1.

切比雪夫不等式

为了证明大数定律,下面我们首先学习切比雪夫不等式.,,有

引理(切比雪夫不等式)设随机变量和方差具有数学期望或

切比雪夫资料对于离散型随机变量，证明类似.

以连续型随机变量X为例.

证

切比雪夫不等式给出了在X的分布未知的情况下对事件“

”发生的概率进行估计的一种方法.

(1.1)式几何意义是:只要随机变量具有数学期望和方差,X落入区间(E(X)-ε,E(X)+ε)的概率不小于1-.

讲评本题涉及切比雪夫不等式的应用.需要计算出X-Y的数学期望和方差,才好利用切比雪夫不等式.

例5.1.1

设随机变量X,Y的数学期望都是2,方差分别是1和4,而相关系数为0.5.则根据切比雪夫不等式≥6}≤_____.

分析

利用切比雪夫不等式估计概率时,我们只需要知道随机变量的数学期望和方差即可,而不需要知道其具体分布.本题的数学期望使得计算即简单又易出错，读者注意这一点.

解令,则而讲评于是有≥6}

≥6}

≤

例5.1.2证明:证明4.2节定理2的结论(5):

D(X)=0的充分必要条件是存在常数C,使X以概率1取常数C,

即

P{X=C}=1,并且C=E(X).先证充分性：已知P{X=C}=1,去证明D(X)=0.证由P{X=C}=1知X服从单点分布.得到

E(X)=C×1=C,E(X2)=C2×1=C2.所以，

D(X)=E(X2)-

[E(X)]2=C2-C2=0.即，充分性成立.再证必要性：

已知D(X)=0,

去证明P{X=C}=1.注意到事件于是又由于D(X)=0,

由切比雪夫不等式(1.1)式可知,对每个n有即从而知因此取常数C=E(X)即可.

讲评实际上，这是一个充要条件：D(X)=0的充分必要条件是存在常数C,使X以概率1取常数C,即P{X=C}=1,并且C=E(X).

参见4.2节定理2,大家从方差揭示问题的实际意义容易接受这一点.定理1（切比雪夫大数定律）

设X1,X2,…,Xn是相互独立随机变量序列,它们有相同的期望与方差,即

结合切比雪夫不等式,先从概率论中最重要也最基本的切比雪夫定律开始:定理表明n个随机变量的算术平均当n无限增大时几乎变成一个常数.

本节只介绍三个最著名的大数定律.

2.

大数定律证由于则对任意的ε>0,有由切比雪夫不等式知并注意到概率不能大于1,即得

Chebyschev大数定律给出了算术平均稳定性的科学描述.

讲评

该定理表明:对于任意的正数,当n充分大时,不等式成立的概率很大.或者说,当n很大时,随机变量的算术平均接近于数学期望.这种接近是在概率意义上的一种接近.我们再介绍一个基本概念.定义设X1,X2,…,Xn是一随机变量若存在常数a

,

对于

>0,

总有

则称随机变量序列{Xn}

依概率收敛于

a.

记为序列,1.在高等数学中，为确定性变量数列.

在概率论中，为随机变量变量数列.

依概率收敛与高等数学中的数列收敛有什么区别？

2.数列收敛要求当时,就有成立，而绝不会有依概率收敛要求n充分大时，事件

发生的概率接近于1；不排除发生事件的可能性.则

连续函数保持依概率收敛性.依概率收敛的序列还有以下性质:设

且函数g(x,y)(a,b)连续,在点定理1′(切比雪夫大数定律)

设X1,X2,…,Xn是相互独立随机变量序列,它们有相同的期望与方差,

则算术平均

定理表明n个随机变量的算术平均当n无限增大时几乎变成一个常数.

依概率收敛于数学期望μ,即

这样，上述切比雪夫大数定律又可以叙述为:

设nA是n重伯努利试验中事件A发生的次数,p是事件A发生的概率,则对任给的ε>0,有定理3（伯努利大数定律）伯努里或

对于频率稳定性的严格的数学意义,伯努利大数定律从理论上做了进一步阐明.

则X

1,X2

,…,Xn

独立,都服从参数为p的0-1分布.

证设

并有由切比雪夫大数定律得

所以

事件A发生的频率nA/n与事件

A的概率p有较大偏差的概率很小.

Bernoulli大数定律表明,当重复试验次数n充分大时,

Bernoulli大数定律提供了通过试验来确定事件概率方法的理论依据.即用频率估计概率是合理的讲评这个定理以严格的数学形式证明了频率的稳定性.就是说,当很大时,事件发生的频率与概率有较大偏差的可能性很小.因此,在实际应用中,当试验次数很大时,可以用事件发生的频率来近似代替事件发生的概率.

下面给出的独立同分布条件下的大数定律,它不要求随机变量的方差存在.

设随机变量序列X1,X2,…Xn独立同分布,具有数学期望E(Xi)=μ,

i=1,2,…,n.则对任给的ε>0,定理4（辛钦大数定律）伯努利大数定律是辛钦大数定律的特例辛钦资料

辛钦大数定律为寻找随机变量的期望值,提供了一条实际可行的途径:

如果视X

i

为重复试验中对随机变量X的第i

次观察值,则当n→

时,对X的n次观察结果的算术平均依概率收敛于X的数学期望E(X)=

.

这为在不知具体分布的情形下,取多次重复观测的算术平均作为总体均值E(X)

的较为精确的估计提供了理论保证.讲评

例如:要估计某地区的平均亩产量,通常做法是，收割某些有代表性的地块,例如n块，计算其平均亩产量,则当n

较大时,可用它作为整个地区平均亩产量的一个估计值.

例5.1.3

设随机变量X1,X2,…,Xn

相互

独立,且都服从参数为3的泊松分布.证明:当n→∞时,随机变量依概率收敛于12.证由随机变量的独立性关系,利用3.3节定理3得到满足独立同分布的条件,且有相同的数学期望

讲评本题考查大数定律:一组相互独立、同分布、同期望的随机变量,其算术平均依概率收敛于其数学期望的算术平均值:

(i=1,2,…,n).

收敛于

依概率

根据辛钦大数定律(5.1.5)式有,

(1)为什么能以某事件发生的频率作为该事件的概率的近似值？提出问题：

(2)为什么能以随机变量的算术平均或样本均值作为总体期望(或说均值)的估计？

5.1.4

内容小结伯努利大数定律以严格的数学形式揭示了频率与概率之间最根本的性质之一.切比雪夫大数定律和辛钦大数定律以严格的数学形式揭示了样本平均与总体平均之间的关系.解决问题切比雪夫П.Л.Чебышев,1821—1894），俄罗斯数学家，彼得堡大学教授，彼得堡科学院院士，

大数定律的创建人之一.英语译为Tchebyshev.

辛钦（А.Я.Хичин，1894—1959），俄罗斯人，著名现代数学家，前苏联科学院通讯院士，莫斯科大学教授，在函数论、数论和概率论方面有诸多成就.

辛钦第五章大数定律和中心极限定理5.2中心极限定理5.2中心极限定理第五章大数定律和中心极限定理

内容摘要：中心极限定理是概率论中最著名的结果之一,它不仅提供了计算独立随机变量之和的近似概率的方法,而且有助于解释为什么很多自然现象的统计规律服从正态分布这一值得注意的重大事实.

(1)为什么正态分布在概率论中占有极其重要的地位？(3)大样本统计推断的理论基础是什么？5.2.2

预备知识(2)随机变量之和的分布是什么？5.2.1提出问题

随机事件的概率，随机变量的均值、方差.

在实际问题中,常常需要考虑许多随机因素所产生的总影响.

这些随机因素是相互独立的,

而其中每一个个别因素所起的作用都是微小的.

这种量一般都服从或近似服从正态分布.5.2.3

分析问题

例如,炮弹射击的落弹着点与目标的偏差,就受着许多随机因素的影响.如瞄准时的误差，空气阻力所产生的误差，炮弹或炮身结构所引起的误差等.

例如，开展物理试验实验所出现的测量误差，等等.对我们来说重要的是这些随机因素的总影响.

现在我们就来研究独立随机变量之和所特有的规律性问题，解决“总影响”的概率分布问题.

一般情况下,很难求出

X1+X2+

…+Xn

分布的确切形式

,

但当n很大时,可以求出这个和的近似分布.

当n无限增大时,这个和的极限分布是什么呢？一般情况下它服从正态分布．在什么条件下极限分布会是正态

分布的呢？

我们把在一定条件下,随机变量和的分布收敛于正态分布这一类定理都叫做中心极限定理.本节只介绍三个常用的中心极限定理.

5.2.4

建立理论

的标准化变量则随机变量之和设X1,X2,…,Xn是独立同分布的随机变量

序列,且E(Xi)=,D(Xi)=,i=1,2,…,n，1.独立同分布中心极限定理定理1（独立同分布中心极限定理）

这个定理通常也称为列维-林德伯格(Levy-Lindeberg)中心极限定理.的分布函数，对于任意x满足证明略.(2.1)这个定理说明了以下4种概率分布形式：

(2.2)(1)对于均值为μ

,方差为

的独立同分布（不管服从什么分布）的随机变量的和的标准化随机变量,当充分大时,近似成立：(2)

对上式变形得到，随机变量和(即随机变量的总影响)近似成立：(2.3)将(5.2.2)式左端改写成这样,上述结果可写成另外两种常用的形式:

(3)

随机变量的算术平均的标准化近似成立：(2.4)(4)

对上式变形得到，随机变量的算术平均近似成立：(2.5)这是独立同分布中心极限定理结果的另一个形式.这一结果是数理统计中大样本统计推断的理论基础.5.2.5

方法应用

例5.2.1设各零件的重量都是随机变量,它们相互独立,

且服从相同的分布,其数学期望为0.5kg,

均方差为0.1kg,

问5000只零件的总重量超过2510kg的概率是多少？

解设Xi表示第i只零件的重量,则E(Xi)=0.5,D(Xi)=0.1.

于是5000只零件的总重量

X=.

例5.2.2

一生产线生产的产品成箱包装,每箱的重量是随机的.假设每箱平均重50千克,标准差为5千克.若用最大载重量为5吨的汽车承运,试利用中心极限定理说明:每辆车最多可以装多少箱,才能保证不超载的概率大于0.977(已知Φ(2)=0.977).

所以由独立同分布中心极限定理知,解n

是所求箱数.由条件可以把X1,X2,…,Xn视为独立同分布随机变量,而n箱的总重量

以装运的第i箱的重量(单位:千克),Tn=X1+X2+…+Xn

是独立同分布随机变量之和.由条件知E(Xi)=50,=5,根据独立同分布中心极限定理(2.3)式,Tn近似服从正态分布N(50n,25n).由题设条件,应满足得E(Tn)=50n,=5 .解得n＜98.0199,即每辆车最多可以装98箱.

根据分布函数Φ(x)的单调递增性,有

讲评

上述例题均是从不同角度考察独立同分布中心极限定理的应用问题,如在例5.2.3中将各箱重量视为独立同分布的随机变量,利用独立同分布中心极限定理作随机变量和的正态分布近似计算.

下面介绍另一个中心极限定理,它是定理1的特殊情况.定理2（棣莫佛－拉普拉斯定理）独立同分布中心极限定理的特例

设随机变量ηn

服从参数为n,p(0<p<1)的二项分布,则对任意的

x,有正态分布是二项分布的极限分布2.棣莫佛－拉普拉斯定理（2.7）棣莫佛－拉普拉斯资料

可分解成为n个相互独立且都服从同一0-1分布的随机变量之和,证即有

由于

由定理1得

其中Xk的分布律为此定理的常用形式是：ηn～B(n,p),（2.8）若则

讲评

(1)这个定理表明,正态分布是二项分布的极限分布,当n充分大时,我们可以利用(5.2.7)式来计算二项分布的概率.(2)注意，二项分布也以泊松分布为极限分布.但当n较大p较小时,泊松定理比中心极限定理更精确一些.例5.2.3

用中心极限定理再计算例2.2.3问题(1)：在次品率为0.04的

100件产品中，求这批产品中不少于4件次品的概率.用X表示100件产品中的次品数,则解利用二项分布概率公式计算得到

P{4≤X≤100}≈0.570

5.用泊松定理计算

P{4≤X≤100}