概率论与数理统计：第5章 第一节大数定律

1、概率统计 第五章知识结构图第五章知识结构图概率论的理论结果概率论的理论结果大数定律大数定律中心极限定理中心极限定理切比雪切比雪夫大数夫大数定理定理贝努利贝努利大数大数定理定理辛钦辛钦(大数大数)定理定理独立同独立同分布的分布的中心极中心极限定理限定理棣莫弗棣莫弗-拉普拉普拉斯拉斯中中心极限心极限定理定理李雅普李雅普诺夫中诺夫中心极限心极限定理定理概率统计第五章第五章 大数定律及中心极限定理大数定律及中心极限定理大数定律和中心极限定理是概率论中的比较深入与大数定律和中心极限定理是概率论中的比较深入与重要的理论结果。本章主要重要的理论结果。本章主要讨论如下两个问题：讨论如下两个问题：1. 在一定条

2、件下在一定条件下,一列随机变量的算术平均值（按某一列随机变量的算术平均值（按某种意义）收敛于所希望的平均值的定理称为种意义）收敛于所希望的平均值的定理称为“大大数定律数定律”。大数定律为概率论所存在的基础大数定律为概率论所存在的基础 “概率是频率的概率是频率的稳定值稳定值”提供了理论依据，它以严格的数学形式提供了理论依据，它以严格的数学形式表达了随机现象最根本的性质之一：表达了随机现象最根本的性质之一：平均结果的平均结果的稳定性。稳定性。它是随机现象统计规律的具体表现，也它是随机现象统计规律的具体表现，也成为数理统计的理论基础。成为数理统计的理论基础。概率统计2. 在一定条件下，大量的相互独立

3、的随机变量之和在一定条件下，大量的相互独立的随机变量之和 的概率分布近似于正态分布的定理称为的概率分布近似于正态分布的定理称为“中心极限中心极限定理定理”。中心极限定理它以严格的数学形式证明了随机现中心极限定理它以严格的数学形式证明了随机现象另一个最根本的性质之一：如果一个量是由大象另一个最根本的性质之一：如果一个量是由大量相互独立的随机因素的影响所造成，而每一个量相互独立的随机因素的影响所造成，而每一个别因素在总影响中所起的作用不大，别因素在总影响中所起的作用不大， 则这种量则这种量一般都一般都服从或近似服从正态分布服从或近似服从正态分布。它是随机现象。它是随机现象统计规律的具体表现，也成为

4、数理统计的理论基统计规律的具体表现，也成为数理统计的理论基础。而正态分布又是应用最广的分布。础。而正态分布又是应用最广的分布。概率统计 大量的随机现象中大量的随机现象中平均结果的稳定性平均结果的稳定性： 大量抛掷硬币大量抛掷硬币正面出现频率正面出现频率字母使用频率字母使用频率生产过程中的生产过程中的废品率废品率第一节第一节 大数定律大数定律 大数定律的客观背景大数定律的客观背景概率统计定理定理1（切比雪夫大数定律）切比雪夫大数定律）1111lim|()|1nniiniiPXE Xnn 设设 X1 , X2, 是相互独立的随机变是相互独立的随机变量序列，它们都有有限的方差，并且方量序列，它们都有

5、有限的方差，并且方差有共同的上界，即差有共同的上界，即 D( Xi ) K， i=1, 2, ，则对任意的，则对任意的 0，切比雪夫切比雪夫一. 切比雪夫大数定律切比雪夫大数定律注：注： 切比雪夫大数定律切比雪夫大数定律表明表明：独立随机变量序列：独立随机变量序列 Xn ，如果方差有共同的上界，则：，如果方差有共同的上界，则： 概率接近于概率接近于1. 概率统计是很小的，其概率接近于是很小的，其概率接近于1。即当即当 n 充分大时，充分大时， niiXn11期望的概率接近于期望的概率接近于1。差不多不再是随机的了，取值接近于其数学差不多不再是随机的了，取值接近于其数学11niiXn 算术平均值

6、算术平均值与其数学期望与其数学期望niiXEn1)(1的偏差的偏差切比雪夫大数定律给出了平均切比雪夫大数定律给出了平均定理定理2（切比雪夫大数定律的切比雪夫大数定律的特殊情况）特殊情况） 设设 X1 , X2, 是相互独立的随机变量序列，它是相互独立的随机变量序列，它们具有相同的数学期望与方差：们具有相同的数学期望与方差： 2(),()kkE XD X1,2,k 作前作前 n 个随机变量的算术平均值：个随机变量的算术平均值：值稳定性的科学描述值稳定性的科学描述亦称为独立亦称为独立同分布的大同分布的大数定律数定律概率统计11nnkkXXn 0 则对任意的则对任意的有：有： 11limlim1nn

7、knnkPXPXn 证明证明:1111()()nnkkkkEXE Xnn 1nn21111()()nnkkkkDXD Xnn 22211nnn由由切比雪夫不等式切比雪夫不等式可得可得:22111nkknPXn 2)()( XDXEXP 概率统计11lim1nknkPXn 注注:定理定理2 是定理是定理1中当数学期望和方差给定具中当数学期望和方差给定具体值时的特殊情况。它表明当体值时的特殊情况。它表明当 n 很大时，随很大时，随机变量机变量 的算术平均值在概率意的算术平均值在概率意义下接近于数学期望义下接近于数学期望nXXX,21 )(kXE其作用其作用：在数理统计中如不知道：在数理统计中如不知

8、道 ，则可用，则可用其算术平均值来近似代替，则定理其算术平均值来近似代替，则定理2就提供了就提供了理论依据。理论依据。 ,n 令：令：并注意到概率并注意到概率1, 所以得：所以得：12,nY YYa称称序列序列依概率收敛依概率收敛于常数于常数概率统计有有对任意正数对任意正数指的是指的是 :lim()1nnP Ya 依概率收敛的序列具有如下依概率收敛的序列具有如下性质性质: (,)( , )Pnng XYg a b证明证明：见教材：见教材P 146页下方的小字体页下方的小字体PnYa记为：记为：定理定理2的结论可叙述为：序列的结论可叙述为：序列 11nnkkXXn 依概率收敛于常数依概率收敛于常

9、数由此，由此，,PPnnXaYb设设又设函数又设函数 g ( x, y ) 在点在点( a, b ) 处连续，处连续，则有：则有：概率统计二二. 贝努利大数定理贝努利大数定理定理定理3. (贝努利定理贝努利定理) 设随机变量设随机变量12,nXXX相互独立，且同时服从以相互独立，且同时服从以 p 为参数为参数的的(0 1)分布。则对任意正数分布。则对任意正数 有：有： lim1AnnPpn 或或lim0AnnPpn 贝努利贝努利概率统计证明证明:1nkkAXnnn 令令: :则由则由定理定理2可得可得:limlim1AAnnnnPPpnnkX(01) 服从服从 分布分布pXEk )(1,2,k

10、 其中其中: 12AnnXXXn 次独立次独立重复试验重复试验中事件中事件A发生的次发生的次数数 p是事件是事件 A 在每次试验中在每次试验中 发生的概率。发生的概率。 概率统计注注:定理定理3 表明表明：当：当 n 很大时很大时,事件事件A 发生的频率发生的频率 Ann 接近于事件接近于事件 A 发生的概率发生的概率 P, 即证明了频即证明了频 率的稳定性。从而，当率的稳定性。从而，当 n (试验次数试验次数) 很大时很大时 可以用事件发生的频率来近似代替事件的概率。可以用事件发生的频率来近似代替事件的概率。 称事件称事件A 发生的频率发生的频率 依概率收敛于事件依概率收敛于事件A的的概率概

11、率 P。 贝努里大数定律贝努里大数定律提供了提供了通过试验来确定事件概通过试验来确定事件概 率的方法。率的方法。 问题：问题： 定理定理2，定理，定理3 均为独立同分布的大数定律，均为独立同分布的大数定律，并且均要求随机变量的期望与方差都存在。并且均要求随机变量的期望与方差都存在。如果如果没有没有随机变量的随机变量的方差存在方差存在的条件，那么的条件，那么大数定律的结论是否仍成立？大数定律的结论是否仍成立？概率统计 三三. 辛钦定理辛钦定理定理定理4. （辛钦定理）（辛钦定理）()(1,2)kE Xk 则对任意的正数则对任意的正数 有有: 11lim1nknkPXn 辛钦辛钦12,nXXX设设 相互独立，并且服相互独立，并且服从同一分布，且具有数学期望：从同一分布，且具有数学期望：概率统计 大数定律从各个角度描述了样本的算术大数定律从各个角度描述了样本的算术 平均值的及频率的稳定性平均值的及频率的稳定性 。也为人们习。也为人们习 惯上经常采用的用样本的算术平