大数定理与中心极限定理4.3

1、4.3 4.3 大数定律与中心极限定理大数定律与中心极限定理本节要解决的问题本节要解决的问题 1. 为何能以某事件发生的频率为何能以某事件发生的频率 作为该事件的作为该事件的 概率的估计概率的估计？2. 为何能以样本均值作为总体为何能以样本均值作为总体 期望的估计？期望的估计？3. 为何正态分布在概率论中占为何正态分布在概率论中占 有极其重要的地位有极其重要的地位？4. 大样本统计推断的理论基础大样本统计推断的理论基础 是什么？是什么？ANSWER大数大数定律定律中心极中心极限定理限定理l 大数定律和中心极限定理是概率论的重要基本理大数定律和中心极限定理是概率论的重要基本理论，它们揭示了随机现

2、象的重要统计规律，在概率论，它们揭示了随机现象的重要统计规律，在概率论与数理统计的理论研究和实际应用中都具有重要论与数理统计的理论研究和实际应用中都具有重要的意义。的意义。l 迄今为止迄今为止,人们已发现很多大数定律人们已发现很多大数定律(laws of large numbers)所谓大数定律，简单地说，就是大量数目的随机变量所呈现所谓大数定律，简单地说，就是大量数目的随机变量所呈现出的规律，这种规律一般用随机变量序列的某种收敛性来刻出的规律，这种规律一般用随机变量序列的某种收敛性来刻画。画。l 本章仅介绍几个最基本的大数定律。下面，先介绍一个本章仅介绍几个最基本的大数定律。下面，先介绍一个

3、重要的不等式。重要的不等式。设随机变量设随机变量 X 的方差的方差 D ( X )存在，存在，则对于任意实数则对于任意实数 0,2)()| )(|XDXEXP一切贝雪夫（一切贝雪夫（ chebyshevchebyshev ）不等式）不等式或或2)(1)| )(|XDXEXP ,f x证明： 仅就X为连续型时证之 设X的概率密度为 xP Xf x dx则 22xxf x dx 221xf x dx222D X( )f x 例例1 1 设设x x是掷一颗骰子所出现的点数是掷一颗骰子所出现的点数, , 若给定若给定e e=1,2, =1,2, 实际计算实际计算P P(|(|x x- -E Ex x|

4、 | e e), ), 并验证切贝谢并验证切贝谢夫不等式成立夫不等式成立. .解解 因因P P( (x x= =k k)=1/6, ()=1/6, (k k=1,2,3,4,5,6=1,2,3,4,5,6)2|27(|31483512435:2) 1|27(|321235:1123512147182449691)(6916362516941,27665432122222PDPDEEDEE 例1：在n重贝努里试验中，若已知每次试验事件A出现的概率为0.75，试利用契比雪夫不等式估计n,使A出现的频率在0.74至0.76之间的概率不小于0.90。nA解：设在 重贝努里试验中，事件 出现的次数为X，

5、,0.75b n则X,0.75 ,0.1875 ,E Xnpn D Xnpqn nXfAn又 0.740.760.750.01XPP Xnnn而20.187510.01nn 187510.90n 18750n例例2 设有一大批种子，其中良种占设有一大批种子，其中良种占1/6. 试估计试估计 在任选的在任选的 6000 粒种子中粒种子中, 良种所占比例与良种所占比例与 1/6 比较上下小于比较上下小于1%的概率的概率.解解 设设 X 表示表示 6000 粒种子中的良种数粒种子中的良种数 ,X B (6000,1/6 ) -注：二项分布注：二项分布01. 0616000XP65000)(,1000

6、)(XDXE)60|1000(|XP2606500017685. 010883实际精确计算实际精确计算：1060940XP01. 0616000XP1059941600060006561kkkkC959036. 0用用Poisson Poisson 分布近似计算分布近似计算：1060940XP01. 0616000XP937934. 010599411000!1000kkke取取 = 1000例例3 设电站供电网有设电站供电网有10000盏电灯，夜晚每一盏灯开灯盏电灯，夜晚每一盏灯开灯的概率是的概率是0.7, 而假定开、关时间彼此独立，估计夜晚同而假定开、关时间彼此独立，估计夜晚同时开着的灯数

7、在时开着的灯数在6800与与7200之间的概率之间的概率.解解 设设 X 表示夜晚同时开灯的数目表示夜晚同时开灯的数目X B (10000,0.7 ) -注：二项分布注：二项分布例例4 设每次试验中，事件设每次试验中，事件 A 发生的概率为发生的概率为 0.75, 试用试用 Chebyshev 不等式估计不等式估计, n 多大时多大时, 才才 能在能在 n 次独立重复试验中次独立重复试验中, 事件事件 A 出现的出现的 频率在频率在0.74 0.76 之间的概率大于之间的概率大于 0.90?解解 设设 X 表示表示 n 次独立重复试验中事件次独立重复试验中事件 A 发生发生 的次数的次数 ,

8、则则X B(n,0.75)nXDnXE1875. 0)(,75. 0)(90. 076. 074. 0nXP要使要使，求，求 n事件A发生的概率即即90. 076. 074. 0nXnP即即90. 001. 0|75. 0|nnXP由由 Chebyshev 不等式不等式， = 0.01n ,故故2)01. 0(1875. 0101. 0|75. 0|nnnnXP令令90. 0)01. 0(1875. 012nn解得解得18750n 切比雪夫不等式说明，切比雪夫不等式说明，DXDX越小，则越小，则越小，越小， 越大，也就是说，随机变量越大，也就是说，随机变量X X取值基取值基本上集中在本上集中在

9、EXEX附近，这进一步说明了方差的意义。附近，这进一步说明了方差的意义。 同时当同时当EX EX 和和DX DX 已知时，切比雪夫不等式给出了概率已知时，切比雪夫不等式给出了概率 的一个上界，该上界并不涉及随机变的一个上界，该上界并不涉及随机变X X的具体概率分布，而只与其方差的具体概率分布，而只与其方差DXDX和和有关，因此，切比有关，因此，切比雪夫不等式在理论和实际中都有相当广泛的应用。需要指雪夫不等式在理论和实际中都有相当广泛的应用。需要指出的是，虽然切比雪夫不等式应用广泛，但在一个具体问出的是，虽然切比雪夫不等式应用广泛，但在一个具体问题中，由它给出的概率上界通常比较保守。题中，由它给

10、出的概率上界通常比较保守。 | EXXP | EXXP | EXXPl2 大数定律大数定律在叙述大数定律之前，首先介绍两个基本概念。在叙述大数定律之前，首先介绍两个基本概念。 定义定义1 1 设设 为一个随机变量序列，记为为一个随机变量序列，记为 ，若对任何，若对任何n n22，随机变量，随机变量 都相互独都相互独立，则称立，则称 是是相互独立的随机变量序列相互独立的随机变量序列。 定义定义2 2 设设 为一随机变量序列，为一随机变量序列，X X为一随机变为一随机变量或常数，若对任意量或常数，若对任意0 0，有，有则称则称 依概率收敛于依概率收敛于X X, ,记为记为 或或 ， . . 下面是

11、一个带普遍性结果的大数定律。下面是一个带普遍性结果的大数定律。 ,21nXXXnXnXXX,21nXnX1limXXPnnnXXXPn0PnXXn大数定律大数定律贝努里（贝努里（BernoulliBernoulli） 大数定律大数定律设设 nA 是是 n 次独立重复试验中事件次独立重复试验中事件 A 发生的发生的次数次数, p 是每次试验中是每次试验中 A 发生的概率，则发生的概率，则0有有0limpnnPAn或或1limpnnPAn在概率的统计定义中，事件在概率的统计定义中，事件 A 发生的频率发生的频率“ 稳定于稳定于”事件事件 A 在一次试验中发生的概率是在一次试验中发生的概率是指：指：

12、nnAnnA频频率率与与 p 有较大偏差有较大偏差pnnA是是小概率事件小概率事件, 因而在因而在 n 足够大时足够大时, 可以用频率可以用频率近似代替近似代替 p . 这种稳定称为依概率稳定这种稳定称为依概率稳定.贝努里（贝努里（BernoulliBernoulli） 大数定律的意义：大数定律的意义：定义定义a 是一常数，是一常数，0limaYPnn(或或)1limaYPnn则称随机变量序列则称随机变量序列,21nYYY依概率收敛依概率收敛于常数于常数 a , 记作记作aYnPn故故pnnnPA,21nYYY是一系列随机变量，是一系列随机变量，设设0有有若若在在 Bernoulli 定理的证

13、明过程中，定理的证明过程中， Y n 是相互是相互独立的服从独立的服从 0-1分布的随机变量序列分布的随机变量序列 Xk 的的算术平均值算术平均值, Y n 依概率收敛于其数学期望依概率收敛于其数学期望 p . 结果同样适用于服从其它分布的独立随结果同样适用于服从其它分布的独立随机变量序列机变量序列ChebyshevChebyshev 大数定律大数定律,21nXXX相互独立，相互独立，设随机变量序列设随机变量序列(指任意给定指任意给定 n 1, 相互独立相互独立)，且，且具有相同的数学期望和方差具有相同的数学期望和方差nXXX,21,2, 1,)(,)(2kXDXEkk则则0有有01lim1n

14、kknXnP或或11lim1nkknXnP算术平均值111lim11niniiinEXnXnP定理的意义定理的意义：当当 n 足够大时，算术平均值几乎就是一个常数足够大时，算术平均值几乎就是一个常数,可以用算术平均值近似地代替数学期望可以用算术平均值近似地代替数学期望.具有相同数学期望和方差的独立随机变量序列的具有相同数学期望和方差的独立随机变量序列的算术平均值依概率收敛于数学期望算术平均值依概率收敛于数学期望.即即)( 01111nEXnXnPniiniil 本结果由俄国数学家切比雪夫于本结果由俄国数学家切比雪夫于18661866年证明，是年证明，是关于大数定律的普遍结果，许多大数定律的古典

15、关于大数定律的普遍结果，许多大数定律的古典结果都是它的特例。结果都是它的特例。推论推论1 1 设设 是独立同分布的随机变量序列，且是独立同分布的随机变量序列，且 则对任意则对任意0 0，有，有 . . nX , 2 , 1,2iDXEXii11lim1niinXnP推论推论1 1使我们关于算术平均值的法则有了理论上的依据。如使我们关于算术平均值的法则有了理论上的依据。如我们要测量某段距离，在相同条件下重复进行我们要测量某段距离，在相同条件下重复进行n n次，得次，得n n个个测量值测量值 ，它们可以看成是，它们可以看成是n n个相互独立的随机个相互独立的随机变量变量, ,具有相同的分布、相同的

16、数学期望具有相同的分布、相同的数学期望和方差和方差 ，由推论由推论1 1的大数定律知，只要的大数定律知，只要n n充分大，则以接近于充分大，则以接近于1 1的概率的概率保证保证 这便是在这便是在n n较大情况下反映出的客观规律较大情况下反映出的客观规律, ,故称为故称为“大数大数”定定律。律。 比推论比推论1 1条件更宽的一个大数定律是条件更宽的一个大数定律是辛钦辛钦（KhintchineKhintchine）大数定律大数定律, ,它不需要推论它不需要推论1 1条件中条件中“方差方差 存在存在”的限制，的限制，而在其它条件不变的情况下，仍有而在其它条件不变的情况下，仍有切比雪夫切比雪夫式的结论

17、。式的结论。nXXX,212niiXn11iDX辛钦大数定律辛钦大数定律-推论推论2 设设,21nXXX相互独立，服从同一相互独立，服从同一分布，且具有数学期望分布，且具有数学期望 E(X k) = , k= 1,2,则对任意正数则对任意正数 001lim1nkknXnP推论推论2 2（贝努利大数定律）设事件（贝努利大数定律）设事件A A发生的概率为发生的概率为p p，在，在n n重重贝努利试验中贝努利试验中A A发生的频率为发生的频率为 ，则对任意的，则对任意的0 0，有，有 , , 即，即， . . 这是历史上最早的大数定律，是贝努利在这是历史上最早的大数定律，是贝努利在17131713年建立年建立的。概率论的研究到现在约有的。概率论的研究到现在约有300300多年的历史，最终以事件多年的历史，最终以事件的频率稳定值来定义其概率。作为概率这门学科的基础，的频率稳定值来定义其概率。作为概率这门学科的基础，其其“定义定义”的合理