大数定律与中心极限定理

辽宁石油化工大学 概率论与数理统计教案 1 第五章 大数定律及中心极限定理 【 基本要求 】 1、了解切比雪夫不等式； 2、了解切比雪夫大数定律， Bernoulli 大数定律和辛钦大数定律成立的条件及结论； 3、了解独立同分布的中心极限定理（列维 林德伯格定理）和德莫佛 拉普拉斯中心极限定理（二项分布以正态分布为极限分布）的应用条件和结论，并会用相关定理近似计算有关随机事件的概率。 【 本章重点 】 切比雪夫不等式，切比雪夫大数定理及 Bernoulli 大数定理。 【 本章难点 】 对切比雪夫大数定理及独立同分布的中心极限定理的理解。 【 学时分配 】 2 学时 【 授课内容 】 5.1 大数定律 0.前言 在第一章我们提到过事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数，这一事实显示了可以用一个数来表征事件发生的可能性大小，这使人们认识到概率是客观存在的，进而由频率的三条性质的启发和抽象给出了概率的定义，而频率的稳定性是概率定义的客观基础。在实践中人们还认识到大量测量值的算术平均值也具有稳定性，而这种稳定性就是本节所要讨论的大数定律的客观背景，而这些理论正是概率论的理论基础。 下面介绍三个定理，它们分别反映了算术平均值及频率的稳定性。 一、切比 雪夫大数定律 辽宁石油化工大学 概率论与数理统计教案 2 事 件 的 频 率 稳 定 于 概 率 ， 能 否 有 pnlim nn ， 答 案 是 否 定 的 。 而 是 用)(0 npnP n 依概率收敛 来刻划（弱）。或者用 1nnPpn a.e.收敛 来刻划（强）。 1.定义： 设 ,21 nXXX是一个随机变量序列， a 是一个常数，若对于任意正数 ，有 1lim aXP nn ， 则称序列 ,21 nXXX依概率收敛于 a .记为 aX Pn . 2切比雪夫不等式 设随机变量 具有有限的期望与方差，则对 0 ，有 2)()( DEP 或2)(1)( DEP 证明：我们就连续性随机变量的情况来证明。设 ( )px ，则有 22( ) ( )( ( ) )( ( ) ) ( ) ( )x E x ExEP E p x d x p x d x 2221 ( )( ( ) ) ( ) Dx E p x d x 该不等式表明：当 )(D 很小时， )( EP 也很小，即 的取值偏离 )(E 的可能性很小。这再次说明方差是描述 取值分散程度的一个量。 切比雪夫不等式常用来求在随机变量分布未知，只知其期望 和方差的情况下，事件E 概率的下限估计；同时，在理论上切比雪夫不等式常作为其它定理证明的工具。 3定理 1（切比雪夫大数定律） 设 n是相互独立的随机变量序列，每一随机变量都有有限的方差，且一致有界，即存在常数 C ，使 ,2,1)( iCDi，则对任意的 0 ，有 0111 1 )(EnnPlim nini iin即辽宁石油化工大学 概率论与数理统计教案 3 1111 ( ) ( )nnpiiiiEnnn 证明：由切比雪夫不等式知： ,0 有： )(0)1(1)(110 222221121 1 nn Cn nCnDnDEnnPniiniininiii 该定理表明：当 n 很大时，随机变量n ,1 的算术平均值11 niin 接近于其数学期望11()niiE n ，这种接近是在概率意义下的接近。通俗的说，在定理的条件下， n 个相互独立的随机变量算术平均值，在 n 无限增加时将几乎变成一个常数。 推 论 ： 设n ,1 是 相 互 独 立 的 随 机 变 量 ， 由 相 同 的 数 学 期 望 和 方 差,2,1)(,)( 2 iDE ii ，则 ,0 有 01lim1ni in nP （即 ni in 11 以概率收敛于 ） 这个结论有很实际的意义：人们在进行精密测量时，为了减少随机误差，往往重复测量多次，测得若干实测值n ,1 ，然后用其平均值 ni in 11 来代替 。 切比雪夫大数定律是最基本的大数定理，作为切比雪夫大数定律的特殊情形有 Bernoulli 大数定理和辛钦大数定律。 二、 Bernoulli 大数定律 定理 2：设n是 n 重 Bernoulli 试验中事件 A 出现的次数，而 )10( pp 是事件 A 在每次试验中出现的概率，则对 0 ， 0lim pnP nn 证明：令不出现次试验中第出现次试验中第AiAii 01 ， ni ,1,2, 辽宁石油化工大学 概率论与数理统计教案 4 则12, , , n 相互独立且nn ni in 11 ， PE i )( ，11()niiEpn ，41)1()( PPD i，ni ,1,2, 故由切比雪夫大数定律立刻推出贝努里大数定律。 或者，直接由切比雪夫不等式，对 0 ，有 ni ini in nEnPPnP11110 0111 212 n)p(pnDni i )( n 即 Pnpn )( n 。故 i 服从大数定律。 Bernoulli 大数定律表表明：事件发生的频率 nn依概率收敛于事件的概率 p ，这个定理以严格的数学形式表达了频率的稳定性。就是说当 n 很大时 ，事件发生的频率于概率有较大偏差的可能性很小。由实际推断原理，在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率。 切比雪夫大数定律（定理 1）中要求随机变量12, , , ,n 的方差存在，但在这些随机变量服从相同分布的场合，并不需要这一要求，从而我们有以下的定理： 三、辛钦大数定律 定理 3： 设随机变量n ,1 独立同分布，且具有数学期望 ( ) , 1 , 2 ,iEi，则 ,0 有 01lim1ni in nP （即 ni in 11 以概率收敛于 ） 证明：略。 显然， Bernoulli 大数定律是辛钦大数定律的特殊情况。 辽宁石油化工大学 概率论与数理统计教案 5 5.2 中心极限定理 0.前言 在客观实际中有许多随机变量，它们是由大量的相互独立的随机因素的综合影响所形成的，而其中每一个因素在总的影响中所起的作用都是微小的，这种随机变量是近似地服从正态分布，这种现象就是中心极限定理的客观背景。 中心极限定理的 内容包含极限，因而称它为极限定理是很自然的，又由于它在统计中的重要性，称它为中心极限定理这是 Poyla 在 1920 年取得名字。 设 n是相互独立的随机变量序列，它们的期望与方差均存在，考虑)()(111niiniiniinDE（标准化和） 2,1n ，这时对于任意的 n 都有 1,0 nn DE，因而当 n 时，n不至于发生趋向于 0 或 这种情形，这时讨论它的分布才有意义。下面研究n的分布： 中心极限定理有多种不同的形式，下面我主要讲 独立同分布 的中心极限定理及其一特殊情形： 一、定理 1:(Levy-Lindeberg 极限定理 )独立同分布的中心极限定理 设 n是独立同分布的随机变量序列，且 2, ii DE（ 0 ）， ,2,1i ，均存在，则 Rx ，有 )(21lim 212xdtexnnPx tniin 证：（略） 该定理也可改写为：对 ba ，有 )()(lim 1 abbnnaPniin 辽宁石油化工大学 概率论与数理统计教案 6 在一般情况下，很难求出 n 个随机变量之和1nii 的分布函数，该定理表明：当 n 充分大时，可以通过 ()x 给出其近似分布，这样就可以利用正态分布对1nii 作理论分析或作实际计算，其好处是明显的。 二、定理 2（ De Moivre-Laplace 极限定理） (定理 1 的特殊情形 ) 设 ( 1 , 2 , )n n 是 n 重 Bernoulli 试验中成功的次数，已知每次试验成功的概率为 10 pp ，则对 ,Rx 有 221l i m 2xnntnpP x d t xn p q e 。 该定理也可改写为： ba ，有 l i m nn npP a b b an p q 证明： 令次试验不出现成功第次试验出现成功第iii 01 则 i 为独立同分布的随机变量序列 ,且 , (1 )iiE p D p p 均存在 显然：1nnii ，此时nn npnpq 该定理为上定理的一个特殊情形，故由上定理该定理得证。 中心极限定理表明：在相当一般的条件下，当独立随机变量 的个数增加时，其和的分布趋于正态分布。因此，只要和式中加项的个数充分大，就可以不必考虑和式中的随机变量服从什么分布，都可以用正态分布来近似，这在应用上是有效的和重要的。 作为以上两个定理的应用，我们给出下面例子： 例 1：一加法器同时收到 20 个噪声电压 )20,2,1( kVk ，设它们是相互独立的随机变量，且都在区间（ 0， 10）上服从均匀分布。记 201k kVV ，求 )105( VP 的近似值。 解： )20,2,1(121 0 0)(,5)( kVDVEkk，由定理 1，得 )105( VP )20)1210(52010520)1210(520( VP 辽宁石油化工大学 概率论与数理统计教案 7 )3 8 7.020)1210(1 0 0( VP )3 8 7.020)1210(1 0 0(1 VP )387.0(1 348.0 即有 )105( VP 348.0 例 2:一船舶在某海区航行，已知每遭受一次波浪的冲击，纵摇角大于 3 的概率为 31p ，若船舶遭受了 90000 次波浪冲击，问其中有 3050029500 次纵摇角大于 3 的概率是多少？ 解：设 3 纵摇角大于A ，