大数定律和中心极限定理

1、 第五章第五章 大数定律和中心极限定理大数定律和中心极限定理 大数定律和中心极限定理是概率论的重要基本理大数定律和中心极限定理是概率论的重要基本理论，它们揭示了随机现象的重要统计规律，在概率论，它们揭示了随机现象的重要统计规律，在概率论与数理统计的理论研究和实际应用中都具有重要论与数理统计的理论研究和实际应用中都具有重要的意义。本章将介绍这方面的主要内容。的意义。本章将介绍这方面的主要内容。5.1 大数定律大数定律 迄今为止迄今为止,人们已发现很多人们已发现很多大数定律大数定律(laws of large numbers)所谓大数定律，简单地说，就是大量数目的随机变量所呈现所谓大数定律，简单地

2、说，就是大量数目的随机变量所呈现出的规律，这种规律一般用随机变量序列的某种收敛性来刻出的规律，这种规律一般用随机变量序列的某种收敛性来刻画。本章仅介绍几个最基本的大数定律。下面，先介绍一个画。本章仅介绍几个最基本的大数定律。下面，先介绍一个重要的不等式。重要的不等式。 一、切比雪夫（一、切比雪夫（Chebyshev）不等式）不等式 对于任一随机变量对于任一随机变量X ,若若EX与与DX均存在均存在,则对任意则对任意0,恒有恒有 . (5-1) 2 | DXEXXP 证明证明 我们仅给出我们仅给出X为连续型随机变量情形下的证明。设为连续型随机变量情形下的证明。设为连续型随机变量为连续型随机变量X

3、的密度函数，则有的密度函数，则有 （5-1）式的等价形式为）式的等价形式为 . (5-2) )(xf | EXXP d)(EXxxxf 22d)(|EXxxxfEXx 22d)(| xxfEXxDX21 | EXXP21DX 切比雪夫不等式说明，切比雪夫不等式说明，DX越小，则越小，则 越小，越小， 越大，越大， 也就是说，随机变量也就是说，随机变量X取值取值基本上集中在基本上集中在EX附近，这进一步说明了方差的意义。附近，这进一步说明了方差的意义。同时当同时当EX和和DX已知时，切比雪夫不等式给出了概率已知时，切比雪夫不等式给出了概率 的一个上界，该上界并不涉及随机变的一个上界，该上界并不涉

4、及随机变X的具体概率分布，而只与其方差的具体概率分布，而只与其方差DX和和有关，因此，有关，因此，切比雪夫不等式在理论和实际中都有相当广泛的应切比雪夫不等式在理论和实际中都有相当广泛的应用。需要指出的是，虽然切比雪夫不等式应用广泛，用。需要指出的是，虽然切比雪夫不等式应用广泛，但在一个具体问题中，由它给出的概率上界通常比较但在一个具体问题中，由它给出的概率上界通常比较保守。保守。 | EXXP | EXXP | EXXP 二、大数定律二、大数定律 在叙述大数定律之前，首先介绍两个基本概念。在叙述大数定律之前，首先介绍两个基本概念。 定义定义5.1 设设 为一个随机变量序列，记为为一个随机变量序

5、列，记为 ，若对任何，若对任何n2，随机变量，随机变量 都相互独立都相互独立，则称，则称 是是相互独立的随机变量序列相互独立的随机变量序列。 定义定义5.2 设设 为一随机变量序列，为一随机变量序列，X为一随机变量为一随机变量或常数，若对任意或常数，若对任意0，有，有则称则称 依概率收敛于依概率收敛于X,记为记为 或或 ， . 下面是一个带普遍性结果的大数定律。下面是一个带普遍性结果的大数定律。 ,21nXXXnXnXXX,21nXnX1limXXPnnnXXXPn0PnXXn 定理定理5.1 （切比雪夫大数定律）设（切比雪夫大数定律）设 是相互独立的随机变是相互独立的随机变量序列，并且量序列

6、，并且 和和 均存在，均存在， ,同时，存在常数同时，存在常数C，使，使则对任意的则对任意的0，有，有 （5-3）即，即， . 证明证明 因因 为独立随机变量序列，故为独立随机变量序列，故 .根据切比雪夫不等式可得根据切比雪夫不等式可得 ,nXiEXiDX, 2 , 1i, 2 , 1 ,iCDXi111lim11niniiinEXnXnP)( 01111nEXnXnPniiniinXnCDXnXnDniinii12111niniiininiiiXnEXnPEXnXnP11111111所以所以 利用计算极限的夹逼准则可知，（利用计算极限的夹逼准则可知，（5-3）式成立。）式成立。 本结果由俄国

7、数学家切比雪夫于本结果由俄国数学家切比雪夫于1866年证明，是关于大数年证明，是关于大数定律的普遍结果，许多大数定律的古典结果都是它的特例。定律的普遍结果，许多大数定律的古典结果都是它的特例。 推论推论1 设设 是独立同分布的随机变量序列，且是独立同分布的随机变量序列，且则对任意则对任意0，有，有 . （5-4）221111nCXnDnii1111112niniiiEXnXnPnCnX , 2 , 1,2iDXEXii11lim1niinXnP 证明证明 只需将只需将 代入（代入（5-3）即证（）即证（5-4）. 推论推论1使我们关于算术平均值的法则有了理论上的依据。如使我们关于算术平均值的法

8、则有了理论上的依据。如我们要测量某段距离，在相同条件下重复进行我们要测量某段距离，在相同条件下重复进行n次，得次，得n个测个测量值量值 ，它们可以看成是，它们可以看成是n个相互独立的随机变量个相互独立的随机变量,具有相同的分布、相同的数学期望具有相同的分布、相同的数学期望和方差和方差 ，由推论，由推论1的大的大数定律知，只要数定律知，只要n充分大，则以接近于充分大，则以接近于1的概率保证的概率保证这便是在这便是在n较大情况下反映出的客观规律较大情况下反映出的客观规律,故称为故称为“大数大数”定律。定律。 比推论比推论1条件更宽的一个大数定律是条件更宽的一个大数定律是辛钦辛钦（Khintchin

9、e）大大数定律数定律,它不需要推论它不需要推论1条件中条件中“方差方差 存在存在”的限制，而在的限制，而在其它条件不变的情况下，仍有（其它条件不变的情况下，仍有（5-4）式的结论。）式的结论。niniinEXn1111nXXX,212niiXn11iDX 推论推论2（贝努利大数定律）设事件（贝努利大数定律）设事件A发生的概率为发生的概率为p，在，在n重重贝努利试验中贝努利试验中A发生的频率为发生的频率为 ，则对任意的，则对任意的0，有，有 , （5-5）即，即， . 证明证明 首先引入一随机变量序列首先引入一随机变量序列 ，对每个，对每个Xi取值如下：取值如下： 则则 ， . 从而，从而， ，

10、 , .将将 一并代入（一并代入（5-4）式便得（）式便得（5-5）式）式. 这是历史上最早的大数定律，是贝努利在这是历史上最早的大数定律，是贝努利在1713年建立的。年建立的。概率论的研究到现在约有概率论的研究到现在约有300多年的历史，最终以事件的频率多年的历史，最终以事件的频率稳定值来定义其概率。作为概率这门学科的基础，其稳定值来定义其概率。作为概率这门学科的基础，其“定义定义”nf1 |limpfPnnnpfPn ,nX 10发生次试验中第不发生次试验中第AiAiXini, 2 , 1), 1 (pBXini, 2 , 1pEXi)1 (ppDXini, 2 , 1nniifXn11

11、的合理性这一悬而未决的带根本性的问题的合理性这一悬而未决的带根本性的问题,由贝努利于由贝努利于1713年发年发表的这个表的这个“大数定律大数定律”给予了解决，被称为概率论的第一篇论给予了解决，被称为概率论的第一篇论文文,为概率论的公理化体系奠定了理论基础。之所以被成为为概率论的公理化体系奠定了理论基础。之所以被成为“定定律律”,是这一规律表述了一种全人类多年的集体经验因此是这一规律表述了一种全人类多年的集体经验因此 ，对尔后的，对尔后的类似定理统称为大数类似定理统称为大数“定律定律”。 在大数定律中，由在大数定律中，由 可知，对充分大的可知，对充分大的n，有，有 ， 或或 ，根据实际，根据实际推断原理推断原理,概率论中把这两类特别的随机事件实际上当作非随机概率论中把这两类特别的随机事件实际上当作非随机事件来处理的事件来处理的,也就不能引起人们的重视也就不能引起人们的重视.但贝努利正是通过对这但贝努利正是通过对这种所谓种所谓“非随机事件非随机事件”的研究的研究,以严