辛钦大数定律证明(在第15页)

1、第四章 大数定律与中心极限定理极限定理是概率论与数理统计学中最重要的理论结果。本章简单地介绍两类极限定理-“大数定律”和“中心极限定理”。 通常，把叙述在什么条件下一随机变量序列的算术平均值（按某种意义）收敛于某数的定理称为“大数定律”；把叙述在什么条件下大量的随机变量之和近似服从正态分布的定理称为“中心极限定理”。本教材只介绍极限定理的经典结果。分布函数、矩和特征函数是解决经典极限定理的主要工具。一、 教学目的与要求1 掌握四个大数定律的条件、结论及数学意义；2 理解随机变量序列的两种收敛性的定义及其关系，了解特征函数的连续性定理；3 掌握独立同分布中心极限定理的条件、结论，并会用来解决一些

2、实际问题。二、 教学重点和难点 教学重点是讲清大数定律的条件、结论和中心极限定理的条件、结论。 教学难点是随机变量序列的两种收敛性及大数定律和中心极限定理的应用。4.1 大数定律一、大数定律的意义在第一章中引入事件与概率的概念时曾经指出，尽管随机事件A在一次试验可能出现也可能不出现，但在大量的试验中则呈现出明显的统计规律性频率的稳定性。频率是概率的反映，随着观测次数的增加，频率将会逐渐稳定到概率。这里说的“频率逐渐稳定于概率”实质上是频率依某种收敛意义趋于概率，这个稳定性就是“大数定律”研究的客观背景。详细地说：设在一次观测中事件A发生的概率，如果观测了次（也就是一个重贝努里试验），A发生了次

3、，则A在次观测中发生的频率为，当充分大时，频率逐渐稳定到概率。若用随机变量的语言表述，就是：设表示第次观测中事件A发生次数，即 则是个相互独立的随机变量，显然。从而有因此“稳定于”，又可表述为次观测结果的平均值稳定于。 现在的问题是：“稳定”的确切含义是什么？稳定于是否能写成 （1）亦即，是否对， （2）对重贝努里试验的所有样本点都成立？实际上，我们发现事实并非如此，比如在次观测中事件A发生次还是有可能的，此时，从而对，不论多么大，也不可能得到成立。也就是说，在个别场合下，事件（）还是有可能发生的，不过当很大时，事件（）发生的可能性很小。例如，对上面的，有 。显然，当时， ，所以“稳定于”是意

4、味着对，有 （3） （概率上“稳定于”还有其他提法，如博雷尔建立了，从而开创了另一形式的极限定理-强大数定律的研究）沿用前面的记号，（3）式可写成一般地，设是随机变量序列，为常数，如果对，有 （4）即则称稳定于。概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。若将（4）式中的换成常数列，即得大数定律的一般定义。定义4.1：若是随机变量序列，如果存在常数列，使对，有成立，则称随机变量序列服从大数定律。 若随机变量具有数学期望，则大数定律的经典形式是：对，有这里常数列二、四个大数定律 本段介绍一组大数定律，设是一随机变量序列，我们总假定存在。首先看一课后题的（马尔可夫大数定律

5、）如果随机变量序列，当时，有（*）证明：服从大数定律。证明 : 对，由契贝晓夫不等式，有因此即 故服从大数定律。 此大数定律称为马尔可夫大数定律，（*）式称为马尔可夫条件。定理4.2（契贝晓夫大数定律）设是一列两两不相关的随机变量，又设它们的方差有界，即存在常数，使有则随机变量序列服从大数定律，即对，有证明： 因为两两不相关，且由它们的方差有界即可得到从而有满足马尔可夫条件，因此由马尔可夫大数定律，有 注：契贝晓夫大数定律是马尔可夫大数定律的特例。例4.1 设为独立同分布随机变量序列，均服从参数为的普哇松分布，则由独立一定不相关，且，因而满足定理4.2的条件，因此有注：此例题也可直接验证满足马

6、尔可夫条件。定理4.1（贝努里定理或贝努里大数定律）:设是重贝努里试验中事件A出现的次数，又A在每次试验中出现的概率为，则对，有证明：令 显然由定理条件，独立同分布（均服从二点分布）。且都是常数，从而方差有界。由契贝晓夫大数定律，有 贝努里大数定律的数学意义：贝努里大数定律阐述了频率稳定性的含义，当充分大时可以以接近的概率断言，将落在以为中心的内。贝努里大数定律为用频率估计概率（）提供了理论依据。注1：此定理的证明也可直接验证满足马尔可夫条件。注2：贝努里大数定律是契贝晓夫大数定律的特例。它是1713年由贝努里提出的概率极限定理中的第一个大数定律。以上大数定律的证明是以契贝晓夫不等式为基础的，

7、所以要求随机变量的方差存在，通过进一步研究，我们发现方差存在这个条件并不是必要条件。定理4.3（辛钦大数定律）设是一列独立同分布的随机变量，且数学期望存在,则对，有成立。此定理的证明将在4.2随机变量序列的两种收敛性中给出。注：贝努里大数定律是辛钦大数定律的特例。辛钦大数定律的数学意义：辛钦大数定律为实际生活中经常采用的算术平均值法提供了理论依据。它断言：如果诸是具有数学期望、相互独立、同分布的随机变量，则当充分大时，算术平均值一定以接近1的概率落在真值的任意小的邻域内。据此，如果要测量一个物体的某指标值，可以独立重复地测量次，得到一组数据：，当充分大时，可以确信，且把作为的近似值比一次测量作

8、为的近似值要精确的多，因，；但，即关于的偏差程度是一次测量的偏差程度的，越大，偏差越小。再比如要估计某地区小麦的平均亩产量，只要收割一部分有代表性的地块，计算它们的平均亩产量，这个平均亩产量就是，在比较大的情形下它可以作为全地区平均亩产量，即亩产量的期望的一个近似。这种近似或“靠近”并不是我们数学分析中的极限关系，而是4.2中的依概率收敛。辛钦大数定律也是数理统计学中参数估计理论的基础，通过第六章的学习，我们对它会有更深入的认识。作业： 4.2随机变量序列的两种收敛性一、依概率收敛在上一节上，我们从频率的稳定性出发，得出下面的极限关系式：)=0，其中或等价于这与数学分析中通常的数列收敛的意义不

9、同。在上式中以随机变量 代替常数便得到新的收敛概念。1、定义4.2（依概率收敛）设有一列随机变量，如果对，有 或则称随机变量序列 依概率收敛于，记作或 （）从定义可见，依概率收敛就是实变函数中的依测度收敛。由定义可知， 有了依概率收敛的概念，随机变量序列 服从大数定律的经典结果就可以表示为特别地，贝努里大数定律可以描述为 （辛钦大数定律描述为 （例1、 设 是独立同分布的随机变量序列，且，证明： （证：，由契贝晓夫不等式 =故 即 2、性质1）、若则。证明：，由 则中至少有一个成立，即于是即对从而有 这表明，若将两个以概率为1相等的随机变量看作相等时，依概率收敛的极限是唯一的。2）、设 是两个

10、随机变量序列，,为常数，若且在点连续，则。3）、若； ；是常数，且，则。2）、3）的证明方法类似于1）。二、按分布收敛我们知道，分布函数全面地描述了随机变量的统计规律，那么当时，其相应的分布函数与之间会有什么样的关系呢？是不是对所有的，有（n）成立呢？答案是否定的。例42 设都是服从退化分布的随机变量，且于是对，当时，有所以 又的分布函数为的分布函数为显然，当时，有但当时， 上例表明，一个随机变量序列依概论收敛到某随机变量，相应的分布函数列不是在每一点都收敛于这个随机变量的分布函数的。但如果仔细观察一下这个例子，发现不收敛的点正是的不连续点。要求在每一点都收敛到是太苛刻了，可以去掉的不连续点来

11、考虑。1、 定义4.3 设,是一列分布函数，如果对的每个连续点， 都有成立， 则称分布函数列弱收敛于分布函数，并记作若随机变量序列的分布函数弱收敛于随机变量的分布函数,也称按分布收敛于，并记作2、 依概率收敛与按分布收敛（弱收敛）之间的关系定理4.4 若随机变量序列依概率收敛于随机变量，即则相对应的分布函数列弱收敛于分布函数，即定理4.4也可表示成如下形式：证明 ：对任意的有从而有即 如果，由 就有所以有 同理可证，当时，有于是对有令，即得显然，如果是的连续点，就有 注意：这个定理的逆命题不一定成立，即不能从分布函数列的弱收敛肯定相应的随机变量序列依概率收敛。例4.3 抛掷一枚均匀的硬币，有两

12、个可能的结果：=“出现正面”，=“出现反面”，则令 因是一个随机变量，其分布函数为这时，若，则显然与有相同的分布函数。再令，的分布函数记作，故=，于是对任意的，有所以成立，而对任意的，恒有即不可能有成立。但在特殊情况下，它却是成立的。定理4.5 随机变量序列为常数）的充要条件是这里的分布函数，也就是退化分布:定理4.5也可表示成如下形式：证明：必要性已由定理4.4给出，下面只要验证充分性。对任意的，有定理4.5得证。 本章将要向大家介绍的大数定律实际上就是随机变量列依概率收敛于常数的问题，由定理4.5知，它可归结为相应的分布函数列弱收敛于一退化分布，而中心极限定理就是随机变量的分布函数列弱收敛

13、问题，可见分布函数列的弱收敛在本章讨论中占重要地位。然而，要直接判断一个分布函数列是否弱收敛是很困难的,上一章我们就知道，分布函数与特征函数一一对应，而特征函数较之分布函数性质优良很多，故判断特征函数的收敛一般较容易，那么是否有相应的答案是肯定的。即下述的特征函数的连续性定理。三、特征函数的连续性定理定理4.6 分布函数列弱收敛于分布函数的充要条件是相应的特殊函数列收敛于的特征函数。证明 ：整个证明比较冗长（略）。例4.4 若是服从参数为的普哇松分布的随机变量，证明：证明：已知的特征函数为，故的特征函数为对任意的，有于是从而对任意的点列，有又是分布的特征函数，由定理4.6即知有因是可以任意选取

14、的，所以 注：此例说明普哇松分布（当参数时）收敛于正态分布。下面我们利用定理4.6来证明上一节的定理4.3（辛钦大数定律）。证明：因同分布，故有相同的特征函数，又，将在处展开，有由相互独立，得的特征函数为对于任意取定的，有由例题3.26已知是退化分布的特征函数，相应的分布函数为由定理4.6知的分布函数弱收敛于，再由定理4.5得故辛钦大数定律成立。 我们曾经指出特征函数在求独立和的分布时所具有的特殊威力，而本节所叙述的特征函数连续性定理（定理4.6）“如虎添翼”，更增加了特征函数在解决独立和的分布的极限问题时的效能，使之成为无与伦比的锐利工具。在下一节中将利用这一工具专门讨论独立和的分布的极限问

15、题。最后了解如下的斯鲁茨基定理：定理4.7 设是个随机变量序列，并且又是元变量的有理函数，并且，则有成立。掌握斯鲁茨基定理的如下几个特例：如果是两个随机变量序列，并且当时有其中是两个常数，这时有（1）；（2）成立。作业： 4.3 中心极限定理 前一章介绍正态分布时，我们一再强调正态分布在概率统计中的重要地位和作用，为什么实际上有许多随机现象会遵循正态分布？这仅仅是一些人的经验猜测还是确有理论依据，“中心极限定理”正是讨论这一问题的。在长达两个世纪的时间内成为概率论讨论的中心课题，因此得到了中心极限定理的名称。一、中心极限定理的概念设为一独立随机变量序列，且，均存在，称 为的规范和。概率论中，一

16、切关于随机变量序列规范和的极限分布是标准正态分布的定理统称为中心极限定理，即设的规范和，有则称服从中心极限定理。中心极限定理实质上为 近似服从标准正态分布。 二、独立同分布中心极限定理大数定律仅仅从定性的角度解决了频率稳定于概率p，即，为了定量地估计用频率估计概率的误差，历史上De MoivreLaplace给出了概率论上第一个中心极限定理，这个定理证明了的标准化随机变量渐近于分布。定理4.8（德莫佛拉普拉斯）极限定理 在重贝努里试验中，事件A在每次试验中出现的概率为，为次试验中事件A发生的次数，则注：定理4.8说明近似服从，从而近似服从，又服从二项分布，所以定理4.8也称为二项分布的正态近似

17、或二项分布收敛于正态分布。在第二章，普哇松定理也被说成是“二项分布收敛于普哇松分布”。同样一列二项分布，一个定理说是收敛于普哇松分布，另一个定理又说是收敛于正态分布，两者不是说有矛盾吗？请仔细比较两个定理的条件和结论，就可以知道其中并无矛盾之处。这里应该指出的是在定理4.8中，而普哇松定理中则要求。所以在实际问题中作近似计算时，如果很大，不大或不大（即很小或很小），则应该利用普哇松定理；反之，若都较大，则应该利用定理4.8。定理4.9（林德贝尔格-勒维）极限定理设，,是一列独立同分布的随机变量，且， 则有 注：德莫佛拉普拉斯极限定理是林德贝尔格-勒维极限定理的特例。证明：设的特征函数为，则的特

18、征函数为又因为所以于是特征函数为有展开式从而对任意固定的，有又是分布的特征函数，由定理4.6有注：定理4.9表明：当充分大时，的分布近似于，从而具有近似分布。这意味大量相互独立、同分布且存在方差的随机变量之和近似服从正态分布。该结论在数理统计的大样本理论中有广泛应用，同时也提供了计算独立同分布随机变量之和的近似概率的简便方法。三、应用 德莫佛拉普拉斯中心极限定理是概率论历史上的第一个中心极限定理，它有许多重要的应用。下面介绍它在数值计算方面的一些具体应用。1、 二项概率的近似计算设是重贝努里试验中事件发生的次数，则，对任意有 当很大时，直接计算很困难。这时如果不大（即较小接近于0）或不大（即接近于1）则用普阿松定理来近似计算（大小适中）；当不太接近于0或1时，可用正态分布来近似计算（较大）：例1、 （的）在一家保险公司里有10000个人参加保险，每人每年付12元保险费。在一年内一个人死亡的概率为0.006，死亡时其家属可向保险公司领得1000元，问：（1） 保险公司亏本的概率多大？（2） 保险公司一年的利润不少于40000元的概率为多大？解：保险公司一年的总收入为120000元，这时（1）