伯努利大数定律

1、伯努利大数定律现在我们来介绍伯努利推测术的最重要部分一一包含了如今我们称之为伯努利大数a定律的第4部分。回到本章开始那个缶中抽球的模型：缶中有a白球，b黑球，p=a+boX有放回地从缶中抽球N次，记录得抽到白球得次数为X,以N去估计po这个估计法现今仍是数理统计学中最基本的方法之一。此处的条件是，每次抽取时都要保证缶中a+b个球的每一个有同等机会被抽出。这一点在实践中并不见得容易。例如，产生中奖号码时用了复杂的装置。在实际工作中，统计学家有时用一种叫做“随机数表”的工具。这时一本大书，各页按行、列排列着数字0,1,9,它们是用据信是“充分随机”的方法产生的。在使用时，“随机地”翻到其中一页并“

2、随机”点到一个位置，以其处地数字决定抽出地对象。X伯努利企图证明的是：用N估1fp可以达到事实上的确定性一一他称为道德确定性。其确切含义是：任意给定两个数名A0和”>0,总可以取足够大的抽取次数N,使事件X1XPpAWbplNJ的概率不超过"。这意思是很显然：N表明估计误差未达到指定的接近程度君，但这种情况发生的可能性可以随心所欲地小（代价是加大N）。为忠实于伯努利地表达形式，应指出两点：一是伯努利把/I1限定为（a+b）,虽然其证明对一般金也有效。他作这一限定与所有缶子模型的特殊性有关:必要时把缶中的白、黑球分另1J改为ra和rb个,11则p不改变，（ab）改为ra+rb,只

3、须r取足够大，可使此数任意小。其次，伯努利要证的是：对任给c>0,只须抽取次数N足够大，可使p/cp"p”ININ”(8)这与前面所说是一回事。因为由上式得_1AE<(c+1)取C充分大可使它小于"。另外要指出的是:（9）伯努利使用的这个缶子模型使被估计的p值只能取有理数，因而似乎有损于其结果的普遍性，但其证明对任意的p成立，故这一细节并不重要。伯努利上述对事实上确定性的数学理解，即（8）式，有一个很值得赞赏之点，即他在概率论的发展刚起步的阶段，就给出了问题的一个适当的提法。因为，既然我们想要证明的是X当N充分大时，N和p可以任意接近，则一个看来直截了当的提法是

4、lim=pnt：N,（10）X而这不可能实现。因为原则上不能排除“每次抽到白球”的可能性，这时N总为1,不能收敛于p<1。或者退一步：要求（10）式成立的概率为1,这个结论是对的，但直到1909年才由波莱尔证明，其难度也比伯努利的提法大得多。设想如当时伯努利就采用这个提法，他也许不一定能在有生之年完成这一工作。波莱尔得结论比伯努利强，故现今把它们得结论分别称为强大数律和弱大数律。如今具有概率论初步知识的人都知道，伯努利大数律是契比谢夫不等式的简单推论。但在伯努利时代尚无方差概念，更不用说这一不等式了。伯努利用的是直接估计概率的方法，大意如下：令A0=P（Np<X<Np+N8）

5、A=P（NpkN；:二X<Np（k1）N；）k、，、'，k=1,2,只须证明：当N充分大时有（注3）Ac（AAc）7（12）,（11）这就解决了X>Np的一边。对X<Np的一边如法炮制，即可得处（8）式。附带指出：可以把伯努利的结论（9）引申一点点：如果我们知道缶中球的总数a+b,或者更广一些，知道a+b不超过某已知数M,则可以把（3）式改进为：可以找到p的一个X估1f?（X）（不是N）,使当N充分大时有P（p（XypX可）。（12）但如不给定a+b的界限，则找不到这样的估计量?（X）（注4）。伯努利当初提出的目标，比单纯证明（9）式要高：（9）式只肯定了当取N充分大

6、时，用X1N估1fp可达到任意指定的精度3而可靠度不小于1-9+1）。伯努利希望弄清楚到底需要N多大。解决了这个问题，在实用上就可以根据所需的精度和可靠度，去规划所须观测次数No他证明了以下的结果：定义logL（b-1）1m1=不小于10g（a+Dgga的最小整数，（13）logl.c(a-1)Im2=不小于10g(b+1)10gb的最小整数,m1(ab)b(ab)(mi-1)Nia+1,m2(ab)a(ab)(m2-1)N2二b+1。(14)(15)(16)则取N=maX（N1,功能满足（9）式。伯努利给了若干数字例子，其一为：a=30,b=2031g_（p=5）,-50,c=1000o用上

7、述结果算出所需的次数N为25550。可以与由契比谢夫32600I-I=55N不等式计算的结果作一比较。按此不等式，有（注5）-11（c1）1=为使此值不超过1001,N至少应为600600,这比伯努利给出的值大20多倍。这反映了一个事实：伯努利在证明（9）式中所作的概率估值，比契比谢夫不等式所作出的要精细得多。虽然如此，25550这个数仍嫌过大。美国统计史学者斯蒂格勒认为，伯努利之所以久未发布其研究成果，与他对一点的不满意有关。因为在伯努利时代，一个中等城市的规模尚不过几千人，25550简直可算时“天文数字”。不过，后世的学者所看重的不在这些地方。如今大家都公认由伯努利工作发端的大数定律已成为

8、整个数理统计学的基础。人们也对伯努利工作的哲学意义给予很高的评价。如斯蒂格勒指出：伯努利证明了数学家不仅可以后验地认识世界，还可以用数学去估量他们的知识的限度。伯努利在结束推测术时就其结果的意义作了如下的表述：如果我们能把一切事件永恒地观察下去，则我们终将发现：世间的一切事物都受到因果律的支配，而我们也注定会在种种极其纷纭杂乱的事象中认识到某种必然。关于决定最小N的问题，一些与伯努利同时或稍后的学者也研究过。例如伯努利的侄儿尼科拉斯在1713年给以为友人的信件中报告了他得出的一个有关结果，比伯努利的上述结果有所改善。如对伯努利的例子，用尼科拉斯的公式估出所需N未17350。稍后到1733年,狄

9、莫弗发展了用正态分布逼近二项分布的方法（见第二章），这是一个实质性、意义深远的改进。按此法估出的N约为6600,这已是没有改进余地的了。6600这个数字仍然很大，它显示，虽然自然界的奥秘可通过实验观察发现，但自然界并不轻易露出自己的真面目。这个例子也提醒我们：在报章杂志等中不时可以看到的、根据一小批样本而计算出的某种特征的其准确度和可靠性，通常远个体的比率，作为样本来自的大群体中该特征所占比率的估计,小于没有受过统计学训练的公众所认为的程度。注1:（3）、（4）两式等价的证明。-(i)-工一1)%-1-',（4）式化为把21写为21222r.-1ir-1iC1.22r1一1-(rr-1

10、)r2-1e(2"212,、1 2iu0此式与（3）式比较看出：只须证明2-1rr-1r21r-1ir-1i2 2C12=、C122一i一ii=0i=0此式当r=1.一.一、r21时成立。用归纳法，假定（A1）在r2-卜时成立，在（A1）左边令r2=k+1因为Cr1i二Cir.k-11r4k-1*i=0Cr1ir.k-1C1ir.k-1CLkrk-1'、C1i=0ik-1rk-1“C1i=0irk_1k-1r.k-1=Cr1k12%C1ki=0i对后一和用归纳假设，由（A1）得+r-k-1k-1r.1i=cJ、c.1kii=02kikr71k,、C1=0i2ki、r一，r=k

11、1,证明了（A1）在r2k也成立。注2:（7）式地证明以h（i,j）记在A已胜i局、B已胜j局的情况下，A最终获胜的概率。则我们要求的就是h（0，0）。按规定，有h(i,j)=1,当i之4,ij>2.h(i,j)=0,当j>4,j-i>2；h(2,2)=h(3,3)=假定再赌一局。若A胜(概率p),情况变为(i+1,j)。若B胜(概率q),情况变为(iJ+D。故按全概率公式，有h(i,j)=ph(i1,j)qh(,j令i=j=3,彳#h(33)=Ph43)PhH),分别在上式中令(i,j)=(4,3)及(3,4),得h(4及h(3,4)的表达式，代入上式得2_2h(3,3)=

12、ph(5,3)2pqh(4,4)qh(3,5)2一，4i=p+2pqh(3,3)。于是得22h(3,3)二_22一2/pqr1。再在式中令(i,j)=(2,3),得h(2,3?ph(3,弼h(2,3)循此以往，依次得h(3,2),h(2,2),h(3,1),h(1,3),，直至h(0,0)，就是(1)式。这个问题可以推广为：一方胜局达到m且比对方得胜局多n,则此方获胜。(1)式对应于m=4,n=2的情况。一般情况原则上也可用上述步骤求解，但对大的m和n公式将繁杂得难以想象。例如乒乓球相当于m=21和n=2。注3:(11)式得证明。我们先介绍一个证明，其思想与伯努利得原始证明一致，但形式略广一些

13、，然后指出伯努利原始证明差异之处。我们只点明主要的步骤，一些容易的细节请读者自己补出。1.1.先证明存在常熟u(与k无关)，使AuA,k+1kk=0,1,2,(A2)A二ukA若此式已证，则有0,故十一41u1A(A3)为证(A2)，记bk=Np+kN£+1。按Ak的定义，有4斗_P(X=%)+PXkQ+1)+-aX曰13名+N14入-RX=b)pXkb1)pXb；N1)P(X=。1),max-k-1P(Xf)1+N&-9P(X=bk+Ns1)o此处有一个bk可以不是整数的问题。这需要在写法上作一点小的调整。以下为行文简单，a1p=；=略去这一调整，这与实质无损（在伯努利的原

14、始证明中，a+b,a+b而他取N为a+b的整倍数，故这时bk必为整数，不存在上述问题）。容易证明：当r<s而l>0时，有P（X=SRX=s）lP（X=旷R十）。当然这里要求r之0而s+l<No上式易由二项概率公式证明之。由以上两式得：.P(X=bk1)_P(X=bjAk'P(X由)-P(X=b。)而u与k无关。2.2.证明当Nt8时,UT0。若此已证，则由（A3）立即得到（5）。按二项概率公式由（q=1p）：-1(Np2)(Np3)NPNu二!-(Nq-N)(NqN11)(Nq1)于是证明了uT0。（11）式证毕。pjpq(i1qNpq-ipNN.；(i1)pi=1N

15、QO当NT。a1p二，；=这个证明对p和6及N无所限制。在伯努利得原始证明中a+ba+b,而N式.b（a+b）的整倍数。这是不仅不存在上述k+1可能不为整数的困难，且在去掉公因子NihN-iNab（a+b）一之后，可以用整数i）代替P（X=i）,处理较方便，但步骤和证明的实质部分无所差异。注4：满足（12）式的？（X）不存在的证明。固定一个自然数No取整数r充分大，使r（a+b）No缶中有白球ra个，黑球rb个，对此缶，在不知道白、黑球个数的情况下，白球个数可能取0,1,，r（a+b）等值，故p白球数值I球总数J有r（a+b）+1个可能值，分别记为PiJH,Pm,M=r（a+b）+1,取iM。若伙X）满足（12）,应有Pp簿（x）=ip0pi,P此处pi表示，概率是在白球比率为pi时计算的。由此式知，集合A=j：j=0JUN?pK'p）非空，即它至少有一元，因为D/ILDm这m1个集两两无公共点，故其并至少有M-1之N+1元，这推出集dm必为空集。因而Pn（X）=MP*0pM与（12）式矛盾。这证明了？（X）的不存在性。注5:关于伯努利的结果与用契比谢夫不等式得出的结果的比较，还应注意几点：其一是伯1Z=努利的结果只适用于a+b的情况，而契比谢夫不等式中的E无所限制。更重要的是：ap=伯努利是在a+b已知的前提下去