高斯分布密度函数的分析

高斯分布密度函数的分析

一、建立对高斯核心统计思想的深入挖掘众所周知，高斯分布（又称正态分布）是数理统计理论中最重要的分布形式。中心极限定理揭示:任何分布的抽样分布当样本量足够大时,其渐近分布都是高斯分布。这一结果在统计理论的研究历史中具有里程碑式的意义,从此数理统计的实践工作具有了坚实的理论基础。高斯分布密度函数的函数形式由德国著名的天才数学家、统计学家、物理学家和天文学家高斯推导出。高斯一生中所取得的科学成就无数,但是,在欧元出现前的德国马克10马克纸币上,不仅印有高斯的头像,更印有高斯分布N(μ,σ2)的密度曲线。这传达出一种强烈的信息:在高斯的一切科学贡献中,其对人类文明影响最大者,就数这一项。高斯的伟大成果令无数人为之折服,但是,由于其推导过程用到较多数学理论,虽不能说特别深,却也足以令不少数学基础薄弱者感到难以理解。另外,其所用到的统计学思想不是从传统的思维角度出发,具有很大的创造性,这使得其详细的推导过程相当不易见于一般的统计学著作,更完全不见于普通的统计学教科书。于是,许许多多的人对之感到深深的困惑;如此并不常见的函数形式高斯本人究竟是源于什么思路想到,又是利用什么方法导出?事实上,本人自本科时代初次接触它起就曾经长时间陷入对这一问题的思考,久久地得不出结论。其实原本也以为这根本不是什么问题,日后有机会找到一本有关著作看一下就是,但后来才发现,要找到一本这样的著作相当困难。另一方面,随着自己进入统计理论的教学和科研工作,这一问题渐渐成了不可回避的问题,读史才能鉴今,对它知其然不知其所以然的了解状况严重影响着自己对其它统计理论的理解深度。显然,这应该是一个有关统计史方面的问题,但是,多少年来,网上搜索中国最权威的学术文献库“中国知网”和国外著名的学术文献全文数据库“Springer”、“WorldScientific”等,竟然发现从来没有人提供这方面的证明材料。在中国最大的网上图书馆“超星图书馆”的搜索引擎中输入关键词“统计史”,也从没有发现一本该方面的著作。加之身边的同事、学生也无数次表达出同样的困惑,于是久远的兴趣被再次激起,使本人下定了决心:一定要将该问题深究下去,直至其水落石出!事实上,对这一问题的探讨,其实际意义远不止于对该理论本身的掌握,更在于对高斯核心统计思想的深刻领会,学习他与众不同的研究视角和研究手段,具有极高的理论价值。如前所述,要找出这一问题的详细探讨过程委实不易。有关统计方面的纯理论研究就已经偏少,统计史方面的研究则少之又少。对于如此基本的问题,国外所能找到的资料由于没有发现有正面阐述者,因而大都语焉不详、一笔带过。几费周折后获得唯一的参考资料是国内陈希孺院士所著的《数理统计学简史》,其中叙述相对详细,却也不过区区三、两百字而已,且重在介绍其思想的来源,仅仅是在附注中给出部分框架性论证,核心推导处着笔寥寥,不少较重要的细节被跳过,所得结论看后让人不胜思揣。尽管如此,笔者仍然对之视若珍宝,再结合其他所能获得的有限资料,慢慢地得以将高斯的主要思想进行梳理、汇总,然后利用自己的数理知识对所有中间环节作详尽的推证,虽从未看见高斯本人的推导,但自认为已经能将之完全复原了。今展现于此,以飨所有对此问题有兴趣者。二、无理数x引理1若函数g(x)为具有二阶导数的偶函数,则g′(x)是奇函数;g″(x)又是偶函数。证明因为g(-x)=g(x),所以g′(-x)(-1)=g′(x),即:g(-x)=-g′(x),同理得:g″(-x)=g″(x)证毕。引理2若函数g(x)满足以下条件:a)g(0)=0;b)g(x)可导且导函数连续;c)g′(x)是偶函数;d)对任意自然数m及实数x满足:g′(mx)=g′(x)则对任意实数x,函数g(x)必具有形式:g(x)=cx(其中c为常数)。证明当x=0时,结论显然成立;当x≠0时,令x=1m,则有:g′(1)=g′(m⋅1m)=g′(1m)即g′(1m)=g′(1)对于任意有理数x,若x>0,总能表示成正分数的形式x=nm(m、n均为自然数),于是有:g′(x)=g′(nm)=g′(1m)=g′(1)若x<0,利用偶函数的性质,上式依然成立。所以对一切有理数,上述结论成立。对于任意无理数x,总能构造一个有理数列{xn}(n=1,2,3,…)使得该数列趋于x,即:limn→∞xn=x由于g(x)具有一阶连续导函数,于是对其求积分与求极限运算可交换,可得:g′(x)=g′(limn→∞xn)=limn→∞g′(xn)=limn→∞g′(1)=g′(1)这样对全体实数x均有:g′(x)=g′(1)令g′(1)=c,利用条件(1),对上式两边求不定积分得:g(x)=cx证毕。引理3函数e-x2在整个实数域上的积分值为√π,即:∫∞-∞e-x2dx=√π设D表示平面直角坐标系中的第一象限,即:D=[0,+∞)×[0,∞)证明令DR为以原点为圆心、半径为R的圆与D的交集,即该圆在第一象限的部分,根据二重积分理论有:∬De-(x2+y2)dσ=limR→∞∬De-(x2+y2)dσ=limR→∞∫π/20dθ∫R0e-r2rdr=limR→∞π4(1-e-R2)=π4再令:Sa=[0,a]×[0,a],a>0考察区域Sa上积分:∬Sae-(x2+y2)dσ=∫a0e-x2dr∫a0e-y2dy=(∫a0e-x2dx)2由图1可见下式成立:Da⊂Sa⊂D√2aD√2a表示图中较小的1/4圆所在区域Sa表示图中正方形所在区域Da表示图中较大的1/4圆所在区域因为e-(x2+y2)为非负函数,由两边夹定理得:∬Dae-(x2+y2)dσ≤∬Sae-(x2+y2)dσ=(∫a0e-x2dx)2≤∬D√2ae-(x2+y2)dσ从而有(∫∞0e-x2dx)2=(lima→∞∫a0e-x2dx)2=lima→∞(∫a0e-x2dx)2=∬De-(x2+y2)dσ=π4即∫∞0e-x2dx=√π2或者:∫∞-∞e-x2dx=√π证毕。三、密度函数的发现和应用在进行密度函数的具体推导前,先进行必要的背景知识介绍:最初的高斯密度函数形式的推导,其思想动机来源于对误差规律的认识。众所周知,随机误差属于一种典型的随机变量。直觉上,对一个物体的测量,用多次测量的结果的算术平均数作为总体平均真值的估计肯定优于用单次测量结果作为其估计值,而且似乎并不存在其它更好的估计量。那么误差随机变量所服从的分布或者说其密度函数一定是这么一个“周密”的函数,它总能使样本的算术平均数成为总体真值估计量中最优良的估计量。设总体真值为θ,有一个关于测量误差的简单随机样本x1,x2,…,xn,考虑使如下似然函数取最大值时的估计量:L(ˆθ)=maxθL(θ)=maxθf(x1-θ)f(x2-θ)⋯f(xn-θ)不同于最大似然估计思想:在给定总体密度函数f(x)的条件下,什么样的ˆθ值能使上式取最大值,则这个取值就要所寻求的参数θ的估计值;高斯的创新性想法是:既然经验告诉人们样本的算术平均值往往是总体平均值最优良的估计,那么是什么样的分布(密度函数)造就了这一结果,则这个分布(密度函数)就是高斯要寻求的分布(密度函数)。于是,高斯先承认ˉx已经是应取的估计,然后去找误差密度函数迎合这一点,即找出这样的f(x),使得由上式所决定的ˆθ就是ˉx。以f(x)记待定的误差密度函数。根据在没有系统误差的条件下,测量值总是越是远离真值其出现概率越小,并且在真值左右应对称地分布的特点,误差的密度函数f(x)应该是连续的偶函数。另外,可以再允许它具有进一步优良的数学性质,如具有二阶连续的导函数等。只要这样的函数最终存在,就还是达到了目的。由于问题:maxθf(x1-θ)f(x2-θ)⋯f(xn-θ)等价于问题:maxθLn[f(x1-θ)f(x2-θ)⋯f(xn-θ)]即maxθn∑Ι=1ln(f(xi-θ))要使该式取大值,势必有:n∑i=1ln´θ(f(xi-ˆθ))=n∑i=1f′θ(xi-ˆθ)f(xi-ˆθ)=0引入辅助函数g(x)=f′(x)f(x)则n∑i=1g(xi-ˆθ)=0为得到g(x)的形式,利用f(x)的偶函数性质并运用引理(1)的结论知,g(x)是奇函数。所以有:g(x)=-g(-x),g(0)=0取自然数m,并令n=m+1,故:x1=x2=…=xm=-x,xm+1=mx,则此时ˆθ=ˉx=0由于:n∑i=1g(xi-ˆθ)=n∑i=1g(xi)=0并利用前式得:g(mx)=mg(x)上式对一切自然数m及实数x成立。由此,假定g(x)可导且导函数连续,等式两边分别关于x求导,得:dg(mx)d(mx)*d(mx)dx=mdg(x)dx即g′(mx)=g′(x)由于g′(x)=f″而f(x)是偶函数,根据引理(1),f′(x)是奇函数,f″(x)是偶函数,于是g′(x)是偶函数。由于f(x)具有二阶连续导函数,所以g′(x)连续。这样,g(x)符合引理(2)的全部条件,运用其结论得:f′(x)f(x)=cx即g(x)=cx由于f′(x)f(x)=d[ln(f(x))]dx从而ln(f(x))=∫cxdx=12cx2+c′故f(x)=e12cx2+c′=Μe12cx2(Μ≜ec′)上述f(x)显然恒大于零,要使其能成为密度函数还须使其在整个实数域上积分值为1。