高斯导出误差正态分布

1、高斯导出误差正态分布1809 年，高斯 (Carl Friedrich Gauss， 1777 1855) 发表了其数学和天体力学的名著绕日天体运动的理论 。在此书末尾，他写了一节有关“数据结合”（ data combination）的问题，实际涉及的就是这个误差分布的确定问题。设真值为， n 个独立测量值为 X1 , X n 。高斯把后者的概率取为L( ) L( ; X1, , Xn )f ( X1 ) f ( X n ),（ 14）其中 f 为待定的误差密度函数。到此为止他的做法与拉普拉斯相同。但在往下进行时，他提出了两个创新的想法。一是他不采取贝叶斯式的推理方式，而径直把使(9) 式达到

2、最大的( X1 , , Xn ) 作为的估计，即使L( )max L ()（ 15）成立的 。现在我们把 L( ) 称为样本 X 1 , Xn 的似然函数，而把满足(15) 式的称为 的极大似然估计。这个称呼是追随费歇尔，因为他在1912 年发表的一篇文章中，明确提到以上概念并非针对一般参数的情形。如果拉普拉斯采用了高斯这个想法，那他会得出：在已定误差密度为f (x)m e m|x| ,x.2（ 16）基础上，其中 m 0 为未知参数。的估计是样本X1 , X n 中位数 med( X1 , X n ) ，即X1 , X n 按大小排列居于正中的那一个( n 为奇数时），或居于正中的那两个的算

3、术平均 ( n为偶数时）。这个解不仅计算容易，且在实际意义上，有时比算术平均X 更为合理。不过，即使这样，拉普拉斯的误差分布 (16) 大概也不可能取得高斯正态误差那样的地位。原因是 X是线性函数，在正态总体下有完善的小样本理论，而med( X1 , , X n ) 要用于推断就难于处理。另外，这里所谈的是一个特定的问题随机测量误差该有如何的分布？测量误差是由诸多因素形成， 每种因素影响都不大。按中心极限定理， 其分布近似于正态分布是势所必然。其实，早在1780 年左右，拉普拉斯就推广了狄莫佛的结果，得到了中心极限定理的比较一般的形式。可惜的是，他未能把这一成果用到确定误差分布的问题上来。高斯

4、的第二点创新的想法是：他把问题倒过来，先承认算术平均X 是应取的估计，然后去找误差密度函数f 以迎合这一点，即找这样的f ，使由 (15) 式决定的 就是 X 。高斯1证明了：这只有在1x 2f ( x)exp222（ 17）条件下才能成立，这里0 为常数，这就是正态分布N(0, 2) 。高斯这项工作对后世的影响极大，他使正态分布同时有了“高斯分布”的名称，后世之所以多将最小二乘法的发明权归之于他，也是出于这一工作。高斯是一个伟大的数学家，重要的贡献不胜枚举。但现今德国10 马克的印有高斯头像的钞票，其上还印有正态分布N ( ,2 ) 的密度曲线。这传达了一种想法：在高斯的一切科学贡献中，其对

5、人类文明影响最大者，就是这一项。在高斯刚作出这个发现之初，也许人们还只能从其理论的简化上来评价其优越性，其全部影响还不能充分看出来。这要到20 世纪正态小样本理论充分发展起来以后。拉普拉斯很快得知高斯的工作，并马上将其与他发现的中心极限定理联系起来，为此，他在即将发表的一篇文章( 发表于 1810 年）上加上了一点补充，指出如若误差可看成许多量的叠加，根据他的中心极限定理，误差理应有高斯分布。这是历史上第一次提到所谓“元误差学说”误差是由大量的、由种种原因产生的元误差叠加而成。后来到1837年，海根(G.Hagen) 在一篇论文中正式提出了这个学说。其实，他提出的形式有相当大的局限性：海根把误差设想成个数很多的、独立同分布的“元误差”1 , n 之和， 每个 i 只取a 两值，其概率都是 1/2 ，由此出发，按狄莫佛的中心极限定理，立即就得出误差( 近似地 ) 服从正态分布。拉普拉斯所指出的这一点有重大的意义，在于他给误差的正态理论一个更自然合理、更令人信服的解释。因为，高斯的说法有一点循环论证的气味：由于算术平均是优良的，推出误差必须服从正态分布；反过来， 由后一结论又推出算术平均及最小二乘估计的优良性，故必须认定这二者之一 ( 算术平均的优良性， 误差的正态性 ) 为出