最小二乘法在误差分析中的应用0001

1、误差理论综述与最小二乘法讨论摘要:本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法(LS) 的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来 的全面最小二乘法(TLS)同传统最小二乘法进行了对比。.误差的有关概念对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现， 物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此， 必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、 研究、判断，必须采用误差理论，它是我们客观分析的有力工具测量基本概念一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，

2、测量可分为直接测量、间接测量和组合测量。直接测量:可以用测量仪表直接读出测量值的测量。间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量 量的函数关系求出。组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量， 并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求 量的数值，即为组合测量。误差基本概念误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值 为y，真值为Y，则测量误差dy=y-Y。虽然真值是客观存在的，但实际应用时它 一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。随机误差:是同一测量条件下，重复测

3、量中以不可预知方式变化的测量误差 分量。系统误差:是同一测量条件下，重复测量中保持恒定或以可预知方式变化的 测量误差分量。粗大误差:指超出在规定条件下预期的误差。等精度测量的随机误差当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量 值都含有误差，这些误差的出现没有特定的规律，但就误差的总体而言，却有统 计规律。正态分布通过对大量的测量数据的观察，人们发现测量列的随机误差有以下几个特征：绝对值相等的正误差与负误差出现的次数相等，即误差的对称性；绝对值小的误差比绝对值大的误差出现的次数多，即误差的单峰性；在一定的测量条件下，随机误差的绝对值不会超过一定界限，即误差的有 界性；随着

4、测量次数的增加，随机误差的算术平均值趋于零，即误差的抵偿性。正态分布曲线如下图1-1所示。正态分布时区间（田。，叶。）的面积占总面积 的 68.27%;（卜 1.96o, |i+1.96o）的面积占总面积的 95%;区间（氏2.58o, r+2.58o） 的面积占总面积的99%。图1-1.正态分布曲线t分布t分布是小样本分布，小样本分布一般是指n3。，该数据为异常数据，应剔除。莱依 特准则的合理性是显然的，对服从正态分布的随机误差，其残差落在（-3。，3。） 以外的概率仅为0.27%，当在有限次测量中发生的可能性很小，认为是不可能发 生的。（2）肖维勒准则：若对某一物理量等精度重复测量n次，得

5、测量值X1，X 2，X3Xn，若认为 Xj为可疑数据，若此数据的残差lvlZ。，则此数据为异常数，应剔除。实用中 Zl,当等精度测量时，测量数据与直接测量量I的最佳估值二的残 差应满足最小，即：Zv2=Z Qi-yi)2=mini-1i-1回归分析回归分析(Regression Analysis)是英国生物学家兼统计学家高尔顿(Galton) 在1889年出版的自然遗传一书中首先提出，是处理变量之间相关关系的一 种数理统计方法。由于相关变量之间不存在确定性关系，因此，在生产实践和科 学实验所记录的这些变量的数据中，存在不同程度的差异。回归分析就是应用数 学方法，对大量观测数据进行处理，从而得到

6、比较符合事物内部规律的数学表达 式。.最小二乘法的创立、发展及其思想最小二乘法是提供“观测组合”的主要工具之一,它依据对某事件的大量观 测而获得“最佳”结果或“最可能”表现形式。如已知两变量为线性关系y=a+bx, 对其进行n(n2)次观测而获得n对数据。若将这n对数据代入方程求解a,b之值 则无确定解。最小二乘法提供了一个求解方法,其基本思想就是寻找“最接近” 这n个观测点的直线。最小二乘法不仅是19世纪最重要的统计方法,而且还可以 称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学 的几大分支都以最小二乘法为理论基础。作为其进一步发展或纠正其不足而采取 的对策,不少近现

7、代的数理统计学分支也是在最小二乘法基础上衍生出来的。正 如美国统计学家斯蒂格勒(S.M. Stigler)所说，“最小二乘法之于数理统计学犹如微 积分之于数学”。天文学和测地学的发展促进了数理统计学及其他相关科学的发展。丹麦统计 史家哈尔德曾指出天文学在数理统计学发展中所起的作用。“天文学自古代至18 世纪是应用数学中最发达的领域。观测和数学天文学给出了建立数学模型及数据 拟合的最初例子,在此种意义下,天文学家就是最初的数理统计学家。天文学的问 题逐渐引导到算术平均,以及参数模型中的种种估计方法,以最小二乘法为顶峰。” 这也说明了最小二乘法的显著地位。勒让德创立最小二乘法现行的最小二乘法是勒让

8、德(A.M.Legendre)于1805年在其著作计算彗星轨 道的新方法中提出的，该书有80页,包含8页附录,最小二乘法就包含在这个 附录中。勒让德之所以能做出这个发现,是因为他没有因袭前人的想法要设法构造出 k 个方程去求解.他认识到关键不在于使某一方程严格符合,而在于要 使误差以一种更平衡的方式分配到各个方程。高斯的正态误差理论早在17世纪,伽利略在其名著关于两个世界的对话托雷密与哥白尼 (1632)中,就讨论了随机误差及其分布的问题。虽然他并未提出这个名词,但他提 出了随机误差的分布曲线应有图4-1的形状：1.f关于0对称(即f(- )=f( )，这表 示正负误差有同等出现的机会)；2.

9、 f在两边单调地衰减至0,即大误差出现的机 会较小,很大误差的机会几乎为0。图4-1. a是误差大小，f(a)是a这样的误差发生的概率1809年,高斯发表论著关于绕日行星运动的理论。在该书末尾,他写了一 节有关“数据结合”的问题,以极其简单的手法导出误差分布正态分布,并用 最小二乘法加以验证。关于最小二乘法,高斯宣称自1795年以来他一直使用这个 原理。这立刻引起了勒让德的强烈反击,他提醒说科学发现的优先权只能以出版 物确定。现在一般认为,二人各自独立地发明了最小二乘法,尽管早在 10 年前, 高斯就使用这个原理,但第一个用文字形式发表的是勒让德。高斯较之于勒让德把最小二乘法推进得更远,他由误

10、差函数推导出这个方法 并详尽阐述了最小二乘法的理论依据。其推导过程如下:设误差密度函数为f(x),真值为x，n个独立测定值为x1,x2，,xn由于观测 是相互独立的,因而这些误差出现的概率为：(1)L(x)= L(x;x, xx )= f (x 一 x) f (x 一 x).f (x 一x)要找出最有希望的误差函数应使L(x)达极大,高斯认为xD就是x的估计值, 并使L(x)取得极大值。对(1)式两端取对数得:nIn L(x) = z ln f (x 一 x) i（2）i 1再对（2）式求导：d In L (x)n f(x 一 x) = z idx f (x 一 x)，i1i则有zg(x一i

11、=1x ）= 0上式求对xg . Sg d.xi偏导数xx Sx，而inizni =1x 一 n X= 0 1（i 牛 n）g，对于任意i有Sxi=c（c为常数），g (x) = cx + b可得2 g (x 一 x口)ii=1=2 c (x - x口) + b =c2 (x - x口) + nb = 0ii TOC o 1-5 h z i =1i =1因寸(x(- ) = 0可以推出b=0,则有 g(x) = f(x)/f (x) = cx ,i =1181积分可得f(x) = ke2cx1由f (x)dx =1，应有c826H47 911002(位 225.851C10 (M9.22953

12、 7827%1J而92172 X(SI C27.1)86PL 5 Jill448。500P3羽一彻了55 OIK29()P343 7S7.57 96K614141() S 464 H67.981表5-2.已知点的真实坐标根据已知点坐标求出各个边长的真实长度,分别为:L1=5760.7132m，L2=5187.3387m，L3=7838.8726m，L4=5483.1580m，L5=5731. 8220m，L6=8720.1288m，L7=5598.6018m，L8=7494.8989m，L9=7493.2662m， L10=5438.4036m， L11=5487.0595m， L12=888

13、4.5594m， L13=7228.3699m。 5.2.2设计两种方案把PI, P2, P3, P4点作为待定点，对以上网形进行同精度观测，为了便于比 较设计2组观测值,方案1为观测值与真实值相差不大的情况,即待定点坐标与真 实坐标相差不大的情况,此时系数矩阵误差不大;方案 2 为观测值与真实值相差 较大的情况,即待定点坐标与真实坐标相差较大 ,此时系数矩阵误差较大的情 况,2种方案观测值如下:方案1:同精度测得如图1中的13个边长,其结果为L1=5760.706m，L2=5187. 342m,L3=7838.880m,L4=5483.158m,L5=5731.788m,L6=8720.16

14、2m, L7=5598.570m,L8=7494.881m,L9=7493.323m,L10=5438.382m,L11=5487.073m, L12=8884.587m,L13=7228.367m。方案 2：同精度测得如图 1 中的 13 个边长,其结果为 L1=5761.706m, L2=5186.342m,L3=7837. 880m,L4=5484.158m,L5=5730.788m,L6=8721.162 m, L7=5597.570m,L8=7493.881m,L9=7492.323m,L10=5437.382m,L11=5488.073m, L12=8883.587m,L13=72

15、29.367m。5.3精度比较与分析表5-3为以上两节获得的数据,以及真实坐标与经平差以后的坐标值的比较：点旺更实任林最小：乘法一面最小二天揩方案1珠2案L方案2LHi椭坐标48 5S0 274 G4B 刎 274 J.48 5841 275 :48 5RQ 275 445 5Sil 273 51 II坐标60 5OU 硼 060 5帕 498 2W 制 497 1Ml 5加 498 160 501 497 9横坐次48 68L 389 04B6&J. 388 勺48 68 L 39fl 04S 68 L 3KS448 6BL 3B9 11 广很世归55290 033 015 290 255

16、0J5 291 155 0I8 290 155 DIS 298 7一一阿43 7ft7 18B0A3 70 IH7 93 767 18B943 761 IB8 14? 7Z IBS 11 3型机57 %!1 614 057614 05T96& 613 157 WS 6B 957 ME 614 2n 140 8J1 3IB040 841 317 S40刎工3lfi 94fl 科& 317 9M 841 318 21 4蚣坐标M &工11S4 97 婀 *M Wl 1ih：i u(4 XR-1.则J 7M9H14图5-3.两种数据处理方法平差结果(单位/m)由上表可以看出：(1)最小二乘法处理方案

17、1的数据精度可以达到0.1mm,而处理方案2的数据 精度的只能达到1 mm。如果方案2中观测值误差更大一点，结果误差可能会更 大。由此可见：最小二乘在处理非线性函数模型平差的时候,适用于待定点近似 坐标与真实坐标相差很小的情况,相差较大的时候,由于最小二乘没有考虑系数 矩阵的误差导致精度不高,数据可靠性不高。(2)全面最小二乘处理方案1和方案2数据精度都可以达到0.1mm甚至更高。 由此可见：全面最小二乘在处理非线性函数模型平差的时候,由于考虑了系数矩 阵的误差,所以对于两种方案都能达到要求,平差出来的数据符合要求,数据可 靠性有保障。5.3结论最小二乘在处理非线性函数模型平差时,仅仅适用于待定点近似坐标与真实 坐标相差不大的情况,即观测值误差不是很大的情况下,反之,则数据可靠性可能 受到影响,要进行多次平差来验证。而采用全面最小二乘法则可以兼顾系数矩阵 和观测值两者的误差,数据