第四章最小二乘法估计

1、誤差理论与tu居处理第“鶴乘试估计第五章参数的最小二乘法估计祺差理卷鸟数据处理乘试估计理沦鸟数据处理最小二乘法原理线性测量方程组中参数的最小 二乘法非线性测量方程组中参数的最 小二乘法组合测量果扌最小二乘倣(_)最小二乘法是一种在数据处理和误差估计等多学科领域得到广泛应用的数学工具。随着现代数学和计算机技术的发展f最小二乘法成为参数估计、数据处理、归分析和经验公式拟合中必不可少的手段 并已形成统计推断的一种 准则。通过本章的学习 可以掌握最小二乘法 的基本原理 以及在组合测量问题的数据处理祺差理卷鸟腿据处理果于最小二乗倣（二丿最小二乘法是用于数据处理和误差估计中的一个 很得力的数学工具。对于从

2、事精密科学实验的人 们来说 应用最小乘法来解决一些实际问题仍 是目前必不可少的手段。例如取重复测量数据 的算术平均值作为测量的结果 就是依据了使残 差的平方和为最小的原则 又如 在本章将要用 最小二乘法来解决一类组合测量的问题。另外f常遇到用实验方法来拟合经验公式 这是后面一章回归分析方法的内容 它也是以最小二乘法原果于最小二乘试（三丿最小二乘法的发展已经经历了200多年的历史f 它最先起源于天文和大地测量的需要,其后在许 多科学领域里获得了广泛应用f特别是近代矩阵 理论与电子计算机相结合 使最小二乘法不断地 发展而久盛不衰。-本章只介绍经典的最小二乘法及其在组合测量中 的一些简单的应用 一些

3、深入的内容可参阅专门 的书籍和文献。祺差理卷鸟腿据处理计第一节最小二乘癌原理第一节最小二乘依厲理最小二乘法的产生是为了解决从一组测量值中寻找最可信赖值的问题。对某量E3进行测量,得到一组数据在系 统误差和粗大误差”相互独立,且服从正态分布. 其标准差为 esm第一李最小二乘该凍理根据概率乘法定理，测得值最可信赖值满足 权因子WOCxvxL ,xn/ 、2同时出现的概率为6XP -2?F ”11/ b；(dx)n最可信赖值应使 出现的概率P为最 大，即使上式中 负指数中的因子 达最小再用微分法得最可信赖值 > 即加权算术平均值Z2wz,=打理论"据处理第“第一节最小二乘依厲理以上

4、最可信赖值是在残差平方和或加权残差平方和为最 小的意义下求得的，称之为最小二乘法原理。它是以最 小二乘方而得名。为从一组测量数据中求得最佳结果，还可使用其它原理。例如(1)最小绝对残差和法:(2)最小最大残差法:=Min(3)最小广义极差法：仙誤差理论与tu居处理第“鶴乘试估计第二节线性参数的最小二乘法祺差理裕鸟数据处理二乘试估计第二节 钱性泰救的眾小二乗族先举一个实际遇到的测量问题，为 精密测定三个电容值：BB5B8I采 用的测量方案是，分别等权、独立 测得，列出待解的数学模型。这是一个组合测量的问 题。祺差理卷鸟数据处理£3待求量测得值第二节 钱性泰救的眾小二乗族组合测量,指直接

5、测量_组被测量的不同组合值, 从它们相互所依赖的若干函数关系中,确定出各被 测量的最佳估计值。如为精密测定1号、2号和3号电容器的电容待解的数学模型=03(川= -0.4(y2)%!+%3二05()，3)x2+x3 =-0.3(y4)为了获得更可靠 的结果 < 测量次 数总要多于未知 参数的数目第二节 钱性泰救的眾小二乗族这是一个超定方程组，即方程个数 多于待求量个数，不存在唯一的确 定解，事实上，考虑到测量有误差, 记它们的测量误差分别祺差理卷鸟数据处理£3祺差理卷鸟数据处理£3为按最小二乘法原理祺差理裕鸟数据处理祺差理裕鸟数据处理第二节 钱性泰救的眾小二乗族，甘=

6、Min分别对求偏导数，令它们等于零，得如下的确定性方程组。(x1-0.3)+(x1+x3-0.5)=0(x2+0.4)+(x2+x3+0.3)=0(x1+x3-0.5)+(x2+x3+0.3)=0可求出唯一解=0.R5,x3=0.150第二节 钱性泰救的眾小二乗族以下，一般地讨论线性参数测量方程组 的最小二乘解及其精度估计。祺差理卷鸟腿据处理第二节 钱性泰救的眾小二乗族正规方程组心簇君玻俺与敎据处理设线性测量方程组的一般形式为：” =aiXxY + 0,2 乂 2 +A + aitt(i = 12A q)祺差理卷鸟腿据处理祺差理卷鸟腿据处理第二节钱性泰救的最小二乘族即= anxx + anx2

7、 +A了2 =°21兀1 +°22兀2 +人Myn =anix,+an2x2+K+ %r兀+ a2tXt+ antXt式中，有n个直接测得值，t个待求量。 n>t,各等权，无系统误差和粗大误差。祺差理卷鸟腿据处理第二节 钱性泰救的眾小二乗族因网含有测量误差，每个测量方程都不 严嬴立，故有相应的测量残差方程组祺差理卷鸟腿据处理祺差理卷鸟腿据处理儿=x -工讣j=l(i = 12 A 屮)祺差理卷鸟腿据处理祺差理卷鸟腿据处理iaijxjJ=1祺差理卷鸟腿据处理第二节 钱性泰救的眾小二乗族按最小二乘法原理，待求的场应满足Xj上式分别对 经推导得Xj求偏导数，且令其等于零,祺

8、差理沦鸟敷据处理第/二乘该估计第二节 钱性泰救的眾小二乗族、a1aixi +axa2x2 +A +%為 =ar y +a2a2x2 + A + a2atxt = a2yMataixi +ata2x2 + A +atatxt = at y正规方程组式中血，眈别为如祺差理论与纹据处理X99祺差理论与纹据处理第二节 钱性泰救的舉小二乗族Q =Jaja2jy =MME丿E丿X99誤差理论与於J居处理第五章da。正规方程组有如下特点+偽汀2 +A +為儿第二节钱性泰救的舉小二乗族分别为如下两列向量的内积:aiakVauaik +a2ia2k +A +aniank祺爰理沦鸟狡据处理第第二节 钱性泰救的眾小

9、二乗族测量方程组系数与正规方程组系数% = anxx + anx2 +A + aitxty2 = a21xr + a22x2 + A +a2txtM儿=陽內+%2兀2+人+ Vt祺差理卷鸟腿据处理第二节 钱性泰救的眾小二乗族(1) 主对角线系数是测量方程组各列系 数的平方和，全为正数。(2) 其它系数关于主对角线对称(3) 方程个数等于待求量个数，有唯一由此可见，线性测量方程组的最小二乘解 归结为对线性正规方程组的求解。祺差理卷鸟腿据处理第二节钱性泰热的眾小二乗眩二、正规方程组 的矩阵形式祺差理沦鸟敷据处理第五估计第二节钱性泰救的眾小二乘族为了便于进一步讨论问题，下面借助矩阵 工具给出正规方程

10、组的矩阵形式。记列向量£"2MV2M和n Xt阶矩阵朕差理论与敷据处理第五章朕差理论与敷据处理第五章第二节 钱性泰救的眾小二乗族A =。21。22 厶。2/ananL au、anian2 ant 丿祺差理卷鸟腿据处理第二节 钱性泰救的眾小二乗族则测量方程组可记为:AX = Y测量残差方程组记为V二L-AX最小二乘原理记为(L-AX)T(L-AX) = Mm祺差理衿鸟敎据处理第二节 钱性泰救的眾小二乗族利用矩阵的导数及其性质有力rTZ卩_(VrV) = 2VL LLLLLLLLL (1 dxdx=2(°(X “)(iax)厶厶(2 dx dx=2At (L AX)=

11、 2AtL2AtAX祺差理衿鸟敎据处理第二节 钱性泰救的眾小二乗族令得正规方程组的矩阵形式。AtAX = AL展开系数矩阵和列向量，可得代数形式的正规方程组。当满秩的情形，可求出祺差理衿鸟敎据处理第二节 钱性泰救的眾小二乗族小 结祺差理论与纹据处理祺差理论与纹据处理第二节 钱性泰救的眾小二乗族线性测量方程组的_般形式为矩阵形式tX = aiAxx + ai2x2 +L + aitxt =若aijXj |2j。21 °22 L Cl2t LLLLL an an2 L anf含有随机误 差测量残差 方程组>1MV =MV1V2MVy - Ax = vXyiTjaijxj = vi

12、j=i祺差理卷鸟腿据处理祺差理卷鸟腿据处理最小二乘法原理式不等权y - Ax )T( y - Ax ) = Miny - Ax )T w( y - Ax ) = Min正规方程纟AT Ax = AT yAT vvAx = AT wy正规方程组解039x = (ArwA)iAI wy第二节 钱性泰救的眾小二乗族、精度估十誤老理论与族無处理第五章d第二节 钱性泰救的眾小二乗族对测量数据的最小二乘法处理，其最终结果 不仅要给出待求量的最可信赖值，还要确定 其可信赖程度，即估计其精度。具体内容包 含有两方面：一是估计直接测量结果X2人，几的精度。的精度；二是估计待求量KU1救的和丄乗族仁直接测量结果的

13、精度估计匕2人i和Z2E/b2=池对t个未知量的线性测量方程组EDii 行n次独立的等精度测曇寻 mm 箕残奈误差为MH厮;；标准偏差回 如果H服从正态分布，那么 0 服从 分布，其自由度n-D有KH变量的数 学期望emssn 祺差理卷鸟赦据处理二乘试估计第二节 钱性泰救的眾小二乗族令禹上式又导出子英S讀公式理他鸟敷据处理第彩2待求 量的精度 估计第二节 钱性泰救的眾小二乗族JVX 乂2 7 &7 乂按照误差传播的观点， i古计量w 精度取决于直接测量数 据的精 度以及建立它们之间联祺差理裕鸟数据处理二乘该估计第二节 钱性泰救的眾小二乗族可求待求量的协方差DX=(ArA)_1a2矩阵各

14、元素關可由矩阵 列各方程组分别解得"11"12Ldu22L”2tLLLL必2Ldn(ArA)_1 二求逆得見也可由朕差理论与敷据处理第“估计第二节钱性泰救的眾小二乘族11i2 +厶 + Si。=1a2a1dn + a2a2d12 +L + a2at dlt = 0L Latadn + ata2dn +L +atatdu - 0娱差理彳合鸟題据处理第五章齐'第二节 钱性泰救的眾小二乗族a d 21 +aa2d22 +L + axat d2t = 1°2。1 2i + 色色22 +L + a2at d2t = 0 <L L。禺 J2i + 。禺2 M22

15、 +L + citat d2t = 0理论"据处理身第二节 钱性泰救的眾小二乗族ad1 +ara2dt2 +L + axatdtt = 1a2aidtl + a2a2dt2 +L + a2at dtt = 0 <L Lataidti + ata2dt2 +L + atat dtt = 0理论与敷据处理第五章二乘该估计第二节 钱性泰救的眾小二乗族cr聘冒埶邑筑窗血涵丄JBulL估计D2 b=* 乙 b； = Jdjj c2 (j = 1,2, A , 0矩阵EEB中对角元素祺差理卷鸟腿据处理理他鸟敷据处理第五第二节 钱性泰救的眾小二乗族待求量的相关系数第二节 钱性泰救的眾小二乗族

16、小 结祺差理论昌撅据处理第"( )yv n-t3.待求量与的相关系数宜接测量量的标准差沫知量个数2.待求量的标准差估计方程个数对角元素ism心a祺差理卷鸟数据处理列出测量残差方程组祺差理卷鸟数据处理第二节钱性泰救的眾小二乘依例2为精密测定1号.2号和3号电容器的电容匸 行了等权.独立.无系统误差的测量。测得1号电容彳 ,1号和3号并联电容 o试用最小二乘法求|2号电容值 并联电容值y2 = 一°4» =0.5差。儿=°3X |，*2，*3/号及其标准偏列出测量残差方程组祺差理卷鸟腿据处理第二节钱性泰救的眾小二乗族vl = 0.3-XjV? = _0.4

17、Xryv3 = O5_（X +花）匕=_0.3 （%2 + 兀3）0.3-0.40.5-0.3100010A =101011viV2V3V4y Ax = v矩阵形式2 £II變立>费季*孕"洋杂艮詹$理论鸟數据处理第二乗该佔计第二节 钱性泰救的眾小二乗族_0.7500.250-0.500 _c 1 =0.2500.750-0.500-0.500-0.5001.000x = C-ATy0.325-0.4250.1500.750 0.250 0.5000.250 0.750 -0.500-0.500 -0.5001.000Xj = 0.325, x2 = 0.425, x

18、3 = 0.150誤差理论与tu居处理第“鶴乘试估计代入残差方程组,计算b心=e722 =0-0433玉=b 尽=0.050第三节非线性参数的最小二乘法祺差理卷鸟腿据处理第三节棘钱性泰数的最小二乗族测量残差方程组、非线性函数泰勒展开取E1的初始似二乘法解得£ =（刍，&2,厶，E）迭代直 至歸 足精度 为止第三节棘钱性泰数的最小二乗族祺差理卷鸟腿据处理祺差理卷鸟腿据处理例3 在例2的基础上 再増加一次测量串联电容 得解】 列出非线性测量方程组y5 = 0.14o试用最小二乘法求测及其标准偏差。XxX2 /（兀1乂2）祺差理卷鸟腿据处理兀=0.3x9 = 0.4 兀 +花=0.

19、5兀2 +兀3 = °3 丰= 0.14 x +x2（p2（x） = x2|03 （兀）=+龙04（兀）=X2 +兀3,05（兀）=户（坷+兀2）誤差理论与tu居处理第"甘誤差理论与tu居处理第"甘对前4个线性测量方程组f按例2求出解，作为初次 近似解x(0) =(0325,-0.425,0.150)甘近,取泰勒展开的一阶近似X = yx-(Px (x(0) ) = 0.3-0.325 = 0.025y； = y5-5(x(0)= 0.i4-兀(°)=(0.325, 0.425,0.150)丫(-0.325x0.425、,0.325 - 0.425a5l

20、 = 18.0625y；十© (兀(°) = 0.4 + 0.425 = 0.025% = % - © (x(0) = 0.5 -(0.325 + 0.150) = 0.025 _ 冗=儿一久(兀)-0.3-(-0.425 + 0.150) = -0.025al2 = 0ai3 = °6/99 = 11"23 = °。32 = °|33 = 116/42 = 1 1|。43 - 1=1.24125丿6/52 =10.5625153 =°祺差理沦鸟敷据处理第聲）=#°）+刍=0.2777,醐）=0.4613，刃=0.1918祺差理沦鸟敷据处理第写出线性化 残差方程组-0.025 儿 -0.025 v9 0.025 - 匕0.025 v18.062510.56251.24125 匕整理得正规 方程组328.254190.785190.785-22.4201113.566-13.1170=-0.04735 0.0363&3 = 0.0418聲）=#°）+刍=0.2777,醐）=0.4613，刃=0.1918祺差理卷鸟腿据处理第三节棘钱性泰数的最小二乗族6次迭代结果n00000.325-0.4250.1501-0.0473-0.03630.04180.278-0.4610.1922