第5章最小二乘法

1、第5章线性参数的最小二乘法处理最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们说来，应用最小二乘法来解决一些实际问题，仍是目前必不可少的手段。第一节 最小二乘法原理最小二乘法的发展已经历了 200多年的历史, 它最早起源于天文和大地测量的需要，其后 在许多科学领域里获得了广泛应用。特别是 近代矩阵理论与电子计算机相结合。使最小 二乘法不断地发展而久盛不衰。最小二乘法的产生是为了解决从一组测量 值中寻求最可信赖值的问题。、问题背景在测量的实验数据处理中，经常需要根据两个量的一批观测数据(Xi，yj, i=l, 2,n求出这两个变量Y与X之间所满足的一个函数关

2、系式丫 = f(X)。若变量间的函数形式根据理论分析或以往的经 验已经确定好了，而其中有一些参数是未知的， 则可通过观测的数据来确定这些参数；若变量间的具体函数形式尚未确定，则需要通、问题背景在多数估计和曲线拟合的问题中，不论是参 数估计还是曲线拟合，都要求确定某些（或一个） 未知量，使得所确定的未知量能最好地适应所 测得的一组观测值，即对观测值提供一个好的 頼合。解决这类问题最常用的方法就是最小二乘法。 在一些情况下，即使函数值不是随机变量， 最小二乘法也可使用。设X和Y两个物理量之间的函数关系为Y /XX皿如，心假定此函数关系f已知，但其中aP a2, ak等 参数还未求岀，现对于X和Y有

3、一批观测数据：xP yj , i=l, 2,要利用这批数据在一定法贝ij之下作出这些参数aP a2, ak的估 计。一般根据测量的实际情况，可假设变量X的测量没有误 差(或与Y的误差相比很小，可略去)，而变量Y的测量有 误差，故关于Y的观测值可以写成鸽=丫茁+i = 1,2,曲这里yoi表示Xi对于的Y的变量真值，Ai表示相应的测量 误差。假设诸观测值相互独立且服从正态分布。在等精度观测的 情况下，即认为各误差服从相同的正态分布N(0, cy)o现在的问题是一个参数估计问题：需要给出, a2,a*的估计值玄,a2 f > ak o解决这类问题最常用的方法就是最小二乘法。在一些情况 下，即

4、使函数值不是随机变量，最小二乘法也可使用。最小二乘法准则与正规方程在参数估计问题中，最小二乘法的法则是:所选取的参数估计值乙也2，么应使变量Y的诸观测 值与其真值的估计值(又叫拟合值)，即f(xi； apa2, .ak) 之差的平方和为最小。用式子表示时，记残差片为片=/ y = yt 工冷爲；=1 *2皿最小二乘法就是要求R =艺叩=；乞山门,TZi771在这个条件下，利用数学中求极值的方法可以求出 参数,久。这样求出的参数叫参数的最小 二乘估计。正规方程R = 2 =工妙门，必）' i=lJ = 1根据数学分析中求函数极值的条件:冷=冷些4 一 g9R乳一 /（爲必爲，么） 人庄1

5、共得k个方程，称正规方程，求此联立方程的解可得 出诸参数估计值心。=1，2, ., k）o不等精度情况下的最小二乘法以上是等精度观测的情况，若诸观测值X是不等精度的 观测，即它们服从不同的方差q2的正态分布N(0, 1),那么 也不难证明，在这种情况下，最小二乘法可改为：选取的参数估值应使诸观测值yi与其估计值元之差的加 权平方和为最小。用式子表示就是要使其中，Wi为各观测值yi的权。Wi = o2/q2, , i=i,2, no这里以为任选的正常数，它表示单位权 方差。不等精度情况下的最小二乘法正规方程同样地，根据数学分析中求函数极值的条件:等=舟丈® B /(町；岔朮2,*么)I

6、 等=£ 乂物® 玄,，矗)了 '°( = E共得k个方程，称疋规方程，求此联立方程的解可得 出诸参数估计值J (j = l，2, ., k)o最小二乘法的几何意义从几何图形上可看出，最小二乘法就是要在穿过各 观测点(X|, y)之间找出这样一条估计曲线，使各观测 点到该曲线的距离的平方和为最小。三、最小二乘法与最大似然法的关系如果假定各观测值是相互独立且服从正态分布, 期望值是|!（Xi； ar a2, ak）,方差是则观测值的似然函数为1 y 一沁務MS1 伽）1 1l 严（码疋“口”4）丫 13 2纠6J f最大似然法要求上式取极大值，这就相当于要求

7、指 数项中的工 士少一 “阳,小丁 = 刁s諾=最小 这就说明了在观测值服从正态分布的条件下，最 小二乘估计与最大似然估计是一致的。观测值不服从正态分布时的最小二乘估计实质上，按最小二乘条件给出最终结果能充分 地利用误差的抵偿作用，可以有效地减小随机误 差的影响，因而所得结果具有最可信赖性。假若观测值不服从正态分布，则最小二乘估计 并不是最大似然估计。但应该指出，在有些问题 中观测值虽然不服从正态分布，但当样本容量很 大时，似然函数也趋近于正态分布，因此，这时 使用最小二乘法和最大似然法实质也是一致的。不服从正态分布时最小二乘法的统计学性质若观测值是服从正态分布的，这时最小二乘法和最大似 然法

8、实际上是一回事。但观测值不服从正态分布或其分布 未知时，这时用最小二乘法显得缺乏理论的验证。但应该 指出，作为一种公理来使用，最小二乘法仍然是可以接受 的，而且可以证明，所得到的估计仍然具有一些很好的统 计性质，这些性质是：(1) 解是无偏的，即 0(2) 解是观测值的线性组合，且有最小方差。这称为高 斯一马尔可夫定理；(3) 加权的残差平方和的期望值是EUO = 5 当以=1,即取Wi=l/q2,这时称奔 为%2量。期望值为nk。第二节线性参数的最小二乘法一般情况下，最小二乘法可以用于线性参数 的处理，也可用于非线性参数的处理。由于测 量的实际问题中大量的是属于线性的，而非线 性参数借助于级

9、数展开的方法可以在某一区域 近似地化成线性的形式。因此，线性参数的最小二乘法处理是最小二乘法理论所研究的基本内容O(5-7)(5-8)线性参数的测量方程一般形式线性参数的测量方程一般形式为Y anXi + a 122 + 丫2 = 3iXi + a22X2 + + sNAY 理=+ 42X2 + + gX相应的估计量为-Vi = ani 十 ai22 十+ afX£yi = °21 兀 1 +。22工2 + _ +。2 声 /% =釦1盂I + “说工2 +误差方程其误差方程为(5-9)1 - /1 - (111 + 122 + “ + dti/xj ' 5= I工

10、一 (2.11 + 222 + + 衍声冷% =存一 (anlxt + anlx2 + + 肚宀),二、线性参数的误差方程式的矩阵形式设有列向量r叭snri-L =X =工2V =»"工r -Pg j«1121和nXt阶矩阵(nt)52«zz anl 011、如1Q1*烁丿则线性参数的误差方程式(59)可表示为al2a22V = L - At(5-10)an2等精度测量最小二乘原理的矩阵形式残余误差平方和最小这一条件的矩阵形式为5V2（5血）-最小VTV =最小(5-11)(L - A±)t(L - At)=最小 (5-12)不等精度测量最小二

11、乘原理的矩阵形式jra最小二乘原理的矩阵形式为VTPV =最小(5-13)(L - 4t)rP(L E Air)=最小(5-14)式中的P为n x n阶权矩阵。2°»« Qff?线性参数的不等精度测量还可以转化为等精度的形 式，从而可以利用等精度测量时测量数据的最小二 乘法处理的全部结果。三、线性参数最小二乘法的正规方程为了获得更可取的结果，测量次数n总要多于未 知参数的数目t,即所得误差方程式的数目总是要 多于未知数的数目。因而直接用一般解代数方程 的方法是无法求解这些未知参数的。最小二乘法则可以将误差方程转化为有确定解 的代数方程组（其方程式数目正好等于未知数

12、的个 数），从而可求解出这些未知参数。这个有确定解 的代数方程组称为最小二乘法估计的正规方程（或1线性参数的最小二乘法处理的基本程序线性参数的最小二乘法处理程序可归结为：(1) 根据具体问题列出误差方程式；(2) 按最小二乘法原理，利用求极值的方法将误差方程 转化为正规方程；(3) 求解正规方程，得到待求的估计量；(4) 给出精度估计。对于非线性参数，可先将其线性化，然后按上述线性参 数的最小二乘法处理程序去处理。建立正规方程是待求参数最小二乘法处 理的基本环节。2.等精度测量的线性参数最小二乘法处理的正规方程线性参数的误差方程式为r这是一个t元线性方= A _ (anL 十 &12工

13、2 + + V2 - 5 - (&2】工】+ 012工2 + 八 +最小二乘法处理的正规方程为+4订4花工,=+ 此可解得欲求的估(5-19)程组.当其系数行 列式不为零时，有 唯一确定的解，由=匚一（轴口1 + 52兌2十丿 ailail 无+ H 4订 Qi2 工2 +Sat2fl + Sa>22 2 + +乙=厶t« 1i=li-1 = I工 订无 1 + aitai2 x2 + + aitaitxt =立厶.i = 1t 1f = 1i = 1线性参数正规方程的矩阵形式正规方程(519)组，还可表示成如下形式vi + a 21 2 + 少讥 = 0,知“1 +

14、a 222 + + 弘2® = 0+ a21 十十 a亦® 二 0 J表示成矩阵形式为roi住 11$21幻 2a220线性参数正规方程的矩阵形式ArV = 0(5-21)又因V = L - AX有AtL -= 0(5-22)即= atl若令 C = ArA则正规方程又可写成上 T(5-22)CX = atl若矩阵C是满秩的，则有± = C'AtL (5-23)亡的数学期望E左=EiCA） = CAtE（L） = CAtY = CATAX = X 可见x是X的无偏估计。Y =丫2X =X、X2式中Y、X为列向量（n XI阶矩阵和tXl阶矩阵）其中矩阵元素Y

15、, Y”，Y“为直接量的真值，而 Xr X2,X"为待求量的真值。例51 t123456f/c1020253040452000.362000.722000.802001.072001.482001.60解：(1)列出误差方程5 = S 旳（1 + 叫）（匚=1,2,，6）式中在温度q下铜棒长度的测得值； a铜的线膨胀系数。令y° = a, ayo=b为两个待估计参量，则误差方程可写为5 = li - （a + 丄占） （?二 1,2,，6）(2) 列出正规方程A A 0i = 1i - 16 $ 6 另w +琲二工也3 = 1Z = 1B =- 1为计算方便，将数据列表如下

16、：IttA：/mm也/ （匸mm）1101002000.3620003.62204002000.7240014.43256252000.8050020.04309002001.0760032.154016002001.4880059.26452025200 L 6090072.0s170565012006.03340201.3将表中计算出的相应系数值代人上面的正规方程得6d + 170&r = 12006.03mm1702 + 565061： = 340201,3mm（3）求出待求估计量求解正规方程解得待求估计量a - 1999.97mmb 二 0.03654mm/1C即jo = 19

17、99,97mm* = ± =精翳=0-0000183/C按矩阵形式解算由正规方程，有6£ = 1£6170170 56501,13- 0.034-0,0340,001212006,03340201.3133U/ I- 0.034- 0,034”0,0012 )12006.03 卩999.97340201.3/*0,03654所以yG a = 1999.97mmA _ 0.03654/T旳 一 1999.97=0.0000183/C(4) 给出实验结果铜棒长度人随温度t的线性变化规律为=1999.97(1 + 0 + 00001833不等精度测量的线性参数最小二乘法

18、处理的正规方程不等精度测量时线性参数的误差方程仍如上述式(59)一样，彳旦在进行最小二乘法处理时，要取加权残 余误差平方和为最小，即上u p) =最小i = 1用矩阵表示的正规方程与等精度测量情况类似，可表示为«11©21Q昨1>1 0 0、0、尙2 &22务2T0 p2 0巳2=04aLt 5J.00AJ0 j即atpv =(5-27)上述正规方程又可写成AtPAX = AtPL （5 28）该方程的解，即参数的最小二乘法处理为X =(5 29)C* = a*ta* = atpa则有± = C*'lArPL(5-30)例52某测量过程有误差

19、方程式及相应的标准差如下:巧=6<44 -（X十可）生-0.06= 8.60 - （jTi + 2牝） 巧10.81 （帀十3孔）巾=006巧=0.08卍4 = 13.22 -（工1 + 4工2）5 = 0-08巳 § 15.27 （尤1 + 5上2）试求X，X2的最小二乘法处理正规方程的解。解:（1）首先确定各式的权=16 ； 16 ： 9 ： 9 ： 9（2）用表格计算给出正规方程常数项和系数t如1勾2PcP卫讥心2pp&iPAah111161616166.44103.04103.04212161664328.60137.60275.2031399812710.81

20、97.29291.87414991443613.21118.98475.92515992254515.27137.43687.15259530156594.341833.18（3）给出正规方程59叭 + 1562 = 594 34156® 十 530叼二1833.18（4）求解正规方程组解得最小二乘法处理结果为4.186=2.227四、最小二乘原理与算术平均值原理的关系为了确定一个量X的估计量X，对它进 行n次直接测量，得到n个数据I. ，1屮相应的权分别为P. p“，卩屮则测量的误差方程为 Zl JT(5-35)其最小二乘法处理的正规方程为nn(S = X pMti-li-1(5-

21、36)由误差方程知a=h因而有”n(2 4 )工=S Pili 1=1可得最小二乘法处理的结果S MnSapl + Pzg + 二 + pflP + P2 + + 仇-(5-37)这正是不等精度测量时加权算术平均值原理所给出的结果。对于等精度测量有Pl = P2 = - = Pn = P贝 由最小二乘法所确定的估计量为_ Pig +扭仇.十十P丸=P（仃+ +几）=LdH = 一朽+仍+広=矗72此式与等精度测量时算术平均值原理给出的结果相同。由此可见，最小二乘法原理与算术平均值原理 是一致的，算术平均值原理可以看做是最小二乘 法原理的特例。第三节精度估计对测量数据最小二乘法处理的最终结果，

22、不仅要给岀待求量的最可信赖的估计量，而 且还要确定其可信赖程度，即应给出所得估 计量的精度。、测量数据的精度估计为了确定最小二乘估计量X1，X2,Xt的精度，首先需要给出直接测量所得测量数据的 精度。测量数据的精度也以标准差。来表示。因 为无法求得。的真值，因而只能依据有限'次的测 量结果给出。的估计值，所谓给出精度估计， 实际上是求出估计值。(一)等精度测量数据的精度估计设对包含t个未知量的n个线性参数方程组(57)进行n次独立的等精度测量，获得了II个测量数据1, b，1十其相应的测量误 差分别为§1，82,8n,它们是互不相关的随机误差。因为一般情况下真误差®

23、, §2, 0是未知的，只能由残余误差V, V2，vn 给出。的估计量。(5-39)(5-40)前面已证明 彗心 是自由度为(n-t)的於变量。根据/变量的性质，有4 21 = 1° n - t可以证明它是*的无偏估计量因为习惯上，式5-40的这个估计量也写成即n（5-43）例53试求例5. 1中铜棒长度的测量精度。已知残余误差方程为5 =厶1999.97 x (1 + 0.0000183右/TC)mm (i = 1,2,，6)将s h,值代人上式，可得残余误差为2000.36-1999.975 二2000.72-1999.97巧=2000.80-1999.97血二2001

24、.07-1999.972001.48-1999.97T 2001.60-1999.97(1 + 0.0000183x10)(1 + 0.0000183X20)(1+0.0000183X25)(1 + 0.0000183X30)(1+0.0000183X40)(10.0000183x45)另沅=0.0106mm21 = 1mm= 0.03mm mm = 0 02mm mm= 0.08jnm mm=0mmmm = 0.05mm mm 0.02mm缶 /0.0106 n a.一 mm = 00 51mmo Z（二）不等精度测量数据的精度估计不等精度测量数据的精度估计与等精度测量数据的精度估计相似，只

25、是公式中的残余误差平方和变为加权的残余误差平方和，测量数据的单位权方差的无偏估计为$2 =ni = l(5-44)通常习惯写成(5-45)测量数据的单位权标准差为(5-46)二、最小二乘估计量的精度估计最小二乘法所确定的估计量X, X2,Xt的精度取决于测量数据的精度和线性方程组所给出 的函数关系。对给定的线性方程组，若已知测量 数据1, 12，In的精度，就可求得最小二乘估 计量的精度。下面首先讨论等精度测量时最小二乘估计量的精度估计。设有正规方程ni = l71nnailai2x2 +a订订勺 =2 a订厶t = 1X = 1iI z? 1nID ai2aill +1 = 1理托nS aH

26、ai2X2 + + S ai2aUXt = S ai2i i=1i=lt=1n”«naitai2x2 + +32匕0花丄= S au h > i=Ii=l£=1现要给出由此方程所确定的估计量X, x2, xt 的精度。为此，利用不定乘数法求出X，x2, xt 的表达式，然后再找出估计量X, x2, Xt的精度 与测量数据12, ，1"精度的关系，即可得到估计 量精度估计的表达式。则各估计量X, x2,Xt的方差为分别为下列各方程组的解：ItK开£知4门必| + aiXai2dn + + 工 5S血-1 ；z= 1t>)>nn"

27、£ aM订d】i + ai2ai2dn + + 丫力乙皿“ =0 ：i = 1i = I£如0订血+工如12 + 丫4”如几=0 i - 1i - 1> 1aaaild2i + 工知222 + + Xaair2x = °/= 1t - 1i = 1n爲?L工如“21 + Sat2a<222 + + Z/agdf = 1 i It ® 12】£色心21 + Ya“2”22 + 丫乩如妇=021i«i«* 1aaaadtl + 工 5%必2 + +血=0;=1tc1i-1n«£血2如血+为%么2

28、+“ = 0“8 11血 + atlai2dg2 + += 121t = 11 = '2 _ 1 2、61 2_ J2O d a22a2i 2不等精度测量的情况与此类似。(5-52)相应的标准差为(5-53)式中，&为测量数据的标准差。= dna 丿矩阵形式的结果表达利用矩阵的形式可以更方便地获得上述结果。设有协方差矩阵（n X n阶矩阵）%D仃2叽: 21DI 22Dl2nD人2 JDZ式中=£(£ EL)(LEL)t%A的方差，= E QE厶）（厶-戢）=於 （? = 1, 2,，打）;Dg仕与/，的协方差（或称相关矩）；D"j=EElJ -

29、El）=机尹岛 Q = 1,2,，况切等精度独立测量若G1"为等精度独立测量的结果，即且相关系数pjj = 0,即Dly = 0 协方差矩阵小于是估计量的协方差为D± 二 E(± - Et)r=(4少)7止花仏EL)(L E)T(ATA)-ATr -(ArA)-1ATDLA(ATA)-1 UTAyATa2IA(ATAyx=(ATA)la2(A"】=式中各元素即为上述的不定乘数，可由矩阵(ATA)求 逆而得，或由式(551)求得。各估计量X, x2, ,唇的方差为不等精度测量同样，也可得不等精度测量的协方差矩阵ni =(ArJU)jcr2式中o单位权标准差

30、。矩阵式中各元素即为不定乘数，可由(ATPA)求逆 得到，也可由式(554)求得。例54试求例51中铜棒长度和线膨胀系数估计量的精度已知正规方程为6a 4 1706 = 12006.03mm170a + 5650&X： = 340201.3mm测量数据li的标准差为a = 0,051tnm解:(1)列出求解不定乘数方程组，并求解根据所给正规方程的系数，可列岀求解不定乘数方程组6必1 + 17072 =117Qdu + 5650疋吃=0J6J21 + 170右2 = 0|170J21 十 5650rf22 = 1J分别解得九=113 込 2 = 0-0012(2)计算估计量a、b的标准差

31、可得估计量a、b的标准差为=0=0-051 V1 - 13mm = 0.054mm=0-051 /0?0012nim/C 二 0,0018mm/C(3) 求出y。、a的标准差故有byo = 4 = 0.054mm_ 匹 _ 04018=亦=1999.97/C = 9 X 10_7/1C第四节 组合测量的最小二乘法处理所谓组合测量，是指直接或间接测量 一组被测量的不同组合值，从它们相互 组合所依赖的若干函数关系中，确定出 各被测量的最佳估计值。在精密测试工作中，组合测量占有十分重要的地位。 例如，作为标准量的多面棱体、度盘、祛码、电容器 以及其它标准器的检定等，为了减小随机误差的影响, 提高测量

32、精度，可采用组合测量的方法。通常组合测量数据是用最小二乘法进行处理，它是 最小二乘法在精密测试中的一种重要的应用。组合测量应用为简单起见，现以检定三段划线间距为例，说明组合测 量的数据处理方法。如图51所示，要求检定刻线A、B、C、D间的距离xl、 x2、 x3ocD(1)测量方案及测量数据测量数据仃=1.015mm I2 = 0.985mm /3 = 1.020mmI4 = 2.016mm g 二 1 981mm /6 = 3.032mm组合测量的方案（2）误差方程根据测量方案列出误差方程5 = 1 G血=<2 _工25 =耳一（丸1 +兀2）础=D 一 （2 + 尤3）巩=花一（Q

33、+尤2 +尤3力误差方程的矩阵形式（3）写出误差方程的相关矩阵、£、1.01510O'卩2<20.985010"3h1.020001;L =,A =02.016111.981011、3032,J1LV =(4)求解估计量xl、x3的最佳估计值由式(5-24)得式中C 1 = (ata)-a o o= 010to 0 110110(T1 _132101000122111110401101J1kA238-402一 1048-41w _ 4-12-10-4.0-12,01fl101.015、0.9851.0202.0161-9813.032,011ri.0154.1

34、12、0.9851.0201XJI3.9322,01641.981.3,032.4,052,011-0280.9834.013,最后解得1< 028mm'=0- 983mm1,013mm,（5）计算各次的测量误差值将最佳估计值石 1 = 1.028mm x2 = 0 - 983mm列=1.013mm,巧=心一（工2 +疋3）h 一（巧+乞2 +北3）,得代入误差方程Vj = 0.013mm v2 = 0.002mm v3 = 0.007mm v4 = 0.005mm v5 = 0.015mm v6 = 0.008mm(6)计算各次测得数据的标准差nHvi =0.000536mm3Z=1豊謹蕭鹫量,测得数劇亠环V小的0.000536mm - 0.013mmi=it ti=(6)求岀估计量X、x2> X3的标准差因右L右2'2_ 10c-1 =&21日231_ T-12-1、川3132日33丿、0-12,故有几=14x2 =0.5d22 =14x 2 =0.5就33 =14x2 =0.541 = o J- 0,013 V0-5mm = 0.009mm 0工2 -。y22 = 0.013 J05mm 0.009mm 仏=a