线性参数的最小二乘法处理

线性参数的最小二乘法处理第1页，课件共77页，创作于2023年2月

第一节最小二乘法原理第二节正规方程第三节精度估计第四节组合测量的最小二乘法处理第2页，课件共77页，创作于2023年2月第一节最小二乘法原理

为了确定t个不可直接测量的未知量X1,X2,…,Xt的估计量x1,x2,…,xt,可对与该t个未知量有函数关系的直接测量量Y进行n次测量，得到测量数据l1,l2,…,ln,并设有如下函数关系：若n=t，则可由上式直接求得未知量。由于测量数据不可避免地包含着测量误差，所求得的结果x1,x2,…,xt也必定包含一定的误差。第3页，课件共77页，创作于2023年2月为提高所得结果的精度，应适当增加测量次数n，以便利用补偿性减小随机误差的影响，因而一般取n>t。可见此时不能直接由方程组（5-1）解得x1,x2,…,xt。问题：n>t时如何由测量数据l1,l2,…,ln,获得最可信赖的结果x1,x2,…,xt？按照最小二乘法原理：最可信赖值应在使残差平方和最小的条件下求得。第4页，课件共77页，创作于2023年2月设直接测量量Y1,Y2,…,Yn的估计量分别为y1,y2,…,yn，则有如下关系：而测量数据l1,l2,…,ln的残差应为：即：式（5-3）、式（5-4）称为误差方程式（残差方程式）。第5页，课件共77页，创作于2023年2月若数据l1,l2,…,ln的测量误差无偏（即排除了系统误差），相互独立且服从正态分布，设其标准差分别为σ1,σ2,…,σn，则各测量结果l1,l2,…,ln出现于相应真值附近dδ1,dδ2,…,dδn区域内的概率分别为：第6页，课件共77页，创作于2023年2月由概率乘法定理可知，各测量数据同时出现在相应区域dδ1,dδ2,…,dδn的概率应为：根据最大或然原理，由于事实上测量值l1,l2,…,ln已经出现，因而有理由认为这n个测量值同时出现于相应区间dδ1,dδ2,…,dδn的概率P应为最大，反过来即待求量X1,X2,…,Xt的最可信赖值的确定，应使l1,l2,…,ln同时出现的概率P为最大。由上式可见，要使P最大应满足：第7页，课件共77页，创作于2023年2月当然，由前述给出的结果只是估计量，它们以最大的可能性接近真值而并非真值，因此上述条件应以残差的形式表示，即用残差代替绝对误差：引入权的符号p，由下面的关系有第8页，课件共77页，创作于2023年2月对于等精度测量，有即则式（5-5）可简化为上式表明：测量结果的最可信赖值应在残差平方和（在不等精度测量时应为加权残差平方和）为最小的条件下求出，此即最小二乘法原理。

注意：虽然最小二乘法原理是在测量误差无偏、正态分布和相互独立的条件下推导出的，但在不严格服从正态分布的情形下也常被使用。第9页，课件共77页，创作于2023年2月最小二乘法既可以用于线性参数的处理，也可以用于非线性参数的处理。测量的实际问题大多属于线性的，而非线性参数可借助级数展开的方法将其在某一区域近似地化成线性的形式，因此线性参数的最小二乘法处理是最小二乘法理论所研究的基本内容。

线性参数的测量方程一般形式为：第10页，课件共77页，创作于2023年2月相应的估计量为：误差方程为：为了方便，线性参数的最小二乘法借助矩阵来进行讨论。第11页，课件共77页，创作于2023年2月最小二乘法原理的矩阵形式设有列向量和n×t阶矩阵（n>t）第12页，课件共77页，创作于2023年2月

l1,l2,…,ln为n个直接测量结果（已获得的测量数据）；x1,x2,…,xt为t个待求的被测量的估计量；v1,v2,…,vn为n个直接测量结果的残差；a11,a21,…,ant为n个误差方程的n×t个系数。

线性参数的误差方程式（5-9）可表示为：即第13页，课件共77页，创作于2023年2月

等精度测量时：残差平方和最小这一条件的矩阵形式为即或第14页，课件共77页，创作于2023年2月

不等精度测量时，最小二乘法原理的矩阵形式为：或其中P为n×t阶权矩阵。第15页，课件共77页，创作于2023年2月线性参数的不等精度测量可以转化为等精度的形式（单位权化），从而可以利用等精度测量时测量数据的最小二乘法处理的全部结果。为此，应将误差方程化为等权的形式。若不等精度测量数据li的权为pi，将不等精度测量的误差方程式（5-9）两端同乘以相应权的平方根得：第16页，课件共77页，创作于2023年2月令则误差方程化为等精度的形式为：上式中各式已具有相同的权，与等精度测量的误差方程形式一致，即可按等精度测量数据处理的方法来处理。第17页，课件共77页，创作于2023年2月设有n×1阶矩阵（列向量）和n×t阶矩阵则线性参数不等精度测量的误差方程的矩阵形式为：最小二乘条件用矩阵表示为：或第18页，课件共77页，创作于2023年2月第二节正规方程

在第一节中已经提到，为了获得更可靠的结果，测量次数n大于未知参数的数目t，即所得误差方程式的数目多于未知数的数目。因而直接用一般解代数方程的方法无法求解这些未知参数，利用最小二乘法则可以将误差方程式转化为有确定解的代数方程组（其方程式数目正好等于未知数的个数），从而可解出这些未知参数。这个具有确定解的代数方程组称为最小二乘法估计的正规方程（或称为法方程）。第19页，课件共77页，创作于2023年2月(一)线性参数的最小二乘法处理程序1.根据具体问题列出残余误差方程式；2.按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；3.求解正规方程，得到待求的估计量（确定解）；4.给出精度估计。(二)非线性参数的最小二乘法处理程序应先将非线性参数线性化，然后按上述程序去处理。可见，建立正规方程是待求参数最小二乘法处理的基本环节。第20页，课件共77页，创作于2023年2月一、等精度测量线性参数最小二乘法处理的正规方程线性参数的误差方程为：在等精度测量中，应满足最小二乘条件式要求估计量xi（i=1,2,…,t），利用求极值的方法（求导数并令其为零）来满足上式的条件。第21页，课件共77页，创作于2023年2月对残余误差的平方和求导数，并令其为零，有：因为第22页，课件共77页，创作于2023年2月所以同理有上式中各二阶偏导数恒为正，即第23页，课件共77页，创作于2023年2月由此可知，上面各方程求得的极值是最小值，满足最小二乘条件，因而也是所要求的估计量，最后把它写成：第24页，课件共77页，创作于2023年2月上式即为等精度测量的线性参数最小二乘法处理的正规方程。这是一个t元线性方程组，当其系数行列式不为零时，有唯一确定解，由此可解得欲求的估计量。上方程组在形式上有如下特点：1）沿主对角线分布着平方项系数都为正数。2）以主对角线为对称线，对称分布的各系数彼此两两相等，如第25页，课件共77页，创作于2023年2月现将上述线性参数的正规方程表示成矩阵形式。把正规方程组中第r个方程式（r＝1,2,…,t）改写成如下形式：式中r＝1,2,…,t。由此，正规方程组可写成第26页，课件共77页，创作于2023年2月因而它可表示为即，这就是等精度测量情况下以矩阵形式表示的正规方程。又因所以正规方程又可写成即若令，则正规方程又可写成第27页，课件共77页，创作于2023年2月若A（n×t阶矩阵，t<n）的秩等于t，则矩阵是满秩的，即其行列式。那么对于有唯一的确定解。如若用左乘正规方程的两边，就得到正规方程解的矩阵表达式：所解得的数学期望为式中，Y、X为列向量（n×1阶矩阵和t×1阶矩阵）其中矩阵元素Y1,Y2,…,Yn为直接测量量的真值，而X1,X2,…,Xt为待求量的真值。可见是X的无偏估计。第28页，课件共77页，创作于2023年2月例5-1已知任意温度t时的铜棒长度yt、0℃时的铜棒长度y0和铜的线膨胀系数α具有线性关系现测得在不同温度ti下，铜棒长度li如下表，试估计y0和α的最可信赖值。解列出误差方程式中，li为在温度ti下铜棒长度的测得值；α为铜的线膨胀系数。令为两个待估计参量，则误差方程可写为为计算方便，将数据列表如下：i123456ti/℃102025304045li/mm2000.362000.722000.802001.072001.482001.60第29页，课件共77页，创作于2023年2月iti/℃ti2/℃2li/mmtili/(℃.mm)1101002000.3620003.62204002000.7240014.43256252000.8050020.04309002001.0760032.154014002001.4880059.264520252001.6090072.0Σ170565012006.03340201.3根据误差方程，按式（5-19）列出正规方程将表中计算出的相应系数值代入上面的正规方程得第30页，课件共77页，创作于2023年2月解得a＝1999.97mm；b＝0.03654mm/℃即y0＝1999.97mm；因此，铜棒长度随温度的线性变化规律为按矩阵形式解算，则有所以y0＝a＝1999.97mm；第31页，课件共77页，创作于2023年2月习题5-1测量方程为试求x、y的最可信赖值。解列出误差方程系数矩阵正规方程为解正规方程得第32页，课件共77页，创作于2023年2月习题5-2已知误差方程为试求x1,x2,x3的最可信赖值。解系数矩阵测量数据列矩阵为正规方程为第33页，课件共77页，创作于2023年2月解正规方程得第34页，课件共77页，创作于2023年2月二、不等精度测量线性参数最小二乘法处理的正规方程不等精度测量时线性参数的误差方程仍然为：但最小二乘条件为加权残余误差平方和最小，即要求估计量xi（i=1,2,…,t），同样利用求极值的方法（求导数并令其为零）来满足上式的条件。第35页，课件共77页，创作于2023年2月该方程满足条件，经整理后得如下方程组第36页，课件共77页，创作于2023年2月上式即为不等精度测量时最小二乘法处理的正规方程。式中它仍然有前述等精度测量时正规方程的特点，即主对角线各项系数是平方和，为正值，以对角线为对称轴线的其他各相应项两两相等。第37页，课件共77页，创作于2023年2月可将上述正规方程化成等精度的形式，类似单位权化只需作代换将其代入上述正规方程，经整理后得到下面的正规方程可见该正规方程在形式上与等精度测量时的正规方程完全一致。第38页，课件共77页，创作于2023年2月将正规方程（5-25）各式分别展开，整理后可以得到与式（5-20）类似的结果：用矩阵表示为：即而所以上式又可写成由可得出正规方程的解，即参数的最小二乘解为第39页，课件共77页，创作于2023年2月令，则这就是不等精度测量时，线性参数的最小二乘法处理。因为可见是X的无偏估计。例5-2某测量过程有误差方程式及相应的标准差如下：

试求x1、x2的最小二乘法处理正规方程的解。第40页，课件共77页，创作于2023年2月解首先确定各式的权，由可取各式的权为用表格计算给出正规方程常数项和系数：可得正规方程解得最小二乘法处理结果为：iai1ai2pipiai12piai22piai1ai2lipiai1lipiai2li111161616166.44103.04103.04212161664328.60137.60275.2031399812710.8197.29291.87414991443613.21118.98475.92515992254515.27137.43687.15Σ59530156594.341833.18第41页，课件共77页，创作于2023年2月三、非线性参数最小二乘法处理的正规方程在一般情况下，函数yi=fi(x1,x2,…,xt)（i＝1,2,…,n）为非线性函数，测量的误差方程为：是非线性方程组。直接由它建立正规方程并求解是很困难的。一般采取线性化来解决这类问题，将非线性函数化为线性函数，再按线性参数的情形进行处理。为此，取x10,x20,…,xt0为待估计量x1,x2,…,xt的近似值，则估计量xr可表示为式中，δ1,δ2,…,δt分别为估计量与所取近似值的偏差。第42页，课件共77页，创作于2023年2月因此，只须求得偏差δ1,δ2,…,δt，即可由上式获得估计量x1,x2,…,xt。将函数在x10,x20,…,xt0处展开，取一次项，则有式中为函数fi对xr的偏导数在x10,x20,…,xt0处的值，r＝1,2,…,t。将展开式代入误差方程，并令将误差方程化为第43页，课件共77页，创作于2023年2月上式是一线性参数的误差方程，故可按线性参数的情形列出正规方程并求解出δr

（r＝1,2,…,t），进而可按下式求得相应的估计量xr

（r＝1,2,…,t）。注意：在获得线性化的过程中，函数的展开式只取一次项而略去了二次以上的高次项，严格地说，由此给出的估计量是近似的。因为只要所取近似值xr0的偏差δr

相对于所研究的问题而言足够小，则二次项以上的高次项的值甚微，可以忽略不计，故一般来说这已能满足实际的要求。因此，在对某一非线性参数作线性化处理时，估计量近似值的选取应有相应的精度要求。第44页，课件共77页，创作于2023年2月在线性化的过程中为获得函数的展开式，必须首先确定未知数的近似值，其方法主要有：（1）直接测量：对未知量xr直接进行测量，以所得结果作为其近似值。（2）通过部分方程式进行计算：从误差方程中选取最简单的t个方程式，采用近似的求解方法，如令vi＝0，于是可以得到一个t元齐次方程组，由此解得x10,x20,…,xt0，即为未知数的近似值。由以上讨论可知，所有情况（等精度与非等精度测量，线性与非线性参数）最后均可归结为线性参数等精度测量的情形，可按线性参数等精度测量的情形建立和求解正规方程，获得最可信赖值。第45页，课件共77页，创作于2023年2月四、最小二乘原理与算术平均值原理的关系为了确定一个量X的估计量x，对其进行n次直接测量，得到n个数据l1,l2,…,ln，相应的权分别为p1,p2,…,pn，则测量的误差方程为其最小二乘法处理的正规方程为（t＝1）由误差方程知ai＝1，因而有可得最小二乘法处理的结果为：这正是不等精度测量时的加权算术平均值原理所给出的结果第46页，课件共77页，创作于2023年2月对于等精度测量有则由最小二乘法所确定的估计量为：此式与等精度测量时算术平均值原理给出的结果相同，即可以算术平均值作为多次等精度重复测量的最佳估计值。通过以上分析可见，最小二乘法原理与算术平均值原理是一致的，算术平均值原理可以看做是最小二乘法原理的特例（t＝1的情形）。第47页，课件共77页，创作于2023年2月第三节精度估计

对测量数据最小二乘法处理的最终结果，不仅要给出待求量的最可信赖的估计量，而且还要确定其可信赖程度，即应给出所得估计量的精度。一、测量数据的精度估计为了确定最小二乘估计量x1,x2,…,xt的精度，首先需要给出直接测量所得测量数据的精度。测量数据的精度也以标准差σ来表示。因为无法求得σ的真值，因而只能依据有限次的测量结果给出σ的估计值，所谓给出精度估计，实际上是求出估计值。第48页，课件共77页，创作于2023年2月（一）等精度测量数据的精度估计

设对包含t个未知量的n个线性参数方程组进行n次独立的等精度测量，获得了n个测量数据l1,l2,…,ln。其相应的测量误差分别为δ1,δ2,…,δn，它们是互不相关的随机误差。因为一般情况下真误差δ1,δ2,…,δn是未知的，只能由残余误差v1,v2,…,vn给出方差σ2的估计量。可以证明是自由度为（n－t）的χ2变量。根据χ2变量的性质，有因而第49页，课件共77页，创作于2023年2月由此可知，若取残余误差平方和的平均值作为σ2的估计量，则所得的将对σ2有系统偏移，即不是σ2的无偏估计量。因为所以，可取作为σ2的无偏估计量。习惯上，这个估计量也写成σ2，即因而测量数据的标准差的估计量为第50页，课件共77页，创作于2023年2月一般写成第51页，课件共77页，创作于2023年2月例5-3试求例5-1中铜棒长度的测量精度。已知残余误差方程为将ti，li代入上式，可得残余误差为于是可得标准差为第52页，课件共77页，创作于2023年2月（二）不等精度测量数据的精度估计

不等精度测量数据的精度估计与等精度测量数据的精度估计相似，只是公式中的残余误差平方和变为加权平方和，测量数据的单位权方差的无偏估计为通常习惯写成故测量数据的单位权标准差为第53页，课件共77页，创作于2023年2月二、最小二乘估计量的精度估计

最小二乘法所确定的估计量x1,x2,…,xt的精度取决于测量数据的精度和线性方程组所给出的函数关系。对给定的线性方程组，若已知测量数据l1,l2,…,ln的精度，就可求得最小二乘估计量的精度。下面首先讨论等精度测量时最小二乘估计量的精度估计。

设有正规方程现要给出由此方程所确定的估计量x1,x2,…,xt的精度。为此,1.利用不定乘数法求出x1,x2,…,xt的表达式，2.然后再找出估计量x1,x2,…,xt的精度与测量数据l1,l2,…,ln精度的关系，即可得到估计量精度估计的表达式。第54页，课件共77页，创作于2023年2月设有不定乘数d11,d12,…,d1t；d21,d22,…,d2t；…；dt1,dt2,…,dtt（共t×t个）。为求x1，令d11,d12,…,d1t分别去乘上面的正规方程中的第1,2,…,t式，得将上面的方程组各式的左右两边分别相加得选择d11,d12,…,d1t值，使之满足如下条件：第55页，课件共77页，创作于2023年2月则令则第56页，课件共77页，创作于2023年2月因l1,l2,…,ln为等精度的、相互独立的正态随机变量，即，则有将等式右端σ2的系数展开，并适当地合并同类项，注意到不定乘数d11,d12,…,d1t的选择条件式，最后可得第57页，课件共77页，创作于2023年2月同样，再用d21,d22,…,d2t分别去乘正规方程各式，将乘得的各式相加，按x1,x2,…,xt合并同类项得适当选择d21,d22,…,d2t，使之满足如下条件：则可求得x2的表达式，由此得依此类推，可得第58页，课件共77页，创作于2023年2月由上所述，可给出下面的结果：设d11,d12,…,d1t；d21,d22,…,d2t；…；dt1,dt2,…,dtt分别为下列各方程组的解：上述方程组中，不定乘数drs(r,s=1,2,…,t)的系数与正规方程（5-19）的系数完全一样，因而在实际计算时，可以利用解正规方程的中间结果，十分简便。第59页，课件共77页，创作于2023年2月由上述方程组求得d11,d12,…,dtt，则各估计量x1,x2,…,xt的方差为相应的标准差为式中，σ为测量数据的标准差。正规方程（5-19）中的系数为ATA，方程（5-51）中不定乘数dij的系数也为ATA，即(ATA)D=E，所以D=C-1。第60页，课件共77页，创作于2023年2月不等精度测量的情况与此类似。若有正规方程求解下面的t个方程组：第61页，课件共77页，创作于2023年2月得到d11,d12,…,dtt，于是估计量x1,x2,…,xt的标准差为式中，σ为测量数据的单位权标准差。对等精度测量，因p1=p2=…=pn（可取值为1）,σ即为测量数据的标准差，这是不等精度测量的特例。第62页，课件共77页，创作于2023年2月利用矩阵的形式可以更方便地获得上述结果。设有协方差矩阵（n×n阶矩阵）式中，Dlii为li的方差，Dlij为li与lj的协方差（或称相关矩）；若l1,l2,…,ln为等精度独立测量的结果，即且相关系数，即则有第63页，课件共77页，创作于2023年2月于是估计量的协方差为矩阵式中各元素即为上述的不定乘数，可由矩阵（ATA)求逆而得，或由式（5-51）求得。第64页，课件共77页，创作于2023年2月同样，也可得不等精度测量的协方差矩阵式中，σ为单位权标准差。矩阵式中各元素即为不定乘数，可由（ATPA）求逆得到，也可由式（5-54）求得。第65页，课件共77页，创作于2023年2月例5-4试求例5-1中铜棒长度和线膨胀系数估计量的精度。已知正规方程为测量数据li的标准差为由式（5-51）及所给正规方程的系数，可列出求解不定乘数的方程组为分别解得则按式（5-53），可得估计量a、b的标准差为第66页，课件共77页，创作于2023年2月因故第67页，课件共77页，创作于2023年2月第四节组合测量的最小二乘法处理

在精密测试工作中，组合测量占有十分重要的地位。例如，作为标准量的多面棱体、度盘、砝码、电容器以及其他标准器的检定等，为了减小随机误差的影响，提高测量精度，可采用组合测量的方法。组合测量是通过直接测量待测参数的各种组合量（一般是等精度测量），然后对这些测量数据进行处理，它是最小二乘法在精密测试中的一种重要的应用。为简单起见，现以检定三段刻线间距为例，说明组合测量的数据处理方法。第68页，课件共77页，创作于2023年2月如图5-1所示，要求检定刻线A、B、C、D间的距离x1、x2、x3。为此，等精度直接测量刻线间距的各种组合量（见图5-2），得到如下测量数据：l1=1.015mml2=0.985mml3=1.020mml4=2.016mml5=1.981mm