《小二乘法》ppt课件

1、第第5章章 线性参数的最小二乘法处置线性参数的最小二乘法处置 最小二乘法是用于数据处置和误差估最小二乘法是用于数据处置和误差估计中的一个很得力的数学工具。对于从计中的一个很得力的数学工具。对于从事精细科学实验的人们说来，运用最小事精细科学实验的人们说来，运用最小二乘法来处理一些实践问题，仍是目前二乘法来处理一些实践问题，仍是目前必不可少的手段。必不可少的手段。 第一节第一节 最小二乘法原理最小二乘法原理 最小二乘法的开展曾阅历了200多年的历史，它最早来源于天文和大地丈量的需求，其后在许多科学领域里获得了广泛运用。特别是近代矩阵实际与电子计算机相结合。使最小二乘法不断地开展而久盛不衰。 最小二

2、乘法的产生是为理处理从一组丈量值中寻求最可信任值的问题。 一、问题背景 在丈量的实验数据处置中，经常需求根据两个量的一批观测数据(xi，yi)，i=1，2，n求出这两个变量Y与X之间所满足的一个函数关系式Yf(X)。 假设变量间的函数方式根据实际分析或以往的阅历曾经确定好了，而其中有一些参数是未知的，那么可经过观测的数据来确定这些参数； 假设变量间的详细函数方式尚未确定，那么需求经过观测数据来确定函数方式及其中的参数。 一、问题背景 在多数估计和曲线拟合的问题中，不论是参数估计还是曲线拟合，都要求确定某些(或一个)未知量，使得所确定的未知量能最好地顺应所测得的一组观测值，即对观测值提供一个好的

3、拟合。 处理这类问题最常用的方法就是最小二乘法。 在一些情况下，即使函数值不是随机变量，最小二乘法也可运用。 设X和Y两个物理量之间的函数关系为假定此函数关系f知，但其中a1，a2，ak等参数还未求出，现对于X和Y有一批观测数据： xi，yi ，i1，2，,n，要利用这批数据在一定法那么之下作出这些参数a1，a2，ak的估计。 假设诸观测值相互独立且服从正态分布。在等精度观测的情况下，即以为各误差服从一样的正态分布N(0， y)。 如今的问题是一个参数估计问题：需求给出a1，a2，ak的估计值 ， ， 。 处理这类问题最常用的方法就是最小二乘法。在一些情况下，即使函数值不是随机变量，最小二乘法

4、也可运用。 1 a2 aka 普通根据丈量的实践情况，可假设变量X的丈量没有误差(或与Y的误差相比很小，可略去)，而变量Y的丈量有误差，故关于Y的观测值yi可以写成这里y0i表示xi对于的Y的变量真值，i表示相应的丈量误差。 二、最小二乘法准那么与正规方二、最小二乘法准那么与正规方程程 在参数估计问题中，最小二乘法的法那么是： 所选取的参数估计值 ， ， 应使变量Y的诸观测值yi与其真值的估计值(又叫拟合值)，即f(xi；a1,a2，ak)之差的平方和为最小。 用式子表示时，记残差i为1 a2 aka 最小二乘法就是要求 =最小最小在这个条件下，利用数学中求极值的方法可以求出参数 ， ， 。这

5、样求出的参数叫参数的最小二乘估计。 1 a2 aka 正规方程正规方程 根据数学分析中求函数极值的条件： =最小最小共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值 (j1，2，k)。ja 不等精度情况下的最小二乘法不等精度情况下的最小二乘法 以上是等精度观测的情况，假设诸观测值yi是不等精度的观测，即它们服从不同的方差i2的正态分布N(0，1)，那么也不难证明，在这种情况下，最小二乘法可改为： 选取的参数估值应使诸观测值yi与其估计值 之差的加权平方和为最小。用式子表示就是要使 iy =最小最小其中，wi为各观测值yi的权。wi2i2，i1，2，n。这里2为任选的正常数，它表示单

6、位权方差。 不等精度情况下的最小二乘法正规方程不等精度情况下的最小二乘法正规方程同样地，根据数学分析中求函数极值的条件：共得k个方程，称正规方程，求此联立方程的解可得出诸参数估计值 (j1，2，k)。 ja 最小二乘法的几何意义最小二乘法的几何意义 从几何图形上可看出,最小二乘法就是要在穿过各观测点(xi，yi)之间找出这样一条估计曲线，使各观测点到该曲线的间隔的平方和为最小。 YX三、最小二乘法与最大似然法的关系三、最小二乘法与最大似然法的关系 假设假定各观测值是相互独立且服从正态分布，期望值是(xi；a1，a2，ak)，方差是i2, 那么观测值的似然函数为 最大似然法要求上式取极大值，这就

7、相当于要求指数项中的=最小最小这就阐明了在观测值服从正态分布的条件下，最这就阐明了在观测值服从正态分布的条件下，最小二乘估计与最大似然估计是一致的。小二乘估计与最大似然估计是一致的。 观测值不服从正态分布时的最小二乘估计观测值不服从正态分布时的最小二乘估计 本质上，按最小二乘条件给出最终结果能充分地利用误差的抵偿作用，可以有效地减小随机误差的影响，因此所得结果具有最可信任性。 假假设观测值不服从正态分布，那么最小二乘估计并不是最大似然估计。但应该指出，在有些问题中观测值虽然不服从正态分布，但当样本容量很大时，似然函数也趋近于正态分布，因此，这时运用最小二乘法和最大似然法本质也是一致的。 不服从

8、正态分布时最小二乘法的统计学性质不服从正态分布时最小二乘法的统计学性质 假设观测值是服从正态分布的，这时最小二乘法和最大似然法实践上是一回事。但观测值不服从正态分布或其分布未知时，这时用最小二乘法显得缺乏实际的验证。但应该指出，作为一种公理来运用，最小二乘法依然是可以接受的，而且可以证明，所得到的估计依然具有一些很好的统计性质，这些性质是： (1)解是无偏的，即(2)解是观测值的线性组合，且有最小方差。这称为高斯马尔可夫定理;(3) 加权的残差平方和的期望值是当21，即取wi1/i2，这时称为2 量。期望值为nk。第二节第二节 线性参数的最小二乘法线性参数的最小二乘法 普通情况下，最小二乘法可

9、以用于线性参数的处置，也可用于非线性参数的处置。由于丈量的实践问题中大量的是属于线性的，而非线性参数借助于级数展开的方法可以在某一区域近似地化成线性的方式。 因此，线性参数的最小二乘法处置是最小二乘法实际所研讨的根本内容。 一、线性参数的丈量方程普通方式一、线性参数的丈量方程普通方式 线性参数的丈量方程普通方式为 5-7 相应的估计量为5-8 误差方程误差方程其误差方程为5-9 二、线性参数的误差方程式的矩阵方式二、线性参数的误差方程式的矩阵方式设有列向量 和nt阶矩阵(nt) 那么线性参数的误差方程式(59)可表示为 即5-10 等精度丈量最小二乘原理的矩阵方式等精度丈量最小二乘原理的矩阵方

10、式即或5-11 5-12 剩余误差平方和最小这一条件的矩阵方式为 不等精度丈量最小二乘原理的矩阵方式不等精度丈量最小二乘原理的矩阵方式最小二乘原理的矩阵方式为 或5-14 5-13 式中的P为nn阶权矩阵。 线性参数的不等精度丈量还可以转化为等精度的方式，从而可以利用等精度丈量时丈量数据的最小二乘法处置的全部结果。三、线性参数最小二乘法的正规方程三、线性参数最小二乘法的正规方程 为了获得更可取的结果，丈量次数n总要多于未知参数的数目t，即所得误差方程式的数目总是要多于未知数的数目。因此直接用普通解代数方程的方法是无法求解这些未知参数的。 最小二乘法那么可以将误差方程转化为有确定解的代数方程组(

11、其方程式数目正好等于未知数的个数)，从而可求解出这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程(或称为法方程)。 1线性参数的最小二乘法处置的根线性参数的最小二乘法处置的根本程序本程序 线性参数的最小二乘法处置程序可归结为：线性参数的最小二乘法处置程序可归结为：1根据详细问题列出误差方程式；根据详细问题列出误差方程式；2按最小二乘法原理，利用求极值的方法将误差方程按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；转化为正规方程；3求解正规方程，得到待求的估计量；求解正规方程，得到待求的估计量；4给出精度估计。给出精度估计。对于非线性参数，可先将其线性化，然后按上述

12、线性参对于非线性参数，可先将其线性化，然后按上述线性参数的最小二乘法处置程序去处置。数的最小二乘法处置程序去处置。 建立正规方程是待求参数最小二乘法处建立正规方程是待求参数最小二乘法处置的根本环节。置的根本环节。2等精度丈量的线性参数最小二乘法处置等精度丈量的线性参数最小二乘法处置的正规方程的正规方程 线性参数的误差方程式为最小二乘法处置的正规方程为 5-19 这是一个t元线性方程组当其系数行列式不为零时，有独一确定的解，由此可解得欲求的估计量 线性参数正规方程的矩阵方式线性参数正规方程的矩阵方式 正规方程(519)组，还可表示成如下方式 表示成矩阵方式为 线性参数正规方程的矩阵方式线性参数正

13、规方程的矩阵方式5-21 又因 有 即 5-22 假设令 那么正规方程又可写成 5-22 5-23 假设矩阵C是满秩的，那么有 的数学期望 X因式中Y、X为列向量(n 1阶矩阵和tl阶矩阵) 可见X是X的无偏估计。 其中矩阵元素Y1，Y2，Yn为直接量的真值，而Xl，X2，Xn为待求量的真值。 例例51 在不同温度下，测定铜棒的长度如下表，试估计在不同温度下，测定铜棒的长度如下表，试估计0时时的铜棒长度的铜棒长度y0和铜的线膨胀系数和铜的线膨胀系数。 解：1列出误差方程式中, li在温度ti下铜棒长度的测得值； 铜的线膨胀系数。 令y0a，y0=b为两个待估计参量，那么误差方程可写为 (2)

14、列出正规方程为计算方便，将数据列表如下： 将表中计算出的相应系数值代人上面的正规方程得3求出待求估计量求出待求估计量 求解正规方程解得待求估计量即按矩阵方式解算按矩阵方式解算由正规方程，有由正规方程，有那么所以所以4给出实验结果给出实验结果铜棒长度yt随温度t的线性变化规律为3不等精度丈量的线性参数最小二乘法处置的不等精度丈量的线性参数最小二乘法处置的正规方程正规方程 不等精度丈量时线性参数的误差方程仍如上述式(59)一样，但在进展最小二乘法处置时，要取加权剩余误差平方和为最小，即 用矩阵表示的正规方程与等精度丈量情况类似，可表示为 5-27 即上述正规方程又可写成5-28 该方程的解，即参数

15、的最小二乘法处置为5-29 令那么有5-30 例例52 某丈量过程有误差方程式及相应的规范差如下： 试求x1，x2的最小二乘法处置正规方程的解。 解：解：1首先确定各式的权首先确定各式的权2用表格计算给出正规方程常数项和系数用表格计算给出正规方程常数项和系数3给出正规方程给出正规方程4求解正规方程组求解正规方程组解得最小二乘法处置结果为四、最小二乘原理与算术平均值原理四、最小二乘原理与算术平均值原理的关系的关系为了确定一个量X的估计量x，对它进展n次直接丈量，得到n个数据 l1，l2，ln，相应的权分别为p1，p2，pn，那么丈量的误差方程为(5-35)其最小二乘法处置的正规方程为 (5-36

16、)由误差方程知al，因此有可得最小二乘法处置的结果 (5-37)这正是不等精度丈量时加权算术平均值原理所给出的结果。对于等精度丈量有对于等精度丈量有 那么由最小二乘法所确定的估计量为此式与等精度丈量时算术平均值原理给出的结果一样。 由此可见，最小二乘法原理与算术平均值原理是一致的，算术平均值原理可以看做是最小二乘法原理的特例。 第三节第三节 精度估计精度估计 对丈量数据最小二乘法处置的最终结果，不仅要给出待求量的最可信任的估计量，而且还要确定其可信任程度，即应给出所得估计量的精度。 一、丈量数据的精度估计一、丈量数据的精度估计 为了确定最小二乘估计量X1，X2，Xt的精度，首先需求给出直接丈量

17、所得丈量数据的精度。丈量数据的精度也以规范差来表示。由于无法求得的真值，因此只能根据有限次的丈量结果给出的估计值 ，所谓给出精度估计，实践上是求出估计值 。 一等精度丈量数据的精度估计一等精度丈量数据的精度估计 设对包含t个未知量的n个线性参数方程组57进展n次独立的等精度丈量，获得了n个丈量数据l1，l2，ln。其相应的丈量误差分别为1，2，n，它们是互不相关的随机误差。由于普通情况下真误差1，2，n是未知的，只能由剩余误差l，2，n给出的估计量。 nii122/前面已证明前面已证明是自在度为nt的2变量。根据2变量的性质，有5-39取 5-40可以证明它是2的无偏估计量 由于习惯上，式5-

18、40的这个估计量也写成2，即 5-41因此丈量数据的规范差的估计量为5-43例例53 试求例试求例51中铜棒长度的丈量精度。中铜棒长度的丈量精度。知剩余误差方程为将ti，li，值代人上式，可得剩余误差为二不等精度丈量数据的精度估计二不等精度丈量数据的精度估计 不等精度丈量数据的精度估计与等精度丈量数据的精度估计类似，只是公式中的剩余误差平方和变为加权的剩余误差平方和，丈量数据的单位权方差的无偏估计为5-44 通常习惯写成5-45 丈量数据的单位权规范差为 5-46 二、最小二乘估计量的精度估计二、最小二乘估计量的精度估计 最小二乘法所确定的估计量X1，X2，Xt的精度取决于丈量数据的精度和线性

19、方程组所给出的函数关系。对给定的线性方程组，假设知丈量数据l1，l2，ln的精度，就可求得最小二乘估计量的精度。 下面首先讨论等精度丈量时最小二乘估计量的精度估计。 设有正规方程 现要给出由此方程所确定的估计量xl，x2，xt的精度。为此，利用不定乘数法求出xl，x2，xt的表达式，然后再找出估计量xl，x2，xt的精度与丈量数据l1，l2，ln精度的关系，即可得到估计量精度估计的表达式。 设d11，dl2，dlt；d2l，d22，d2t：； dtl，dt2，dtt分别为以下各方程组的解： 那么各估计量那么各估计量xl，x2，xt的方差为的方差为5-52 相应的规范差为5-53 式中，为丈量数

20、据的规范差。不等精度丈量的情况与此类似。不等精度丈量的情况与此类似。 矩阵方式的结果表达矩阵方式的结果表达利用矩阵的方式可以更方便地获得上述结果。设有协方差矩阵(nn阶矩阵)式中等精度独立丈量假设l1，l2，ln为等精度独立丈量的结果，即且相关系数ij = 0，即Dlij = 0协方差矩阵 于是估计量的协方差为 式中各元素即为上述的不定乘数，可由矩阵(ATA)求逆而得，或由式(551)求得。 各估计量各估计量xl，x2，xt的方差为的方差为不等精度丈量同样，也可得不等精度丈量的协方差矩阵 式中 单位权规范差。矩阵式中各元素即为不定乘数，可由(ATPA)求逆得到，也可由式(554)求得。例例54

21、 试求例试求例51中铜棒长度和线膨胀系数估计量的精度中铜棒长度和线膨胀系数估计量的精度 知正规方程为丈量数据li的规范差为解：解：根据所给正规方程的系数，可列出求解不定乘数方程组 1列出求解不定乘数方程组，并求解列出求解不定乘数方程组，并求解分别解得2计算估计量a、b的规范差可得估计量a、b的规范差为因3求出y0、的规范差故有第四节第四节 组合丈量的最小二乘法处置组合丈量的最小二乘法处置 所谓组合丈量，是指直接或间接丈量一组被丈量的不同组合值，从它们相互组合所依赖的假设干函数关系中，确定出各被丈量的最正确估计值。 在精细测试任务中，组合丈量占有非常重要的位置。例如，作为规范量的多面棱体、度盘、

22、砝码、电容器以及其它规范器的检定等，为了减小随机误差的影响，提高丈量精度，可采用组合丈量的方法。 通常组合丈量数据是用最小二乘法进展处置，它是最小二乘法在精细测试中的一种重要的运用。 组合丈量运用组合丈量运用 为简单起见，现以检定三段划线间距为例，阐明组合丈量的数据处置方法。 如图51所示，要求检定刻线A、B、C、D间的间隔x1、x2、x3。 1丈量方案及丈量数据丈量数据 组合丈量的方案2误差方程误差方程根据丈量方案列出误差方程误差方程的矩阵方式3写出误差方程的相关矩阵写出误差方程的相关矩阵4求解估计量求解估计量x1、x2、x3的最正确估计值的最正确估计值由式5-24得式中所以最后解得5计算各次的丈量误差值计算各次的丈量误差值 1 = 0.013mm2 = 0.002mm3 = 0.007mm4 = 0.005mm5 = 0.015mm6 = 0.008mm将最正确估计值代入误差方程得6计算各次测得数据的规范差计算各次测得数据的规范差nii12=0.000536mm3 由于是等精度丈