第7章 曲线拟合最小二乘法

1、Ch.7 离散数据的曲线拟合离散数据的曲线拟合引言 曲线拟合问题仍然是已知仍然是已知 x1 xm ; y1 ym, 求一个简单易求一个简单易算的近似函数算的近似函数 P (x) 来拟合这些数据来拟合这些数据。但是但是 m 很大；很大； yi 本身是测量值，不准确，即本身是测量值，不准确，即 yi f (xi)这时没必要取这时没必要取 P (xi) = yi , 而要使而要使 i=P (xi) yi 总体上总体上尽可能地小。尽可能地小。这种构造近似函数这种构造近似函数 的方法称为的方法称为曲线拟合曲线拟合，P (x) 称为称为拟合函数拟合函数称为称为“残残差差”常见做法：常见做法：u使使 最小最

2、小|)(|max1iimiyxP 较复杂，较复杂，u使使 最小最小 miiiyxP1|)(|不可导，求解困难不可导，求解困难u使使 最小最小 miiiyxP12|)(|“使使 i =P (xi) yi 尽可能地小尽可能地小”有不同的准有不同的准则则一一 最小二乘法求解矛盾方程组最小二乘法求解矛盾方程组设线性方程组设线性方程组1(1,2,)nijjija xbiN或或 (1)Axb当线性方程组当线性方程组(1)的系数矩阵和增广矩阵的秩不相等时的系数矩阵和增广矩阵的秩不相等时, 方程方程组无解组无解, 这时称方程组为矛盾方程组这时称方程组为矛盾方程组.引理引理1: 设设 n 元实函数元实函数 在点

3、在点 的的某个邻域内连续某个邻域内连续, 且有一阶连续偏导数且有一阶连续偏导数, 若若(1)其中其中1212(),(,) ,(,)TTijNnnnAaxxxxbb bb12( ,)nf x xx012(,)nP a aa0|0(1,2, )Pkfknx(2) 矩阵矩阵引理引理2: 设非齐次线性方程组设非齐次线性方程组(1) 的系数矩阵的系数矩阵 A: r ( A ) = n , 则则 是正定是正定(负定负定) 矩阵矩阵. 0000000002222112122221222222212|PPPnPPPnPPPnnnfffxxxxxfffMxxxxxfffxxxxx 则则 是是 n 元函数元函数

4、的极小的极小(极极大大) 值值.12(,)nf a aa12(,)nf x xx 矩阵矩阵 是对称正定矩阵是对称正定矩阵; n阶线性方程组阶线性方程组 有唯一解有唯一解. TA ATTA AxA b矛盾方程组在某种意义下的解矛盾方程组在某种意义下的解: 证证: (1) 显然显然 是对称矩阵是对称矩阵TA A因为因为 r (A)=n , 所以所以Ax=0有唯一零解有唯一零解, 故故 有有于是于是 , 因此因此 是正定矩阵是正定矩阵.0 x0Ax TA A()()0TTTAxAxxA A x因为因为 是正定矩阵是正定矩阵, 所以所以 . 故故 有唯一解有唯一解 TA A()Tr A AnTTA A

5、xA b说明说明: 引理引理2 说明在说明在r (A)=n的条件下的条件下, 无论方程组无论方程组(1)是否有解是否有解, n阶方程组阶方程组 都有唯一解都有唯一解. TTA AxA b由于矛盾方程组由于矛盾方程组(1)的精确解不存在的精确解不存在, 故转化为寻求某种意义故转化为寻求某种意义下的解下的解. 令令1(1,2,)niijjija xbiN称称 为偏差为偏差i工程中许多问题归结为偏差平方和工程中许多问题归结为偏差平方和Th1. 设矛盾方程组设矛盾方程组(1)的系数矩阵的系数矩阵 A的秩为的秩为n , 则二次函数则二次函数22111()NNniijjiiijQa xb 达到最小达到最小

6、, 这一条件称为最小二乘原则这一条件称为最小二乘原则. 按最小二乘原则选择按最小二乘原则选择未知数未知数 的一组取值的方法称为求解矛盾方程组的一组取值的方法称为求解矛盾方程组的最小二乘法的最小二乘法. 符合条件的符合条件的 的一组取值称为矛盾的一组取值称为矛盾方程组的最小二乘解方程组的最小二乘解.12,nx xx12,nx xx将将Q看作关于看作关于 的的n 元二次函数元二次函数, 记为记为 求求(1)的最小二乘解就是求该二次函数的最小值点的最小二乘解就是求该二次函数的最小值点.12,nx xx12( ,)nQf x xx21211(,)()NnnijjiijQf x xxa xb 证证: Q

7、为为 的二次函数的二次函数, 且有连续的且有连续的1、2阶偏导数阶偏导数. 必存在最小值必存在最小值, 且方程组且方程组 的解就是其最小值点的解就是其最小值点. TTA AxA b12,nx xx111222111111221121212()2()2()2(,)2(,)()nnnkjjkjjN kN jjNjjjknjjjnjjjkkN kkkN knN jjNjQaa xbaaxbaaxbxa xbaxbaaaaaaAxbaxb12,2()2()TTTTnQQQAAxbA AxA bxxx令令即即0 , (1,2, )kQknxTTA AxA b由引理由引理 2 知知 有唯一解有唯一解, 设

8、为设为TTA AxA b11,nnxaxa记记 , 二元函数二元函数 Q 存在存在 P0 , 使得使得012(,)nP a aa故满足引理故满足引理1的条件的条件 (1) . 0|0 , (1, 2,)PkQknx又又2112212()2nktktN kN tikitiktQa aa aaaa axx说明说明: Th1说明只要矛盾方程组说明只要矛盾方程组(1)的系数矩阵的系数矩阵 A的秩为的秩为n , 则则 21121111212221112121112NNNiiiiiniiiNNNiiiiinTiiiNNNiiniininiiiaa aa aa aaa aMA Aa aa aaTTA AxA

9、 b由引理由引理 2 知知 M 正定正定, 故满足引理故满足引理 1 的条件的条件 (2) , 所以所以Q 存在极存在极小值小值. 又方程组又方程组 有唯一解有唯一解, 所以所以Q 的极小值即的极小值即为最小值为最小值. 方程组方程组 的解就是最小值点的解就是最小值点.TTA AxA b线性方程组线性方程组 称为称为正则方程组正则方程组TTA AxA b矛盾方程组矛盾方程组(1)的最小二乘解存在的最小二乘解存在; 正则方程组有唯一解正则方程组有唯一解, 此解就是矛盾方程组此解就是矛盾方程组 (1) 的最小二的最小二乘解乘解.例例1: 求下列矛盾方程组的最小二乘解求下列矛盾方程组的最小二乘解 解

10、解: 因为因为r (A)=3, 所以最小二乘解存在所以最小二乘解存在. 正则方程组为正则方程组为: 123100101020013110101121011xxx123311113111136xxx12357,344xxx二二 线性模型和最小二乘拟合线性模型和最小二乘拟合De f：对于已知的对于已知的 m +1 对离散数据对离散数据 ，记记0 ,miiix y00min ,max iii mi maxbx 在连续函数空间在连续函数空间C a , b中选定中选定n +1个线性无关的基函数个线性无关的基函数 0( )nkkx，并记由它们生成的子空间为：并记由它们生成的子空间为：01010span(

11、),( ),( ) ( ) |( )( ) ,nnkknkxxxxxxR 若有若有 使得使得*0( )( )nkkkxx *22( )00()min()(1)mmiiiixiiyxyx则称则称 为离散数据为离散数据 在子空间在子空间 中的中的最小二乘最小二乘拟合拟合。*( )x0,miiixy对于选定的基函数对于选定的基函数 ，定义中的拟合曲线即拟合模，定义中的拟合曲线即拟合模型型 ，是待定参数，是待定参数 的线性函数，故的线性函数，故称之为称之为线性最小二乘问题线性最小二乘问题。0( )nkkx0( )( )nkkkxx 0nkk由于由于0()() ,0,1,2,nikkikxxim 记：记

12、：20100(,)()mnnikkiikIyx 则最小二乘问题，即求极小值问题则最小二乘问题，即求极小值问题 (1) 的解的解 ，也就是求，也就是求多元二次函数多元二次函数 的的极小值点极小值点 ，使得：使得：*( )x01(,)nI*01(,)n01*0101,(,)min(,)(2)nnnRII问题：问题：极值问题极值问题 (2) 的解是否存在，是否唯一，即最小二乘问的解是否存在，是否唯一，即最小二乘问题题 (1) 的解的解是否存在唯一是否存在唯一？如果存在唯一，？如果存在唯一，如何求之如何求之？正规正规( (法法) )方程和解的存在唯一性方程和解的存在唯一性01(,)nI由于由于 是关于

13、待定参数是关于待定参数 的二次多的二次多项式函数，所以项式函数，所以 (2) 式有解的必要条件为：式有解的必要条件为：01,n0100(,)2()()0,0,1,mnnikkiliiklIyxxln 即：即：000()()(),0,1,(3)nmmkkiliilikiixxyxln记记 m +1 维向量维向量:0101(),(),(),0,1,2,(,)TkkkkmTmxxxknyyyy其中其中 为函数为函数 在点列在点列 处取值的向量，由向量处取值的向量，由向量 内积的定义，可得：内积的定义，可得：k( )kx0 miix00(,)()() ,0,1,( ,)(),0,1,mklkiliim

14、liliixxk lnyyxln故方程故方程 (3) 可写成可写成: 0(,)(,),0,1,nkkllkyln即：即：0010000011111101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)nnnnnnnnyyy Gd方程方程 称之为称之为正规方程正规方程 ( 或法方程或法方程 ) 。Gd由此可见，最小二乘问题存在唯一解的由此可见，最小二乘问题存在唯一解的必要条件必要条件就是正规方程的就是正规方程的系数矩阵系数矩阵 G 非奇异。显然非奇异。显然G 为对称矩阵，称为为对称矩阵，称为Gram 矩阵矩阵.定理定理2：对于已知的对于已知的 m +1 对离散数据对离散数

15、据 ，选定，选定 n +1维连维连续函数空间续函数空间 ，如果它有一组基，如果它有一组基 在点列在点列 处的值向量组处的值向量组 线性无关，则最小二乘问题存在唯一线性无关，则最小二乘问题存在唯一解解 ，其中，其中 为正规方程的解为正规方程的解.0 ,miiix y0( )nkkx0miix0nkk*0( )( )nkkkxx *01(,)Tn定理定理1：Gram 矩阵矩阵 G 非奇异的非奇异的充要条件充要条件是向量组是向量组 线线 性无关。性无关。0nkk注注: (1) 最小二乘问题的解与所选基函数无关。即对于最小二乘问题的解与所选基函数无关。即对于n +1维连维连 续函数空间续函数空间 的任

16、何基的任何基 ，只要它们在点列，只要它们在点列 处的值向量组处的值向量组 线性无关，就可以用相应的正规方程求线性无关，就可以用相应的正规方程求解，从而得到相同的拟合曲线。解，从而得到相同的拟合曲线。 0( )nkkx0miix0nkk0 ,miiix y0( )nkkx0miix(2) 在离散点列在离散点列 中，对自变量序列中，对自变量序列 没有特别没有特别要求，既不需要有序，也可以重复。要求，既不需要有序，也可以重复。Gram矩阵矩阵G由子空间由子空间 的基函数的基函数 和自变量和自变量(3) 序列序列 确定，与离散点的函数值确定，与离散点的函数值 无关。无关。0miix0miiy三三 多项

17、式拟合多项式拟合在离散数据的最小二乘拟合中，最简单也是最常用的数学模在离散数据的最小二乘拟合中，最简单也是最常用的数学模型就是多项式：型就是多项式： 2012( )nnxxxx即在多项式空间即在多项式空间2010span1, , ( )| ( ), ,nnkknkx xxxxxR 中作曲线拟合，称为中作曲线拟合，称为多项式拟合多项式拟合。特例：一次多项式拟合特例：一次多项式拟合设一次多项式设一次多项式 01( ) xx则则201010(,)niiiIyx由由010100010101(,)20(,)20niiiniiiiIyxIyxx 得得010002010001nnniiiiinnniiiii

18、iixyxxx y0000210001nnniiiiinnniiiiiiixyxxx y即即解得解得 则得拟合多项式则得拟合多项式 。01, ( )x例例1：已知已知 ，求拟合直线，求拟合直线. (0)1,(1)2,(3)4,(5)8ffff解：解：设拟合直线为设拟合直线为 ，则法方程组为，则法方程组为: yabx491593545ab 解得解得39/59 ,81/59ab所以所求拟合直线为所以所求拟合直线为: 81395959yx一般多项式拟合一般多项式拟合设设 n 次多项式次多项式 2012( )nnxxa xa x则法方程为则法方程为:2023111221niiiiniiiiiinnnn

19、nniiiiiixxxyx yxxxxx yxxxx注注: 数据代入多项式后所得矛盾方程组记为数据代入多项式后所得矛盾方程组记为A= y , 则上述则上述正则方程即为正则方程即为 , 也就是矛盾方程组的正则方程也就是矛盾方程组的正则方程组组. 故也可通过故也可通过 求得拟合多项式的各项系数求得拟合多项式的各项系数. TTA AA yTTA AA yx( )f x56( )yf x例例2：已知函数已知函数的观测数据为：的观测数据为：3043212yabxcx用最小二乘法求形如用最小二乘法求形如 的经验公式使与的经验公式使与题目题目数据拟合数据拟合. 41030810301001630100354

20、26abc 13.5,16.7,3.5abc 213.5 16.73.5yxx解：解：正则方程组为正则方程组为:解得解得:所以拟合曲线为所以拟合曲线为: 可化为线性模型的曲线拟合可化为线性模型的曲线拟合1 分式函数分式函数1bayx这种情形可令这种情形可令 ，则有，则有1/ ,1/yy xxyabx此时法方程组为此时法方程组为: 2111111iiiiiixyabxxx y 2 指数函数指数函数 lnlnbxyaeyabxyabx3 幂函数幂函数 lnlnlnbyaxyabxyabx例例3 3：给定数据如下：给定数据如下： x1.01.41.82.22.6 y0.9310.4730.2970.2240.168求形如求形如 的拟合曲线的拟合曲线. . xbay1解：解：令令 ，则拟合函数转化为线性模型，则拟合函数转化为线性模型: :此时数据转化为：此时数据转化为：yz/1xbaz x1.01.41.82.22.6 z1.0742.1143.3674.4645.592用该线性模型拟合上述数据，相应的正规方程为用该线性模型拟合上述数据，相应的正规方程为:3902.35971.168 .17995ba解得解得: 0265. 3,0535. 2ba故所求拟合曲线为故所