数值分析5.2 最小二乘法

1、5.3 曲线拟合的最小二乘法曲线拟合的最小二乘法最小二乘法的基本原理最小二乘法的基本原理具体的做法是求具体的做法是求 p(x) 使使2200 ()minmmiiiiirp xy 几何意义几何意义: 求在给定点求在给定点 x0, x1, xm 处与点处与点(x0,y0), (x1,y1), ,(xm, ym) 的的距离平距离平方和最小的曲线方和最小的曲线y =p(x),这就是这就是最小二乘曲线拟合问题最小二乘曲线拟合问题.中找一函数中找一函数 y=S*(x) 使误差平方和使误差平方和)(,),(),(10 xxxspann 目的：目的：求一个函数求一个函数y=S*(x)与所给数据与所给数据 (x

2、i,yi),i=0,1,m拟合拟合.)(,),(),(10 xxxn 是是a, b上线性无关函数族，在上线性无关函数族，在 5.3.1 最小二乘法及其计算最小二乘法及其计算 记拟合误差记拟合误差 i=S*(xi)- -yi, i= 0, 1 , m, =(0,1, ,m)T, 设设)1(,)(min)(02)(020222 miiixSmiiimiiyxSyxS 这就是一般的这就是一般的最小二乘逼近最小二乘逼近，用几何语言说，就称，用几何语言说，就称为为曲线拟合的最小二乘法曲线拟合的最小二乘法. .) 2()()()()()(1100mnxaxaxaxSnn 这里这里注：注：用最小二乘法求拟合

3、曲线时，首先要确定用最小二乘法求拟合曲线时，首先要确定S(x)的形式的形式. . 这不是单纯的数学问题，还要与所研究问这不是单纯的数学问题，还要与所研究问题的运动规律及所得观测数据题的运动规律及所得观测数据(xi, yi) 有关；有关；通常要通常要从问题从问题的运动规律及所给定数据描图，确定的运动规律及所给定数据描图，确定S(x)的的形式并通过实际计算选出较好的结果形式并通过实际计算选出较好的结果. . 为了使问题的提法更有一般性，通常在最小二为了使问题的提法更有一般性，通常在最小二乘法中误差平方和都考虑乘法中误差平方和都考虑加权平方和加权平方和)3(.)()()(0222 miiiixfxS

4、x 这里这里(x) 0是是a, b上的上的权函数权函数，它表示不同，它表示不同点点(xi, f(xi)处的数据比重不同处的数据比重不同. . miiiiyxSx0222)()( )4( )()()(),(02010 minjiijjinxfxaxaaaI 用最小二乘法求拟合曲线的问题用最小二乘法求拟合曲线的问题,就是在形如就是在形如(2)的的 S(x)中求一函数中求一函数y=S*(x)，使加权平方和，使加权平方和取得最小取得最小. . 它转化为求多元函数它转化为求多元函数的极小点的极小点 问题问题. . ),(10 naaa由求多元函数极值的必要条件由求多元函数极值的必要条件, ,有有 ),

5、1 , 0( 0)()()()(200nkxxfxaxaImiikinjijjik 若记若记)., 1 , 0()()()(),()5(),()()(),(00nkdxxfxfxxxkikimiikikijmiikj 上式可改为上式可改为)6()., 1 , 0(),(0nkdaknjjjk 这方程称为这方程称为法方程法方程, ,可写成矩阵形式可写成矩阵形式.dGa )6()., 1 , 0(),(0nkdaknjjjk 其中其中 ,),(,),(1010TnTnddddaaaa (7).),(),(),(),(),(),(),(),(),(101110101000 nnnnnnG ., 1

6、, 0 ,nkaakk 如果法方程如果法方程(6)的系数矩阵的系数矩阵(7)非奇异，则法方程非奇异，则法方程(6)存存在唯一的解在唯一的解 从而得到函数从而得到函数f(x)的的最小二乘解为最小二乘解为 要使法方程要使法方程(6)有唯一解有唯一解 ，就要求矩，就要求矩阵阵G 非奇异非奇异. . naaa,10)()()()(1100 xaxaxaxSnn 可以证明这样得到的可以证明这样得到的S*(x) ，对任何形如，对任何形如(2)式的式的S(x) ,都有都有,)()()()()()(0202* miiiimiiiixfxSxxfxSx 即即S*(x)必为所求的必为所求的最小二乘解最小二乘解.)

7、, 1 , 0()(nkxxkk , 1nxxspan 给定给定f(x)的离散数据的离散数据 ，要确，要确定集合定集合 是困难的，所以一般取是困难的，所以一般取 即即 就得到就得到最小二乘拟合多项式最小二乘拟合多项式. . , 2 , 1 ),(miyxii )()()(00mnxaxaxPnkkknkkkn使其满足使其满足2010(,)()minmnniiiI a aaP xy 这样的曲线拟合叫这样的曲线拟合叫多项式拟合多项式拟合. . 满足上式的满足上式的Pn(x) 叫叫最小二乘拟合多项式最小二乘拟合多项式. . 特别地特别地, , 当当n=1时时, ,一次多一次多项式拟合又叫项式拟合又叫

8、直线拟合直线拟合. . 即：即：对给定的一组数据对给定的一组数据(xi,yi)(i=0,1,m), 求次数求次数不超过不超过n的多项式的多项式对对法方程法方程.dGa )6()., 1 , 0(),(),(0nkfdakknjjjkL取取(x)=1，而，而,)()(),(000 mijkimijikimiijikjkxxxxx ,)()(),(00 miikimiikijyxxxff 其其法方程法方程为为), 1 , 0()(000nkyxaxmiikijnjmikji 此时矩阵为此时矩阵为 .1),(),(),(),(),(),(),(),(),(0201001020001011101010

9、00 miniminiminiminimiimiiminimiinnnnnnxxxxxxxxmG 得到得到法方程法方程(正规方程正规方程)矩阵具体形式为矩阵具体形式为(P196):000021100001200001mmmniiiiiimmmmniiiiiiiiimmmmnnnniiiiiniiiiamxxyxxxx yaxxxx ya 解解 作散点图如右，作散点图如右， 从右图可以看出这些从右图可以看出这些点接近一条抛物线，因此点接近一条抛物线，因此设所求公式为设所求公式为2210)(xaxaaxP x012345y521123 例例1.1. 已知一组观测数据如表所示，试用最小二已知一组观测

10、数据如表所示，试用最小二乘法求一个多项式拟合这组数据。乘法求一个多项式拟合这组数据。代入法方程代入法方程 6126146136126161361261616126161210210210)()()()()()()()()1(iiiiiiiiiiiiiiiiiiiyxaxaxaxyxaxaxaxyaxaxaiiiiii代入数据得代入数据得012012012615551415552253055225979122aaaaaaaaa解之可得解之可得5000. 0,7857. 2,7143. 4210 aaa故所求故所求拟合拟合多项式为多项式为.5000. 07857. 27143. 4)(2xxxP

11、解解 根据所给数据，在根据所给数据，在坐标纸上标出各点，见图坐标纸上标出各点，见图. 从图中看到各点在一条直从图中看到各点在一条直线附近，故可选择线性函线附近，故可选择线性函数做拟合曲线，即令数做拟合曲线，即令 例例2. 已知一组实验数据如下，求它的拟合曲线已知一组实验数据如下，求它的拟合曲线.xi12345fi44.5688.5i213112426864)(1xSy 解得解得a0=2.77,a1=1.13. 于是所求拟合曲线为于是所求拟合曲线为故故这这里里,)(, 1)(, 1, 4,)(10101xxxnmxaaxS ,74),(,22),(),(, 8),(402114001104000

12、 iiiiiiiixx . 5 .145),(,47),(401400iiiiiiifxfff得法方程得法方程 . 5 .1457422,472281010aaaa.13. 177. 2)(1xxS 注：注：对对最小二乘拟合多项式最小二乘拟合多项式当当n3时，求解法方程与时，求解法方程与连续情形一样，将出现系数矩阵连续情形一样，将出现系数矩阵G为病态的问题，通为病态的问题，通常对常对n=1的简单情形都可通过求法方程得到的简单情形都可通过求法方程得到S*(x). .有有时根据给定数据图形，其拟合函数时根据给定数据图形，其拟合函数y=y=S(x)表面上不是表面上不是线性的形式，但通过变换仍可化为线

13、性模型线性的形式，但通过变换仍可化为线性模型. .例如例如,)(bxaexS 若两边取对数得若两边取对数得,ln)(lnbxaxS 它就是一个线性模型，它就是一个线性模型，具体做法见下例具体做法见下例. . 例例3. 设数据设数据(xi, yi)(i=0,1,2,3,4)由下表给出，表中由下表给出，表中第第4行为行为lnyi=zi，可以看出数学模型为，可以看出数学模型为y=aebx，试用最，试用最小二乘法确定小二乘法确定a及及b.i01234xi1.001.251.501.752.00yi5.105.796.537.458.46zi1.6291.7561.8762.0082.135 解解 根据

14、给定数据根据给定数据(xi, yi)(i=0,1,2,3,4)描图可确定拟描图可确定拟合曲线方程为合曲线方程为y=aebx，它不是线性形式，它不是线性形式. 对方程对方程y=aebx 两边取对数得两边取对数得lny=lna+bx，如果令，如果令z=lny,A=lna，则，则z=A+bx,=1,x. 为确定为确定A和和b，先将，先将数据数据(xi, yi)可转化为可转化为(xi, zi) ，见数据表，见数据表. 根据最小二乘法，取根据最小二乘法，取, 1)(,)(, 1)(10 xxxx 得得422.14),(404.9),(875.11),(5 .7),(51),(40140040211401

15、04000 iiiiiiiiiizxzzzxx 故有法方程故有法方程 .422.14875.1150. 7,404. 950. 75bAbA解得解得A=1.122, b=0.505, a=eA=3.071. 于是得最小二于是得最小二乘拟合曲线为乘拟合曲线为.071. 3505. 0 xey ), 1 , 0(00)()()(),(0nkkjAkjxxxkmiikijikj ), 1 ,0(,020nkxxxxfxfamiikimiikiikkkk )(),(),(10 xxxn 用最小二乘法得到的方程组其系数矩阵用最小二乘法得到的方程组其系数矩阵G G是病态的是病态的, ,但如果但如果 是关于

16、点集是关于点集xi带权带权(xi)(i=0,1,m)正交函数族，即正交函数族，即), 1 , 0(),(0nkdaknjjjk 则法方程则法方程的解为的解为*5.3.2 用正交多项式做最小二乘拟合用正交多项式做最小二乘拟合 现在我们根据给定的节点现在我们根据给定的节点x0,x1,xm及权函数及权函数(x)0，构造出带权，构造出带权(x)正交多项式正交多项式Pn(x).注意注意nm，用递推公式表示，用递推公式表示Pk(x)，即，即 ).1, 2 , 1()()()()(),()()(, 1)(1110110nkxPxPxxPxPxxPxPkkkkk 这里这里Pk(x)是首项系数为是首项系数为1

17、的的k次多项式，根据次多项式，根据Pk(x)的的正交性，得正交性，得 ) 1, 1( ) 1, 1 , 0(,1, 1,0210202021nkPPPPxPxxPxnkPPPxPxPxPxPxxPxPxxPxxkkkkmiikimiikikkkkkkkkkmiikimiikiik 注：注：可以利用数学归纳法证明这样给出的可以利用数学归纳法证明这样给出的Pk(x)是正是正交的交的. 用正交多项式用正交多项式Pk(x)的线性组合作最小二乘曲的线性组合作最小二乘曲线拟合只要根据公式第一式及第二式逐步求线拟合只要根据公式第一式及第二式逐步求Pk(x)的的同时，相应计算出系数同时，相应计算出系数),10()()()()()(),(),(020,n,kxPxxPxfxPPPfamiikimiikiikk