最小二乘法与曲线拟合

1、第五章第五章最小二乘法与曲线拟合最小二乘法与曲线拟合5 5.0 .0 问题的提出问题的提出5 5.1 .1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组5 5.2 .2 多项式拟合多项式拟合 如果实际问题要求解在如果实际问题要求解在 a a, ,b b 区间的每一点都区间的每一点都“很好地很好地” 逼近逼近f f( (x x) )的话，运用插值函数有时就要的话，运用插值函数有时就要失败。另外，插值所需的数据往往来源于观察测量，失败。另外，插值所需的数据往往来源于观察测量，本身有一定的误差。要求插值曲线通过这些本身有误本身有一定的误差。要求插值曲线通过这些本身有误差的点，势必使插值结果更

2、加不准确。差的点，势必使插值结果更加不准确。 如果由试验提供的数据量比较大，又必然使得插如果由试验提供的数据量比较大，又必然使得插值多项式的次数过高而效果不理想。值多项式的次数过高而效果不理想。5 5.0 .0 问题的提出问题的提出 从给定的一组试验数据出发，寻求函数的一个近从给定的一组试验数据出发，寻求函数的一个近似表达式似表达式y y= = ( (x x) )，要求近似表达式能够反映数据的基，要求近似表达式能够反映数据的基本趋势而又不一定过全部的点本趋势而又不一定过全部的点( (x xi i, ,y yi i) )，这就是，这就是曲线拟曲线拟合问题合问题，函数的近似表达式，函数的近似表达式

3、y y= = ( (x x) )称为称为拟合曲线拟合曲线。本。本章介绍用章介绍用最小二乘法最小二乘法求拟合曲线。求拟合曲线。5 5.1 .1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组一、矛盾方程组的定义一、矛盾方程组的定义设线性方程组设线性方程组或写为或写为其矩阵形式为其矩阵形式为nnnnnnnnnnbxaxaxabxaxaxabxaxaxa22112222212111212111), 2 , 1(1njbxainjjijbxa当当方程组的系数矩阵与增广矩阵的秩不相等时，方程组的系数矩阵与增广矩阵的秩不相等时，方程组无解，此时方程组称为方程组无解，此时方程组称为矛盾方程组矛盾方程组

4、。对于。对于rankranka an n（a a的秩为的秩为n n）的矛盾方程组（）的矛盾方程组（nnnn），我），我们寻求其最小二乘意义下的解。们寻求其最小二乘意义下的解。二、用最小二乘法求解矛盾方程组二、用最小二乘法求解矛盾方程组1.最小二乘原则由于矛盾方程组的精确解不存在，我们转而由于矛盾方程组的精确解不存在，我们转而寻求其某种意义下，即最小二乘意义下的解。寻求其某种意义下，即最小二乘意义下的解。令令), 2 , 1(1nibxainjjiji称称 为为偏差偏差。i达到最小值，这一条件称为达到最小值，这一条件称为最小二乘原则最小二乘原则。 工程实际中的许多问题都可以归结为矛盾方程组，工程

5、实际中的许多问题都可以归结为矛盾方程组，实际中需要寻求矛盾方程组的一组解，以使得偏差的实际中需要寻求矛盾方程组的一组解，以使得偏差的绝对值之和绝对值之和 尽可能地小。为了便于分析尽可能地小。为了便于分析计算和应用，常采用使偏差的平方和计算和应用，常采用使偏差的平方和nii1 niinjjijniibxaq12112 按照最小二乘原则来选择未知数按照最小二乘原则来选择未知数x x1 1, ,x x2 2, , ,x xn n的的一组取值的方法称为求解矛盾方程组的一组取值的方法称为求解矛盾方程组的最小二乘法最小二乘法。符合条件的一组取值称为矛盾方程组的符合条件的一组取值称为矛盾方程组的最小二乘解最

6、小二乘解。 把把q q看成是看成是n n个自变量个自变量x x1 1, ,x x2 2, , ,x xn n的二次函数，的二次函数，记为记为q qf f( (x x1 1, ,x x2 2, , ,x xn n) )，因此，求矛盾方程组的，因此，求矛盾方程组的最小二乘解就是求二次函数最小二乘解就是求二次函数q qf f( (x x1 1, ,x x2 2, , ,x xn n) )的的最小值点。最小值点。问题问题：二次函数二次函数q qf f( (x x1 1, ,x x2 2, , ,x xn n) )是否存在最小是否存在最小值？若最小值存在，如何求出该最小值点？值？若最小值存在，如何求出该

7、最小值点？2.2.最小二乘解的存在唯一性最小二乘解的存在唯一性引理1：设设n n元实函数元实函数f f( (x x1 1, ,x x2 2, , ,x xn n) )在点在点p p0 0( (a a1 1, ,a a2 2, , ,a an n) )的某个邻域内连续，且有一阶及二阶连续的偏导数，如的某个邻域内连续，且有一阶及二阶连续的偏导数，如果果(1)(2)矩阵),2,1(00nkxfpk0000000002222122222212212212212pnpnpnpnpppnppxfxxfxxfxxfxfxxfxxfxxfxfm是正（负）定矩阵，则是正（负）定矩阵，则f f( (a a1 1,

8、 ,a a2 2, , ,a an n) )是是n n元实函元实函数数f f( (x x1 1, ,x x2 2, , ,x xn n) )的极小（大）值。的极小（大）值。引理引理2 2：设非齐次线性方程组：设非齐次线性方程组 的系数矩阵的系数矩阵a a=(=(a aijij) )n nn n，若，若rankranka a= =n n，则，则bxa(1)(1)矩阵矩阵a at ta a是对称正定矩阵；是对称正定矩阵；(2)(2)n n阶线性方程组阶线性方程组 有唯一的解。有唯一的解。baxaatt证明：证明：（1 1）矩阵）矩阵a at ta a显然是对称矩阵。显然是对称矩阵。设齐次线性方程组

9、设齐次线性方程组0 xa因为因为ranka=n，故齐次方程组有唯一零解。，故齐次方程组有唯一零解。因此，对于任意的因此，对于任意的，有，有，从而，从而0 x0 xa0)()()(xaaxxaxattt故矩阵故矩阵a at ta a是对称正定矩阵。是对称正定矩阵。(2)(2)因为矩阵因为矩阵a at ta a是正定矩阵，故是正定矩阵，故rank(rank(a at ta a)=)=n n，从，从而线性方程组而线性方程组 有唯一的解。有唯一的解。baxaatt证毕证毕定理定理：设矛盾方程组的系数矩阵的秩为：设矛盾方程组的系数矩阵的秩为n n，则二次，则二次函数函数 niinjjijnbxaxxxf

10、q12121),(一定存在最小值。一定存在最小值。证明：证明：因为因为q q是是x x1 1, ,x x2 2, , ,x xn n的二次函数，故的二次函数，故q q不仅是不仅是连续函数，且有连续的一阶及二阶偏导数。连续函数，且有连续的一阶及二阶偏导数。因为因为)(2)(2)(2112221111njnjnjnknjjjknjjjkkbxaabxaabxaaxq 引理引理2 2说明说明, ,在条件在条件ranka=nranka=n下下, ,无论线性方程组无论线性方程组ax=bax=b是否有解是否有解, ,构造的构造的n n阶方程组阶方程组a at tax=aax=at tb b一定有唯一解。一

11、定有唯一解。njnjnjnjjjnjjjnkkkbxabxabxaaaa1122111212)(221bxaaaankkk故故)(2)(221baxaabxaaxqxqxqtttn令令), 2 , 1(0nkxqk即即baxaatt（* *） 因为因为rankranka a= =n n，故由引理，故由引理2 2知，上式有唯一解。设解知，上式有唯一解。设解为为x x1 1= =a a1 1, , x x2 2= =a a2 2, , , x xn n= =a an n，记为点，记为点p p0 0( (a a1 1, ,a a2 2, , ,a an n) )，即二元函数即二元函数q q存在点存在

12、点p p0 0，使，使 。故。故满足引理满足引理1 1的条件（的条件（1 1）。）。00(1, 2 ,)kpqknx因为因为), 2 , 1,(2)(2122112ntkaaaaaaaaxxqniitikntnktktktk故故aaaaaaaaaaaaaaaaaaaaaaamtniinniininiininiininiininiiiniiniiiniininiiiniiinii22121312111213212212111131121121 由引理由引理2 2知，当知，当rankranka a= =n n时，矩阵时，矩阵m m是对称正定阵，是对称正定阵，m m满足引理满足引理1 1的条件（的条

13、件（2 2），故由引理），故由引理1 1知，二次函数知，二次函数q q存存在极小值。在极小值。 又因方程组（又因方程组（* *）式有唯一解，故）式有唯一解，故q q存在的极小值存在的极小值就是最小值，线性方程组（就是最小值，线性方程组（* *）式的解就是最小值点。）式的解就是最小值点。证毕证毕remark1remark1：线性方程组（：线性方程组（* *）式称为正则方程组）式称为正则方程组。remark2remark2：该定理说明，只要矛盾方程组的系数矩：该定理说明，只要矛盾方程组的系数矩阵阵a a的秩的秩rankranka a= =n n，则，则（1 1）矛盾方程组的最小二乘解存在；）矛盾方

14、程组的最小二乘解存在；（2 2）正则方程组有唯一解，此解就是矛盾方程组的）正则方程组有唯一解，此解就是矛盾方程组的最小二乘解。最小二乘解。3.3.最小二乘法解矛盾方程组最小二乘法解矛盾方程组计算步骤：（1 1）判断方程组的秩是否满足）判断方程组的秩是否满足rankranka a= =n n？（2 2）写出正则方程组；）写出正则方程组；（3 3）求解正则方程组，其解就是矛盾方程组）求解正则方程组，其解就是矛盾方程组的最小二乘解。的最小二乘解。一、曲线拟合模型一、曲线拟合模型确定曲线的类型：确定曲线的类型：一般选取简单的低次多项式。一般选取简单的低次多项式。定义定义：依据某种标准选择一条依据某种标

15、准选择一条“最好最好”的简单的简单曲线作为一组离散数据曲线作为一组离散数据的连续模型的连续模型。niiiyx0),(5 5.2 .2 多项式拟合多项式拟合求一个次数不高于求一个次数不高于n n1 1次的次的多项式：多项式：) 1()(2210nmxaxaxaaxymm（其中（其中a a0 0, ,a a1 1, , ,a am m待定），使其待定），使其“最好最好”的拟合的拟合这组数据。这组数据。“最好最好”的标准是：使得的标准是：使得 ( (x x) )在在x xi i的的偏差偏差), 2 , 1()(niyxiii的平方和的平方和niiiniiyxq1212)(达到最小达到最小。 由于拟合

16、曲线由于拟合曲线y y= = ( (x x) )不一定过点不一定过点( (x xi i, ,y yi i) )，因此，因此，把点把点( (x xi i, ,y yi i) )带入带入y y= = ( (x x) ) ，便得到以，便得到以a a0 0, ,a a1 1, , ,a am m为未为未知量的矛盾方程组知量的矛盾方程组nmnmnnmmmmyxaxaxaayxaxaxaayxaxaxaa22102222221011212110其矩阵形式为其矩阵形式为bxa其中其中nmmnnnmmyyybaaaxxxxxxxxxxa2110222221211,111 ( (x x) )在在x xi i的偏

17、差就是矛盾方程组各方程的偏差。的偏差就是矛盾方程组各方程的偏差。曲线拟合的条件就是确定曲线拟合的条件就是确定a a0 0, ,a a1 1, , ,a am m，使得偏差的平，使得偏差的平方和方和q q达到最小值。达到最小值。baxaatt 据此可知，据此可知， a a0 0, ,a a1 1, , ,a am m就是矛盾方程组的最小就是矛盾方程组的最小二乘解，也就是正则方程组二乘解，也就是正则方程组 的解。的解。二、曲线拟合的最小二乘解法二、曲线拟合的最小二乘解法niiminiiiniitniminiminiminiminiminiiniiniiniminiiniityxyxybaxxxxx

18、xxxxxxnaa111121211111131211121,正则方程组为：正则方程组为：niiminimimniminiminiminiiinimimniiniiniiniinimimniiniiyxxaxaxaxayxxaxaxaxayxaxaxana112122111101111321211011122110三、解的存在唯一性三、解的存在唯一性定理定理：设：设x x1 1, ,x x2 2, , ,x xn n互异，且互异，且n n m m+1+1，则上面的正则，则上面的正则方程组有唯一的解。方程组有唯一的解。证明证明：只需证明矛盾方程组的系数矩阵：只需证明矛盾方程组的系数矩阵a a的秩

19、的秩rankranka a= =m m1 1。 矛盾方程组的系数矩阵矛盾方程组的系数矩阵a a是是n n( (m m+1)+1)的矩阵，记的矩阵，记a a的前的前m m1 1行构成行构成m m1 1阶子矩阵阶子矩阵mmmmmmxxxxxxxxxa1211222212111111 该矩阵是范德蒙矩阵，由该矩阵是范德蒙矩阵，由x x1 1, ,x x2 2, , ,x xn n互异知行列互异知行列式不为零，从而有式不为零，从而有rankranka a= =m m1 1。由引理。由引理2 2知，正则方程知，正则方程组有唯一解。组有唯一解。证毕证毕四、最小二乘法拟合曲线的步骤四、最小二乘法拟合曲线的步

20、骤1.通过观察、分析得到拟合曲线的数学模型，或通过观察、分析得到拟合曲线的数学模型，或根据经验公式确定数学模型。根据经验公式确定数学模型。2.2.将拟合曲线的数学模型转换为多项式。将拟合曲线的数学模型转换为多项式。3.3.写出矛盾方程组。写出矛盾方程组。4.4.写出正则方程组。（可由多项式模型直接得到）写出正则方程组。（可由多项式模型直接得到）5.5.求解正则方程组，得到拟合曲线的待定系数。求解正则方程组，得到拟合曲线的待定系数。6.6.将正则方程组的解带回到数学模型中，得到拟将正则方程组的解带回到数学模型中，得到拟合曲线。合曲线。remark1.1.同一问题可以有不同的拟合曲线，通常根据均方

21、误同一问题可以有不同的拟合曲线，通常根据均方误差差 和最大偏差和最大偏差 的大小来衡量拟合曲线的优劣。均方误差和最大偏差的大小来衡量拟合曲线的优劣。均方误差和最大偏差较小的拟合曲线为较优的拟合曲线。较小的拟合曲线为较优的拟合曲线。niiiyx12)(iiniyx)(max12.2.在解决实际问题时，有时通过观察选择多个函数类在解决实际问题时，有时通过观察选择多个函数类型进行计算、分析、比较，最终获得较好的数学模型；型进行计算、分析、比较，最终获得较好的数学模型；有时把经验公式作为数学模型，只是用最小二乘法来有时把经验公式作为数学模型，只是用最小二乘法来确定公式中的待定常数。确定公式中的待定常数

22、。remarkremark3.3.当拟合曲线当拟合曲线 ( (x x) )中的待定常数是线性形式时，可直中的待定常数是线性形式时，可直接根据矛盾方程组得到正则方程组而求解。当待定常接根据矛盾方程组得到正则方程组而求解。当待定常数不是线性形式时，则应该先将待定常数线性化，再数不是线性形式时，则应该先将待定常数线性化，再根据矛盾方程组写出正则方程组而求解。根据矛盾方程组写出正则方程组而求解。例例1：bxaey bxay lnlnbbaayu,ln,lnbxaubxay1bxay1yu1bxau例例2：曲线拟合应用实例曲线拟合应用实例: :例例1: 1: 试用最小二乘法求一个形如试用最小二乘法求一个形如 ( (a,ba,b为常数为常数) ) 的经验公式的经验公式, ,使它与下列数据相拟合使它与下列数据相拟合( (取四位小数取四位小数) )xi12345678yi15.3 20.5 27.436.649.1 65.6 87.8 117.6bxaey 解解: :由于经验公式中待定常数由于经验公式中待定常数a,ba,b是非线性形式是非线性形式, ,故作故作如下变形如下变形: :bxay lnlnbbaayu,ln,