数值分析3-4(最小二乘法)

1、一、最小二乘法的定义一、最小二乘法的定义 第第3 3章章 函数逼近与曲线拟合函数逼近与曲线拟合 4 4 曲线拟合的最小二乘法曲线拟合的最小二乘法 二、多项式拟合二、多项式拟合三、非多项式拟合三、非多项式拟合 四、举例四、举例 一、最小二乘法的定义一、最小二乘法的定义1. “曲线拟合曲线拟合”问题问题已知：一组实验数据（已知：一组实验数据（xi，yi）(i=0,1,m)， 且观测数据有误差且观测数据有误差求：求：自变量自变量x与因变量与因变量y之间的函数关系之间的函数关系y=F(x) ，不要求，不要求y=F(x)经过所有点，而只要经过所有点，而只要求在给定点上残差求在给定点上残差),.,1 ,

2、0()(miyxFiii按按某种标准某种标准最小。最小。(1)使残差的最大绝对值为最小使残差的最大绝对值为最小min)(maxmax iiiiixFy (2)使残差的绝对值之和为最小使残差的绝对值之和为最小min ii (3)使残差的平方和为最小使残差的平方和为最小min2 ii 最小二乘法最小二乘法度量标准不同，将导致不同的拟合结果，常用度量标准不同，将导致不同的拟合结果，常用的准则有如下三种：的准则有如下三种：下面按下面按 y=F(x)是否是否为多项式讨论为多项式讨论二、二、 y=F(x)是多项式是多项式多项式拟合多项式拟合一组数据（一组数据（xi，yi）(i = 0,1,m)已知：已知：

3、求：求：在次数不超过在次数不超过n的多项式中找一个函的多项式中找一个函数数 ，使误差平方和最小，即，使误差平方和最小，即)(xFymiiinxFmiiiyxFyxF02)(02)(min)(次多项式是这里这里)(.)(10mnxaxaaxFnn例例1. 已知三个点（已知三个点（0,0），（），（1,1），（），（2,1），），求它的一次多项式拟合曲线求它的一次多项式拟合曲线.解解: 令令xaaxF10)(),() 12() 1()()(1021021020302aaaaaaayxFiii0),(0),(110010aaaaaa由由得得211610101003530233aaaaaaxxF216

4、1)(当点增加，多项式当点增加，多项式次数也增加后会怎次数也增加后会怎样？样？OK！法方程法方程三、三、 y=F(x)不是多项式不是多项式非非多项式拟合多项式拟合y=F(x)可能如下可能如下 2 种形式：种形式：其中其中是一组已知的函数)(,),(),(10 xxxn,)()()()( )(.)()()()2(33410101010aaaanaaxaxxxFxxxxFn或关于参数的线性形式关于参数的线性形式关于参数的非线性形式关于参数的非线性形式)()(.)()()() 1 (1100mnxaxaxaxFnn其中其中不是多项式的一组基)(,),(),(10 xxxn例例2. 已知三个点已知三个

5、点(0,1), (1,2),(2,1.05),(3,0.01)，求，求形如形如y= asinx + b 的拟合曲线的拟合曲线.解解: 2222402)01. 03sin()05. 12sin()21sin() 1()(),(babababyxFbaiii0),(0),(bbaaba由由得得baba的线性方程组关于 ,OK！解解: 2222402)01. 03sin()05. 12sin()21sin() 10()(),(bbbiiiaaayxFba0),(0),(bbaaba由由得得baba非线性方程组的关于 ,不不OK！例例3. 已知三个点已知三个点(0,1), (1,2),(2,1.05)

6、,(3,0.01)，求，求形如形如 的拟合曲线的拟合曲线.xaybsin1. 最小二乘法何时可求解？最小二乘法何时可求解？2. 无法求解的怎么办无法求解的怎么办？1. 最小二乘法何时可求解？最小二乘法何时可求解？2. 无法求解的怎么办？无法求解的怎么办？ 四、举例四、举例例例4. 已知一组实验数据如下，求它的拟合曲线已知一组实验数据如下，求它的拟合曲线.xi12345fi44.5688.5i21311解解根据所给数据，在坐标纸上标出，从图根据所给数据，在坐标纸上标出，从图中看到各点在一条直线附近，故可选择中看到各点在一条直线附近，故可选择线性函数作拟合曲线，即令线性函数作拟合曲线，即令xaax

7、S101)( 得法方程为得法方程为 5 .1457422472281010aaaa解得解得13. 1,77. 210 aa于是所求拟合曲线为于是所求拟合曲线为xxS13. 177. 2)(1 例例5. 在某化学反应里，根据实验所得生成物的在某化学反应里，根据实验所得生成物的浓度与时间关系如下表，求浓度浓度与时间关系如下表，求浓度y与时间与时间t的拟的拟合曲线合曲线y=F(t).t12345678Y4.006.408.008.809.229.509.709.86t910111213141516y10.00 10.20 10.32 10.42 10.50 10.55 10.58 10.60解解根据

8、所给数据，在坐标纸上标出，得下图根据所给数据，在坐标纸上标出，得下图ty从图中可以看出开始时浓度增加较快，后来从图中可以看出开始时浓度增加较快，后来逐渐减弱，到一定时间就基本稳定在一个数逐渐减弱，到一定时间就基本稳定在一个数值上，即当值上，即当t时，时，y趋于某个常数，故有一趋于某个常数，故有一水平渐近线。另外水平渐近线。另外 t = 0 时，反应未开始，浓时，反应未开始，浓度为度为0。概括起来为。概括起来为 趋于一个定值趋于一个定值时，时，时，时，当当的增函数的增函数是是ytytty)3(; 00)2(;)1(根据这些条件，可设想两种形式的函数关系：根据这些条件，可设想两种形式的函数关系：y

9、 = F(t) 是双曲线型是双曲线型y = F(t) 是指数形式是指数形式 )(,1battytbay 即即tbaey/ b0y = F(t) 是双曲线型是双曲线型)(,1battytbay 即即为了确定为了确定a、b，令，令txyy1,1 于是可用于是可用 x 的线性函数的线性函数 拟合拟合数据数据 。 可由原始可由原始数据数据 计算出来。计算出来。)16,.,1(),( iyxii),(iiyxbxaxS )(1),(iiytxxx )(, 1)(10 这里这里可求得可求得 代入法方程得代入法方程得1 , 0,),(),( kjyjjk 331052886. 058435. 138073.

10、 3108372. 138073. 316baba解得解得6822.161,6621.80 ba从而得到从而得到)(6822.1616621.80)1(tFtty 于是由于是由 计算出计算出 ，拟合数，拟合数据据 的曲线仍设为的曲线仍设为),(iiyt),(iiyx),(iiyxy = F(t) 是指数形式是指数形式 )0(/ baeytb为了确定为了确定a 与与b，对上式两边取对数得，对上式两边取对数得tbay lnln令令txaAyy1,ln,ln bxAxS )(1得法方程得法方程 82229.1658435. 138073. 326394.7538073. 316bAbA解得解得056

11、7. 1,48072. 4 bA从而得到从而得到)(103253.11)2(0567. 13tFeyt 3103253.11 Aea请回答请回答: :怎样比较这两个数学模型的好坏呢？怎样比较这两个数学模型的好坏呢？答：只要分别计算这两个数学模型的误差，答：只要分别计算这两个数学模型的误差，从中挑选误差较小的模型即可。从中挑选误差较小的模型即可。本例经过计算可得本例经过计算可得3)2(3)1(10277. 0|max,10568. 0|max iiii 而均方误差为而均方误差为312)2(312)1(1034. 0)(,1019. 1)( miimii 由此可知第二个模型较好。由此可知第二个模型

12、较好。结论：结论： 选择拟合曲线的数学模型，并不一定开始选择拟合曲线的数学模型，并不一定开始就能选好，往往需要通过分析若干模型后，就能选好，往往需要通过分析若干模型后，经过实际计算才能选到较好的模型，如本经过实际计算才能选到较好的模型，如本例的指数模型就比双曲线模型好得多。例的指数模型就比双曲线模型好得多。例例6. 用最小二乘法解超定方程组用最小二乘法解超定方程组解解欲求（欲求（x,y）使得其尽可能使四个等式成）使得其尽可能使四个等式成立，即使立，即使 72623531142yxyxyxyx2222)72()62()353()1142(),( yxyxyxyxyxQ达到最小达到最小则（则（x,

13、y）应满足）应满足 0),(0),(yyxQxyxQ即即 48463176yxyx解得解得 2408. 10403. 3yx所以用最小二乘法解得的超定线性方程组所以用最小二乘法解得的超定线性方程组的解为的解为 2408. 10403. 3yx第三章第三章 补充补充 逼近问题的发展逼近问题的发展对基于经验数据估计函数依赖关系的方法的对基于经验数据估计函数依赖关系的方法的研究（研究（从实例学习的研究从实例学习的研究）已经有很长的历）已经有很长的历史了。这些研究是由两个伟大的数学家开始史了。这些研究是由两个伟大的数学家开始的：他们是的：他们是高斯高斯（Gauss,1777-1855）和）和拉普拉普拉

14、斯拉斯（Laplace,1749-1827），他们提出了从），他们提出了从天文学和物理学中的观测结果估计依赖关系天文学和物理学中的观测结果估计依赖关系的两种不同方法。的两种不同方法。逼近问题的发展逼近问题的发展高斯提出了高斯提出了最小二乘法最小二乘法，而拉普拉斯提出了，而拉普拉斯提出了最小模方法最小模方法。从那时起就有了下面的问题：。从那时起就有了下面的问题：那种方法更好呢？在那种方法更好呢？在19世纪和世纪和20世纪初，人世纪初，人们更趋向于最小二乘法。们更趋向于最小二乘法。在在1953年，年，L.Le Cam定义了定义了ML方法一致收方法一致收敛的一些充分条件后，人们发现：如果离散敛的一些充分条件后，人们发现：如果离散数据点的噪声是服从高斯（正态）规律的，数据点的噪声是服从高斯（正态）规律的，则最小二乘法给出最好的结果；若噪声是服则最小二乘法给出最好的结果；若噪声是服