问题的提出函数解析式未知通过实验观测得到的一组 ppt课件

1、3.1 问题的提出问题的提出函数解析式未知函数解析式未知,经过实验观测得到的一组数据经过实验观测得到的一组数据, 即在某即在某个区间个区间a, b上给出一系列点的函数值上给出一系列点的函数值 yi= f(xi)或者给出函数表或者给出函数表y=f(x)y=p(x)xx0 x1x2xnyy0y1y2yn 3.2. 曲线拟合的最小二乘法曲线拟合的最小二乘法 假设知函数假设知函数f(x)在假设干点在假设干点xi(i=1,2,n)处的值处的值yi,便可根据插值原理来建立插值多项式作为便可根据插值原理来建立插值多项式作为f(x)的的近似。但在科学实验和消费实际中，往往会遇到近似。但在科学实验和消费实际中，

2、往往会遇到这样一种情况，即节点上的函数值并不是很准确这样一种情况，即节点上的函数值并不是很准确的，这些函数值是由实验或观测得到的数据，不的，这些函数值是由实验或观测得到的数据，不可防止地带有丈量误差，假设要求所得的近似函可防止地带有丈量误差，假设要求所得的近似函数曲线准确无误地经过一切的点数曲线准确无误地经过一切的点(xi,yi),就会使曲就会使曲线保管着一切测试误差。当个别数据的误差较大线保管着一切测试误差。当个别数据的误差较大时时,插值效果显然是不理想的。此外插值效果显然是不理想的。此外,由实验或观测由实验或观测提供的数据个数往往很多提供的数据个数往往很多,假设用插值法假设用插值法,势必得

3、到势必得到次数较高的插值多项式，这样计算起来很烦琐。次数较高的插值多项式，这样计算起来很烦琐。为此为此, ,我们希望从给定的数据我们希望从给定的数据(xi,yi)(xi,yi)出发出发, ,构造一构造一个近似函数个近似函数 , ,不要求函数不要求函数 完全经过一切的完全经过一切的数据点，只需求所得的近似曲线能反映数据的根本数据点，只需求所得的近似曲线能反映数据的根本趋势，如图趋势，如图3.13.1所示。所示。)(x)(x y o x 图图3.13.1曲线拟合表示图曲线拟合表示图 换句话说换句话说: :求一条曲线求一条曲线, ,使数据点均在离此曲线的上方使数据点均在离此曲线的上方或下方不远处或下

4、方不远处, ,所求的曲线称为拟合曲线所求的曲线称为拟合曲线, ,它既能反映它既能反映数据的总体分布数据的总体分布, ,又不至于出现部分较大的动摇又不至于出现部分较大的动摇, ,更能更能反映被逼近函数的特性反映被逼近函数的特性, ,使求得的逼近函数与知函数从使求得的逼近函数与知函数从总体上来说其偏向按某种方法度量到达最小总体上来说其偏向按某种方法度量到达最小, ,这就是最这就是最小二乘法。小二乘法。 与函数插值问题不同与函数插值问题不同, ,曲线拟合不要求曲线经曲线拟合不要求曲线经过一切知点过一切知点, ,而是要求得到的近似函数能反映数据而是要求得到的近似函数能反映数据的根本关系。在某种意义上的

5、根本关系。在某种意义上, ,曲线拟合更有适用价曲线拟合更有适用价值。值。 在对给出的实验在对给出的实验( (或观测或观测) )数据数据作曲线拟合时作曲线拟合时, ,怎样才算拟合得最好呢？普通希望怎样才算拟合得最好呢？普通希望各实验各实验( (或观测或观测) )数据与拟合曲线的偏向的平方和数据与拟合曲线的偏向的平方和最小最小, ,这就是最小二乘原理。这就是最小二乘原理。 两种逼近概念两种逼近概念: : 插值插值: : 在节点处函数值一样在节点处函数值一样. . 拟合拟合: : 在数据点处误差平方和最小在数据点处误差平方和最小), 1 , 0)(,(niyxii 函数插值是插值函数函数插值是插值函

6、数P(x)P(x)与被插函数与被插函数f(x)f(x)在节点在节点处函数值一样处函数值一样, ,即即 而曲线而曲线拟合函数拟合函数 不要求严厉地经过一切数据点不要求严厉地经过一切数据点 , ,也也就是说拟合函数就是说拟合函数 在在xixi处的偏向处的偏向( (亦称残差亦称残差 不都严厉地等于零。但是不都严厉地等于零。但是, ,为了使近似曲线能尽量反为了使近似曲线能尽量反映所给数据点的变化趋势映所给数据点的变化趋势, ,要求要求 按某种度量规范按某种度量规范最小。假设记向量最小。假设记向量 , ,即要求向量即要求向量 的的某种范数某种范数 最小最小, ,如如 的的1-1-范数范数 或或-范数范数

7、即即 )()(iixfxP), 1 ,0(ni)(x),(iiyx)(x)()(iiixfx),1 ,0(niiTne,10eee1eeniiiniixfxe001)()()()(maxmaxiiiiixfxe或或 最小。为了便于计算、分析与运用，最小。为了便于计算、分析与运用， 通常要求的通常要求的2-2-范数范数 e212021022)()(niiiniixfxe200222)()(niiiniixfxe即即 为最小。这种要求误差偏向平方和最小的拟为最小。这种要求误差偏向平方和最小的拟合称为曲线拟合的最小二乘法。合称为曲线拟合的最小二乘法。 1直线拟合直线拟合设知数据点设知数据点 ,分布大

8、致为一条直线。作拟合直分布大致为一条直线。作拟合直线线 ,该直线不是经过一切的数据点该直线不是经过一切的数据点 ,而是使偏而是使偏向平方和向平方和miyxii,2,1,xaaxy10)(iiyx ,miiiyxaaaaF121010)(),(为最小，其中每组数据与拟合曲线的偏向为为最小，其中每组数据与拟合曲线的偏向为根据最小二乘原理，应取根据最小二乘原理，应取 和和 使使 有极小有极小值，故值，故 和和 应满足以下条件：应满足以下条件：iiiiyxaayxy10)(mi,2, 10a1a),(10aaF1a0a0)(2),(0)(2),(110110110010imiiimiiixyxaaaa

9、aFyxaaaaaF即得如下正规方程组即得如下正规方程组 miiimimiiimiimiiyxxaxayxama1110211110(3.1) 例例3.21 设有某实验数据如下：设有某实验数据如下： 1 2 3 4 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963iixiy 用最小二乘法求以上数据的拟合函数用最小二乘法求以上数据的拟合函数 解解: :把表中所给数据画在坐标纸上把表中所给数据画在坐标纸上, ,将会看到数将会看到数据点的分布可以用一条直线来近似地描画据点的分布可以用一条直线来近似地描画, ,设所设所求的求的 拟合直线为拟合直线为 记记x

10、1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963=14.094, y2= 16.844, y3=18.475, y4=20.963那么正规方程组为那么正规方程组为 xaaxy10)(4401114442011114iiiiiiiiiiiaaxyaxaxx y32. 741iix8434.13412iix376.7041iiy12985.13241iiiyx其中其中 将以上数据代入上式正规方程组将以上数据代

11、入上式正规方程组, ,得得12985.1328434.1332. 7376.7032. 741010aaaa0113.9374,7.46262aa解得解得 即得拟合直线即得拟合直线 xy4626. 79374. 32 2多项式拟合多项式拟合 有时所给数据点的分布并不一定近似地呈一有时所给数据点的分布并不一定近似地呈一条直条直线线, ,这时仍用直线拟合显然是不适宜的这时仍用直线拟合显然是不适宜的, ,可用多项可用多项式拟合。对于给定的一组数据式拟合。对于给定的一组数据寻求次数不超越寻求次数不超越n (nm ) n (nn，即方程组中方程的个，即方程组中方程的个数多于未知量的个数时，称此方程组为超

12、定方程数多于未知量的个数时，称此方程组为超定方程组。普通来说，超定方程组无解此时为矛盾方组。普通来说，超定方程组无解此时为矛盾方程组程组)，这时需求寻求方程组的一个，这时需求寻求方程组的一个“最近似的最近似的解解.记记 ,称使称使 ,即即 最小的解最小的解 为方程为方程组组Ax=b的最小二乘解。的最小二乘解。nmijaA)(Axbr2r22r*x定理定理 是是Ax=bAx=b的最小二乘解的充分必要条件为的最小二乘解的充分必要条件为 是是 的解的解. .证明证明: :充分性充分性 假设存在假设存在n n维向量维向量 , ,使使 任取一任取一n n维向量维向量 , ,令令 , ,那么那么 , ,且

13、且 *xbAAxATT*x*xbAAxATT*xx *xxy0y),(*22*22AyAxbAyAxbAyAxbxAb),(),(2),(*AyAyAxbAyAxbAxb22*22*)(2AyAxbAyAxbTT2222*AyAxb22*Axb 所以所以 是是Ax=bAx=b的最小二乘解。的最小二乘解。 *x必要性必要性:r:r的第的第i i个分量为个分量为, , , ,记记knkikiixabr1mi,2 , 1 2112122)(),(knkikiminxabxxxIr由多元函数求极值的必要条件，可得由多元函数求极值的必要条件，可得0)(211ijknkikimijaxabxInj,2,

14、1即即 nj,2, 1imiijknkikmiijbaxaa 111)(由线性代数知识知由线性代数知识知, ,上式写成矩阵方式为上式写成矩阵方式为 bAAxATT它是关于的线性方程组它是关于的线性方程组, ,也就是我们所说的正规方程组或也就是我们所说的正规方程组或法方程组。可以证明假设法方程组。可以证明假设A A是列满秩的是列满秩的, ,那么方程组那么方程组5.485.48存在独一解存在独一解 5.485.48例例3.24 3.24 求超定方程组求超定方程组 7262353114221212121xxxxxxxx的最小二乘解的最小二乘解,并求并求误差平方和。误差平方和。 解解:方程组写成矩阵方

15、式为方程组写成矩阵方式为 763111221534221xx正规方程组为正规方程组为 7631112542132122153421254213221xx485146331821xx即即 2418. 1,0403. 321xx解得解得 3224.725239.529119.2530478.114221212121xxxxxxxx此时此时 误差平方和为误差平方和为 2222)4324. 77()5239. 56()9119. 23()0478.1111(I34065942. 0 我们曾经讨论了最小二乘意义下的曲线拟合问题我们曾经讨论了最小二乘意义下的曲线拟合问题, ,由于方程比较简单由于方程比较简

16、单, ,实践中运用广泛实践中运用广泛, ,特别是由于任何特别是由于任何延续函数至少在一个较小的邻域内可以用多项式恣意延续函数至少在一个较小的邻域内可以用多项式恣意逼近逼近, ,因此用多项式作数据拟合因此用多项式作数据拟合, ,有它的特殊重要性。有它的特殊重要性。从而在许多实践问题中从而在许多实践问题中, ,不论详细函数关系如何不论详细函数关系如何, ,都可都可用多项式作近似拟合用多项式作近似拟合, ,但用多项式拟合时但用多项式拟合时, ,当当n n较大时较大时(n7),(n7),其法方程的系数矩阵的条件数普通较大其法方程的系数矩阵的条件数普通较大, ,所以所以往往是病态的往往是病态的, ,因此

17、给求解任务带来了困难。因此给求解任务带来了困难。本章小结本章小结 本章引见的插值法和曲线拟合的最小二乘法都本章引见的插值法和曲线拟合的最小二乘法都是适用性很强的方法。它们处理的实践问题虽然是适用性很强的方法。它们处理的实践问题虽然各式各样，但笼统为数学问题却有它的共性，即各式各样，但笼统为数学问题却有它的共性，即利用知的数据去寻求某个较为简单的函数利用知的数据去寻求某个较为简单的函数P(x)来来逼近逼近f(x)。插值法和曲线拟合的最小二乘法分别。插值法和曲线拟合的最小二乘法分别给出了寻求这种近似函数的两类不同的原那么，给出了寻求这种近似函数的两类不同的原那么，以及构造近似函数的几种详细方法。其

18、中插值法以及构造近似函数的几种详细方法。其中插值法要求近似函数在知的数据点必需与要求近似函数在知的数据点必需与f(x)完全一致完全一致，曲线拟合法不要求点点一致而只须满足一定的，曲线拟合法不要求点点一致而只须满足一定的整体逼近条件。整体逼近条件。 曲线拟合的最小二乘法是处置实验数据的常用方法。曲线拟合的最小二乘法是处置实验数据的常用方法。本章主要引见了最小二乘法的根本原理和线性最小二乘问本章主要引见了最小二乘法的根本原理和线性最小二乘问题的求解方法。多项式拟合是线性最小二乘拟合问题的一题的求解方法。多项式拟合是线性最小二乘拟合问题的一种特殊情况种特殊情况, ,其特点是拟合多项式方式简单其特点是拟合多项式方式简单, ,但当但当n n较大时较大时, ,法方程组往往是病态的。用离散正交多项式进展曲线拟合法方程组往往是病态的。用离散正交多项式进展曲线拟合, ,不用解线性方程组不用解线性方程组, ,只需按递推式进展计算只需按递推式进展计算, ,防止了法方防止了法方程组病态所呵斥的费事程组病态所呵斥的费事, ,并且当逼近次数添加一次时并且当逼近次数添加一次时, ,只需只需在原根底上添加一项在原根底上添加一项, ,使计算程序非常简单。关于非线性使