曲线拟合的最小二乘法教学课件

2023/10/11第三章曲线拟合的最小二乘法§1曲线拟合与最小二乘法

§2

多项式拟合函数§3

用正交多项式最小二乘法

§4

矛盾方程组的最小二乘法

2023/10/12§1曲线拟合与最小二乘法

当我们得到的实验数据是准确值时，可以用代数插值的方法，求出原函数的近似表达式。经常由观察或测试可得到y=f(x)的一组离散数据：

但是，这组离散数据由观察或测试得到，往往并非完全精确，如果用插值的方法来逼近，效果就不会太好。

这时可以考虑用最小二乘法进行数据拟合，给出逼近曲线。其特点是：所求的逼近曲线不一定经过这些离散点，但却尽可能的靠近原曲线。(xi,yi),yi=f(xi),i=0,1,…,m离散点的最佳平方逼近-几何上称为曲线拟合(curvefitting)2023/10/13最小二乘拟合曲线2023/10/14三次样条函数插值曲线2023/10/15Lagrange插值曲线2023/10/16一、数据拟合的最小二乘法的思想

已知离散数据：(xi,yi),i=0,1,2,…,m,假设我们用函数逼近函数f(x)，则两个函数在每一个点xi都会产生一个误差：我们希望所求的逼近函数在每一个xi

处所产生的误差δi

的绝对值|δi|达最小。但这样分别考虑太困难，所以我们应考虑整体误差2023/10/17应该使整体达最小（误差的平方和最小）。

通过这种度量标准求得拟合曲线的方法，就称作曲线拟合的最小二乘法(最小二乘逼近)。

按照以上思想求f(x)的拟合曲线（逼近函数）时，首先需要确定出f(x)

所属的函数类，然后进一步求出具体函数，具体按照以下步骤进行。2023/10/18二、最小二乘法拟合曲线的步骤第二步：根据图示判断点(xi,yi)所反映的函数类，确定曲线所属的函数类型，例如多项式函数类、三角函数类、指数函数类、对数函数类等。假设所确定的函数类的基函数为第一步：根据如下已知点的坐标，在坐标系里描点则所求的函数可以表示为：只要确定了系数，就可以求出拟合曲线。经验公式2023/10/19第三步：对于其整体误差所求的解应该使以上二次函数达到极小，由极值原理应有：令：2023/10/110这样由及求得整理为2023/10/111令则有这样就给出了求解方程组：离散内积2023/10/112同样称其为法方程组。解法方程组求得便得到最小二乘拟合曲线为了便于求解，我们再对法方程组的导出作进一步分析。2023/10/113得到法方程组系数矩阵第j行的元素为：由2023/10/114于是法方程组的系数矩阵可写为：将右端第二个矩阵记为：2023/10/115则系数矩阵可以表示为：此外，关于法方程组的右端项（常数项）：2023/10/116由得到2023/10/117最后可以将法方程组表示为：其中这样可以较快写出法方程组来。2023/10/118如果所求得最小二乘拟合函数为n次多项式，则：这时：误差：证：法方程组的系数矩阵为2023/10/120例3.1根据如下离散数据拟合曲线并估计误差

x1234678y2367532解:step1:

描点

12345678

7654321*******

step2:

从图形可以看出拟合曲线为一条抛物线：

step3:

根据基函数给出法方程组§2多项式拟合函数2023/10/121由得到即又求得法方程组为：2023/10/122解得：求得拟合二次多项式函数误差为：先计算出拟合函数值：得到：或者：xi1234678p21.72724.00015.50026.22755.36373.77261.40872023/10/123

解：在坐标轴描点例3.2根据如下离散数据拟合曲线并估计误差

xi-3-2-10123

yi4230-1-2-5从离散点的图形上看不出原函数属于哪一类型，一般多采用多项式拟合，在此我们用二次多项式拟合。2023/10/124根据如下离散数据给出法方程组xi-3-2-10123yi4230-1-2-5这时求得得到法方程组2023/10/125所求二次拟合曲线为

拟合曲线的均方偏差为由解得：2023/10/126

拟合曲线在实际中有广泛应用，特别在实验、统计等方面是如此。通常，由一组试验或观测取得数据，这些数据先在平面上标出，然后确定拟合曲线的类型。

例如，电阻与导线的长度呈线性关系，如何确定具体的线性表示式，可通过对不同长度的导线测试电阻所得数据作拟合曲线而得。

对于某些具体问题，有时拟合曲线的类型是已知的，所对应的公式也叫做经验公式，只需确定曲线的具体参数即可。

下面给出一个已知经验公式，如何确定其中参数的例子。2023/10/127例3.3对如下数据作形如y=aebx

的拟合曲线

解:由于函数集合Φ={aebx|a,b∈R}

不是一线性空间，因此直接作拟合曲线是困难的。

为了便于计算，在函数y=aebx

两端分别取对数得到这时，需要将原函数表进行转换如下令

z=lny,A=lna,B=b,则

z=A+Bxlny=lna+bxxi12345678yi15.320.527.436.649.165.687.8117.62023/10/128对z=A+Bx

作线性拟合曲线，取这时xi12345678yi15.320.527.436.649.165.687.8117.6xi12345678zi2.723.023.313.603.894.184.484.772023/10/129得正则方程组解得

于是有拟合曲线为：§3用正交多项式作最小二乘法2023/10/133例3.4利用最小二乘法解下列超定（矛盾）方程组

解:超定方程组很难得到一组值使得每一个方程都成立。一般情况下用尽量使每一个方程都近似成立的一组值作为超定方程的近似解。这时最小二乘法就可以用于解这类方程。

采用最小二乘法，考虑如下的误差函数：独立方程数多于变量数§4矛盾方程组的最小二乘法2023/10/134所求的最小二乘解应该满足2023/10/135同理可得：令偏导数等于零2023/10/136法方程组为：解此方程组得最小二乘解：

x1=-0.3141x2=0.1333x3=0.02692023/10/137关于法方程组的获得，可以用更简便的方法，先将方程组用矩阵表示

简化为

两边同乘以系数矩阵的转置矩阵，就得到所需要的法方程组：

具体计算结果如下：2023/10/138与前面计算的法方程组相同，解值得最小二乘解x1=-0.3141x2=0.1333x3=0.02692023/10/139最小二乘曲线拟合矛盾方程组求最小二乘解矛盾方程组的最小二乘解2023/10/140本节(§1)问题1、最小二乘法拟合曲线的步骤是什么？

2、如何根据离散数据写出法方程组？2023/10/1413、最小二乘法拟合曲线的平方误差如何计算？例3.5确定经验公式中的参数，使之

与下列数据拟合xi0.10.20.30.40.50.6yi0.1720.3230.4840.6901.0001.5792023/10/142解:该问题的求解，可以将其化为线性函数进行由得到令则则再令2023/10/143函数值转化为xi0.10.20.30.40.50.6yi0.1720.3230.4840.6901.0001.579xi0.10.20.30.40.50.6yi5.8143.0962.0661.4491.0000.633这时，法方程组的系数矩阵按下式计算2023/10/1442023/10/145由计算出法方程组2023/10/146解得a0=6.0631a1=-0.0474a2=-10.0748利用得到最后得到2023/10/147§5最佳逼近问题一、函数的逼近方法关于函数的n次多项式逼近方法，已知有下面的几种：1.Taylor展式如果误差为2023/10/1482.插值多项式

同为n次多项式，哪一个逼近效果更好呢？这时可以建立一个度量标准来进行度量。在所建立的度量标准之下，就可以给出最佳的n次逼近多项式。注：除了用多项式来逼近一个函数f(x),也可以用其它具有某种共同特征的函数来逼近f(x)

，并求出其相应的最佳逼近。例如，2023/10/1493.最佳逼近问题

给定函数空间X

中的一个子集合

Φ

，对于某一已知函数f(x)∈X，在Φ

中寻求一个函数p(x)作为函数f(x)关于某个度量标准下的最佳逼近函数,

称之为最佳逼近问题。X

本章我们主要考虑连续函数空间X=C[a,b]上的最佳逼近问题，这时的子集合Φ可以取为由具有某种共同特征的函数组成，例如多项式函数、三角函数、指数函数、分式有理函数等。

同时，还需要给出连续函数空间上的一个度量标准，下面先通过内积给出平方范数。p(x)从总体上更能反映f(x)的特性或总体上其偏差按某种度量达到最小2023/10/150二、连续函数的平方范数

已知所有连续函数构成的集合C[a,b]是一个线性空间，对于C[a,b]中的任意函数

f(x)、g(x)

，定义实数可以证明此实数满足性质：这时，称

(f,g)

为

f(x)

与

g(x)的内积。(1).(f,g)=(g,

f);(2).(αf,g)=α(

f,g),α∈R;(3).(f+g,h)=(f,h)+(g,h);(4).(f,f)≥0,当且仅当f=0时(f,f)=0

2023/10/151为函数

f(x)

的平方（欧氏）范数，且满足以下性质：

给出了函数的范数，便给出了函数的一个度量标准，在此度量标准之下，就可以找出f(x)

在不同函数类中的最佳逼近。下面就来考虑这一最佳逼近问题的解决。并称（3.1）（1）‖f‖2≥0,‖f‖2

=0,当且仅当

f=0

；（2）‖cf‖2=|c|‖f‖2;

（3）‖f+g‖2≤‖f‖2+‖g‖2;

无穷范数2023/10/152柯西—施瓦茨不等式2023/10/153基函数§6函数的最佳平方逼近一、公式的推导

对于连续函数空间

C[a,b]

中的元素f(x)

及其子空间所谓

f(x)

在Φ

中的最佳平方逼近，就是存在使得对于一切都有：广义多项式有限维2023/10/154不等式

说明所求的满足等式：其中(3.2)由于pn*(x)是由其系数c0*

,c1*,…,cn*唯一确定的，因此，只要我们求出了满足(3.2)的c0*

,c1*,…,cn*

，就可以求出f(x)最佳平方逼近：投影2023/10/155(3.3)构造多元函数根据则这时等式(3.4)意味着(3.5)2023/10/156(3.5)(3.3)的极小值点。(3.4)也就是说，求出满足等式(3.4)的

pn*(x)

，等价于求出满足等式(3.5)的c0*

,c1*

,…,cn*

。

由(3.5)可知

c0*

,c1*

,…,cn*是n+1

元二次函数函数2023/10/157而n+1元函数在区间

(-∞,+∞)

上具有一阶连续导函数，因此根据极值原理，在最小值点

c0*

,c1*

,…,cn*处：而于是即2023/10/158利用内积可以得到这是一个含有n+1个变量的方程组，具体形式为：2023/10/159再写成矩阵形式为2023/10/160这是关于n+1个变量c0,c1

,…,cn

的线性方程组，并称其为法方程组，或者正规方程组。

解此方程组，就可以得到c0*

,c1*

,…,cn*

，也就得到了f(x)

的最佳平方逼近：

格拉姆(Gram)矩阵最佳平方逼近函数存在惟一2023/10/161二、误差估计最佳平方逼近的平方误差为由方程组可得对于最佳逼近解2023/10/162于是，最佳平方逼近的平方误差为如果(3.6)则称(3.6)为f(x)

的在[a,b]上的最佳平方逼近n次多项式。n较大时，法方程组出现病态（Hilbert矩阵）,可取基函数为正交基函数（如三角函数）2023/10/163*求连续函数最佳平方逼近的步骤*1.给定[a,b]上的连续函数f(x),

及子空间2.利用内积给出法方程组2023/10/1643.求出法方程组的解c0*

,c1*

,…,cn*,得到最佳平方逼近4.求出平方误差称为均方误差2023/10/165

例3.6求