分析函数逼近

分析函数逼近第六章函数逼近6-1第一页，共四十四页，2022年，8月28日第六章函数逼近6-2第六章目录§1最小二乘法原理和多项式拟合§2一般最小二乘拟合

2.1线性最小二乘法的一般形式

2.2非线性最小二乘拟合§3正交多项式曲线拟合

3.1离散正交多项式

3.2用离散正交多项式作曲线拟合§4函数的最佳平方逼近§5最佳一致逼近第二页，共四十四页，2022年，8月28日第六章函数逼近6-3函数逼近（曲线拟合）概述

用简单的计算量小的函数P(x)近似地替代给定的函数f(x)（或者是以离散数据形式给定的函数），以便迅速求出函数值的近似值，是计算数学中最基本的概念和方法，称为函数逼近。通常被逼近的函数一般较复杂，或只知道离散点处的值，难于分析，而逼近函数则比较简单，如选用多项式，有理函数，分段多项式，三角多项式等。第三页，共四十四页，2022年，8月28日第六章函数逼近6-4函数逼近（曲线拟合）概述（续）

在大量的实验数据(xi,yi)(i=1,2,…,n)中寻找其函数关系

y=f(x)的近似函数P(x)，是在实践中常遇到的。上一章介绍的插值方法就是一种逼近，要求在给定的节点处P(x)与f(x)相等（甚至导数值相等），因此在节点附近，逼近效果较好，而在远离节点的地方，由Runge现象知道，有时效果会很差，另一方面，由观测得到的实验数据不可避免地带有误差，甚至是较大的误差，此时要求近似函数P(x)过全部已知点，相当于保留全部数据误差，所以使用插值法不合适。因此，对逼近函数P(x)不必要求过给定的点，即不要求P(xi)=yi(i=1,2,…,n)，只要求P(xi)–yi总体上尽可能小即要求P(x)尽可能反映给定数据点的总体趋势，在某种意义（要求或标准）下与函数最“逼近”。

下面先举例说明。第四页，共四十四页，2022年，8月28日第六章函数逼近6-5函数逼近举例给定一组实验数据如上，求x,y的函数关系。

例1123424681.12.84.97.2ixiyi解

先作草图如图6-1所示这些点的分布接近一条直线，因此可设想，y为x的一次函数。设y=a0+a1x，从图中不难看出，无论a0，a1取何值，直线都不可能同时过全部数据点。怎样选取a0，a1才能使直线“最好”地反映数据点的总体趋势？首先要建立好坏的标准。

假定a0，a1已经确定，yi*=a0+a1xi(i=1,2,…,n)是由近似函数求得的近似值，它与观测值yi之差ri=yi

yi*=yi

a0a1xi

(i=1,2,…,n)称为偏差。显然，偏差的大小可作为衡量近似

函数好坏的标准。偏差向量r=(r1,r2,…,rn)T，yx86422468****图6-1第五页，共四十四页，2022年，8月28日第六章函数逼近6-6例1（续）（1）使偏差的绝对值之和最小，即:（2）使偏差的最大绝对值达到最小，即:（3）使偏差的平方和最小，即:在离散情况下,也称为曲线拟合的最小二乘法,是实践中常用的一种函数逼近方法。常用的准则有以下三种：准则（1）的提出很自然也合理，但实际使用不方便，按准则（2）求近似函数的方法称为函数的最佳一致逼近；按准则（3）确定参数，求近似函数的方法称为最佳平方逼近,ri=yi

yi*=yi

a0a1xi第六页，共四十四页，2022年，8月28日第六章函数逼近6-7函数的近似替代，求近似函数称为逼近要求（准则或标准）不一样，逼近的意义不一样，因此，方法不一样，结果也不一样。插值是逼近，满足条件Ln(xi)=yi是在“过给定点”意义下的逼近。要求Ln(xi)-yi总体上尽可能小,称为最佳平方逼近,在离散情况下,也称为曲线拟合的最小二乘法.第七页，共四十四页，2022年，8月28日第六章函数逼近6-8§1最小二乘法原理和多项式拟合

一、曲线拟合的最小二乘法基本原理

对给定的数据(xi,yi)(i=1,2,…,n)，选取近似函数形式，即在给定的函数类Φ中，求函数(x)Φ，使偏差ri=(xi)yi(i=1,2,…,n)的平方和为最小，即:亦即:

从几何上讲，就是求在给定的点x1,x2,…,xn处与点(x1,y1),

(x2,y2),…,(xn,yn)的距离平方和最小的曲线y=

(x)。这种求近似函数的方法称为离散数据曲线拟合的最小二乘法，函数

(x)称为这组数据的最小二乘拟合函数。通常取Φ为一些较简单函数的集合如低次多项式，指数函数等。例1中取Φ为一次多项式集合。第八页，共四十四页，2022年，8月28日第六章函数逼近6-9二、多项式拟合

对于给定的一组数据(xi,yi)(i=1,2,…,n)，求一多项式(m<n)使得:为最小，即选取参数

aj(j=0,1,…,m)使得:

其中Φ为不超过m次多项式的集合。这就是数据的多项式拟合，Pm(x)称为这组数据的m次拟合多项式。与求解矛盾线性方程组的最小二乘法的方法相同，由多元函数求极值的必要条件，得方程组:移项得:（紧接下屏）第九页，共四十四页，2022年，8月28日第六章函数逼近6-10多项式拟合（续）打开和式

即：

这是最小二乘拟合多项式的系数ak(k=0,1,…,m)应满足的方程组，称为正规方程组或法方程组。由函数组{1,x,x2,…,xm}的线性无关性可以证明，上述法方程组存在唯一解，且解所对应的m次多项式Pm(x)必定是已给数据(xi,yi)(i=1,2,…,n)的最小二乘m次拟合多项式。

如图6-1表明，可用一次多项式P1(x)=a0+a0x拟合例1中数据组所给定的函数关系，将所给数据代入正规方程组可得：

其解为a0=1.1,a1=1.02，所以：

y

=1.1+1.02x就是所给数据组的最小二乘拟合多项式。第十页，共四十四页，2022年，8月28日第六章函数逼近6-11最小二乘二次拟合多项式举例

例2求下面数据表的最小二乘二次拟合多项式：

i123456789

xi-1-0.75-0.5-0.2500.250.50.751

yi-0.22090.32950.88261.43922.00032.56453.13343.76014.2836解：设二次拟合多项式为P2(x)=a0+a1x+a2x2，将数据表直接代入正规方程组：

其解为a0=2.0034,a1=2.2625,a2=0.0378。所以此数据组的最小二乘二次拟合多项式为：第十一页，共四十四页，2022年，8月28日第六章函数逼近6-12§2一般最小二乘拟合

上节介绍了多项式拟合问题及其

解法。在实际应用中，针对所讨论问

题的特点，拟合函数可能为其他类型

的函数，如指数函数，三角函数，有

理函数等，待定参数也可能会出现在

指数上，分母中等，对观测数据，由

于它们的精度不一样，还会引入权系

数，这都属于一般最小二乘拟合问题。第十二页，共四十四页，2022年，8月28日第六章函数逼近6-132.1线性最小二乘法的一般形式作两个推广：1.函数系由{xm}{m(x)}线性无关

2.加权系数i(i=1,2,…,n)

即对(xi,yi)(i=1,2,…,n)选取函数(x)：

达到最小，对aj求偏导数令其为0正规方程组：第十三页，共四十四页，2022年，8月28日第六章函数逼近6-14正规方程组的几种形式：首先，可用向量和矩阵表示正规方程组正规方程组的几种形式

如果G的列向量线性无关，则正规方程组存在唯一解向量a，从而可确定：第十四页，共四十四页，2022年，8月28日第六章函数逼近6-15其次可引进内积表示正规方程组：正规方程组的几种形式（续）第十五页，共四十四页，2022年，8月28日第六章函数逼近6-16正规方程组的几种形式（续）

{k(x)}线性无关

系数矩阵非奇异

唯一解:

令j=0,1,2,…,m，则

正规方程组为:在(6-4)中打开和式第十六页，共四十四页，2022年，8月28日第六章函数逼近6-17最小二乘拟合函数定理定理2第十七页，共四十四页，2022年，8月28日第六章函数逼近6-18定理2（续）

所以(x)是数据组(xi,yi)(i=1,2,…,n)的最小二乘拟合函数。

特别地，当取k(x)=xk(k=1,2,…,m)时，即为多项式拟合，

所以多项式拟合为一般线性最小二乘拟合的一种特殊情况。注意到(x)与

(x)的表示式，由正规方程组，上式中间项为：

第十八页，共四十四页，2022年，8月28日第六章函数逼近6-19最小二乘法求其拟合函数举例例3已知一组数据如表，用最小二乘法求其拟合函数。

x00.10.20.30.40.50.6y22.202542.407152.615922.830963.054483.28876第十九页，共四十四页，2022年，8月28日第六章函数逼近6-20最小二乘法求其拟合函数举例（续）例4已知数据如下表，求一个二次多项式，使之与所给数据拟合：xi-1-0.500.51yi10.4950.0010.4801.01解：从函数值的分布情况看，该函数可能为一偶函数，故考虑用偶次多项式作拟合函数，为此，取0(x)=1,1(x)=x2于是所求二次多项式可设为：(x)=a0+a1x2,而G为:

从此例题看到，通过对数据特点进行分析，确定选用不带一次项的二次多项式为拟合函数，不仅符合原来函数的特征，而且使计算更加简单。可见，在实际问题中选择合适的函数类型是十分重要的。

第二十页，共四十四页，2022年，8月28日第六章函数逼近6-212.2非线性最小二乘拟合当最小二乘拟合所取函数类φ中的函数

F=(x,a0,a1,…,am)关于参数a0,a1,…,am是非

线性时，称为非线性最小二乘拟合问题。对非线性最小二乘拟合问题，虽然仍可

由偏差平方和对aj求偏导生成方程组:但是，与线性最小二乘问题不同的是，上述方程

组是关于ak(k=0,1,…,m)的非线性方程组，要求解是

很困难的，因此，一般的非线性最小二乘拟合问题

不作详细讨论。第二十一页，共四十四页，2022年，8月28日第六章函数逼近6-22可化为线性拟合问题的常见函数类

但对于一些较特殊的非线性拟合函数类型，可以通过适当的变量代换后化为线性最小二乘问题，下表列出了部分这样的拟合函数类型。可化为线性拟合问题的常见函数类:拟合函数类型 变量代换 化成的拟合函数

第二十二页，共四十四页，2022年，8月28日第六章函数逼近6-23非线性拟合举例例5在某化学反应里，根据实验所得生成物的浓度与时间关系数据见下表，求浓度y与时间t的拟合曲线y=F(t)：ti12345678yi(*10-3)

4.006.408.008.809.229.509.709.86ti910111213141516yi(*10-3)10.0010.2010.3210.4210.5210.5510.5810.60解：将数据标在坐标纸上如图6-2由图看到开始时浓度增加较快，后来逐渐减弱，到一定时间就基本稳定在一个数值上。即当t时，y超于某个定数，故有一水平渐近线。t0时，反应未开始，生成物的浓度为零。根据这些特点，可设想y=F(t)是双曲线型或指数型曲线。

（紧接下屏）第二十三页，共四十四页，2022年，8月28日第六章函数逼近6-24非线性拟合举例（续1）可见y关于参数a,b是非线性的为确定a,b可令：

61086422yx1816141210840图6-2

（1）取拟合函数为双曲线型：

第二十四页，共四十四页，2022年，8月28日第六章函数逼近6-25非线性拟合举例（续2）则拟合函数化为y=a+bt，而将数据(ti,yi)相应地变为(ti,yi)，如下表：ti11/21/31/41/51/61/71/8yi(*10-3)0.25000.156250.125600.113640.108460.105260.103090.10142ti1/91/101/111/121/131/141/151/16yi(*10-3)0.101420.098040.096900.095970.095240.094790.094520.09434第二十五页，共四十四页，2022年，8月28日第六章函数逼近6-26非线性拟合举例（续3）（2）取拟合函数为指数型

那么，怎样比较两个数学模型的好坏呢？一般可通过比较拟合函数与所给数据误差大小来确定。对此例可计算得：

同拟合函数为双曲线型过程类似，先由(ti,yi)算出相应的(ti,yi)，然后进行多项式拟合，解得a=4.48072,b=1.05669，从而得a=ea=1.13253×10－2，所以拟合函数：第二十六页，共四十四页，2022年，8月28日第六章函数逼近6-27非线性拟合举例（续4）而均方误差为：可见y=F2(t)的误差比较小，用它作为拟合曲线更好。

从此例也可看到，选拟合曲线的类型，并不是一开始就能选好，往往要通过分析若干模型的误差后，再经过实际计算才能选到较好的模型。第二十七页，共四十四页，2022年，8月28日第六章函数逼近6-28§3正交多项式曲线拟合

求解线性最小二乘问题，必须求解正规方程组，然而困难的是最小二乘法的正规方程组往往是病态的，在（6-5）中，当k(x)=xk时，正规方程组的系数矩阵：与矩阵：（紧接下屏）第二十八页，共四十四页，2022年，8月28日第六章函数逼近6-29正交多项式曲线拟合（续）是病态阵一样，m不大时还好，当m较大时为病态阵（m太大，大小都为病态的）。因此，在实际应用时，m不能太大，也即曲线拟合的多项式的次数不会太大，多用低次的。因此，一般情况下，对线性最小二乘问题，要得到最小二乘拟合多项式,就面临着要求解病态方程组这一困难，要克服这一困难。可以选用适用于病态方程组求解的数值方法如奇异值分解法等去求解法方程组。也可以通过生标的平移和伸缩变换，去降低法方程组的病态程度。

本节考虑用正交多项式来进行曲线拟合第二十九页，共四十四页，2022年，8月28日第六章函数逼近6-303.1离散正交多项式对多项式k(x)和j(x)，式（6-4）定义了在离散情况下的内积：利用内积，可以有:定义6.1

如果两个多项式k(x)

、j(x)满足:则称k(x)与j(x)在点集{x1,x2,…,xn}上是带权i离散正交的。设{0(x),

1(x),…,

m(x)}为多项式系，k(x)为k次多项式，如果满足正交条件：则称{0(x),

1(x),…,

m(x)}为点集{x1,x2,…,xn}上的带权i

的离散正交多项式系。第三十页，共四十四页，2022年，8月28日第六章函数逼近6-31这样的k(x)是首项系数为1的k次多项式，下面的定理给出了{k(x)}的正交性证明。对于给定的节点{x1,x2,…,xn}，可以按下列公式（称为三项递推式）构造离散正交多项式系：

{0(x),1(x),…,m(x)}(m<n)：离散正交多项式（续）第三十一页，共四十四页，2022年，8月28日第六章函数逼近6-32构造离散正交多项式定理6.2

按式（6-6），（6-7）构造的多项式系{0,

1,…,

n}是点集{x1,x2,…,xn}上关于i

的离散正交多项式。证明:

用数学归纳法证明

当k=1时，利用式（6-6）中第二式得:从而证明了0(x)与1(x)的离散正交性;

（紧接下屏）第三十二页，共四十四页，2022年，8月28日第六章函数逼近6-33构造离散正交多项式（续1）由归纳假设：对待证：第三十三页，共四十四页，2022年，8月28日第六章函数逼近6-34定理6.2证明（续2）——归纳证明（紧接下屏）第三十四页，共四十四页，2022年，8月28日第六章函数逼近6-35定理6.2证明（续2）对j=1,2,…,m-3，有

由归纳法原理，对一切自然数，多项式系{0,

1,…,

m}满足正交条件，因此是点集{xi}上关于i的正交多项式系。证毕！因此对k=m成立。第三十五页，共四十四页，2022年，8月28日第六章函数逼近6-36构造离散多项式举例例6试构造点集{0,1,2,3,4,5}上的离散正交多项式系{0(x),

1(x),

2(x),

3(x)}解：若没有给出i

，一般认为i=1，由三项递推式（6-6），（6-7）进行构造，计算中，在求出每个k(x)的同时，将其在所给节点上的值求出列入表6-1中，以便求下一个k+1(x)时使用。x012345

111111

-2.5-1.5-0.50.51.52.5

10/3-2/3-8/3-8/3-2/310/3表6-1第三十六页，共四十四页，2022年，8月28日第六章函数逼近6-373.2用离散正交多项式作曲线拟合

设(xi,yi)(i=1,2,…,n)为给定数据。i

为对应的权系数(i=1,2,…,n)，若未给出i

，则认为i=1，{0(x),

1(x),…,

m(x)}为点集xi

上的离散正交多项式系，Φ为由其所有线性组合生成的多项式集合:

Φ=Span{0(x),

1(x),…,

m(x)}使其满足式（6-2），利用多项式{0(x),

1(x),…,

m(x)}的离散正交性易知，此时正规方程组（6-5）的系数矩阵为对角阵：用离散正交多项式进行最小二乘曲线拟合,亦即求：（紧接下屏）第三十七页，共四十四页，2022年，8月28日第六章函数逼近6-38用离散正交多项式作曲线拟合（续）

可见，不用解线性方程组，可减少含入误差，避免病态情况出现，直接计算可得:

这样可总结利用离散正交多项式求给定(xi,yi)(i=1,2,…,n)带权i(i=1,2,…,n)的拟合多项式的步骤（逐步构造k(x)法）：（紧接下屏）第三十八页，共四十四页，2022年，8月28日第六章函数逼近6-39求给定(xi,yi)带权i的拟合多项式的步骤

1.按三项递推式（6-6）（6-7）构造离散正交多项式系{0(x),1(x),…,

m(x