数值分析-第3章-函数逼近与曲线拟合课件

3.1函数逼近的基本概念3.2正交多项式3.3最佳平方逼近3.4曲线拟合的最小二乘法3.6最佳平方三角逼近与快速傅里叶变换第三章函数逼近与曲线拟合3.1函数逼近的基本概念第三章函数逼近与曲线拟合1§3.１函数逼近的基本概念一、函数逼近与函数空间1、函数逼近

在数值计算中经常遇到求函数值的问题，手算时常常通过函数表求得．用计算机计算时若把函数表存入内存进行查表，则占用单元太多，不如直接用公式计算方便．因此，我们希望求出便于计算且计算量省的公式近似已知函数f(x)．例如，泰勒展开式的部分和§3.１函数逼近的基本概念一、函数逼近与函数空间1、函2就是的一种近似公式．用它求x0附近的函数值误差较小，当|x-x0|

较大时误差就很大．例如在[-1，1]上用近似，其误差，于是它在整个区间上误差较大．若在计算机上用这种方法计算，如精度要求较高，则需取很多项，这样既费时又多占存储单元，因此，我们要求在给定精度下求计算次数最少的近似公式，这就是函数逼近与计算要解决的问题.就是的一种近似公式．用它求x0附近的函数值误差较小，当|3这问题可叙述为：“对函数类A中给定的函数f(x),要求在另一类较简单的便于计算的函数类B中，求函数,使P(x)与f(x)之差在某种度量意义下最小”.函数类A通常是区间[a，b]上的连续函数，记作C[a，b]；函数类B通常是代数多项式，分式有理函数或三角多项式．这问题可叙述为：“对函数类A中给定的函数f42、函数空间数学上常把在各种集合中引入某些不同的确定关系称为赋予集合以某种空间结构，并将这样的集合称为空间.2、函数空间数学上常把在各种集合中引入某些不5定义1设集合S是数域P上的线性空间，元素，如果存在不全为零的数，使得，则称线性相关.否则，则称线性无关.若线性空间S是由n个线性无关元素生成的，即对定义1设集合S是数域P上的线性空间，元素6下面考察次数不超过n次的多项式集合Hn,其元素p(x)Hn,表示为它由n+1个系数唯一确定,线性无关,它是Hn的一组基.故Hn=span且是p(x)的坐标向量,Hn是n+1维的.下面考察次数不超过n次的多项式集合Hn,其元素p(x)Hn,7更一般地,可用一组在C[a,b]上线性无关的函数集合来逼近元素表示为逼近问题就是对任何在子空间中找一个元素使在某种意义下最小.更一般地,可用一组在C[a,b]上线性无关的函数集合来逼近元8 设S为线性空间,x∈S,若存在唯一实数 满足条件： (1)‖x‖≥0;当且仅当x＝0时,‖x‖＝0; (正定性) (2)‖αx‖＝|α|‖x‖,α∈R; (齐次性) (3)‖x＋y‖≤‖x‖＋‖y‖,x,y∈S. (三角不等式) 则称为线性空间S上的范数,S与一起称为赋范线性空间,记为X.3、范数的定义 设S为线性空间,x∈S,若存在唯一实数 满足9在Rn上的向量x＝(x1,x2,…,xn)T∈Rn,三种常用范数为称为： 几种常用范数在Rn上的向量x＝(x1,x2,…,xn)T∈Rn10类似的对连续函数空间C[a,b],若f∈C[a,b]可定义以下三种常用函数的范数类似的对连续函数空间C[a,b],若f∈C[a,b]11设X为一个内积空间,对u,v∈X有称为柯西－施瓦次不等式.柯西－施瓦次不等式魏尔斯特拉斯定理

设f(x)∈C[a,b],则对任何ε＞0,总存在一个代数多项式p(x),使在[a,b]上一致成立。设X为一个内积空间,对u,v∈X有称为柯12定理：设X为一个内积空间,u1,u2,…,un∈X,矩阵称为格拉姆矩阵,则G非奇异的充分必要条件是u1,u2,…,un线性无关

。定理：设X为一个内积空间,u1,u2,…,un∈X,矩阵称为13记区间[a,b]上所有连续函数的全体为C[a,b],可以证明C[a,b]是一个线性空间,把所有次数不超过n的多项式全体记为Pn,则Pn是C[a,b]的子空间.若(x),g(x)C[a,b],

则称

为(x)与g(x)的内积,记为(,g),

4、函数的内积满足(1)(,g)=(g,);记区间[a,b]上所有连续函数的全体为C[a,b],14若(,g)=0,称(x)与g(x)正交,记为g.(2)(c,g)=c(,g);(3)(1+2,g)=(1,g)+(2,g);利用内积可以定义函数的平方模若(,g)=0,称(x)与g(x)正交,记为g.15(1)20,而且2=0(x)=0;(2)c2=|c|2;(3)+g22+g2(4)(,g)2g2函数的平方模满足(1)20,而且2=0(x)=016考虑到(x)在区间[a,b]上各点的函数值比重不同,常引进加权形式的定义这里函数(x)是非负连续函数,称为[a,b]上的权函数.它的物理意义可以解释为密度函数.

权函数返回主页考虑到(x)在区间[a,b]上各点的函数值比重不同17一、正交函数族与正交多项式

正交多项式是函数逼近的重要工具，在数值积分中也有重要作用.§3.２正交多项式

定义5若为[a,b]上的权函数且满足f(x),g(x)C[a,b],(x)(f(x),g(x))=baρ(x)

f(x)g(x)dx=0

则称f(x)与g(x)在[a,b]上带权(x)正交.若函数族0(x),1(x),…,n(x),…满足关系则称{k(x)}是[a,b]上带权(x)的正交函数族;若Ak=1,则称之为标准正交函数族.(j,

k

)=baρ(x)

j(x)k(x)dx={0,jkAk>0,j=k(2.2)(2.1)一、正交函数族与正交多项式正交多项式是函数逼近的重要工18例如,三角函数族就是区间上的正交函数族.因为对有而对例如,三角函数族就是区间上的正交函数族.因为对有而对192)如何构造正交多项式

只要给定区间[a,b]及权函数,均可由一组线性无关的幂函数{1,x,…,xn,…},利用逐个正交化手续构造出正交多项式序列

如此得到的正交多项式有如下性质：(1) 是具有最高次项系数为1的n次2)如何构造正交多项式只要给定区间[a,b]及权函数,均20(2)任何n次多项式Pn(x)∈Hn均可表示为 的线性组合.(3)当k≠j时, 与任一次数小于k的多项式正交.(4)成立递推关系

(2)任何n次多项式Pn(x)∈Hn均可表示为 21(5)设 是在[a,b]上带权ρ(x)的正交多项式序列,则(n≥1)的n个根都是在区间(a,b)内的单重实根.(5)设 是在[a,b]上带权ρ(x)22例题：利用Gram-schmidt方法构造[0,1]上带权

的前3个正交多项式

解：利用正交化公式来求

例题：利用Gram-schmidt方法构造[0,1]23于是于是于是于是243）几种常用的正交多项式勒让德多项式 当区间[-1,1],权函数ρ(x)≡1时,由{1,x,…,xn,…}正交化得到的多项式就称为勒让德多项式,并用P0(x),P1(x),…,Pn(x),…表示.其简单的表达式为最高项系数为1的勒让德多项式为

3）几种常用的正交多项式勒让德多项式最高项系数为1的勒让德多25数值分析-第3章-函数逼近与曲线拟合)课件26P0(x)P1(x)P2(x)P3(x)P0(x)P1(x)P2(x)P3(x)27时,由序列{1,x,…,xn,…}正交化得到的多项式就是切比雪夫多项式,它可表示为 Tn(x)=cos(narccosx), |x|≤1若令x＝cosθ，则Tn(x)=cosnθ，0≤θ≤π.切比雪夫多项式区间为[-1,1]当权函数时,由序列{1,x,…,xn,…}正交化得到的多项式就是切比28(1)递推关系切比雪夫多项式的性质T0(x)T1(x)T2(x)T3(x)(1)递推关系切比雪夫多项式的性质T0(x)T1(x)T2(29(2)切比雪夫多项式{Tk(x)}在区间[-1,1]上带权 正交且(3)T2k(x)只含x的偶次幂,T2k+1(x)只含x的奇次幂.

(4)Tn(x)在区间[-1,1]上有n个零点(2)切比雪夫多项式{Tk(x)}在区间[-1,1]上带权 30若将xn用T0(x),T1(x),…,Tn(x)的线性组合表示,则其公式为若将xn用T0(x),T1(x),…,Tn(x)的线性组合31返回主页返回主页32

最佳平方逼近：在意义下，使得最小。最佳一致逼近/*uniformapproximation*/在意义下，使得最小。也称为minimaxproblem。偏差/*deviation*/§3.3最佳平方逼近最佳平方逼近：在33一、最佳平方逼近及其计算对f(x)C[a,b]及C[a,b]中的一个子集=span{0(x),1(x),…,n(x)},若存在S*(x),使则称S*(x)是f(x)在子集

C[a,b]中的最佳平方逼近函数.的最小值.||f(x)-S*(x)||

22=||f(x)-S(x)||

22=(x)[f(x)-S(x)]2dx,

baI(a0,a1,…,an)=

(x)[ajj(x)-f(x)]2dxbaj=0n∂ak∂I(k=0,1,…,n)=2

(x)[ajj(x)-f(x)]k(x)dx=0baj=0n求S*(x)：等价于求多元函数

I(a0,a1,…,an)是关于a0,a1,…,an的二次函数,取极值必要:(3.1)(3.2)一、最佳平方逼近及其计算对f(x)C[a,34于是有这是关于a0,a1,…,an的线性方程组,称为法方程.

0(x),1(x),…,n(x)线性无关,则系数detG(0,1,…,n)0,于是上述方程组有唯一解ak=ak*(k=0,1,…,n),可得S*(x)=a0*0(x)+a1*1(x)+…+an*n(x).j=0n(j(x),k(x))aj=(f(x),k(x))(k=0,1,…,n),下面证明S*满足（3.１）(3.3)即对任何有(3.4)即考虑:于是有这是关于a0,a1,…,an的线性方程组,称为法方35若令(x)=f(x)-S*(x),则平方误差为

||(x)||=(f(x)-S*(x),f(x)-S*(x))=(f(x),f(x))-(S*(x),f(x))22=||f(x)||-

ak*(k(x),f(x)).k=0n22由于的系数是方程(3.3)的解,故有从而上式第二个积分为0,于是故(3.4)成立,这就证明了是f(x)在中的最佳平方逼近函数(3.5)若令(x)=f(x)-S*(x),则平方误差为||36若取

k(x)=xk,(x)≡1,f(x)C[0,1],在Hn中求n次最佳平方逼近多项式:S*(x)=a0*+a1*x+a2*x2

+…+an*

xn.(j(x),k(x))

=(f(x),k(x))=此时xk+jdx=10k+j+11f(x)xkdx≡dk10若用H表示Gn=G(1,x,x2,…xn)对应的矩阵，即称为希尔伯特(Hilbert)矩阵.记a=(a0,a1,…,an)T

,d=(d0,d1,…,dn)T,则Ha

=d的解ak=ak*(k=0,1,…,n)即为所求.H=11/21/(n+1)1/21/31/(n+2)1/(n+1)1/(n+2)1/(2n+1)………………(3.6)(3.7)若取k(x)=xk,(x)≡1,37数值分析-第3章-函数逼近与曲线拟合)课件38二、用正交函数族作最佳平方逼近二、用正交函数族作最佳平方逼近39(3.10)(3.11)(3.12)(3.10)(3.11)(3.12)40(3.13)(3.14)(3.15)(3.13)(3.14)(3.15)41数值分析-第3章-函数逼近与曲线拟合)课件42数值分析-第3章-函数逼近与曲线拟合)课件43数值分析-第3章-函数逼近与曲线拟合)课件44数值分析-第3章-函数逼近与曲线拟合)课件45返回主页返回主页46仍然是已知x1…xm

;y1…ym,求一个简单易算的近似函数P(x)

f(x)。但是①

m很大；②

yi本身是测量值，不准确，即yi

f(xi)这时没必要取P(xi)=yi,而要使P(xi)yi总体上尽可能小。常见做法：

使最小太复杂使最小不可导，求解困难使最小§3.5曲线拟合的最小二乘法仍然是已知x1…xm;y1…y47一、最小二乘拟合多项式

确定多项式，对于一组数据(xi,yi)(i=1,2,…,n)使得达到极小，这里n

<<

m。实际上是a0,a1,…,an的多元函数，即[]=-+++=miinininyxaxaaaaa121010...),...,,(j在的极值点应有kiminjijijxyxa==-=10][2-====+njmikiimikjijxyxa0112记====mikiikmikikxycxb11,法方程组(或正规方程组)回归系数一、最小二乘拟合多项式确定多项式48定理最小二乘拟合多项式存在唯一

(n<m)。证明：记法方程组为Ba=c.则有其中对任意，必有。则B为正定阵，则非奇异，所以法方程组存在唯一解。

定理最小二乘拟合多项式存在唯一(n<m)。证明：记法方49定理

Ba=c的解确是的最小点。即：设a

为解，则任意b=(b0

b1…bn)T

对应的多项式必有==njjjxbxF0)(===--=mimiiiiibyxFyxPa1122)(])([])([)(jj证明：==---=-miiimiiiyxPyxFab1212])([])([)()(jj==---+-=miiimiiiiiyxPyxPxPxF1212])([])()()([==--+-=miiiiimiiiyxPxPxFxPxF112])()][()([2)]()([0注：最小二乘法首先要求设定P(x)的形式。若设n=m1，则可取P(x)为过m个点的m1阶插值多项式，这时=0。P(x)不一定是多项式，通常根据经验确定。==--+-=mkiikkmiiiyxPabxPxF112])()[(2)]()([=mi1ixk定理Ba=c的解确是50例：xy(xi,yi),i=1,2,…,m方案一：设baxxxPy+=)(求a和b使得最小。=-+=miiiiybaxxba12)(),(j线性化：令，则bXaY+就是个线性问题将化为后易解a和b。),(iiYX),(iiyx例：xy(xi,yi),i=1,2,…,51方案二：设xbeaxPy/)(-=(a>0,b>0)线性化：由可做变换xbay-lnlnbBaAxXyY-====,ln,1,lnBXAY+就是个线性问题将化为后易解A和B),(iiYX),(iiyx方案二：设xbeaxPy/)(-=(a>0,b52二、一般的最小二乘法=-miiiyxS*02])([===-miiiyxS02])([(4.1)其中(4.2)为了更具一般性,通常考虑为加权平方和是[a,b]上的权函数,它表示不同点(xi,f(xi))的数据比重不同.(4.3)用最小二乘法求拟合曲线的问题,就是在形如(4.2)的S(x)中求一函数y=S*(x),使(4.3)取得最小.它转化求多元函数(4.4)的极小值问题.二、一般的最小二乘法=-miiiyxS*02])([==53=2(xi)[ajj(xi)-f(xi)]k(xi)=0j=0ni=0m∂ak∂I(k=0,1,…,n)(j,k)=(xi)j(xi)k(xi),i=0m(f,k)=(xi)f(xi)k(xi)≡dki=0m(k=0,1,…,n)j=0n(j,k)aj=dk(k=0,1,…,n)Ga

=d这方程称为法方程，可写成矩阵形式:上式可改写为若记(4.5)(4.6)由求多元函数的极值的必要条件，有其中a=

T,d=(d0,d1,…,dn)T,

G=(0,0)…(0,n)(0,1)(1,0)…(1,n)(1,1)(n,0)…(n,n)(n,1)………(4.7)=2(xi)[ajj(xi)-f(xi)54要使法方程(4.6)有唯一解a0,a1,…,an,就要求矩阵G非奇异.必须指出,0(x),1(x),…,n(x)在[a,b]上线性无关不能推出矩阵G非奇异.例如,令0(x)=sinx,1(x)=sin2x,x[0,2],显然{0(x),1(x)}在[0,2]上线性无关,但若取点xk=k,k=0,1,2(n=1,m=2),那么有0(xk)=1(xk)=0,k=0,1,2,由此得出G==0(0,0)(0,1)(1,0)(1,1)为保证(4.6)的系数矩阵G非奇异，必须加上另外的条件.定义7设0(x),1(x),…n(x)C[a,b]的任意线性组合在点集{xi,i=0,l,...,m}(mn)上至多只有n个不同的零点,则称0(x),1(x),…,n(x)在点集{xi,i=0,l,...,m}上满足哈尔(Haar)条件.

可以证明,如果0(x),1(x),…n(x)C[a,b]在{xi}0m上满足哈尔(Haar)条件,则法方程(4.6)的系数矩阵G非奇异.要使法方程(4.6)有唯一解a0,a1,55于是方程(4.6)存在唯一的解从而得到函数f(x)的最小二乘解为:可以证明这样得到的对任何形如(4.2)的S(x),都有的确是所求最小二乘解.故于是方程(4.6)存在唯一的解从而得到函数f(x)的最小二乘56给定f(x)的离散数据要确定是困难的.一般可取但这样做当n大于等于3时,G为病态问题.通常对n=1的简单情形可以通过求法方程(４.6)得到有时根据给定数据图形,其拟合函数表面上不是(４.2)的形式但通过变化可化为线性模型,例如,若两边取对数得给定f(x)的离散数据要确定是困难的.一般可取但这样做当n大57例９已知一组实验数据如下,求它的拟合曲线xi12345yi44.5688.5wi21311解:选择线性函数做拟合曲线,令functionf=polifitw(x,y,w,n)%带权最小二乘拟合m=length(x);A=zeros(n+1,n+1);b=zeros(n+1,1);fori=1:n+1forj=1:n+1fort=1:mA(i,j)=A(i,j)+w(t)*x(t)^(i+j-2)endendendfori=1:n+1fort=1:mb(i)=b(i)+w(t)*y(t)*x(t)^(i-1);endendf=A\b;x=[12345];y=[44.5688.5];w=[21311];P=polifitw(x,y,w,1)例９已知一组实验数据如下,求它的拟合曲线xi12345yi458例10设数据由表给出，表中第4行为可以看出数学模型为用最小二乘法确定a及b.i012341.005.101.255.791.506.531.757.452.008.461.6291.7561.8762.0082.135解:两边取对数得:若令先将例10设数据由表给出，表中第4行为可以看出数学模型为用最小59用最小二乘法得到的法方程组(4.6)，其系数矩阵G是病态的,但如果0(x),1(x),…n(x)是关于点集{xi}(i=0,l,...,m)带权(xi)(i=0,l,...,m)

正交的函数族，即则方程（4.6）的解为(j,k)=(xi)j(xi)k(xi)=i=0m0,j≠k,Akj=

k.=ak*=(k,k)(f,k)(xi)f(xi)k(xi)i=0m(xi)k2(xi)i=0m

(k=0,l,...,n)3.5.2用正交多项式做最小二乘拟合(5.8)且平方误差为用最小二乘法得到的法方程组(4.6)，其系60从而:离散点集上正交多项式的构造方法:给定点集和权数并且点集中至少有n+1个互异,则由下列三项递推公式给出的多项式序列是正交多项式序列,其中从而:离散点集上正交多项式的构造方法:给定点集和权数并且点集61例:已知点集和权数试用三项递推公式求关于该点集的正交多项式解:例:已知点集和权数试用三项递推公式求关于该点集的正交多项式解62例:已知点集和权数用正交多项式做最小二乘拟合解:做一般的二乘拟合.返回主页例:已知点集和权数用正交多项式做最小二乘拟合解:做一般的二乘633.6.1最佳平方三角逼近与三角插值§3.6最佳平方三角逼近与快速傅里叶变换当f(x)是周期函数时,显然用三角多项式逼近f(x)比用代数多项式更合适,本节主要讨论用三角多项式做最小平方逼近及快速傅里叶变换(FastFourierTransform)简称FFT算法.设f(x)是以2π为周期的平方可积函数,用三角多项式做最佳平方逼近函数.由于三角函数族在[0,2π]上是正交函数族,于是f(x)在[0,2π]

上的最小平方三角逼近多项式Sn(x)的系数是:3.6.1最佳平方三角逼近与三角插值§3.6最佳64ak,bk

称为傅里叶系数,函数f(x)按傅里叶系数展开得到的级数就称为傅里叶级数,只要f′(x)

在[

0,2π]

上分段连续,则级数(6.3)一致收敛到f(x).频谱分析ak,bk称为傅里叶系数,函数f(x)按傅里叶652.离散型当只是在给定的离散点集上已知时，则可以类似地得到离散点集正交性与相应的Fourier级数，一下只给出奇数个点的情形。令若令则的最小二乘三角逼近为：2.离散型当只是在给定的离散点集上已知时，则可以类似地得到离66数值分析-第3章-函数逼近与曲线拟合)课件673.1函数逼近的基本概念3.2正交多项式3.3最佳平方逼近3.4曲线拟合的最小二乘法3.6最佳平方三角逼近与快速傅里叶变换第三章函数逼近与曲线拟合3.1函数逼近的基本概念第三章函数逼近与曲线拟合68§3.１函数逼近的基本概念一、函数逼近与函数空间1、函数逼近

在数值计算中经常遇到求函数值的问题，手算时常常通过函数表求得．用计算机计算时若把函数表存入内存进行查表，则占用单元太多，不如直接用公式计算方便．因此，我们希望求出便于计算且计算量省的公式近似已知函数f(x)．例如，泰勒展开式的部分和§3.１函数逼近的基本概念一、函数逼近与函数空间1、函69就是的一种近似公式．用它求x0附近的函数值误差较小，当|x-x0|

较大时误差就很大．例如在[-1，1]上用近似，其误差，于是它在整个区间上误差较大．若在计算机上用这种方法计算，如精度要求较高，则需取很多项，这样既费时又多占存储单元，因此，我们要求在给定精度下求计算次数最少的近似公式，这就是函数逼近与计算要解决的问题.就是的一种近似公式．用它求x0附近的函数值误差较小，当|70这问题可叙述为：“对函数类A中给定的函数f(x),要求在另一类较简单的便于计算的函数类B中，求函数,使P(x)与f(x)之差在某种度量意义下最小”.函数类A通常是区间[a，b]上的连续函数，记作C[a，b]；函数类B通常是代数多项式，分式有理函数或三角多项式．这问题可叙述为：“对函数类A中给定的函数f712、函数空间数学上常把在各种集合中引入某些不同的确定关系称为赋予集合以某种空间结构，并将这样的集合称为空间.2、函数空间数学上常把在各种集合中引入某些不72定义1设集合S是数域P上的线性空间，元素，如果存在不全为零的数，使得，则称线性相关.否则，则称线性无关.若线性空间S是由n个线性无关元素生成的，即对定义1设集合S是数域P上的线性空间，元素73下面考察次数不超过n次的多项式集合Hn,其元素p(x)Hn,表示为它由n+1个系数唯一确定,线性无关,它是Hn的一组基.故Hn=span且是p(x)的坐标向量,Hn是n+1维的.下面考察次数不超过n次的多项式集合Hn,其元素p(x)Hn,74更一般地,可用一组在C[a,b]上线性无关的函数集合来逼近元素表示为逼近问题就是对任何在子空间中找一个元素使在某种意义下最小.更一般地,可用一组在C[a,b]上线性无关的函数集合来逼近元75 设S为线性空间,x∈S,若存在唯一实数 满足条件： (1)‖x‖≥0;当且仅当x＝0时,‖x‖＝0; (正定性) (2)‖αx‖＝|α|‖x‖,α∈R; (齐次性) (3)‖x＋y‖≤‖x‖＋‖y‖,x,y∈S. (三角不等式) 则称为线性空间S上的范数,S与一起称为赋范线性空间,记为X.3、范数的定义 设S为线性空间,x∈S,若存在唯一实数 满足76在Rn上的向量x＝(x1,x2,…,xn)T∈Rn,三种常用范数为称为： 几种常用范数在Rn上的向量x＝(x1,x2,…,xn)T∈Rn77类似的对连续函数空间C[a,b],若f∈C[a,b]可定义以下三种常用函数的范数类似的对连续函数空间C[a,b],若f∈C[a,b]78设X为一个内积空间,对u,v∈X有称为柯西－施瓦次不等式.柯西－施瓦次不等式魏尔斯特拉斯定理

设f(x)∈C[a,b],则对任何ε＞0,总存在一个代数多项式p(x),使在[a,b]上一致成立。设X为一个内积空间,对u,v∈X有称为柯79定理：设X为一个内积空间,u1,u2,…,un∈X,矩阵称为格拉姆矩阵,则G非奇异的充分必要条件是u1,u2,…,un线性无关

。定理：设X为一个内积空间,u1,u2,…,un∈X,矩阵称为80记区间[a,b]上所有连续函数的全体为C[a,b],可以证明C[a,b]是一个线性空间,把所有次数不超过n的多项式全体记为Pn,则Pn是C[a,b]的子空间.若(x),g(x)C[a,b],

则称

为(x)与g(x)的内积,记为(,g),

4、函数的内积满足(1)(,g)=(g,);记区间[a,b]上所有连续函数的全体为C[a,b],81若(,g)=0,称(x)与g(x)正交,记为g.(2)(c,g)=c(,g);(3)(1+2,g)=(1,g)+(2,g);利用内积可以定义函数的平方模若(,g)=0,称(x)与g(x)正交,记为g.82(1)20,而且2=0(x)=0;(2)c2=|c|2;(3)+g22+g2(4)(,g)2g2函数的平方模满足(1)20,而且2=0(x)=083考虑到(x)在区间[a,b]上各点的函数值比重不同,常引进加权形式的定义这里函数(x)是非负连续函数,称为[a,b]上的权函数.它的物理意义可以解释为密度函数.

权函数返回主页考虑到(x)在区间[a,b]上各点的函数值比重不同84一、正交函数族与正交多项式

正交多项式是函数逼近的重要工具，在数值积分中也有重要作用.§3.２正交多项式

定义5若为[a,b]上的权函数且满足f(x),g(x)C[a,b],(x)(f(x),g(x))=baρ(x)

f(x)g(x)dx=0

则称f(x)与g(x)在[a,b]上带权(x)正交.若函数族0(x),1(x),…,n(x),…满足关系则称{k(x)}是[a,b]上带权(x)的正交函数族;若Ak=1,则称之为标准正交函数族.(j,

k

)=baρ(x)

j(x)k(x)dx={0,jkAk>0,j=k(2.2)(2.1)一、正交函数族与正交多项式正交多项式是函数逼近的重要工85例如,三角函数族就是区间上的正交函数族.因为对有而对例如,三角函数族就是区间上的正交函数族.因为对有而对862)如何构造正交多项式

只要给定区间[a,b]及权函数,均可由一组线性无关的幂函数{1,x,…,xn,…},利用逐个正交化手续构造出正交多项式序列

如此得到的正交多项式有如下性质：(1) 是具有最高次项系数为1的n次2)如何构造正交多项式只要给定区间[a,b]及权函数,均87(2)任何n次多项式Pn(x)∈Hn均可表示为 的线性组合.(3)当k≠j时, 与任一次数小于k的多项式正交.(4)成立递推关系

(2)任何n次多项式Pn(x)∈Hn均可表示为 88(5)设 是在[a,b]上带权ρ(x)的正交多项式序列,则(n≥1)的n个根都是在区间(a,b)内的单重实根.(5)设 是在[a,b]上带权ρ(x)89例题：利用Gram-schmidt方法构造[0,1]上带权

的前3个正交多项式

解：利用正交化公式来求

例题：利用Gram-schmidt方法构造[0,1]90于是于是于是于是913）几种常用的正交多项式勒让德多项式 当区间[-1,1],权函数ρ(x)≡1时,由{1,x,…,xn,…}正交化得到的多项式就称为勒让德多项式,并用P0(x),P1(x),…,Pn(x),…表示.其简单的表达式为最高项系数为1的勒让德多项式为

3）几种常用的正交多项式勒让德多项式最高项系数为1的勒让德多92数值分析-第3章-函数逼近与曲线拟合)课件93P0(x)P1(x)P2(x)P3(x)P0(x)P1(x)P2(x)P3(x)94时,由序列{1,x,…,xn,…}正交化得到的多项式就是切比雪夫多项式,它可表示为 Tn(x)=cos(narccosx), |x|≤1若令x＝cosθ，则Tn(x)=cosnθ，0≤θ≤π.切比雪夫多项式区间为[-1,1]当权函数时,由序列{1,x,…,xn,…}正交化得到的多项式就是切比95(1)递推关系切比雪夫多项式的性质T0(x)T1(x)T2(x)T3(x)(1)递推关系切比雪夫多项式的性质T0(x)T1(x)T2(96(2)切比雪夫多项式{Tk(x)}在区间[-1,1]上带权 正交且(3)T2k(x)只含x的偶次幂,T2k+1(x)只含x的奇次幂.

(4)Tn(x)在区间[-1,1]上有n个零点(2)切比雪夫多项式{Tk(x)}在区间[-1,1]上带权 97若将xn用T0(x),T1(x),…,Tn(x)的线性组合表示,则其公式为若将xn用T0(x),T1(x),…,Tn(x)的线性组合98返回主页返回主页99

最佳平方逼近：在意义下，使得最小。最佳一致逼近/*uniformapproximation*/在意义下，使得最小。也称为minimaxproblem。偏差/*deviation*/§3.3最佳平方逼近最佳平方逼近：在100一、最佳平方逼近及其计算对f(x)C[a,b]及C[a,b]中的一个子集=span{0(x),1(x),…,n(x)},若存在S*(x),使则称S*(x)是f(x)在子集

C[a,b]中的最佳平方逼近函数.的最小值.||f(x)-S*(x)||

22=||f(x)-S(x)||

22=(x)[f(x)-S(x)]2dx,

baI(a0,a1,…,an)=

(x)[ajj(x)-f(x)]2dxbaj=0n∂ak∂I(k=0,1,…,n)=2

(x)[ajj(x)-f(x)]k(x)dx=0baj=0n求S*(x)：等价于求多元函数

I(a0,a1,…,an)是关于a0,a1,…,an的二次函数,取极值必要:(3.1)(3.2)一、最佳平方逼近及其计算对f(x)C[a,101于是有这是关于a0,a1,…,an的线性方程组,称为法方程.

0(x),1(x),…,n(x)线性无关,则系数detG(0,1,…,n)0,于是上述方程组有唯一解ak=ak*(k=0,1,…,n),可得S*(x)=a0*0(x)+a1*1(x)+…+an*n(x).j=0n(j(x),k(x))aj=(f(x),k(x))(k=0,1,…,n),下面证明S*满足（3.１）(3.3)即对任何有(3.4)即考虑:于是有这是关于a0,a1,…,an的线性方程组,称为法方102若令(x)=f(x)-S*(x),则平方误差为

||(x)||=(f(x)-S*(x),f(x)-S*(x))=(f(x),f(x))-(S*(x),f(x))22=||f(x)||-

ak*(k(x),f(x)).k=0n22由于的系数是方程(3.3)的解,故有从而上式第二个积分为0,于是故(3.4)成立,这就证明了是f(x)在中的最佳平方逼近函数(3.5)若令(x)=f(x)-S*(x),则平方误差为||103若取

k(x)=xk,(x)≡1,f(x)C[0,1],在Hn中求n次最佳平方逼近多项式:S*(x)=a0*+a1*x+a2*x2

+…+an*

xn.(j(x),k(x))

=(f(x),k(x))=此时xk+jdx=10k+j+11f(x)xkdx≡dk10若用H表示Gn=G(1,x,x2,…xn)对应的矩阵，即称为希尔伯特(Hilbert)矩阵.记a=(a0,a1,…,an)T

,d=(d0,d1,…,dn)T,则Ha

=d的解ak=ak*(k=0,1,…,n)即为所求.H=11/21/(n+1)1/21/31/(n+2)1/(n+1)1/(n+2)1/(2n+1)………………(3.6)(3.7)若取k(x)=xk,(x)≡1,104数值分析-第3章-函数逼近与曲线拟合)课件105二、用正交函数族作最佳平方逼近二、用正交函数族作最佳平方逼近106(3.10)(3.11)(3.12)(3.10)(3.11)(3.12)107(3.13)(3.14)(3.15)(3.13)(3.14)(3.15)108数值分析-第3章-函数逼近与曲线拟合)课件109数值分析-第3章-函数逼近与曲线拟合)课件110数值分析-第3章-函数逼近与曲线拟合)课件111数值分析-第3章-函数逼近与曲线拟合)课件112返回主页返回主页113仍然是已知x1…xm

;y1…ym,求一个简单易算的近似函数P(x)

f(x)。但是①

m很大；②

yi本身是测量值，不准确，即yi

f(xi)这时没必要取P(xi)=yi,而要使P(xi)yi总体上尽可能小。常见做法：

使最小太复杂使最小不可导，求解困难使最小§3.5曲线拟合的最小二乘法仍然是已知x1…xm;y1…y114一、最小二乘拟合多项式

确定多项式，对于一组数据(xi,yi)(i=1,2,…,n)使得达到极小，这里n

<<

m。实际上是a0,a1,…,an的多元函数，即[]=-+++=miinininyxaxaaaaa121010...),...,,(j在的极值点应有kiminjijijxyxa==-=10][2-====+njmikiimikjijxyxa0112记====mikiikmikikxycxb11,法方程组(或正规方程组)回归系数一、最小二乘拟合多项式确定多项式115定理最小二乘拟合多项式存在唯一

(n<m)。证明：记法方程组为Ba=c.则有其中对任意，必有。则B为正定阵，则非奇异，所以法方程组存在唯一解。

定理最小二乘拟合多项式存在唯一(n<m)。证明：记法方116定理

Ba=c的解确是的最小点。即：设a

为解，则任意b=(b0

b1…bn)T

对应的多项式必有==njjjxbxF0)(===--=mimiiiiibyxFyxPa1122)(])([])([)(jj证明：==---=-miiimiiiyxPyxFab1212])([])([)()(jj==---+-=miiimiiiiiyxPyxPxPxF1212])([])()()([==--+-=miiiiimiiiyxPxPxFxPxF112])()][()([2)]()([0注：最小二乘法首先要求设定P(x)的形式。若设n=m1，则可取P(x)为过m个点的m1阶插值多项式，这时=0。P(x)不一定是多项式，通常根据经验确定。==--+-=mkiikkmiiiyxPabxPxF112])()[(2)]()([=mi1ixk定理Ba=c的解确是117例：xy(xi,yi),i=1,2,…,m方案一：设baxxxPy+=)(求a和b使得最小。=-+=miiiiybaxxba12)(),(j线性化：令，则bXaY+就是个线性问题将化为后易解a和b。),(iiYX),(iiyx例：xy(xi,yi),i=1,2,…,118方案二：设xbeaxPy/)(-=(a>0,b>0)线性化：由可做变换xbay-lnlnbBaAxXyY-====,ln,1,lnBXAY+就是个线性问题将化为后易解A和B),(iiYX),(iiyx方案二：设xbeaxPy/)(-=(a>0,b119二、一般的最小二乘法=-miiiyxS*02])([===-miiiyxS02])([(4.1)其中(4.2)为了更具一般性,通常考虑为加权平方和是[a,b]上的权函数,它表示不同点(xi,f(xi))的数据比重不同.(4.3)用最小二乘法求拟合曲线的问题,就是在形如(4.2)的S(x)中求一函数y=S*(x),使(4.3)取得最小.它转化求多元函数(4.4)的极小值问题.二、一般的最小二乘法=-miiiyxS*02])([==120=2(xi)[ajj(xi)-f(xi)]k(xi)=0j=0ni=0m∂ak∂I(k=0,1,…,n)(j,k)=(xi)j(xi)k(xi),i=0m(f,k)=(xi)f(xi)k(xi)≡dki=0m(k=0,1,…,n)j=0n(j,k)aj=dk(k=0,1,…,n)Ga

=d这方程称为法方程，可写成矩阵形式:上式可改写为若记(4.5)(4.6)由求多元函数的极值的必要条件，有其中a=

T,d=(d0,d1,…,dn)T,

G=(0,0)…(0,n)(0,1)(1,0)…(1,n)(1,1)(n,0)…(n,n)(n,1)………(4.7)=2(xi)[ajj(xi)-f(xi)121要使法方程(4.6)有唯一解a0,a1,…,an,就要求矩阵G非奇异.必须指出,0(x),1(x),…,n(x)在[a,b]上线性无关不能推出矩阵G非奇异.例如,令0(x)=sinx,1(x)=sin2x,x[0,2],显然{0(x),1(x)}在[0,2]上线性无关,但若取点xk=k,k=0,1,2(n=1,m=2),那么有0(xk)=1(xk)=0,k=0,1,2,由此得出G=