应用数值分析chapt3曲线拟合第三章最小二乘

第三线拟合的最小二/函数平方逼近初一一会相差很大若要求在被插函数的定义区间上都有较好的近似，就是最佳逼近问题必须找到一种度量标准来衡量什么是最佳逼近MP(x)axb

f(x)

p(

2但由于绝对值函数不宜进行分析运算,2b(f(x)b(fa

(x)

p(x))

对于离散的问题最佳平方逼近问题为m(m

(xi

)

就是常说的曲线拟合的最小二乘法二预备知内积设X是数域K上的线性空间,若对u,vX,(u,

0,

(u,u)=0

(u,v)=(u,(u,v)=(u,

(u+v,w)=(u,w)+(v,w),w则(u,

与v

常采用的内积与范向量Rn

y)=ixi x(x,

,xny(y,y ,yn (x,x)n2 2(x,x)n2 连续函数空

C[a,

上的内积fgC[ab],定义内积b(f,g)

f(x)g(及加权内b(f,g)a(x)

(x)g(abx)为权函数ab22范数 2

(f

f)2

(

(x)

2(x)dx)2设0,1,2

C[a,b],,0G,0

(0,1(1,1

(0,n (1,nnn

,0

,1

,n 则G非奇异的充分必要条件是0,1,2 ,n线性无关§3.2§3.2数据拟合(最小二乘法一.拉伸倍数 拉伸倍 567898987654321 纤维强度随拉 倍数增加而增 6并且24个点大致5布在一条直4

21 y(x)y(x)01x我们希望yx

1x(样本点xi

yi必须找到一种度量标准来衡量什么曲线最接近所有数据点这就是所谓的曲线拟合就是从数据集(xi,yj)中找出总体规律，并构造一条二、二、设y

fx)在m+1个节点

[a,b

fi

i

,要在某一个特定的函数空间,yS*x),

0,1,n一般要求n

0,1,n)生成的函数集,span{0(x),1(x),,n则可

S(

ajj(x)nj0n定义平方误差(偏差平方和m2i2m2i,Tm,Tm)其

,

S(

)

(误差或残差 我们选取的度量标准njS*(x)a*(x)jj

j0a*(x)

a a m*2(S*(x)fm mmin2min(S(x)

f

S(x m

S(x

其中S

ajjx)为中的任意j0

*(x)

aa

的方法数据拟合的最小二乘

j0aajS*(x) j

j0nS(

ajjx)为拟合函数,ajj0

0,1,n)为拟合2*2称为最小二乘解误2在确定了拟合函Sx)后,如何求拟合系n

aj(

0,1,, 使得S*x)

(

满足拟合条件(3)呢j0 S(x)m

ajj(x)nj0n 可

(S(x)

f)2

(a

(x)

f)2

ii0

j0

为拟合系数aj因此可假

0,1,n)F(a,a

(a

(x)

f)2 i0

j0

求

,a ,a)的最小值(极小值)点a*,a*, ,a*

的问题 由多元函数取极值的必要条F(a0, ,an)

k0,1,,m m

a(x)

f

(x)]k k

ni0n

j0

[ajj(xi)k(xi)

fik(xi)]i0 j0 ajj(xi)k(xi)

fik(xii0

j0

i0 ajj(xi)k(xi)

fik(xii0

j0

i0 [j(xi)k(xi)]ajfik(xij0 i0 i0k0,1,,即

a00(xi)k(xi)i0m

i0

ann(xi)k(xii0i0

fik(xi

k0,1,,引入记

r

(r(x0),r(x1),,r(xm,fmf(f0,fmm(k,j)

k(xi)j(xii0m

(k

f)k(xi)

显然内积满足交换

(k,j

(j,k方程组(4)便可化a0(k,0)

a1(k,1)

an(k,n

(k,fk0,1,,

这是一个系数为(k,j),常数项为(k

f的线性方程将其表示成矩阵形,0 (0,1 (0,n)a0

(0,f) a

(,f,0

(1,1

(1,n

1

) )

nnnnnn

,0

,1

,n

Gna,n(x)称(8)式为函数序列0(x),1(x),在节点x0,x1, ,xm上的法方程组,,n(x)问题方程(8)解的存在唯一性,即G是否非奇异这里没有一般的理论,具体问题具体分析!但在应用,常取为n阶多项式空间,即 xn},且nm,这时G是非奇异的 a*,aa*, , a* ,a*n F(a,a*n

(a*

(x)

f)2 i

j0

F(a

,a

(a

(x)

f

的最小 i0

j0

(a

(x)

f

a(x)

f)2 i0 j0

S(x

i0 j0m(S*(x)m

f

(S(x)

f

S(x

mm * n

min2S(x2 S*(

x)为最小 j0 平方误

*2

(S*(x)

f

(f

f)

a*(

,f

nj0n作为一种简单的情况常使用多项式S(x)

Pn(x)(xi

fi

nn0(x)

1(x)

,k(x)

xk

n(x)基函数之间的内积m(,)(x)(xm

xkx

xk i0

mi0m

mi0m(,f)(x)

xk

例1.回到本节开始的实例，从散点图可以看出S(x)y(x 为拟合函数，其基函数0(x)

1(x)建立法方程根据内积公式，可(0,0)

(0,1)

(1,1)

(0

f)

(1

f)

法方程组

127.5

a0

829.61a

731.6解 a0

1 a12S*2

y*(x)

*

987654321 987654321 987654321123456789四、加权最小二乘对于一组给定的数据(xi

fi

,各点的重要性可能是不一样(xi

fi

假设i=(xi)表示数(xi

,2权 2

m2m

mm

i(S(xi)

fi

设拟合函数S(x)来自函数类

0,1,,span{0(x),1(x),,nS(x)

a00(x)

a11(x)

ann(x)aj(j0,1,n)为拟合拟合的目标仍然 m使 *

(S*(x)

f

mmin

min(S(x)

fS(x

S(x

,an,an

,a

(a

(x)

f)2 i0

j0的最小值(极小值)点a*,a*, ,

的问 由多元函数取极值的必要条F(a0, ,an)nn

k0,1,,m Fm

[

a(x)

f

(x)]

i0

j0 [iajj(xi)k(xi

fik(xi)]i0 j0 iajj(xi)k(xi)

i

fik(xii0 j0

i0 iaij(xi)k(xi)i

fik(xii0

j0

i0 [ij(xi)k(xi)]aj

fik(xij0

i0

k0,1,,

i0

(10)是一个关a0a1,an的n1元线性方程引入记

r

(r(x0),r(x1),,r(xmf(

0,,fm定义,fm(k,j

ik(xi)j(ximm

(k

f)ik(xi)mm方程组(10)式化a0(k,0)

a1(k,1)

an(k,n

(k,f矩阵形式(法方程组)

k0,1,,

,0 (0,1

(0,f) a

(,f,0

(1,1

(1,n

1

---nnnn

,0

,1

,n

(n

f)平方误差

*

(S*(x)fm2m

mmi ifi作为特殊情形,用多项式作拟合mmi ifimm imm i

mm i0mm

i0

i0

a

i0

x2

xn1a

xm0 m0

ii0

i0

i0

i0 a

xn

xn1

x2n

xnf i0

i0

i0

i0

i §§3.31.最佳平方逼设fC[a, span{0 ,n}n

C[a,S(x),S(x)

aii(b2i0b2f

2a(x)[

(x)

S*(x)]2bmin(x)[b

(x)

(x)]2

S*x)为fx)的最佳平方逼近2.解法(法方程 F(a0, ,an)

(x)[

(x)

aii(x)]i0

的极小值点(a*,a*, ,a*),则必 bn2(f(aibn2(f(aii(x)](k(,,

i0k

(k,ii0

(

,k

dkbb

k,i)a(b

k(x)i(x)dxdk (f,k)

(x