曲线拟合的最小二乘法

关于曲线拟合的最小二乘法第1页，课件共46页，创作于2023年2月曲线拟合问题:

(建立试验数据的模型)

在实际应用中，往往并不需要曲线通过给定的数据点，而只要求用曲线(函数)近似代替给定的列表函数时，其

误差在某种度量意义下最小。函数逼近问题:

(连续函数的逼近)

在实际应用中常需为解析式子比较复杂的函数寻找一个简单函数来近似代替它，并要求其误差在某种度量意义下最小。可统称为最佳逼近问题§

3.1拟合与逼近问题第2页，课件共46页，创作于2023年2月一.问题的提出插值法是使用插值多项式来逼近未知或复杂函数的，它要求插值函数与被插函数在插值节点上函数值相同，而在其他点上没有要求。在非插值节点上有时函数值会相差很大。若要求在被插函数的定义区间上都有较好的近似，就是最佳逼近问题。必须找到一种度量标准来衡量什么是最佳逼近.第3页，课件共46页，创作于2023年2月

最佳一致逼近是在函数空间M中选P(x)满足

但由于绝对值函数不宜进行分析运算，常替之以来讨论，于是最佳逼近问题变为最佳平方逼近问题这即为连续函数的最佳平方逼近.对于离散的问题，最佳平方逼近问题为:就是常说的曲线拟合的最小二乘法.

最佳逼近第4页，课件共46页，创作于2023年2月二.预备知识内积:第5页，课件共46页，创作于2023年2月常采用的内积与范数第6页，课件共46页，创作于2023年2月第7页，课件共46页，创作于2023年2月第8页，课件共46页，创作于2023年2月1.正交函数族与正交多项式

定义1

若f(x),g(x)∈C[a,b],ρ(x)为[a,b]上的权函数且满足:

则称f(x)与g(x)在[a,b]上带权ρ(x)正交。

正交多项式

第9页，课件共46页，创作于2023年2月若函数族ψ0(x),ψ1(x),…,ψn(x),…满足关系

则称{ψk(x)}是[a,b]上带权ρ(x)的正交函数族。

例如，三角函数族

1,cosx,sinx,cos2x,sin2x,…

就是在区间[-π,π]上的正交函数族。

第10页，课件共46页，创作于2023年2月定义2

设ψn(x)是[a,b]上首项系数an≠0的n次多项式,ρ(x)为[a,b]上权函数，如果多项式序列

满足关系式:

则称为多项式序列

为在[a,b]上带权ρ(x)正交，称ψn(x)为[a,b]上带权ρ(x)的n次正交多项式。

第11页，课件共46页，创作于2023年2月

只要给定区间[a,b]及权函数ρ(x),均可由一族线性无关的幂函数

{1,x,…,xn,…}

利用逐个正交化手续(Gram-Schmidt正交化方法)：构造出正交多项式序列

。第12页，课件共46页，创作于2023年2月2.勒让德多项式

定义3

当区间为[-1,1],权函数ρ(x)≡1时,由{1,x,…,xn,…}正交化得到的多项式就称为勒让德

(Legendre)多项式,并用P0(x),P1(x)，…，Pn(x)，…

表示。这是勒让德于1785年引进的。1814年罗德利克(Rodrigul)给出了简单的表达式：

第13页，课件共46页，创作于2023年2月

由于(x2-1)n

是2n次多项式，求n阶导数后得到

于是得首项xn的系数显然最高项系数为1的勒让德多项式为:

第14页，课件共46页，创作于2023年2月勒让德多项式有下述几个重要性质：性质1.

正交性性质2.奇偶性

pn(-x)=(-1)npn(x)

性质3.递推关系

(n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x)(n=1,2,……)(*)

由p0(x)=1，p1(x)=x，利用(*)就可推出pn(x)的表达式:

第15页，课件共46页，创作于2023年2月性质4.

pn(x)

在区间[-1，1]内有n个不同的实零点。

第16页，课件共46页，创作于2023年2月实例：考察某种纤维的强度y与其拉伸倍数x的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:一.实例讲解3.2曲线拟合(最小二乘法)第17页，课件共46页，创作于2023年2月纤维强度随拉伸倍数增加而增加并且24个点大致分布在一条直线附近---------(1)第18页，课件共46页，创作于2023年2月必须找到一种度量标准来衡量什么曲线最接近所有数据点.二、问题的提法第19页，课件共46页，创作于2023年2月定义平方误差(偏差平方和):第20页，课件共46页，创作于2023年2月我们选取的度量标准是---------(2)---------(3)使得第21页，课件共46页，创作于2023年2月第22页，课件共46页，创作于2023年2月三、法方程组由可知因此可假设因此求最小二乘解转化为二次函数第23页，课件共46页，创作于2023年2月由多元函数取极值的必要条件得即第24页，课件共46页，创作于2023年2月---------(4)即第25页，课件共46页，创作于2023年2月引入记号则由内积的概念可知---------(5)---------(6)显然内积满足交换律第26页，课件共46页，创作于2023年2月方程组(4)便可化为---------(7)将其表示成矩阵形式-----(8)第27页，课件共46页，创作于2023年2月并且其系数矩阵为对称阵.根据Cramer法则,法方程组有唯一解第28页，课件共46页，创作于2023年2月即是的最小值所以因此第29页，课件共46页，创作于2023年2月作为一种简单的情况,基函数之间的内积为平方误差第30页，课件共46页，创作于2023年2月例1.回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系故可选取线性函数为拟合函数，其基函数为建立法方程组根据内积公式，可得第31页，课件共46页，创作于2023年2月法方程组为解得平方误差为第32页，课件共46页，创作于2023年2月拟合曲线与散点的关系如右图:第33页，课件共46页，创作于2023年2月四、加权最小二乘法各点的重要性可能是不一样的权:即权重或者密度，统称为权系数.

定义加权平方误差为-----(9)第34页，课件共46页，创作于2023年2月使得第35页，课件共46页，创作于2023年2月由多元函数取极值的必要条件得即第36页，课件共46页，创作于2023年2月引入记号定义加权内积-----(10)第37页，课件共46页，创作于2023年2月矩阵形式(法方程组)为方程组(10)式化为-----(11)---(12)第38页，课件共46页，创作于2023年2月平方误差为作为特殊情形,用多项式作拟合函数的法方程组为-----(13)第39页，课件共46页，创作于2023年2月五、最小二乘原理的其他应用1、算术平均：最小二乘意义下误差最小2、超定方程组的最小二乘解

P103例3.3.3第40页，课件共46页，创作于2023年2月

3.3连续函数的最佳平方逼近1.最佳平方逼近问题-----(14)第41页，课件共46页，创作于2023年2月2.解法(法方程)-----(15)第42页，课件共46页，创作于2023年2月第43页，课件共46页，创作于2023年2月第44页，课件共46页，创作于2023年2月最小二乘法方法评注