曲线拟合最小二乘法

1、关于曲线拟合的最小二乘法第一张，PPT共四十六页，创作于2022年6月曲线拟合问题: (建立试验数据的模型) 在实际应用中，往往并不需要曲线通过给定的数据点，而只要求用曲线(函数)近似代替给定的列表函数时，其 误差在某种度量意义下最小。函数逼近问题: (连续函数的逼近) 在实际应用中常需为解析式子比较复杂的函数寻找一个简单函数来近似代替它，并要求其误差在某种度量意义下最小。可统称为最佳逼近问题 3.1 拟合与逼近问题第二张，PPT共四十六页，创作于2022年6月一. 问题的提出插值法是使用插值多项式来逼近未知或复杂函数的，它要求插值函数与被插函数在插值节点上函数值相同 ，而在其他点上没有要求。

2、在非插值节点上有时函数值会相差很大。若要求在被插函数的定义区间上都有较好的近似，就是最佳逼近问题。必须找到一种度量标准来衡量什么是最佳逼近.第三张，PPT共四十六页，创作于2022年6月 最佳一致逼近是在函数空间 M中选 P(x) 满足 但由于绝对值函数不宜进行分析运算，常替之以来讨论，于是最佳逼近问题变为最佳平方逼近问题 这即为连续函数的最佳平方逼近.对于离散的问题，最佳平方逼近问题为:就是常说的曲线拟合的最小二乘法. 最佳逼近第四张，PPT共四十六页，创作于2022年6月二. 预备知识内积:第五张，PPT共四十六页，创作于2022年6月常采用的内积与范数第六张，PPT共四十六页，创作于20

3、22年6月第七张，PPT共四十六页，创作于2022年6月第八张，PPT共四十六页，创作于2022年6月1.正交函数族与正交多项式 定义1 若f(x),g(x)Ca,b, (x)为a,b上的权函数 且满足: 则称f(x)与g(x)在a,b上带权(x)正交。 正交多项式 第九张，PPT共四十六页，创作于2022年6月若函数族 0(x), 1(x), , n(x), 满足关系 则称k(x)是a,b上带权(x)的正交函数族。 例如，三角函数族 1 ,cosx , sinx , cos2x , sin2x , 就是在区间 -, 上的正交函数族。 第十张，PPT共四十六页，创作于2022年6月定义2 设

4、n(x) 是a,b上首项系数 an0 的 n次多项式,(x)为a,b上权函数，如果多项式序列 满足关系式: 则称为多项式序列 为在a,b上带权(x)正交，称n(x)为a,b上带权(x)的n次正交多项式。 第十一张，PPT共四十六页，创作于2022年6月 只要给定区间a,b及权函数(x), 均可由一族线性无关的幂函数 1 , x , , xn , 利用逐个正交化手续(Gram-Schmidt正交化方法)： 构造出正交多项式序列 。第十二张，PPT共四十六页，创作于2022年6月2.勒让德多项式 定义3 当区间为 -1,1, 权函数 (x) 1 时, 由1,x,xn ,正交化得到的多项式就称为勒让

5、德 (Legendre) 多项式,并用 P0(x),P1(x)，Pn(x)， 表示。 这是勒让德于1785年引进的。1814年罗德利克(Rodrigul) 给出了简单的表达式： 第十三张，PPT共四十六页，创作于2022年6月 由于(x2 -1)n 是2n次多项式，求n阶导数后得到 于是得首项 xn 的系数显然最高项系数为1的勒让德多项式为: 第十四张，PPT共四十六页，创作于2022年6月勒让德多项式有下述几个重要性质：性质1. 正交性性质2.奇偶性 pn(-x)=(-1)n pn (x) 性质3.递推关系(n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x) (n=1,2,)

6、 (*) 由p0(x)=1，p1(x)=x，利用 (*) 就可推出pn(x)的表达式:第十五张，PPT共四十六页，创作于2022年6月性质4. pn(x) 在区间-1，1内有n个不同的实零点。 第十六张，PPT共四十六页，创作于2022年6月实例：考察某种纤维的强度y与其拉伸倍数x的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:一. 实例讲解 3.2 曲线拟合(最小二乘法)第十七张，PPT共四十六页，创作于2022年6月纤维强度随拉伸倍数增加而增加并且24个点大致分布在一条直线附近-(1)第十八张，PPT共四十六页，创作于2022年6月必须找到一种度量标准来衡量什么曲线最接

7、近所有数据点.二、 问题的提法第十九张，PPT共四十六页，创作于2022年6月定义平方误差(偏差平方和):第二十张，PPT共四十六页，创作于2022年6月我们选取的度量标准是-(2)-(3)使得第二十一张，PPT共四十六页，创作于2022年6月第二十二张，PPT共四十六页，创作于2022年6月三、法方程组由可知因此可假设因此求最小二乘解转化为二次函数第二十三张，PPT共四十六页，创作于2022年6月由多元函数取极值的必要条件得即第二十四张，PPT共四十六页，创作于2022年6月-(4)即第二十五张，PPT共四十六页，创作于2022年6月引入记号则由内积的概念可知-(5)-(6)显然内积满足交换

8、律第二十六张，PPT共四十六页，创作于2022年6月方程组(4)便可化为-(7)将其表示成矩阵形式-(8)第二十七张，PPT共四十六页，创作于2022年6月并且其系数矩阵为对称阵.根据Cramer法则,法方程组有唯一解第二十八张，PPT共四十六页，创作于2022年6月即是的最小值所以因此第二十九张，PPT共四十六页，创作于2022年6月作为一种简单的情况,基函数之间的内积为平方误差第三十张，PPT共四十六页，创作于2022年6月例1. 回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系故可选取线性函数为拟合函数，其基函数为建立法方程组根据内积公式，可得第三十一张，PPT共

9、四十六页，创作于2022年6月法方程组为解得平方误差为第三十二张，PPT共四十六页，创作于2022年6月拟合曲线与散点的关系如右图:第三十三张，PPT共四十六页，创作于2022年6月四、加权最小二乘法各点的重要性可能是不一样的权:即权重或者密度，统称为权系数. 定义加权平方误差为-(9)第三十四张，PPT共四十六页，创作于2022年6月使得第三十五张，PPT共四十六页，创作于2022年6月由多元函数取极值的必要条件得即第三十六张，PPT共四十六页，创作于2022年6月引入记号定义加权内积-(10)第三十七张，PPT共四十六页，创作于2022年6月矩阵形式(法方程组)为方程组(10)式化为-(1

10、1)-(12)第三十八张，PPT共四十六页，创作于2022年6月平方误差为作为特殊情形,用多项式作拟合函数的法方程组为-(13)第三十九张，PPT共四十六页，创作于2022年6月五、最小二乘原理的其他应用1、算术平均：最小二乘意义下误差最小2、超定方程组的最小二乘解 P103 例3.3.3第四十张，PPT共四十六页，创作于2022年6月 3.3 连续函数的最佳平方逼近1. 最佳平方逼近问题-(14)第四十一张，PPT共四十六页，创作于2022年6月2. 解法(法方程)-(15)第四十二张，PPT共四十六页，创作于2022年6月第四十三张，PPT共四十六页，创作于2022年6月第四十四张，PPT共四十六页，创作于2022年6月最小二乘法方法评注 曲线拟合的最小二乘法是实验数据处理的常用方法。最佳逼近可以