数值分析之最小二乘法与最佳一致逼近课件

1、 4 曲线拟合的最小二乘法 1 最小二乘法及其计算 在函数的最佳平方逼近中 如果 只在一组离散点集 上给定，这就是科学实验中经常见到的实验数据 的曲线拟合. 1 4 曲线拟合的最小二乘法 1 最小二乘法 记误差 则 的各分量分别为 个数据点上的误差. 问题为利用 求出一个函数与所给数据 拟合.2 记误差 则 的各分量 设 是 上线性无关函数族，在 中找一函数 ，使误差平方和这里 3 设 是 这个问题称为最小二乘逼近，几何上称为曲线拟合的最小二乘法. 用最小二乘求拟合曲线时,首先要确定 的形式. 确定 的形式问题不仅是数学问题, 还与问题的实际背景有关. 通常要用问题的运动规律及给定的数据进行数

2、据描图,确定 的形式, 然后通过实际计算选出较好的结果.4 这个问题称为最小二乘逼近，几何上称为曲线拟合的 为了使问题的提法更有一般性，通常在最小二乘法中考虑加权平方和 这里 是 上的权函数，它表示不同点 处的数据比重不同. 就是 次多项式. 若 是 次多项式， 的一般表达式为线性形式. 5 为了使问题的提法更有一般性，通常在最小二乘法中这里 这样，最小二乘问题就转化为求多元函数 的极小点 问题. 用最小二乘法求拟合曲线的问题，就是在 中求一函数 ， 由求多元函数极值的必要条件，有 使误差取得最小.6 这样，最小二乘问题就转化为求多元函数 的极小点 若记 上式可改写为 这个方程称为法方程，可写

3、成矩阵形式7若记 上式可改写为 这个方程称为法方程，可写成矩阵形式7其中 要使法方程有唯一解， 就要求矩阵 非奇异，而 在 上线性无关不能推出矩阵 非奇异，必须加上另外的条件. 8其中 要使法方程有唯一解， 就要求矩阵 非 显然 在任意 个点上满足哈尔条件. 哈尔条件，则法方程 的系数矩阵 非奇异， 如果 在 上满足函数 的最小二乘解为定义10设 的任意线性组合在点集 上至多只有 个不同的零点，则称 在点集 上满足哈尔(Haar)条件.方程存在唯一的解从而得到于是9 显然 在任意 个点这样得到的 ，对任何的 都有故 确是所求最小二乘解. 10这样得到的 ，对任何的 都有故 确是所一般可取 ，但

4、这样做当 时，通常对 的简单情形都可通过求法方程得到 给定 的离散数据 ，求解法方程时将出现系数矩阵 为病态的问题，我们在下面考虑用正交多项式的方法解决。11一般可取 ，但这样做当 例1已知一组实验数据如下，求它的拟合曲线. 12 例1已知一组实验数据如下，求它的拟合曲线. 12 解 从图中看到各点在一条直线附近，故可选择线性函数作拟合曲线， 将所给数据在坐标纸上标出，见图3-4.图3-413 解 从图中看到各点在一条直线附近，故可选择线性 令这里故 14 令这里故 14解得可得方程组 于是所求拟合曲线为15解得可得方程组 于是所求拟合曲线为15 关于多项式拟合，Matlab中有现成的程序 其

5、中输入参数 为要拟合的数据， 为拟合多项式的次数，输出参数 为拟合多项式的系数. 利用下面的程序，可在Matlab中完成上例的多项式拟合.16 关于多项式拟合，Matlab中有现成的程序 x=1 1 2 3 3 3 4 5; f=4 4 4.5 6 6 6 8 8.5;aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,r+,x,y,k)xlabel(x);ylabel(y);gtext(y=s1(x)）17x=1 1 2 3 3 3 4 5; 17结果如下：18结果如下：18有时根据给定数据图形，其拟合函数 表面上不是线性模型的形式，但通过变换仍可化为线性模型.

6、例如， ，若两边取对数得此时，若令 这样就变成了线性模型 .19有时根据给定数据图形，其拟合函数 表面上不是线 例2设数据 由表3-1给出，用最小二乘法确定 及 . 解表中第4行为通过描点可以看出数学模型为它不是线性形式. 用给定数据描图可确定拟合曲线方程为两边取对数得20 例2设数据 若令先将 转化为为确定 ， 根据最小二乘法，取 则得数据表见表3-1.得21 若令先将 转化为为确定 ， 故有法方程 解得 于是得最小二乘拟合曲线为 22故有法方程 解得 于是得最小二乘拟合曲线为 22 利用下面的程序，可在Matlab中完成曲线拟合.x=1.00 1.25 1.50 1.75 2.00; y=

7、5.10 5.79 6.53 7.45 8.46;y1=log(y);aa=poly(x,y1,1);a=aa(1); b=exp(aa(2);y2=b*exp(a*x);plot(x,y,r+,x,y2,k)xlabel(x);ylabel(y);gtext(y=a*exp(bx);23 利用下面的程序，可在Matlab中完成曲线拟合.x结果如下：24结果如下：24 2 用正交多项式做最小二乘拟合 如果 是关于点集 用最小二乘法得到的法方程组，其系数矩阵 是病态的. 带权 正交的函数族，即（5.6）25 2 用正交多项式做最小二乘拟合 如果 则方程的解为 且平方误差为 26则方程的解为 且平

8、方误差为 26 接下来根据给定节点 及权函数 构造带权 正交的多项式 . 注意 ，用递推公式表示 ，即这里 是首项系数为1的 次多项式，根据 的正交性，得27 接下来根据给定节点 及权函数 下面用归纳法证明这样给出的 是正交的. 28 下面用归纳法证明这样给出的 是正交的. 假定 对 及要证 对 均成立. 有 由 的表达式，有 均成立，29 假定 对 而 ， 当 时， 另外， 是首项系数为1的 次多项式，它可由由归纳法假定，当 时的线性组合表示.由归纳法假定又有30 而 ， 由假定有 再考虑 利用 表达式及以上结果，得 31由假定有 再考虑 利用 至此已证明了此多项式 组成一个关于点集 的正交

9、系. 用正交多项式 的线性组合作最小二乘曲线拟合，只要根据公逐步求 的同时，相应计算出系数最后，由 和 的表达式（5.11）有 32至此已证明了此多项式 组成一个关于点集 的正交系.并逐步把 累加到 中去，最后就可得到所求的 用这种方法编程序不用解方程组，只用递推公式，并且当逼近次数增加一次时，只要把程序中循环数加1，其余不用改变. 这里 可事先给定或在计算过程中根据误差确定. 拟合曲线33并逐步把 累加到 中去，最后就可得到所求以上述例1为例 先求正交系 34以上述例1为例 先求正交系34例3设X= 1.00 , 1.25, 1.50 , 1.75, 2.00,在X上定义内积 5 (f,g)

10、= xi f(xi)g(xi) i =1 1)在函数系 1,x2中求一个X上的正交函数系.2) 用最小二乘法求一个形如y =a+bx2的经验公式，使它与下列数据拟合. xi 1.00 1.25 1.50 1.75 2.00yi 3.00 4.50 5.50 7.00 9.0035例3设X= 1.00 , 1.25, 1.50 , 1363637375 最佳一致逼近多项式 1. 基本概念及其理论 设 在 中求多项式这就是最佳一致逼近或切比雪夫逼近问题. 使其误差385 最佳一致逼近多项式 1. 基本概念及其理论 使误差 对连续函数 ，它不能用有限个线性无关的函数表示，故 是无限维的，但它的任一元

11、素 均可用有限维的 逼近，( 为任给的小正数)，这就是著名的魏尔斯特拉斯定理.39使误差 对连续函数 ，它不能用有限使 定理1总存在一设 ，则对任何 ，个代数多项式 ，在 上一致成立. 伯恩斯坦1912年给出的证明是一种构造性证明. 他根据函数整体逼近的特性构造出伯恩斯坦多项式 40使 定理1总存在一设 ，则对任何 为二项式展开系数，并证明了在 上一致成立； 若 在 上 阶导数连续，则其中 这个结果不但证明了定理1，而且给出了 的一个逼近多项式. 41 为二项式展开系数定理2 (最佳一致逼近的存在性） 设f(x)在a,b上连续，则存在pn*(x) Hn使下面研究求pn*(x) 的方法定义：设f

12、(x) Ca,b,p(x) Hn,若x=x0时则称x0为p(x)的偏差点. 42定理2 (最佳一致逼近的存在性）下面研究求pn*(x) 的要证明的是这样的点组称为切比雪夫交错点组. 证明 假定在 上有 个点使上式成立， 定理3即有 个点 ，“负”的偏差点，在 上至少有 个轮流为“正”、是 的最佳逼近多项式的充分必要条件是使是 在 上的最佳逼近多项式.只证充分性.43要证明的是这样的点组称为切比雪夫交错点组. 证明 用反证法，若存在 ，由于 故 也在 个点上轮流取“+”、“-”号.使 由连续函数性质，它在 内有 个零点，但因 是不超过 次的多项式，不能超过 .所以它的零点个数在点 上的符号与一致

13、，44 用反证法，若存在 这说明假设不对，故 就是所求最佳逼近多项式. 必要性证明略. 推论1若 ，充分性得证.则在 中存在唯一的最佳逼近多项式.45 这说明假设不对，故 就是所求最佳逼近多项式. 零偏差最小问题46 零偏差最小问题46 证明且点 是 的切比雪夫交错点组， 定理4在区间 上所有最高次项系数为1的 次多项式中，与零的偏差最小，其偏差为由于47 证明且点 由定理3可知，即 是与零的偏差最小的多项式.区间 上 在 中最佳逼近多项式为定理得证.48由定理3可知，即 是与零的偏差最小的多项式.区间 由定理6可知，多项式 与零偏差最小， 解由题意，所求最佳逼近多项式 应满足当时，故例3求 在 上的最佳2次逼近多项式.49由定理6可知，多项式 与零偏差最小，就是 在 上的最佳2次逼近多项式. 50就是 在 上的最佳2次逼近多项式. 50 2 最佳一次逼近多项式 定理3给出了 的特性，这里讨论具体求法. 先讨论 的情形. 假定且 在 内不变号， 根据定理3可知, 至少有3个点求最佳一次逼近多项式 .我们要51 2 最佳一次逼近多项式 定理3给出了 即 . 由于 在 上不变号，故 单调， 在 内只有一个零点，记为 ， 另外两个偏差点必是区间端点，即 且 由此得到 于是满足52即 . 解出 代入得 这就得到最佳一次逼近多项式 ，其几何意义如图3-