计算方法 2.2 最小二乘拟合多项式

节最小二乘拟合多项式最小二乘拟合问题：为什么不能使用插值函数来逼近？由于观测数据数目较大，又往往带有观测误差，对于这类问题使用插值函数来逼近，插值函数会将这些误差也包括在内，这是不适当的！换句话说：寻求，使其在某种准则下与所有数据点最为接近，即曲线拟合得最好。数据处理问题拟合的含义是：不要求所对应的曲线完全通过所有的数据点，只要求它能够反映数据的整体变化趋势。~~~~~~~~因此，我们需要一种新的逼近原函数的办法2021/5/91插值与拟合的关系：问题：给定一组数据点，构造一个函数作为近似（或逼近）。解决方案：1.若要求所求曲线通过给定的所有数据点，就是插值问题；2.若不要求曲线通过所有数据点，而是要求它反映数据点的整体变化趋势，这就是数据拟合，又称曲线拟合，所求出的曲线称为拟合曲线。解决方案：1.不要求过所有数据点（可以消除误差影响）；2.尽可能地刻画数据点的趋势，靠近这些数据点。曲线拟合问题最常用的解法

最小二乘法考虑问题：测得铜导线在温度时的电阻如下：k

1234567

温度x

19.1025.0030.1036.0040.0045.1050.00

电阻y

76.3077.8079.2580.8082.3583.9085.10求电阻和温度之间的关系.拟合问题的几何背景是寻求一条近似通过给定离散点的曲线，故称曲线拟合问题。2021/5/921)将变量所对应的点(数据点)在坐标平面中描绘出来。这些点组成了变量之间的一个图，通常称这种图为变量之间的散点图。2)可以看出，电阻随着温度增加而增大，并且这7个点大致分布在一条直线附近，因此可认为电阻与温度之间的主要关系是线性关系。建立适当的数学模型。问题：如何选择a和b，使得到的方程与实际情况比较符合.电阻温度2021/5/93易见，在数据给定的前提下，误差的大小仅依赖于a,b的选择。反过来，衡量a,b的好坏可以由整体误差的大小来确定。问题：如何得到参数a和b，使整体误差达到最小？常用的三种准则是：2021/5/94由于准测（１）、（２）含有绝对值不便于处理，通常采用准测（３），并称基于准则（３）来选取拟合曲线的方法，称为曲线拟合的最小二乘法。3)确定拟合曲线.求解如下的二元函数极值问题.利用极值必要条件，有2021/5/95整理，得到如下线性方程组一般地，我们有问题：实验次数称为数据的最小二乘拟合多项式！2021/5/96令称为正规方程组（或法方程组）。n+1个方程n+1个变量2021/5/97法方程组可写成以下形式:令则法方程系数矩阵为：常数项为：可以证明：当互异时，该方程组有唯一解，并是最小值问题的解。2021/5/98其他类型的拟合问题最小二乘法并不只限于多项式，也可用于任何具体给出的函数形式。特别重要的是有些非线性最小二乘拟合问题通过适当的变换可以转化为线性最小二乘问题求解。2021/5/99第3节

一般最小二乘逼近问题的提法

考虑一般的线性无关函数族={0(x),1(x),…,n(x),…}，其有限项的线性组合称为广义多项式

.定义常见的广义多项式：

{j(x)=xj}对应代数多项式

{j(x)=cosjx}、{j(x)=sinjx}{j(x),j(x)

}对应三角多项式

{j(x)=ekjx,ki

kj

}对应指数多项式2021/5/910定义权函数：①

离散型根据一系列离散点拟合时，在每一误差前乘一正数

，即误差函数

，这个

就称作权，反映该点的重要程度。②

连续型在[a,b]上用广义多项式

拟合连续函数

时,定义权函数

(x)C[a,b]，即误差函数

。权函数必须(x)满足：非负、可积，且在[a,b]的任何子区间上(x)0。2021/5/911定义广义最小二乘拟合：①

离散型给定一组数据，和一组权系数下求广义多项式

使得误差函数

最小。

②

连续型已知以及权函数

，求广义多项式

使得误差函数

最小。内积与范数离散型连续型则易证(f,g)

是内积，而是范数。2021/5/912广义最小二乘问题可统一地叙述为：求广义多项式使得最小，其中)(...)()()(1100xaxaxaxPnnjjj+++=n由于内积空间的最佳逼近问题2021/5/913利用极值必要条件，有即法方程组

1）矩阵

形式2021/5/914

0(x),1(x),…,n(x)线性无关它的Gram(格拉姆)行列式Gn非零，其中定理证明：参考《数值逼近》2021/5/9152）内积

表示上式表明：所有基函数都与正交。特征定理定理2021/5/916定义最佳平方逼近误差的估计2021/5/917例3.1：用来拟合如下数据，ρ

i1k

12345x

13467y

-2.1-0.9-0.60.60.9解：决定问题的维数,为5维！其中的内积是向量的标量积.因此，得到解之2021/5/918例：用来拟合，ρi

1解：0(x)=1，1(x)=x，2(x)=x27623)(463||||484,||||1==-=BcondBB注意：四维问题2021/5/919第4节

用正交多项式作最佳平方逼近问题背景：若使用一般的广义多项式做基底，求最佳平方逼近多项式，当较大时，系数矩阵是“高度病态的”，求法方程组的解，舍入误差很大。另外，计算法方程中的以及求解法方程组的计算量都是很大的。改进：若能取函数族={0(x),1(x),…,n(x),…}，使得任意一对i(x)和j(x)两两（带权）正交，则系数(Gram)矩阵可化为对角阵！

常用的正交多项式：1.不用解线性方程组!!!!2.2021/5/9204.3.广义Fourier级数展开~右端称为的广义Fourier级数，称为广义Fourier系数。之所以使用“联结符号”是：因为还不能断定Fourier级数是否平均收敛于f(x)2021/5/921于是，我们得到当时，期望f(x)的Parseval等式!?2021