最小二乘法的基本原理和多项式拟合

1、最小二乘法的基本原理和多项式拟合最小二乘法的基本原理从整体上考虑近似函数同所给数据点(岛n)(i=0,1,m)误差(i=0,1,m)的大小，常用的方法布以卜三种:一是误差(i=0,1,m)绝对值的最大值 飕汴,即误差向量优八。)的8 范数；二是误差绝对值的和 !,即误差向量r的1一范数；三是误差平方潞和M 的算术平方根，即误差向量r的2范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑2范数的平方，因此在曲线拟合中常采用潞误差平方和;来度量误差”(i=0 ,1,，m)的整体大小。数据拟合的具体作法是：对给定数据(i=0,1,，m),在取定的函数类力中，求双次 ,使误差二P(&A

2、 M (i=0,1，,m)的平方和最小,即-mm从几何意义上讲，就是寻求与给定点(百，必)(i=0,1,m)的距离平方和为最 小的曲线/二Pl)(图6-1)。函数称为拟合函数或最小二乘解，求拟合函数PH)的方法称为曲线拟合的最小二乘在曲线拟合函数类4可有不同的选取方法.61二多项式拟合假设给定数据点 伪，弘)(i=0,1,m),为所有次数不超过 鼠方4初的多项式构成的函数类，现求一怨使得当拟合函数为多项式时，称为多项式拟合，满足式(=min(1)1)的巴 称为最小二乘拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。 显然A的多元函数，因此上述问题即为求/ = ,(为也I”)的极值 问题

3、。由多元函数求极值的必要条件，得j二。工潭(2)彳二2(白苫-不冈二0, 孙 3-0 5工0铲M二工小i.（3）是关于“。，勺的线性方程组，用矩阵表示为外方i-ti肮2-0球.?-0*.2-01-0式（3）或式（4）称为正规方程组或法方程组。可以证明，方程组（4）的系数矩阵是一个对称正定矩阵, （4）中解出（k=0,1，n）,从而可得多项式外（X）二工也,故存在唯一解从式(5)餐乙餐我们把可以证明，式（5）中的P1）满足式（1）,即Pm W为所求的拟合多项式。K西）-， ， 一、八一、i-0称为最小二乘拟合多项式名J刃的平方误差，记作由式（2）可得H = 2”工42%）(6)2-0 上 2-0

4、多项式拟合的一般方法可归纳为以下几步：由已知数据画出函数粗略的图形-一散点图，确定拟合多项式的次数n；列表计算三n网二心 ,及）和 i-0；写出正规方程组，求出二P x） = h#写出拟合多项式在实际应用中，/ n个相异零点，由代数基本定理，必须,与齐次方程组有非零解的假设矛盾。因此正规方程组（4）必有唯一解。定理2设弧/是正规方程组（4）的解，则 . 是满 足式（1）的最小二乘拟合多项式。j QGbX瓦/证 只需证明，对任意一组数 %9，为组成的多项式% ，包有即可。因为% （k=0,1,，n）是正规方程组（4）的解，所以满足式（2）,因此有 故入 为最小二乘拟合多项式。*四多项式拟合中克服

5、正规方程组的病态在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。而且正规方程组系数矩阵的阶数越高，病态越严重；拟合节点分布的区间丽，X偏离原点越远，病态越严重；为了克服以上缺点,m）的数量级相差越大，病态越严重。 一般采用以下措施：尽量少作高次拟合多项式，而作不同的分段低次拟合;不使用原始节点作拟合，将节点分布区间作平移，使新的节点 称，可大大降低正规方程组的条件数，从而减低病态程度。%关于原点对平移公式为:对平移后的节点既（i=0,1,，m）,再作压缩或扩张处理：芯二川，i二0工，身（10）尸=加+1）/工（产其中 In , （r是拟合次数） （11）经过这样调整可以使X；的数量级不太大也不太小，特别对于等距节点%二/ +协 。=Q1丽,作式（10）和式（11）两项变换后，其正规方程组的 系数矩阵设为A,则对14次多项式