(完整word版)最小二乘法的基本原理和多项式拟合-Read

1、 最小二乘法的基本原理和多项式拟合 一最小二乘法的基本原理 从整体上考虑近似函数P（x）同所给数据点（Xi，yi）（i=o,l,m）误差 ri 二卩区）一=0,1,m） m o Y J* ri =P（Xi）-yi（i=o,i,m）绝对值的最大值0也i，即误差 向量 m r =仏,5rm）T的X范数；二是误差绝对值的和 & n，即误差向量r的1 m 2 Z ri 范数；三是误差平方和 7 的算术平方根，即误差向量r的2范数；前两种 方法简单、自然，但不便于微分运算，后一种方法相当于考虑2范数的平方, m 2 Z ri 因此在曲线拟合中常采用误差平方和 v 来 度量误差ri（i=0 , 1

2、,，m）的整 体大小。 数据拟合的具体作法是：对给定数据 （Xi,yi） （i=o,l,，m），在取定的函 数类中,求P（x），使误差ri二P（Xi）-yi（i=o,i,m）的平方和最小，即 m m 7P（Xi） - yi 2 二 min i =0 = i =0 从几何意义上讲，就是寻求与给定点（Xi, %）（i=0,1,m）的距离平方和为最 小的曲线 y = P（X）（图6-1 ）。函数P（X）称为拟合 函数或最小二乘解，求拟 合函数P（X）的方法称为曲线拟合的最小二乘法。 可有不同的选取方法. 二多项式拟合 假设给定数据点（Xi，yi）（i=0,1,m），为所有次数不超过n（n空m）的多项

3、式构 （n 送 Z akXk - y = min n Pn(x) akXk 成的函数类，现求一 k m m I =二 Pn(Xi) - yi 2 八 i =0 i =0 (4)写出拟合多项式 n个相异零点, an =，与齐次方程组有非零解的假设矛盾。 须有a。_ai - 必有唯一解。 是满足式(1) 定理2设a，ai ,an是正规方程组(4)的解，则 的最小二乘拟合多项式。 由代数基本定理, 因此正规方程组 n Pn(X)= (4) k akX k=0 证 只需证明，对任意一组数b，bl,，bn组成的多项式Qn(X) b n k kX 2 ，恒有 m m Qn(Xi) - yi F - Pn(

4、Xi) - yi F i = i= 即可。 m m Qn(Xi) - yi 2 - Pn(Xi) - yi 2 i = i = m m =Qn(Xi) Pn(Xj)2 2、 Qn(Xi) - Pn(Xj)lPn(Xj) - 1 i = i = m n n - 2 - (bja)x/ ； p-： akX i = j = |L = =竺典bj j = 一 a*、 i = . .k= k akXi - yi 因为ak（k=0,1,，n）是正规方程组（4）的解，所以满足式（2）,因此有 m m Qn（Xi） -yi f 八Pn（Xi） - yi f _0 i卫 7 故Pn（X）为最小二乘拟合多项式。

5、*四多项式拟合中克服正规方程组的病态 在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。而 且 正规方程组系数矩阵的阶数越高，病态越严重； 拟合节点分布的区间Xo,Xm 1偏离原点越远，病态越严重； Xi（i=0,1,，m）的数量级相差越大，病态越严重。 为了克服以上缺点，一般采用以下措施： 尽量少作高次拟合多项式，而作不同的分段低次拟合； 不使用原始节点作拟合，将节点分布区间作平移，使新的节点 为关于原点对 称，可大大降低正规方程组的条件数，从而减低病态程度。 平移公式为： Xi =Xi 一西竺 i =0,1, ,m _ 2 （9） 对平移后的节点Xi （i=0,1,，m）

6、,再作压缩或扩张处理： x = pXi , i =0,1, ,m （ 10） p=2,（m+i）/送（Xi）2r 其中 7 , （r是拟合次数） （11） 经过这样调整可以使X的数量级不太大也不太小，特别对于等距节点 Xi =X0 ih （i丸,1,，m），作式（10）和式（11）两项变换后，其正规方程 组的系数矩阵设 为A,则对14次多项式拟合，条件数都不太大，都可以得到 满意的结果。 变换后的条件数上限表如下： 拟合次数 1 2 3 4 con d2(A) =1 9.9 50.3 435 在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交 多项式；另一种方法是利用切比雪夫

7、节点求出函数值后再使用正交多项式。 这两 种方法都使正规方程 组的系数矩阵为对角矩阵，从而避免了正规方程组的病态。 我们只介绍第一种，见第三节。 例如 m=19, X0=328,h=1, X1 = X0+ih，i=0,1,，19,即节点 分布在328,347 ， 作二次多项式拟合时 直接用xi构造正规方程组系数矩阵A0，计算可得 16 con d2（A）=2.25 10 严重病态，拟合结果完全不能用。 作平移变换 328 +347 Xi= Xi , i 二 0,1, ,19 2 i|X构造正规方程组系数矩阵Ai，计算可得 cond2 (A,) =4.483868 1016 比cond2(Ao)降低了 13个数量级，病态显著改善，拟合效果较好。 取压缩因子 _20 p =帀 & 0-1498 A 作压缩变换 汕心i，1,，伯 用Xi构造正规方程组系数矩阵A2，计算可得cond2(A26-839 又