最小二乘法的基本原理和多项式拟合-Read

1、最小二乘法的基本原理和多项式拟合一 最小二乘法的基本原理 从整体上考虑近似函数 p( x)同所给数据点 (xi ,yi )(i=0,1, ,m)误差 ri p(xi ) yi(i=0,1, ,m)ri p(xi) yi (i=0,1, ,m)绝对值的最大值 m0 iaxm ri ，即误差 向量mTrir (r0,r1, rm) 的范数；二是误差绝对值的和 i 0 ，即误差向量 r 的 1 m2 ri范数；三是误差平方和 i 0 的算术平方根，即误差向量 r 的 2范数；前两种 方法简单、 自然，但不便于微分运算 ，后一种方法相当于考虑 2 范数的平方， m2 rir因此在曲线拟合中常采用误差平

2、方和 i 0 来 度量误差ri (i=0 ， 1， m)的整 体大小。数据拟合的具体作法是：对给定数据 (xi,yi ) (i=0,1, ， m)，在取定的函 数类 中,求 p(x),使误差ri p(xi) yi (i=0,1, ,m)的平方和最小，即mmri2p(xi ) yi 2 mini 0 = i 0从几何意义上讲，就是寻求与给定点 (xi,yi ) (i=0,1, ,m)的距离平方和为最 小的曲线 y p(x)(图 6-1 )。函数 p(x) 称为拟合 函数或最小二乘解，求拟 合函数 p(x) 的方法称为曲线拟合的最小二乘法。可有不同的选取方法 .二 多项式拟合假设给定数据点 (xi

3、,yi ) (i=0,1, ,m)， 为所有次数不超过 n(n m)的多项式构npn (x)ak xk成的函数类，现求一 k 0m,使得n k 2 k akxik yimink 0 (1)当拟合函数为多项式时，称为多项式拟合，满足式( 1)的 pn(x) 称为最小二乘拟合多项式。特别地，当 n=1 时，称为线性拟合或直线拟合。Ipn(xi ) yi 2i0显然I ( akxik yi )2i 0 k 0为a0,a1, an 的多元函数，因此上述问题即为求 I I(a0,a1, an )的极值 问题。 由多元函数求极值的必要条件，得I m n k j2 ( akxik yi)xij 0,i 0

4、k 0ajj 0,1,n(2)nk 0 i 03)是关于 a0,a1, am1mm( xij k)akxij yi,i0j 0,1, ,n(3)mxii0n 的线性方程组，用矩阵表示为xini0mn1xin 1i0mxii0m2xii0a0a1myyii0 mxi yii0mnxii0mn1 xi i0m2nxii0anm n xi yi i0(4)故存在唯一解。式( 3)或式( 4)称为正规方程组或法方程组。 可以证明，方程组( 4)的系数矩阵是一个对称正定矩阵， 从式( 4)中解出 ak (k=0,1, ， n) ，从而可得多项式 n pn(x)ak xkk 0 (5)可以证明，式( 5)

5、中的 pn(x) 满足式( 1)，即 pn (x)为所求的拟合多项式。我mpn(xi ) yi 2们把 i 0 称为最小二乘拟合多项式 pn(x) 的平方误差，记作mr 2pn(xi ) yii0由式 (2) 可得nmr 2yi2ak( xik yi)i0k 0 i 0 多项式拟合的一般方法可归纳为以下几步： (1)由已知数据画出函数粗略的图形(6)散点图，确定拟合多项式的次数 n；mmxij( j 0,1, ,2n)xij yi (j 0,1, ,2n)(2) 列表计算 i 0 和 i 0(3) 写出正规方程组，求出 a0,a1, an ； n pn(x)akxk(4) 写出拟合多项式k 0

6、 。在实际应用中， n m或n m；当 n m时所得的拟合多项式就是拉格朗日或牛 顿插值多项式。例 1 测得铜导线在温度 Ti ( )时的电阻 Ri( )如表 6-1 ，求电阻 R与温度 T 的近似函数关系。i0123456Ti()19.125.030.136.040.045.150.0Ri ( )76.3077.8079.2580.8082.3583.9085.10解 画出散点图(图 6-2 )，可见测得的数据接近一条直线，故取 n=1，拟合函 数为R a0 a1T列表如下iTiRiTi2Ti Ri019.176.30364.811457.330125.077.80625.001945.00

7、0230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正规方程组为7 245.3 a0 565.5245.3 9325.83 a120029.445解方程组得a0 70.572,a1 0.921故得 R与 T 的拟合直线为R 70.572 0.921T利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由R=0得T=-242.5 ，即预测温度 T

8、=-242.5 时，铜导线无电阻。6-2例 2 例 2 已知实验数据如下表i012345678xi1345678910yi1054211234试用最小二乘法求它的二次拟合多项式解 设拟合曲线方程为Ixiyi2xi23xi34xi4xi yi2xi2 yi01101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612879381729656127243810410010001000040400533238130172531714710252y a0 a1x a2

9、x列表如下得正规方程组9 52381a032523813017a1147381301725317a21025解得a013.4597,a1 3.6053a2 0.2676故拟合多项式为2y 13.4597 3.6053 0.2676x2* 三 最小二乘拟合多项式的存在唯一性定理 1 设节点 x0,x1, , xn互异，则法方程组（ 4）的解存在唯一。 证 由克莱姆法则，只需证明方程组（ 4）的系数矩阵非奇异即可。 用反证法，设方程组（ 4）的系数矩阵奇异，则其所对应的齐次方程组mm1xii0mmxixi2i0i0mmn xin1xin 1i0i0mnmnxinyii0a0i0mmn1xia1xi

10、 yii0i0m2n xianmnxi yii0i0有非零解。式 (7) 可写为nm( xij k )ak 0, k 0 i 0j 0,1, ,n(7)8)将式( 8)中第 j 个方程乘以 aj (j=0,1, ， n) ，然后将新得到的 n+1个方程左n n m j kaj( xij k)ak0 0右两端分别 相加，得 j 0 k 0 i 0 因为n n m m n n m n n maj( xij k)akakajxij k( ajxij)( akxik)pn(xi) 2j 0 k 0 i 0 i 0 j 0k 0 i 0 j 0 k 0 i 0其中npn(x)ak xkk0所以pn(xi

11、 ) 0 (i=0,1,m)pn (x)是次数不超过 n的多项式，它有m+1n个相异零点，由代数基本定理， 必须有 a0 a1an 0，与齐次方程组有非零解的假设矛盾。 因此正规方程组(4)n a a , ,a pn(x)ak xk必有唯一解 。定理 2 设 a0,a1, ,an 是正规方程组 (4)的解，则k 0是满足式( 1)的最小二乘拟合多项式。nkb b , ,bQn (x)bkxk证只需证明，对任意一组数 b0,b1, ,bn 组成的多项式k 0 ，恒有mmQn(xi) yi 2pn(xi ) yi 2i 0 i 0即可。mmQn(xi) yi 2pn (xi) yi 2i 0 i

12、0mmmn0 2 (bji0j0aj )xijnkak xiyik02bj a jmi0k0k ak xiQn(xi) pn(xi) 2 2 Qn(xi) pn(xi) pn(xi) yi i 0 i 0因为 ak (k=0,1, ， n)是正规方程组( 4)的解，所以满足式( 2)，因此有 mmQn(xi ) yi 2pn(xi) yi 2 0i 0 i 0故 pn(x) 为最小二乘拟合多项式。* 四 多项式拟合中克服正规方程组的病态 在多项式拟合中， 当拟合多项式的次数较高时， 其正规方程组往往是病态的。 而 且 正规方程组系数矩阵的阶数越高，病态越严重； 拟合节点分布的区间 x0,xm

13、偏离原点越远，病态越严重； xi (i=0,1, ，m)的数量级相差越大，病态越严重。 为了克服以上缺点，一般采用以下措施： 尽量少作高次拟合多项式，而作不同的分段低次拟合； 不使用原始节点作拟合，将节点分布区间作平移，使新的节点xi 关于原 点对称，可大大降低正规方程组的条件数，从而减低病态程度。平移公式为：xi xi x0 xm ,i 0,1, ,mi i 2 (9)对平移后的节点 xi (i=0,1, ， m), 再作压缩或扩张处理：xi pxi , i 0,1, ,m( 10)p 2r (m 1) (xi )2r其中 i 0, (r 是拟合次数)(11)经过这 样调 整可以使 xi 的

14、数 量级 不太 大也不太 小， 特别 对于 等距节点 xi x0 ih (i 0,1, , m) ，作式( 10)和式( 11)两项变换后，其正规方程 组的系数矩阵设 为 A，则对 14 次多项式拟合，条件数都不太大，都可以得到 满意的结果。变换后的条件数上限表如下：拟合次数1234cond2 (A)=19.950.3435 在实际应用中还可以利用正交多项式求拟合多项式。 一种方法是构造离散正交 多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。 这两 种方法都使正规方程 组的系数矩阵为对角矩阵， 从而避免了正规方程组的病态。 我们只介绍第一种，见第三节。例如 m=19, x0 =328,h=1, x1=x0+ih ，i=0,1, ，19，即节点 分布在328,347 ， 作二次多项式拟合时 直接用 xi 构造正规方程组系数矩阵 A0 ，计算可得 cond2 (A0) 2.25 1016严重病态，拟合结果完全不能用 作平移变换xixi328 3472i 0,1, ,19xi 构造正规方程组系数矩阵 A1 ，计算可得cond2 (A1) 4.483868 1016比 cond2 ( A0 )降低了 13个数量级，病态显著改善，拟