最小二乘法的本原理和多项式拟合

1、百度文库-让每个人平等地提升自我第一节最小二乘法的基本原理和多项式拟合 最小二乘法的基本原理从整体上考虑近似函数P(x)同所给数据点(Xi，yi)(i=o,l,m)误差riP(xi) yi(i=o,i,m)的大小，常用的方法有以下三种：一是误差rip(xi) yi(i=o,i,m)绝对值的最大值maXr，即误差 向量mr (ro，r1，咕厂的范数；二是误差绝对值的和i o *，即误差向量r的1 m2ri范数；三是误差平方和i o的算术平方根，即误差向量r的2范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑2范数的平方, m2ri因此在曲线拟合中常采用误差平方和io 来 度量误

2、差ri(i=O , 1,，m)的整 体大小。数据拟合的具体作法是：对给定数据(Xi,yi) (i=o,i,，m)，在取定的函数类 中,求P(x),使误差riP(Xi) yi(i=o,i,m)的平方和最小，即mm2 / 、 2riP(xJ yi mini oi o从几何意义上讲，就是寻求与给定点(xi, %)(i=O,1,m)的距离平方和为最 小的曲线 y P(x)(图6-1 )。函数P(x)称为拟合 函数或最小二乘解，求拟 合函数P(x)的方法称为曲线拟合的最小二乘法。在曲线拟合中，函数类可有不同的选取方法多项式拟合假设给定数据点(xi,yi)(i=O,1,m)，为所有次数不超过n(n m)的

3、多项式构nPn(x)成的函数类，现求一mIPn(Xi)i okakXk o m2yii onkakXiyi当拟合函数为多项式时，称为多项式拟合，满足式(min(1)1) 的 Pn(x)称为最小二乘10拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。显然I (akXikyi)2i 0 k 0为ao, ai, an的多元函数，因此上述问题即为求 由多元函数求极值的必要条件，得m n2( akXk yj彳 0,a ji 0 k 0即n mmj kj(Xi )akXi yi,k 0 i 0i 01I(a0,a1, an)的极值问题。j 0,1, ,n (2)0,1, ,n(3)(3)是关于a0

4、,am 1 mXian的线性方程组，用矩阵表示为mXii 0mmnXii 0mn 1a0a1myii 0mXi yimmmanmnn 12nnXiXiXiXi0i 0i 0i 0i 02 Xii 0Xii 0i 0式(3)或式(4)称为正规方程组或法方程组。可以证明，方程组(4)的系数矩阵是一个对称正定矩阵，故存在唯一解从式(4)中解出ak(k=0,1,，n)，从而可得多项式nPn(X)akXkk 0可以证明，式(mPn(Xi)们把匚05)yi中的Pn(X)满足式(1)2称为最小二乘拟合多项式mIkll2Pn(Xi)i 0(5)，即卩“以)为所求的拟合多项式。我Pn(x)的平方误差，记作2yi

5、由式(2)可得mnm2/ kyiak( Xi yi)i 0k 0 i 0多项式拟合的一般方法可归纳为以下几步：(1)IHI2确定拟合多项式的次数 n；由已知数据画出函数粗略的图形 一-m Xij(j 0,1, ,2 n)列表计算i 0和i写出正规方程组，求出a0,a1, an ；n Pn(x)akXk写出拟合多项式k 0。n m或n m；当n m时所得的拟合多项式就是拉格朗日或牛-散点图,mXijyi0(j 0,1,2n)7在实际应用中,顿插值多项式例1测得铜导线在温度Tic ）时的电阻Ri（）如表6-1 ,求电阻R与温度T 的近似函数关系。i01y 23456T(C)Ri()解 画出散点图（

6、图6-2 ），可见测得的数据接近一条直线，故取n=1,拟合函数为R ao aiT列表如下iTiRiTi21/ 0123456正规方程组为7245.3245.3 a09325.83 a1565.520029.445解方程组得ao70.572,a10.921故得R与T的拟合直线为R 70.5720.921T利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由R=0得T=,即预测温度 T=C时，铜导线无电阻。1030506-2例2例2已知实验数据如下表i0123/45678Xi1345、678910y1054211234试用最小二乘法求它的二次拟合多项式 解设拟合曲线方程为2解得ao故拟合多项

7、式为952381a032523813017 a1147381301725317 a2102513.4597,a13.6053a2y13.45973.60530.2676X20.2676*三最小二乘拟合多项式的存在唯一性y aoaix a2x列表如下IXiyi /2Xi3Xi4 XiXi yi2Xi yi011011 A1101013/ 592781154524 /41664256166435225125625 10504/ 61362161296 6365 /7149343240174968264512409616128/ 79381729656127 24381041001000100004

8、040053323813017253171471025得正规方程组定理1 设节点Xo，Xl，xn互异，则法方程组（4）的解存在唯一。 证 由克莱姆法则，只需证明方程组（4）的系数矩阵非奇异即可。用反证法，设方程组（4）的系数矩阵奇异，则其所对应的齐次方程组mmmm1XinXiyii 0i 0a。i 0mmmm2n 1a1XiXiXiXi yii 0i 0i 0i 0mmmanmnn 12nnnXiXiXiXi yii 0i 0i 0i 0(7)有非零解。式（7）可写为n m （Xij k）ak 0,j 0,1, ,nk 0 i 0（ 8）将式（8）中第j个方程乘以aj（j=0,1,，n），然后

9、将新得到的n+1个方程左nn maj （Xij k）ak00右两端分别相加，得j 0 k 0 i 0因为najj 0其中:mj kXi )akm n ni 0 j 0 k 0Pn(X)akajXJm nn(ajXij)(akXk)i 0 j 0k 0mPn ( ) 2i 0所以nkakXk 0Pn(X)是次数不超过须有a0aianPn(Xi)0 (i=0,1,m)n的多项式，它有m+1 n个相异零点,0 ,与齐次方程组有非零解的假设矛盾。由代数基本定理,因此正规方程组(4)必有唯一解。 是满足式(1)定理2设a0，a,an是正规方程组(4)的解，则 的最小二乘拟合多项式。Pn(X)kakX0证

10、 只需证明，对任意一组数b0，bl,mQn(Xi)i 0yi,bn组成的多项式mPn(Xi)i 0Qn(X)bkX0k,恒有2yi即可。mQn(Xi)i 0myi2Pn(Xi) yiQn(Xi )2Pn(Xi)m2 Qn(Xi)i 0Pn(Xi)Pn(Xi)yi2(bji 0 j 0aj)XijnkakXik 0yiajkakXik 0yijXi因为ak(k=0,1,，n)是正规方程组(4)的解，所以满足式(2),因此有mm2 2Qn(Xi) yiPn(Xi) yi 0i 0i 0故Pn(X)为最小二乘拟合多项式。*四多项式拟合中克服正规方程组的病态在多项式拟合中，当拟合多项式的次数较高时，其

11、正规方程组往往是病态的。而 且： 正规方程组系数矩阵的阶数越高，病态越严重； 拟合节点分布的区间X0，Xm偏离原点越远，病态越严重； Xi(i=0,1,，m)的数量级相差越大，病态越严重。为了克服以上缺点，一般采用以下措施： 尽量少作高次拟合多项式，而作不同的分段低次拟合； 不使用原始节点作拟合，将节点分布区间作平移，使新的节点Xi关于原点对称，可大大降低正规方程组的条件数，从而减低病态程度。平移公式为:Xi Xi 0 Xm,i 0,1, ,m2（9） 对平移后的节点Xi（i=o,i,，m）,再作压缩或扩张处理：X pXi , i 0,1, ,m（ 10）f / m P 即（m 1）/（Xi）

12、2r其中：i 0, （r是拟合次数）（11）经过这样调整可以使Xi的数量级不太大也不太小，特别对于等距节点 Xi Xo ih （i 0,1, ,m），作式（10）和式（11）两项变换后，其正规方程 组的系数矩阵设 为A,则对14次多项式拟合，条件数都不太大，都可以得到 满意的结果。变换后的条件数上限表如下：拟合次数1234con d2（A）=1435 在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交 多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。这两种方法都使正规方程 组的系数矩阵为对角矩阵，从而避免了正规方程组的病态。 我们只介绍第一种，见第三节。例如 m=19, X0=328,h=1, X1 = X0+ih，i=0,1,，19,即节点 分布在328,347 ，作二次多项式拟合时 直接用Xi构造正规方程组系数矩阵A0，计算可得16 con d2（A）2.25 10严重病态，拟合结果完全不能用。 作平移变换XiXi3283472i 0,1,19用Xi构造正规方程组系数矩阵 A，计算可得16con d2（A1）4.483868 10比cond2（A0）降低了 13个数量级，病态显著改善，拟合效果较好 取压缩因子20