最小二乘法的基本原理和多项式拟合

1、精品文档你我共享i腹有诗书气自华腹有诗书气自华最小二乘法的基本原理和多项式拟合一最小二乘法的基本原理从整体上考虑近似函数p（x）同所给数据点（xi，yi）（i=O,l,m）误差ri二pW）-yi（i=O,l,m）的大小，常用的方法有以下三种：一是误差r-二p（二）-yi（i=o,i,m）绝对值的最大值豐m”，即误差向量区Ir二（r0，ri，rm）T的范数；二是误差绝对值的和匸0-，即误差向量r的1区r2范数；三是误差平方和匸-的算术平方根，即误差向量r的2范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑2范数的平方,迟r2因此在曲线拟合中常采用误差平方和i=-来度量误差（i=

2、0,1,，m）的整体大小。数据拟合的具体作法是：对给定数据W，乙）（i=0,1,，m），在取定的函数类中，求P（x）e,使误差ri=p（二）-yi（i=0,1,m）的平方和最小，即2tp（x）y*=min.iii=01二i=从几何意义上讲，就是寻求与给定点（xi，yi）（i=0,1,m）的距离平方和为最小的曲线y=p（x）（图6-1）。函数p（x）称为拟合函数或最小二乘解，求拟合函数p（x）的方法称为曲线拟合的最小二乘法。在曲线拟合中，函数类可有不同的选取方法.二多项式拟合假设给定数据点（xi，yi）（i=0,1,），为所有次数不超过n（nm）的多项式构当拟合函数为多项式时，称为多项式拟合，满

3、足式(1)的Pn(X)称为最小二乘拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。p(x)=axkw成的函数类，现求一k=0k，使得I=p(x)yniii=0i=0axkykiik=0丿、2=min(1)显然I=X(Xaxk-y)2kiii=0k=0为a0,a，an的多元函数，因此上述问题即为求1=1(a0,a1,a由多元函数求极值的必要条件，得=2区(工axk-y)xj=0,iii)的极值问题。dakji=0k=0j=0,1,，n区(迟xj+k)aikk=0i=0(3)是关于a0,a1,aj=0,1,n的线性方程组，用矩阵表示为nXx1X2ii=0i=0区XniLi=0区Xn+1ii

4、=0a1Xy0a.1X0厶xyii:i=0：anXXnyiiLi=0区X2nii=0XniXn+1ii=0式(3)或式(4)称为正规方程组或法方程组。可以证明，方程组(4)的系数矩阵是一个对称正定矩阵，故存在唯一解。从式(4)中解出ak(k=0,1,，n)，从而可得多项式p(x)=Xaxknk=0k(5)I称为最小二乘拟合多项式Pn(X)的平方误差，记作IHI2=XP(x)-yi2niii=0可以证明，式(5)中的Pn(X)满足式(1)，即Pn(X)为所求的拟合多项式。我迟p(x)-y由式(2)可得们把i=0niiii=0IHI2=Xy2-Xa(XXky)2ikiii=0k=0i=0多项式拟合

5、的一般方法可归纳为以下几步：(1)由已知数据画出函数粗略的图形一一散点图，确定拟合多项式的次数n；(j=0,1,2n)Xxj(j=0,1,2n)Xxjy列表计算i=0i和i=0i(3)写出正规方程组，求出a0,a1,a；p(x)=axk(4)写出拟合多项式J在实际应用中，nm或nO10卯汕T6-2例2例2已知实验数据如下表i012345678xi1345678910y.i1054211234试用最小二乘法求它的二次拟合多项式。解设拟合曲线方程为y=a+ax+ax2012解得952523813813017381301725317a032_a1147a21025列表如下Ixiyix2ix3ix4i

6、xyiix2yii0110111101013592781154524416642561664352251256251050461362161296636571493432401749682645124096161287938172965612724381041001000100004040053323813017253171471025得正规方程组a=13.4597,a=3.6053a=0.2676012故拟合多项式为y二13.45973.6053+0.2676x2腹有诗书气自华*三最小二乘拟合多项式的存在唯一性的系数矩阵奇异，则其所对应的齐次方程组迟xniLi=0区xi厶x2ii=0区xn+

7、1ii=0i=0a1書y10a.1厶xyii:i=0：anxnyiiLi=0区x2ni区xni厶xn+1ii=0(7)有非零解。式（7）可写为工（区xj+k）a=0,ikk=0i=0j=0,1,n(8)将式（8）中第j个方程乘以aj（j=0,l,，n），然后将新得到的n+1个方程左工a工（迟xj右两端分别相加，得j=0J严)ak0=0Lk=0i=0因为工a其。中工(迟xj+k)ai一k=0i=0aaxj+kkjii=0j=0k=0=迟(工axj)(工axk)=jiki=0j=0k=0迟p(x)1nii=0定理1设节点x0,xi，xn互异，则法方程组（4）的解存在唯一。证由克莱姆法则，只需证明方

8、程组（4）的系数矩阵非奇异即可。用反证法，设方程组（4）axkkk=0（i=0,l,m）pn（x）是次数不超过n的多项式，它有m+ln个相异零点,须有a0=ai=an所以bxkk=0k，恒有由代数基本定理，必=0，与齐次方程组有非零解的假设矛盾。因此正规方程组（4）p（x）=axk必有唯一解。定理2设a0aran是正规方程组（4）的解，则nk=0k是满足式（1）的最小二乘拟合多项式。证只需证明，对任意一组数b0,Sbn组成的多项式(x)-y1挹p(x)-y1niinii即可。i=0i=0区。(x)-y1-迟p(x)-y1niiniii=0i=0=区q(x)-p(x)1+2区q(x)-p(x)1

9、p(x)-ynininii=00+2竝i=0j=0b一a)xjjjii=01工axk一ykiiLk=0aji=0kik=0因为ak(k=O,l,，n)是正规方程组(4)的解，所以满足式(2)，因此有Xq(x)-y1一迟p(x)-y10niiniii=0i=0故Pn(x)为最小二乘拟合多项式。*四多项式拟合中克服正规方程组的病态在多项式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。而且正规方程组系数矩阵的阶数越高，病态越严重；拟合节点分布的区间SJ偏离原点越远，病态越严重；x(i=O,l,，m)的数量级相差越大，病态越严重。为了克服以上缺点，一般采用以下措施：尽量少作高次拟合多项式

10、，而作不同的分段低次拟合;不使用原始节点作拟合，将节点分布区间作平移，使新的节点xi关于原点对称，可大大降低正规方程组的条件数，从而减低病态程度。平移公式为：i=0,1,，m对平移后的节点xi(i=O,l,，m),再作压缩或扩张处理：x；=px.,i=0,1,m(10)P=(m+1)/()2r其中i=0,(r是拟合次数)(11)经过这样调整可以使x；的数量级不太大也不太小，特别对于等距节点二=x0+ih(i=0,1，,m)，作式(io)和式(11)两项变换后，其正规方程组的系数矩阵设为A，则对14次多项式拟合，条件数都不太大，都可以得到满意的结果。变换后的条件数上限表如下：拟合次数1234CO

11、nd2(A)=19.950.3435在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。这两种方法都使正规方程组的系数矩阵为对角矩阵，从而避免了正规方程组的病态。我们只介绍第一种，见第三节。例如m=19,xo=328,h=l,x1=xo+ih，i=O,l,，19,即节点分布在328,347,作二次多项式拟合时直接用xi构造正规方程组系数矩阵Ao，计算可得cond(A)=2.25x101620严重病态，拟合结果完全不能用。作平移变换i=0,1,19328+347x二x-ii2用xi构造正规方程组系数矩阵A，计算可得

12、cond(A)=4.483868x101621比COnd2(A。)降低了13个数量级，病态显著改善，拟合效果较好。取压缩因子20p二沁0.14984丈9(兀)4i=0作压缩变换x：=px，i=丄，19用x；构造正规方程组系数矩阵A2，计算可得COnd2(A2)=6-839又比cond2(A1)降低了3个数量级，是良态的方程组，拟合效果十分理想。如有必要，在得到的拟合多项式匕(X*)中使用原来节点所对应的变量X，可写为x+xQ(x)=p(p-(x7m)nn2仍为一个关于X的n次多项式，正是我们要求的拟合多项式。出师表两汉：诸葛亮先帝创业未半而中道崩殂，今天下三分，益州疲弊，此诚危急存亡之秋也。然

13、侍卫之臣不懈于内，忠志之士忘身于外者，盖追先帝之殊遇，欲报之于陛下也。诚宜开张圣听，以光先帝遗德，恢弘志士之气，不宜妄自菲薄，引喻失义，以塞忠谏之路也。宫中府中，俱为一体；陟罚臧否，不宜异同。若有作奸犯科及为忠善者，宜付有司论其刑赏，以昭陛下平明之理；不宜偏私，使内外异法也。侍中、侍郎郭攸之、费祎、董允等，此皆良实，志虑忠纯，是以先帝简拔以遗陛下：愚以为宫中之事，事无大小，悉以咨之，然后施行，必能裨补阙漏，有所广益。将军向宠，性行淑均，晓畅军事，试用于昔日，先帝称之曰“能”，是以众议举宠为督：愚以为营中之事，悉以咨之，必能使行阵和睦，优劣得所。亲贤臣，远小人，此先汉所以兴隆也；亲小人，远贤臣，此后汉所以倾颓也。先帝在时，每与臣论此事，未尝不叹息痛恨于桓、灵也。侍中、尚书、长史、参军，此悉贞良死节之臣，愿陛下亲之、信之，则汉室之隆，可计日而待也。臣本布衣，躬耕于南阳，苟全性命于乱世，不求闻达于诸侯。先帝不以臣卑鄙，猥自枉屈，三顾臣于草庐之中，咨臣以当世之事，由是感激，遂许先帝以驱驰。后值倾覆，受任于败军之际，奉命于危难之间，尔来二十有一年矣。先帝知臣谨慎，故临崩寄臣以大事也。受