最小二乘法-预备知识

最小二乘法

函数的逼近方法关于函数的n次多项式逼近方法，已知有下面的几种：1.Taylor展式如果误差为2.插值多项式

除了用多项式来逼近一个函数f(x),也可以用其它具有某种共同特征的函数来逼近f(x)

，并求出其最佳逼近。数据拟合的最小二乘法当我们得到的实验数据是准确值时，可以用代数插值的方法，求出原函数的近似表达式。经常由观察或测试可得到y=f(x)的一组离散数据：但是，这组离散数据由观察或测试得到，往往并非完全精确，如果用插值的方法来逼近，效果就不会太好。

这时可以考虑用最小二乘法进行数据拟合，给出逼近曲线。其特点是：所求的逼近曲线不一定经过这些离散点，但却尽可能的靠近原曲线。(xi,yi),i=0,1,…,m最小二乘拟合曲线Lagrange插值曲线但这样分别考虑太困难，所以我们应考虑整体误差一、数据拟合最小二乘法的思想已知离散数据：(xi,yi),i=0,1,2,…,m,假设我们要拟合的函数为f(x)，将xi

带入则得函数值yi*=f(xi)，由于yi的不准确性，在每一个点都会产生一个误差：我们希望所求的f(x),使得其在每一个xi处所产生的误差δi的绝对值|δi|达最小。应该使整体达最小。

通过这种度量标准求得拟合曲线y=f(x)的方法，就称作曲线拟合的最小二乘法。

按照以上思想来求出f(x)的拟合曲线，首先需要确定出f(x)所属的函数类，然后进一步求出具体函数，具体按照以下步骤进行。二、最小二乘法拟合曲线的步骤第二步：根据图示，确定曲线所属的函数类型，例如多项式函数类、三角函数类、指数函数类、对数函数类等。假设所确定的函数类的基函数为第一步：根据如下已知点的坐标，在坐标系里描点则所求的函数可以表示为：只要确定了系数，就可以求出拟合曲线。第三步：对于其整体误差所求的解应该使得上式达到极小，由极值原理应有：令：这样由及求得整理为令则有这样就给出了求解方程组：同样称其为法方程组。解法方程组求得便得到最小二乘拟合曲线为了便于求解，我们再对法方程组的写出作一分析。得到法方程组第j行的元素为：由于是法方程组的系数矩阵为：令右端第二个矩阵为：则系数矩阵可以表示为：关于法方程组的右端项：由得到最后可以将法方程组表示为：其中这样会更快的写出法方程组来。如果所求得最小二乘拟合函数为n次多项式，则：这时：误差：三、数值例子

例1根据如下离散数据拟合曲线并估计误差x1234678y2367532解:step1:描点

12345678

7654321*******

step2:从图形可以看出拟合曲线近似的为一条抛物线：

step3:根据基函数给出法方程组由得到即又求得法方程组为：解得：求得拟合二次多项式函数误差为：先计算出拟合函数值：得到：或者：xi1234678pi1.72724.00015.50026.22755.36373.77261.4087

解：在坐标轴描点例2根据如下离散数据拟合曲线并估计误差xi-3-2-10123yi4230-1-2-5从离散点的图形上看不出原函数属于哪一类型，一般多采用多项式拟合，在此我们用二次多项式拟合。根据如下离散数据给出法方程组xi-3-2-10123yi4230-1-2-5这时求得得到法方程组所求二次拟合曲线为

拟合曲线的平方偏差为由解得：拟合曲线在实际中有广泛应用，特别在实验、统计等方面是如此。通常，由一组试验或观测取得数据，这些数据先在平面上标出，然后确定拟合曲线的类型。例如，电阻与导线的长度呈线性关系，如何确定具体的线性表示式，可通过对不同长度的导线测试电阻所得数据作拟合曲线而得。对于具体问题，拟合曲线的类型往往是已知的，所对应的公式也叫做经验公式，只需取定曲线的具体参数即可。

下面给出一个已知经验公式，如何确定其中参数的例子。例3对如下数据作形如y=aebx的拟合曲线

解:由于函数集合Φ={aebx|a,b∈R}不成为线性空间，因此直接作拟合曲线是困难的。

在函数y=aebx两端分别取对数得到这时，需要将原函数表进行转换如下令

z=lny,A=lna,B=b,则

z=A+Bxlny=lna+bxxi12345678yi15.320.527.436.649.165.687.8117.6对z=A+Bx作线性拟合曲线，取这时xi12345678yi15.320.527.436.649.165.687.8117.6xi12345678zi2.723.023.313.603.894.184.484.77得方程组解得

于是有拟合曲线为：例4利用最小二乘法解下列超定方程组

解:超定方程组很难得到一组值使得每一个方程都成立。一般情况下用尽量使每一个方程都成立的一组值作为超定方程的近似解。这时最小二乘法就可以用于解这类方程。

采用最小二乘法，考虑如下的误差函数：所求的最小二乘解应该满足同理可得：令偏导数等于零法方程组为：解此方程组得最小二乘解：

x1=-0.3141x2=0.1333x3=0.0269关于法方程组的获得，可以用更简便的方法，先将方程组用矩阵表示

简化为

两边同乘以系数矩阵的转置矩阵，就得到所需要的法方程组：

与前面计算的法方程组相同，解值得最小二乘解x1=-0.3141x2=0.1333x3=0.0269例5欲使[0,1]上用三次多项式逼近f(x)=ex

，应如何选取插值节点？解：需要选取四个节点，应选为即x1=0.96194，x2=0.69134x3=0.30866，x4=0.03806

数据拟合的最小二乘法1、最小二乘法拟合曲线的步骤2、法方程组的写出3、平方误差实验练习1.求a,b，使达到极小。2.给出数据表使分别作出线性、二次曲线拟合。xi-1.00-0.500.000.250.751.00yi0.22000.80002.00002.5003.8004.2003.用最小乘法求一个形如y=a+bx2的经验公式，使与下列数据拟合，并计算均方误差。xi1925313344yi19.032.249.073.397.84.对下列数据求形如y=aebx的拟合曲线5.用最小二乘法解方程组

xi12345yi16.427.244.573.5120.4

12345678

7654321*******Oxy*