最小二乘法曲线拟合原理及matlab实现

1、曲线拟合(curve-fitting):工程实践中，用测量到的一些离散的数据(x,yi),i =0,1,2,.m求一个近似的函数x)来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势(即使 x)最好地逼近f(x),而不必满足插值 原则。因此没必要取甲(Xi) = yi,只要使§=%Xi)-yi尽可能地小)。原理：给定数据点( %, M),i =0,1,2,.m。求近似曲线(x)。并且使得近似曲线与f(x)的偏差最 小。近似曲线在该点处的偏差& =华(乂) yi , i=1,2,.,m。常见的曲线拟合方法：1. 使偏差绝对值之和最小血。距1二£|心)-Nl&

2、quot;r=li=l2. 使偏差绝对值最大的最小min max |有 |二|W i3. 使偏差平方和最小硕/片=£(。-凹)2伊 *=1i=l最小二乘法：按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法，称为最小二乘法。推导过程：1. 设拟合多项式为：(x) =a0 a1x . akxk2. 各点到这条曲线的距离之和，即偏差平方和如下:'三一(烦 十街日+十以斜)|-. i=i3. 问题转化为求待定系数 ao.ak对等式右边求ai偏导数，因而我们得到了:2T 曲 +«i T + + 以-/)|=° j=(2 (曲 + 疗 l * +

3、 =+ fljt )| .1 0j=(一2 2卜 一 k地 + «I .¥ + +纽一/ ? = 0. t=l4、把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵:5. 将这个范德蒙得矩阵化简后可得到便得到了系数矩阵 A,同时，我们也6.也就是说 X*A=Y，月S么 A = (X'*X)-1*X'*Y 就得到了拟合曲线。MATLAB 实现:MATLAB提供了 polyfit ()函数命令进行最小二乘曲线拟合。调用格式：p=polyfit(x,y,n)p,s= polyfit(x,y,n)p,s,mu=polyfit(x,y,n)x,y为数据点，n为多项

4、式阶数，返回p为籍次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R (对x进行QR分解的三角元素)、df(自由度)、 normr(残差)用于生成预测值的误差估计。p,s,mu=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合 中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。polyval()为多项式曲线求值函数，调用格式：y=polyval(p,x)y,DELTA=polyval(p,x,s)y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。y,DELTA=polyval(p,x,s)使用polyfit函数的选项输

5、出s得出误差估计 Y DELTA。 它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA 将至少包含50%的预测值。如下给定数据的拟合曲线：x=0.5,1.0,1.5,2.0,2.5,3.0,y=1.75,2.45,3.81,4.80,7.00,8.60膈：MATLAB程序如下：x=0.5,1.0,1.5,2.0,2.5,3.0;y=1.75,2.45,3.81,4.80,7.00,8.60;p=polyfit(x,y,2)x1=0.5:0.05:3.0;y1=polyval(p,x1);plot(x,y,'*r',x1,y1,'-b&#

6、39;)运行结果如图1计算结果为：p =0.5614 0.8287 1.1560即所得多项式为 y=0.5614xA2+0.08287x+1.1556098765432 10.511.522.53图1最小二乘法曲线拟合示例对比检验拟合的有效性：例：在0,司区间上对正弦函数进行拟合，然后在0,2 区间画出图形，比较拟合 区间和非拟合区间的图形，考察拟合的有效性。在MATLAB中输入如下代码：clearx=0:0.1:pi;y=sin(x);p,mu=polyfit(x,y,9)x1=0:0.1:2*pi;y1=sin(x1);%实际曲线y2=polyval(p,x1);%根据由区间0到pi上进行

7、拟合得到的多项式计算 0到2pi上的函数值，%需要注意的是polyval ()返回的函数值在pi到2pi上并 没有进行拟合plot(x1,y2,'k*',x1,y1,'k-')运行结果：p =0.00000.0000-0.00030.00020.00800.0002-0.16680.00001.00000.0000mu =R: 10x10 double df: 22 normr: 1.6178e-0710.80.60.40.20-0.2-0.4-0.6-0.8-101234567MATLAB的最优化工具箱还提供了Isqcurvefit ()函数命令进行最小二乘曲

8、线拟 合(Solve nonlinear curve-fitting (data-fitting) problems in least-squares sense) 调用格式：x = lsqcurvefit(fun,x0,xdata,ydata)x = lsqcurvefit(fun,x0,xdata,ydata,lb,ub)x = lsqcurvefit(fun,x0,xdata,ydata,lb,ub,options)x = lsqcurvefit(problem)x,resnorm = lsqcurvefit(.)x,resnorm,residual = lsqcurvefit(.)x,

9、resnorm,residual,exitflag = lsqcurvefit(.)x,resnorm,residual,exitflag,output = lsqcurvefit(.)x,resnorm,residual,exitflag,output,lambda = lsqcurvefit(.) x,resnorm,residual,exitflag,output,lambda,jacobian=x0为初始解向量；xdata, ydata为满足关系 ydata=F(x, xdata)的数据；lb、ub为解向量的下界和上界，若没有指定界，贝U lb= , ub=;options为指定的优化

10、参数;fun 为拟合函数，其定义方式为:x = lsqcurvefit(myfun,x0,xdata,ydata),其中 myfun 已定义为 function F = myfun(x,xdata)F =计算x处拟合函数值fun的用法与前面相同；resnorm=sum (fun(x,xdata)-ydata).A2)，即在 x 处残差的平方和；residual=fun(x,xdata)-ydata，即在 x 处的残差；exitflag为终止迭代的条件；output为输出的优化信息；lambda为解 x处的 Lagrange 乘子；jacobian为解x处拟合函数fun的jacobian矩阵。例

11、：lsqcurvefit()优化程序Data =.0.00005.89550.10003.56390.20002.51730.30001.97900.40001.89900.50001.39380.60001.13590.70001.00960.80001.03430.90000.84351.00000.68561.10000.61001.20000.53921.30000.39461.40000.39031.50000.54741.60000.34591.70000.13701.80000.22111.90000.17042.00000.2636；t = Data(:,1)；y = Data

12、(:,2)；% axis(0 2 -0.5 6)plot(t,y,'ro')title('Data points')%We would like to fit the function y =c(1)*exp(-lam(1)*t) + c(2)*exp(-lam(2)*t) to the data%The Isqcurvefit function solves this type of problem easily.%To begin, define the parameters in terms of one variable x:%x(1) = c(1)%x

13、(2) = lam(1)%x(3) = c(2)%x(4) = lam(2)%Then define the curve as a function of the parameters x and the data t:F = (x,xdata)x(1)*exp(-x(2)*xdata) + x(3)*exp(-x(4)*xdata);x0 = 1 1 1 0;x,resnorm,exitflag,output = lsqcurvefit(F,x0,t,y)hold onplot(t,F(x,t) hold offFsumsquares = (x)sum(F(x,t) - y).A2);opt

14、s = optimset('LargeScale','off);xunc,ressquared,eflag,outputu=.fminunc(Fsumsquares,x0,opts)fprintf('There were %d iterations using fminunc,' .'and %d using lsqcurvefit.n', .outputu.iterations,output.iterations)fprintf('There were %d function evaluations using fminunc,

15、' .'and %d using lsqcurvefit.', .outputu.funcCount,output.funcCount)type fitvectorx02 = 1 0;F2 = (x,t) fitvector(x,t,y);x2,resnorm2,exitflag2,output2 = lsqcurvefit(F2,x02,t,y)fprintf('There were %d function evaluations using the 2-d '.'formulation, and %d using the 4-d formul

16、ation.', .output2.funcCount,output.funcCount)xObad = 5 1 1 0;xbad,resnormbad,exitflagbad,outputbad=.lsqcurvefit(F,x0bad,t,y)hold onplot(t,F(xbad,t),'g')legend('Data','Global fit','Bad local fit','Location','NE') hold offfprintf('The residual no

17、rm at the good ending point is %f,' .'and the residual norm at the bad ending point is %f.', . resnorm,resnormbad)displayEndOfDemoMessage(mfilename)拟合效果如下：543210 00.20.40.60.811.21.41.61.82Data pointsDataGlobal fitBad local fit直线的最小二乘拟合：y= a+bx式中有两个待定参数，a代表截距,b代表斜率。对丁等精度测量所得到的 N组数据（xi, y

18、i） , i = 1, 2，N, xi值被认为是准确的，所有的误差只联 系着yi。下面利用最小二乘法把观测数据拟合为直线。用最小二乘法估计参数时，要求观测值 yi的偏差的加权平方和为最小。对 丁等精度观测值的直线拟合来说，可使下式的值最小：上式分别对a、b求偏导得：方 NN厂 £凹-(。+妩)=-2£(y -。-妊)=o、&心 LJ M4>/2-=T-&Y+Tf/y3瓦整理后得到方程组：解上述方程组便可求得直线参数 a和b的最佳估计值。方(A；)(A)-(以此秣)片_、(!>心)一(1>)(2>)1、可看成是一阶多项式拟合，跟前面曲线拟合方法一样。2、利用linefit()函数进行最小二乘的直线拟合使用：clearx=0.5