最小二乘法概述

最小二乘法一、 简介最小二乘法，又称最小平方法，是一种数学技术。它通过最小误差的平方和寻找数据函数的最佳匹配。最小二乘法是提供“观测组合”的主要工具之一，它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。如已知两变量为线性关系y二a+bx，对其进行n(n>2)次观测而获得n对数据。若将这n对数据代入方程求解a,b之值则无确定解。最小二乘法提供了一个求解方法，其基本思想就是寻找“最接近”这n个观测点的直线。最小二乘法不仅是19世纪最重要的统计方法，而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。作为其进一步发展或纠正其不足而采取的对策，不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。最小二乘法之于数理统计学，有如微积分之于数学，这并非夸张之辞。统计学应用的几个分支如相关分析、回归分析、方差分析和线性模型理论等，其关键都在于最小二乘法的应用不少现代的统计学研究是在此法的基础上衍生出来，作为其进一步发展或纠正其不足之处而采取的对策，如回归分析中一系列修正最小二乘法而产生的估计方法等就是最好的例子。二、 创立思想勒让德在先驱者解线性方程组的基础上，以整体的思想方法创立了最小二乘法；高斯由寻找随机误差函数为突破，以独特的概率思想导出了正态分布，详尽地阐述了最小二乘法的理论依据。最小二乘法(OLSE)的思想就是要使得观测点和估计点的距离平方和达到最小，在各方程的误差之间建立一种平衡，从而防止某一极端误差，对决定参数的估计值取得支配地位，有助于揭示系统的更接近真实的状态。这里的“二乘”指的是用平方来度量观测点与估计点的远近，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。三、 原理设一组数据(x,y)(i二1,2,…,n),现用近似曲线y7(x)拟合这组数据，“拟ii合得最好”的标准是所选择的申(x)在X处的函数值申(x)(i二1,2,…,n)与i iy(i=1,2,…,n)相差很小，即偏差(也称残差)申(x)-y(i=1,2,…,n)都很小•一i i i种方法是使偏差之和工［申(x)—y］很小来保证每个偏差都很小•但偏差有正有i=1负，在求和的时候可能相互抵消•为了避免这种情况,还可使偏差的绝对值之和工I申(x)-yI为最小•但这个式子中有绝对值符号，不便于分析讨论•由于任何实i ii=1数的平方都是正数或零，因而我们可选择使“偏差平方和工冷(x)-y］2最小”的iii=1原则来保证每个偏差的绝对值都很小，从而得到最佳拟合曲线y=p(x)•这种“偏差平方和最小”的原则称为最小二乘原则，而按最小二乘法原则拟合曲线的方法称为最小二乘法或称最小二乘曲线拟合法.一般而言，所求得的拟合函数可以使不同的函数类，拟合曲线P(x)都是由m个线性无关函数Q(x)，p(x)，„，p(x)的线性组合而成，即1 2 mp(x)=p(x)=ap11(x)(x)(x)(m<n一1)，其中a,a，…，a为待定系数•线性无关函数p(x)，p(x),…p(x)，称为基1 2 m 1 2 m函数，常用的基函数有：多项式：1,x，x2，„，xm；三角函数：sinx，sin2x，•…,sinmx;指数函数：eS,e»x, ,ej,e^x,…，最小二乘法又称曲线拟合,所谓“拟合”，即不要求所作的曲线完全通过所有的数据点,只要求所得的近似曲线能反映数据的基本趋势，它的实质是离散情况下的最小平方逼近.四、运用曲线拟合做最小二乘法1—元线性拟合已知实测到的一组数据(x,y)(i=1,2,…,n),求作这组数据所成的一元线性关系式•ii设线性关系式为y=a+bx，求出a和b即可.Rs Rs令s=F(y一a一bx)2,则a,b要满足一=0,一=0,即,贝I」a,b要满足i i Ra Rbdads一=一2为(y-a-bx)=0ddads一=一2为(y-a-bx)=0da ,i i< i=1ds .、一=一2为(y-a-bx)x=0db . i i i化简得p nna乙x十b乙x2=乙xyi i iii=1 i=1 i=1从中解出V p、 >n1n乙xy一乙x乙ii *b=i=1n乙x2—ii=1i4=1——®i)、i=1丿 17' b7'a=—乙y——乙xn.,in.,ii=1 i=1(1)法二：将x,y代入y=a+bx得矛盾方程组y=a+bx■i iy=a+bx2 2y=a+bxnn令A=r1x)11x2，B=ry]1y2Jx丿nlyn丿,则(2)式可写成B=A,则对应的正规方程组为AtB=AtA，所以=(AtA)-1AtB，其中A称为结构矩阵，B称为数据矩阵，ATA称为信息矩阵，atB称为常数矩阵.2多元线性拟合设变量y与n个变量x，x，„，x(n>1)内在联系是线性的，即有如下关系式1 2 ny=a+Yax，设x的第i次测量值为x，对应的函数值为y(i=1,2,…,m)，则偏差平0 jj j j i方和为s=为(y-y')2=z(y-a-为ax)2,为了使s取最小值得正规方程组ii i0 iiji=1 i=1 j=1dsda0ds<da=-2为i=1=-dsda0ds<da=-2为i=1=-2昱i=1>n1y-a-乙axi0jij丿j=i 丿y-a一工axi0 j=1jij丿x=0iidsdani=1yi-a0-为j=1jijinTOC\o"1-5"\h\zI ( 、I》xa=lLy0 .Iij丿j.ij=1z=1, I=1 k=1,2,…,n. (4)xa+乞|》xxa=》xyik0 \ijik丿j ikili=1 j八i=1 丿 i=1将实验数据(x,y)代入(4)式，即得a,a, ,a.ii 0 1 m3指数函数拟合科学实验得到一组数据(x,y)(i=1,2,…,n)时，还可以考虑用指数函数为基函数来拟ii合，此时设拟合函数具有形式y=aebx(a,b为待定系数)•对上式两端取自然对数可得：(9)Iny=Ina+(9)令Y=Iny,b=lna，则(9)式可转化为一元线性函数形式Y=b+bx，此时将指数函00数拟合转化成了一元线性拟合，利用一元线性拟合中的两种方法均可求出b°和b，继而根据a=e如可求出a，从而得出因变量y与自变量x之间的函数关系式y=aebx=ebc+bx4对数函数拟合科学实验得到一组数据(x,y)(i=1,2,…,n)时，还可以考虑用对数函数为基函数来拟ii合，此时设拟合函数具有形式y=a+blnx(x>0)(a,b为待定系数).b>0时，y随x增大而增大，先快后慢；b<0时，y随x增大而减小，先快后慢•当以y和lnx绘制的散点图呈直线趋势时，可考虑采用对数函数描述y与x之间的非线性关系，式中的b和a分别

为斜率和截距•这时令X=Inx，就可以利用一元线性拟合的方法来求解.更一般的对数函数还可设为y=a+bIn（x+k）,式中k为一常量.五举例例1使电流通过2O的电阻，用伏特表测量电阻两端的电压V.测得数据如下表:It/A1246810Vt/V1.83.7&212.015.820.2试用最小二乘法建立I与V之间的一元经验公式（有效数字保留到小数点后第3位）.解：可取一次线性关系式V=a+bl作为I与V之间的一元经验公式.将数据代入得矛盾方程组a+b=1.8a+2b=3.7a+4b=8.2Va+6b=12.0a+8b=15.8a+10b=20.2‘11「‘11「‘1.8'123.714，B=8.21612.01815.8、110,、20.2‘,则上述矛盾方程组可写成矩阵形式A正规方程组AtA-AtB=0,将数据代入即得‘631、‘a]<31221丿3丿‘61.7、、442.4丿解之得‘61.7、、442.4丿Ib=2.032V=-0.2+15I2..例2在在开发一种抗过敏性的新药时，要对不同剂量的药效进行实验.10名患者各服用了该新药的一个特定的剂量•药物消失时立即纪录•观测值列于下表中•x是剂量，y是症状消除持续的日数•用7个不同的剂量，其中3个剂量重复给两名患者•试给出y与x之间的元经验公式（保留3位有效数字）.12345678910£x/mgi334566788959y/di95129141622182422151

x2i991625363649646481389xyii2715484584961541441921981003解：可设y与X之间的经验公式为y二a+bx.由上表可知,Sx=59Sx=59,Sy=151,Sxy=1003,Sx2=389,|Si ii=1 i=1xyiii=1X2ii=1=3481再由（1）式可求得,10^xy—SxSyii iib=10^xy—SxSyi