最小二乘法应用研究(1)

1、 乐山师范学院毕业论文（设计） 本科生毕业论文（设计）系（院） 数学与信息科学学院 专 业 数学与应用数学 论文题目 最小二乘法的应用研究 学生姓名 曹人月 指导教师 冯新磊（副教授） （姓名及职称）班 级 2011级（本）3级 学 号 11310137 完成日期：二0一五 年 四 月最小二乘法的应用研究曹人月数学与信息科学学院 数学与应用数学 11310137【摘要】文中简单阐述了最小二乘法的原理，对利用最小二乘原理的几种简单拟合曲线进行了讨论，包括：一元线性拟合、多元线性拟合、多项式拟合、指数函数拟合等，并利用程序对线性最小二乘拟合进行了实现.【关键词】最小二乘法 拟合 应用 1 引言最小

2、二乘法最早出现在1805年，由天文学家勒让德发表在论著计算彗星轨道的新方法附录中，但作为一种计算方法，其在应用数学领域还属于萌芽阶段.直至1809年，数学家高斯从纯代数的角度进行研究，才形成了经典最小二乘法理论.随着社会的不断发展与进步，数学与计算机技术的有效结合，使得最小二乘法在各个领域得到了飞速的发展.如今，最小二乘法的理论研究已经比较成熟，逐渐分化成各种较为专业的方向.现有最小二乘理论都是基于经典最小二乘理论而形成，其普遍存在实际计算操作较为复杂的弊端，为此文中将其与现代数学软件结合，使其更加适用于实际生活.2 最小二乘法的原理在实验中，每当我们研究一组变量时，通常会得到一系列的测量点.

3、为了研究它们的变化趋势，将所有测量点画在坐标系中，找出相应的拟合函数，使得所有测量点距离曲线最近. 为了便于研究，我们选择对直线拟合（其中，为待估参数）这种简单情况进行讨论.若，为变量的测量值，表示测量值的“真实值”（即最佳估计值），表示相应的误差. 现用测量值，来估计参数，从而实现直线拟合.要使所有测量点距离最近，则实际点到测量点的距离最小.故拟合准则为.由微分学求极值的原理可知：要使达到最小值，只须，.由此，可求得参数，.推导一 假设，即测量值的横坐标没有误差.此时拟合准则为.即测量点与对应点纵坐标差的平方和取得最小值.推导二 假设，即测量值的纵坐标没有误差.此时拟合准则为.即测量点与对应

4、点横坐标差的平方和取得最小值.推导三 假设，即测量值的横、纵坐标都有误差.此时拟合条件为.其中，为测量值在轴和轴上的误差，即此时的几何意义为测量点到拟合曲线最短距离.这三种推导都是现有的最小二乘理论，其中最常用的是第一种.通过推导，我们可以看到无论哪种理论在估计精度上都不可能达到百分之百，并且随着拟合情况的复杂化，在曲线拟合化为直线拟合的过程中又会进一步产生误差.因此，从结果准确度考虑，我们在使用最小二乘法时应尽可能地避免计算误差.3 拟合函数的确定在了解最小二乘法的原理后，我们可以知道在现实生活中，只要任意的给定两个变量，的一组测量数据，都可以通过最小二乘法进行强行拟合，从而将毫无关系的数据

5、变为线性关系.但这条直线，并不一定有效地反映测量数据之间的关系以及未来的发展趋势.为此，我们一方面可以建立在已有经验的基础上选择有意义的方程，另一方面我们应该对拟合效果和实际情况进行比对，从而确定最佳的拟合方式，真实有效地反映测量数据间的实际关系.因此，我们可以采用相关系数法对变量，的线性相关程度进行检验.公式如下 （即为和的相关系数）， ，.结合相关系数公式，我们可以得残差平方和.由于我们可知，即.因此，越接近，的值就越接近，和的线性关系就越好.例1 人口增长问题日益突出，有关部门做出了世界人口统计.表1 世界人口数表年196019611962196319641965196619671968

6、人口29.7230.6131.5132.1334.3432.8533.5634.2034.83解 对表中数据直接用线性关系强行拟合，根据最小二乘原理，即有残差平方和.令得 即，所以生产量与年份关系满足线性关系.从表中我们可以明显的看出人口与年份呈现递增关系，而直接采用线性拟合得出的却是递减关系，这明显是不符合实际情况的.出现这种反差的原因就在于没有考虑散点图的发展趋势，随意选取拟合曲线进行强行拟合.因此，我们在对实验数据进行拟合的时候，必须依据散点图的发展趋势来选择正确的拟合曲线，并对拟合函数进行相关性检验.在后面第九部分中，对该例题中拟合曲线的选取进行了详细的演示.4 一元线性拟合例2 测得

7、某电阻线在温度时的电阻如表2所示.表2 电阻随温度变化表i123456719.125.030.136.040.045.150.076.3077.8079.2580.8082.3583.9085.10解 将表中的点描在直角坐标系中，发现电阻随时间的变化趋势近似于一条直线.图1 电阻随时间变化图我们可以将其看作一元线性关系，即有成立.我们可以发现，无论，取何值，都不可能使以上方程组成立，只能找到一组参数，使误差达到极小.在这里，将与看作一元线性关系，由题知有个实验点，利用最小二乘法原理进行一元线性拟合即能求两个未知参数，.法一 令，则，应该满足， .即 ，化简得，解得.此题中，代入上述解即可得到相

8、应的,.法二 将代入得 . 令 ，.则可将方程组改写为，即得，所以有.将相应数据代入即可得到,.5 多元线性拟合当影响变量的因素不止一个，而是有（>1）个变量时，我们通过次测量可以得到下表. 表3 对进行次测量表编号12则变量与变量之间的线性关系为.误差平方和.分别对参数求偏导得.化简得 .把测量数据代入化简结果就能得到.6 多项式拟合在现实生活中的数据很可能不是线性变化的，这时我们以次多项式来拟合与的函数关系.若令，即能实现曲线化直，得到.对个测量值有，将其代入 .得多项式拟合正规方程 .矩阵形式为.求解该矩阵便可得到.7 能转化为线性拟合的非线性拟合线性最小二乘拟合在选定拟合函数类后

9、，待定参数全部为线性.其中一元线性拟合和简单的多项式拟合是最常见的线性拟合形式.但实际应用中，有些情况下得出的数据分布（散点图）所呈的曲线形状，用多项式拟合并不能反应数据的变化趋势，需以指数、双曲线、反比例等类型的函数去拟合，这时的待定参数可能为非线性，我们依然以误差向量的二次方最小为拟合原则，因此称为非线性最小二乘拟合.我们可以通过变量代换、取对数等方法将非线性模型转变为线性模型，继而用线性拟合对测量数据进行处理.对于实际的曲线拟合问题，一般先在直角坐标系上描出相应散点图，观察散点图整体形状，选用相近的曲线表达式作为拟合方程，再通过适当的变量代换就能把非线性的拟合转化为线性拟合问题.下表列举

10、了几类非线性拟合转变为线性拟合的情况.表4 非线性拟合转变为线性拟合表曲线拟合方程变换关系变换后的线性拟合方程，在科学实验和生产实践中，为了使数据拟合更符合实际情况，我们需要根据已有的知识和散点图的分布形状来选择适当的曲线. 观察散点图形状，若形状接近于直线，可采用一元线性函数拟合；若形状接近于抛物线，可采用二次多项式拟合；若形状特点是开始曲线上升较快，随后逐渐变慢，可采用双曲线型函数或指数型函数进行拟合.8 用MATLAB实现最小二乘法作为一种科学计算软件,不仅具有强大的矩阵计算和数据可视化能力,其在数值分析、优化、数据拟合、图像处理等领域也具有明显优势. 中的线性最小二乘拟合一般是对多项式

11、进行拟合，可以将其看作函数的线性组合. 常用的线性最小二乘拟合函数有.函数的调用格式为a=polyfit(x,y,m) %对给定数据做m次多项式拟合y=polyval(a,x) %调用拟合出来的多项式计算在x处的值，即求预测值 .说明 同长度的数组，需要拟合的实验数据；输出拟合多项式系数，从高次到低次；拟合多项式次数.例3 测得12名高中生的身高与腿长的测量数据如表4.表4 身高与腿长测量数据表身高145146148150152154156157158159161162腿长85879091929498989699100101试研究身高与腿长的关系.并预测身高为149,155,163的学生的腿长

12、为多少？解 在输入以下程序x=145 146 148 150 152 154 156 157 158 159 161 162;y=85 87 90 91 92 94 98 98 96 99 100 101;plot(x,y,'o'); .得到身高腿长散点图如下图2 腿长随身高变化散点图观察散点图，腿长随身高变化类似于直线变化，因此选择一元线性拟合.线性拟合程序如下x=145 146 148 150 152 154 156 157 158 159 161 162;y=85 87 90 91 92 94 98 98 96 99 100 101;plot(x,y,'o'

13、;); %绘制散点图a=polyfit(x,y,1); %做1次多项式拟合z=polyval(a,x) %求预测值plot(x,y,'o',x,z,'r-') %拟合效果对比图xlabel('身高'),ylabel('腿长').经程序运行后得到参数=0.8913 ，=-43.0109.将身高149,155,163分别代换程序中的z=polyval(a,x)中的，再删除程序z=polyval(a,x)之后的代码，运行即得到，.即身高149,155,163的学生腿长分别为90,95,102.图3 腿长随身高变化拟合对比图9 应用最小二

14、乘法的几个问题最小二乘法在数据处理方面效果显著，但使用中极易出现误差，甚至造成错误的结果.因此，在使用时应注意以下几个问题.慎重选择拟合关系在实际问题中，选择适当的拟合关系是一项十分慎重的工作.我们必须借助已有的知识经验，认真观察实验数据的散点图，选择恰当的拟合曲线，必要时可以选择几条曲线对比拟合结果后选择最佳曲线.自变量的选择在实际工作中，对变量采用不同的拟合原则，结果会不一样.我们可以根据变量的误差情况灵活选择拟合原则.特别注意当两个变量都有误差时，应使用双变量最小二乘原则进行处理.加权最小二乘法在实验测量值非等精度情况下，加权最小二乘法能不同程度的消除误差因素，使结果更加准确可靠.设拟合

15、函数为，当的值为时，的实测值为.取，加权差平方和为.上式中的为个实验点的权重因子，因此，要得到较高精度的拟合参数只需选取合适的权重因子即可.10 最小二乘法的应用举例例4 人口增长问题日益突出，有关部门做出了世界人口统计.表5 人口数随年份变化表年196019611962196319641965196619671968人口29.7230.6131.5132.1334.3432.8533.5634.2034.83解 在中输入t=1960 1961 1962 1963 1964 1965 1966 1967 1968;N=29.72 30.61 31.51 32.13 32.34 32.85 33

16、.56 34.20 34.83;plot(t,N,'*'); xlabel('年份'),ylabel('人口数')得到人口数随年份变化的散点图4. 从图4看出，人口数随年份变化类似于指数函数变化趋势，由此选择指数函数作为拟合函数.按照上述非线性拟合变换方法，将其转变为一元线性拟合函数（）.每年的人口数在取自然对数后得表6.图4 人口数随年份变化散点图表6 人口数转换表1234567893.3923.4213.4503.4703.4763.4923.5133.5323.551下面计算与的相关系数，检验其相关性.，.通过计算可以看到相关系数与非常接近

17、，说明与存在强相关关系，也就是说我们选取的拟合曲线能够反映数据的发展趋势.在中输入t=1960 1961 1962 1963 1964 1965 1966 1967 1968;N=29.72 30.61 31.51 32.13 32.34 32.85 33.56 34.20 34.83;y=log(N);plot(t,y,'*'); a=polyfit(t,y,1);z=polyval(a,t)plot(t,y,'*',t,z,'r-')xlabel('年份'),ylabel('人口数').得到参数, = 0.01

18、86.在没有其他影响情况下，要预测未来的人口变化，只需将相应年份（如：2015）代入以下程序运行即可得到相应的人口数（2015年世界人口数=83.5734）.t=1960 1961 1962 1963 1964 1965 1966 1967 1968;N=29.72 30.61 31.51 32.13 32.34 32.85 33.56 34.20 34.83;y=log(N);a=polyfit(t,y,1);z=polyval(a,2015);m=exp(z)图5 人口数随年份变化拟合对比图例5 某公司一年12个月内的货物销售量如下表.表7 某公司12个月货物销售量月12345678910

19、1112销量59857817504941621934726775815389293175305解 在中输入x=1 2 3 4 5 6 7 8 9 10 11 12;y=5985 7817 5049 4162 1934 726 775 815 389 293 175 305;plot(x,y,'*');xlabel('月份'),ylabel('销售量')得到销售量随月份变化散点图.图6 销售量随月份变化散点图从散点图看出销售量随月份变化类似于反比例关系，我们选函数来表示销售量与月份之间的关系.令，得线性拟合函数.检验相关性得,说明销售量和呈强相关关

20、系.利用以下程序x=1 2 3 4 5 6 7 8 9 10 11 12;y=5985 7817 5049 4162 1934 726 775 815 389 293 175 305;plot(x,y,'*');u=1./x;a=polyfit(u,y,1)得到参数,.例6 在一次物理实验中，某同学记录小车的直线运动路程随时间变化情况如下表，假如加速度为常数，求该小车的初速度和加速度.表8 小车的路程随时间变化表时间00.91.93.03.95.0路程010305080110解 由以有经验可知路程与时间满足如下关系.选择二次多项式.利用程序对其进行拟合t=0 0.9 1.9 3

21、.0 3.9 5.0;s=0 10 30 50 80 110;a=polyfit(t,s,2)得到参数，.即题中所求初速度为11.0814，加速度为4.4976.【参考文献】1贾小勇,徐传胜,白欣.最小二乘法的创立及其思想方法J.西北大学学报，2006.03.507-5112华东师范大学数学系.数学分析M.高等教育出版社，2010.第四版3蒲正川.总体最小二乘法与经典最小二乘法的几何解释J.科技视界,2013.05.142-1434陈秋玲,陈忠.最小二乘法在汽车销售量预测中的应用J.合作经济与科技，2012.03.82-835徐萃薇,孙绳武.计算方法引论M.高等教育出版社，2002.第二版6陆建.最小二乘法原理