对最小二乘法的研究论文

1、.编号 2009011121毕 业 论 文 (设 计)（2013届本科） 论文题目: 对最小二乘法的探究 学 院: 数学与统计学院 专 业: 数学与应用数学 班 级: 2009级本科1班 作者姓名: 张 凯 指导教师: 史 存 琴 职称： 讲 师 完成日期: 2013 年 5 月 10 日精品.目 录陇东学院本科毕业论文（设计）诚信说明1摘 要2关键词21 最小二乘法的历史简介22 探究最小二乘法的意义23 最小二乘法的定义34 最小二乘法的原理45 应用最小二乘法解决实际问题5 5.1多项式拟合实例5 5.2一元线性拟合实例5 5.3非线性拟合实例66 加权最小二乘法7 6.1加权最小二乘法

2、的定义7 6.2加权最小二乘法的原理87 结论9参考文献9英文摘要10致谢11精品.陇东学院本科毕业论文（设计）诚信说明本人郑重声明：本人所呈交的毕业论文（设计），是在导师的指导下独立进行研究所完成.毕业论文（设计）中凡引用他人已经发表或未发表的成果、数据、观点等，均已明确注明出处.特此声明.论文（设计）作者签名： 日 期： 对最小二乘法的探究精品.张凯(陇东学院 数学与统计学院 甘肃庆阳 745000)摘 要：最小二乘法(又称最小平方法）是一种数学优化技术，是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识、以及预测预报等众多领域中得到极为广泛的应用.它通过最小误差的平

3、方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求知数据，并使得这些求得的数据与实际数据之间误差的平方和最小.本文就是对最小二乘法的发展历史、原理、及其简单的应用进行归纳和总结.关键词：最小二乘法；历史；应用；简单原理1 最小二乘法的历史简介1801年，意大利天文学家朱塞普.皮亚齐发现了第一颗小行星谷神星.经过40多天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置.随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果，时年24岁的高斯利用最小二乘法的方法计算了谷神星的轨道，奥地利天文学家海因里希.奥尔伯斯根据高斯计算出

4、来的轨迹重新发现了谷神星.高斯使用的最小二乘法发表于1809年他的著名作品天体运动论中.其实，早在1806年，法国科学家勒让德便独立地发现了“最小二乘法”但因不为世人所知而默默无闻.在此后，法国科学家勒让德曾多次与高斯为谁最早创立最小二乘法原理发生争执. 但最终，1829年，高斯提供的最小二乘法的证明方法强于其他各界学者的证明方法.因此最小二乘法也被称为高斯马尔可夫定理.于是“最小二乘法”便被高斯这样的数学天才带入了数学的世界，并为人们所探索、发现、理解与应用. 精品.2 探究最小二乘法的意义 目前，最小二乘法在参数估计、系统辨识、以及预测预报等众多领域中都得到了极为广泛的应用.尤其是在近代统

5、计估计理论的概念、矩阵符号表示法和近代线性代数的概念及大型快速数字计算机的应用三个领域，更是得到了越来越广泛地应用和发展.而在这众多领域的广泛应用与发展也给最小二乘法的估计理论和实用都带来了深刻的影响. 在每个领域中，对于最小二乘法的应用，其观测数值不可能完整无误，而观测精度总是存在一个极限值，若超过这个极限值，就会导致不是计算量的数学模型失效，就是测量仪器的分辨力失效，或者两者都失效，且超过这个精度极限值，重复观测结果之间不会相互符合. 处理不一致的数据的方法叫做统计学，确定唯一估值以及其优度的方法叫做统计估值法，最小二乘法是使不符值的平方和为最小的一种统计估计法.应当指出的是，还有其他方法

6、也能得到唯一的估值.例如：使不符值的绝对值的和为最小的估值法，或使最大的不符值为最小的估值法.但与最小二乘法相比，这些方法都存在着许多不足和缺陷.因此，最小二乘法几乎成为获得唯一估值的标准方法.并在如今普遍运用于天文、运输、预测、物理等各个领域.所以，对最小二乘法的探究对各个领域的发展和应用都有着极为重要的意义.3 最小二乘法的定义 定义1（残差）：，希望尽可能小，常见方法有： (1)选取，使偏差最大绝对值之和最小，即精品.最小. (2)选取，使偏差最大绝对值最小，即最小. (3)选取，使偏差平方和最小，即最小. 我们称(3)为最小二乘法原则.定义2（最小二乘法）：根据已知数据组选取一个近似函

7、数，使得最小. 这种求近似函数的方法称为曲线拟合的最小二乘法，函数称为这组数据的最小二乘函数.4 最小二乘法的原理 在实际应用中，我们经常需要观测两个函数关系的变量，根据两个量的许多组观测数据来确定他们的函数曲线.这类问题通常有两种处理方法：一种是两个观测量x与y之间的函数形式已知，但一些参数未知，需确定位置参数的最佳估计值；另一种是x与y之间的函数关系未知，需要找出它们之间的未知参数，后一种情况通常假设x与y之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采取类似于前一种情况的处理方法.精品. 在两个观测量中，往往总有一个量精确度比另一个高得多，为简单起见把精确量较高的观测

8、量看做没有误差，并把这个观测量选作x，而把所有误差只认为是y的误差，设x和y的函数关系由理论公式：（ x；c1. c2 .c3 .cm ） （001） 给出，其中c1. c2 .c3 .cm是m个需要通过试验确定的参数，对于每组观测数据 i=1.2.3.n.都对应于平面上的一个点，若不存在测量误差，则这些数据点都准确落在理论曲线上，只要选取m组测量值带入（001）中便得到方程组（ xi ；c1. c2 .c3 .cm ） （002） 其中i=1.2.3.m，求m个方程的联立解即可得m个参数的数值，显然nm的情况下，式（002)成为矛盾方程组，不能直接用解方程的方法求得m个参数值，只能用曲线拟合

9、的方法来处理.5 应用最小二乘法解决实际问题5.1多项式拟合实例已知实验数据如表所示： 01234567813456789101054211234试用最小二乘法求它的二次拟合多项式 解：设；拟合曲线方程为 列表如下：精品.01101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612853323813017253171471025得正规方程组： 解得： 故拟合多项式为：5.2一元线性拟合实例测得铜导线在温度时的电阻如表，用最小二乘法求电阻r与温度t的近似函数关系

10、.012345619.125.030.136.040.045.150.076.3077.8079.2588.8082.3583.9085.10解：画出散点图，可见测得的数据接近一条直线，故取n=1，拟合函数为列表如下 精品.019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.001908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8

11、320029.445正规方程组为=解方程组得： 故与的拟合直线为：利用上述关系，可以预测不同温度时铜导线的电阻值.5.3非线性拟合实例 已知一组数据如下表，在中求其拟合函数.00.10.20.30.40.50.622.202542.407152.615922.830963.054483.28876解 设拟合函数为 ： 即 代入得：精品.= ， =所以：=， =解正规方程组得 故所求拟合曲线为：6 加权最小二乘法 如今，最小二乘法出现了越来越的的形式，我们将给出加权最小二乘法的定义和原理，将最小二乘法用模糊数学思想进行计算，使计算精度更加准确.6.1加权最小二乘法的定义 此法是应用于实验测量值非

12、等精度的情况下的拟合方法。它不同程度的消除误差因素，结果更加准确可靠。 设拟合函数为，当取值时的实测值为，取，加权偏差平方和 式中为i个实验点的权重因子，选取合适的权重因子可获得高精度的拟合参数。精品.6.2加权最小二乘法的原理 根据实际需要，往往对于精度较高或地位较重要的数据，应当给予较大的权。 用最小二乘法进行曲线拟合的要求与原则是： 对于给定的一组实验数据,要求在中，寻找一个函数，使其中为中任一函数是正数，称为权，大小反应的地位强弱，显然：求可归结为求多元函数的极小点同理可求。但其中：特例：如果选择的拟合曲线为则，相应的方法方程组为：精品.=。7 结论 本文介绍了最小二乘法的背景及其优点

13、，意义及其原理，及最小二乘法的简单应用.通过实例说明了最小二乘法在实际中的应用，并列举在物理学中的简单应用，具有很强的实用性. 最后，最小二乘法是一种比较古老的方法.早在十八世纪，便已经用于天文观测和大地测量中.此后300多年，已广泛应用于科学实验与工程技术中.最小二乘法将一大堆看似杂乱无章的点，拟合成一条曲线来反映所给数据的总体趋势，以消除局部波动，它为科研工作者提供了一种非常方便和有效的处理方法.随着现代电子计算机的普及与发展，这个古老的方法将更加显示出强大的生命力. 参考文献：1 邹乐强.最小二乘法原理及其简单应用m.河南工程技术学院 20102 陆健.最小二乘法及其应用. m中共连云港

14、市委党校20073 最小二乘法的研究. m期刊,百渡文库20094 施光燕,庞丽萍.最优方法论(第二版)m.北京:高等教育出版社 2007.5肖悠南.现代数值计算方法m.北京:北京大学出版社,2010.6 李庆扬,易大义.数值分析(第四版)m.北京:清华大学出版社,2001.7 徐成贤,陈志平,李乃成.近代优化方法m.武汉:中南工业大学出版社, 1987.8 里德(美).数值分析与科学计算m.北京:清华大学出版社,2008.9 约翰逊（美）.数学分析与科学计算m.北京：科学出版社，2012精品.10 高富德.最小二乘法原理的初等证明j,玉溪师专学报,1989,04.research on th

15、e method of least squares zhang kai(college of mathematics and statistics in long dong university, gansu qingyang 745000) abstract: the least squares method (also called the least square method) is a kind of mathematical optimization techniques, from the angle of error fitting regression model param

16、eter estimation and system identification, and the parameter estimation, system identification, as well as the prediction of many fields forecast are very widely used. the minimum mean square error function and find the best data matching. you can easily learn data by using the least square method,

17、and the minimum error between the calculated and the data and the actual data of the square. this is the least squares method, principle of historical development, and its simple application and summarized. keywords: least square method; history; application; principle精品.致 谢 经过一段时间的努力，我终于完成了本科结业论文.我也希望用一篇文章来表达我对老师，同学的深深谢意. 本文的顺利完成，是在指导老师史存琴的严格要求和悉心指导下完成的.史老师严谨的治学精神，一丝不苟的工作态度是我学习的榜样.没有史老师的悉心指导就没有本文的完成，在此，我对史老师表示