最小二乘法探究(共5页)

1、精选优质文档-倾情为你奉上最小二乘法探究0. 前言最小二乘法发源于天体物理学，并广泛应用于其他各个学科。最小二乘法（Least squares）又称最小平方法，一元线性回归法，是一种数学优化技术，用于建立经验公式，利用它可以把生产或实验中所积累的某些经验提高到理论上加以分析。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合,是我们在建模竞赛中常用的一种手段。一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法发源于天体物理学，并广泛应用于其他各个学科。最小二

2、乘法对于统计学具有十分重要的意义。相关回归分析，方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础，正如美国统计学家斯蒂格勒（S.M,Stigler）所说，“最小二乘法之于数理统计学犹如微积分之于数学”。故对最小二乘法做一番探究进而理解并掌握这一思想是十分有必要的。1. 原理在古汉语中“平方”称为“二乘”，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。根据教材中的描述（两个变量间的函数关系），其基本原理为：根据已知的自变量与因变量数据做出散点图，进而观察判定出两者间的函数关系，本次探讨以一次函数关系为例，其他类型的函数关系也可通过两边取对数等方法转

3、化为一次函数形式进行求解。认定y=fx是线性函数：fx=ax+b a,b即为待求的常数。对于求的函数，我们希望它可以尽可能多的拟合到已知的数据点，或者说尽可能的靠近。转化为量化形式即为使偏差yi-fxi 都很小，对此经过综合分析我们用M=i=0imaxyi-axi+b2最小来保证每个偏差的绝对值都很小，即根据偏差的平方和为最小的条件来确定常数a,b。然后运用多远函数的极值求法知识来求解求M=(a,b）的极小值，具体步骤为：Maa,b=0Mba,b=0>>>>>>>>>>>>>>Ma=-2i=0imaxyi-ax

4、i+bxi=0Mb=-2i=0imaxyi-axi+b=0 >>>>i=0imaxyi-axi+bxi=0i=0imaxyi-axi+b=0>>>>>>ai=0imaxxi2+bi=0imaxxi=i=0imaxyixiai=0imaxxi + 8b=i=0imaxyi (1)然后再列表计算i=0imaxxi2, i=0imaxxi, i=0imaxyixi,及 i=0imaxyi，代入方程组（1），即可求出a,b。2. 证明最小二乘法的本质是最小化系数矩阵所张成的向量空间到观测向量的欧式误差距离，故本次探究选择从欧式空间来证明最小二

5、乘法：为便于讨论以及深入理解该问题，我们从一般的最小二乘法问题入手证明。 实系数线性方程：a11x1+a12x2+a1nxn-b1=0a21x1+a22x2+a2nxn-b2=0 am1x1+am2x2+amnxn-bm=0据经验，方程组很有可能无解，所以我们退而求其次，对于式M=i=1mai1x1+ai2x2+ainxn-bi2，我们设法找实数组x1，x2xn（方程组的最小二乘解），使M最小即可，并不强求其一定要为零。到此，已整理出了一般最小二乘法问题求解的形式，下面据此利用欧式空间的概念来表达最小二乘法，并给出最小二乘法所满足的代数条件: 令A=a11a12a1na21a22a2nam1a

6、m2amn B=b1b2bm X=x1x2xn Y=j=1naj1x1j=1naj2x2j=1najmxn=AX用距离的概念，M=Y-B2。最小二乘法就是找x1，x2xn，使Y与B的距离最短，但从M式知向量Y就是Y=x1a11a21am1+x2a12a22am2+xna1na2namn 把A的各列向量分别记为1，2，n。由他们生成的子空间为L=(1，2，n),Y就是L=(1，2，n)中的向量。于是最小二乘法问题可叙述成：找X使M最小，就是在L=(1，2，n)中找一向量Y，使得B它的距离比到子空间L=(1，2，n)中其它向量的距离都短。 应用前面所讲的结论，设Y=AX=x11+x22+xnn是所

7、要求的向量，则C=B-Y=B-AX必须垂直于子空间L=(1，2，n)。为此只需而且必须C,1=C,2=C,n=0，根据矩阵乘法规则，上述一串等式可以写成矩阵相乘的形式，即：1*C=0,2*C=0,n*C=0,而1*,2*,n*,按行正好排列成A*，上述一串等式结合起来就是A*B-AX=0或A*AX=A*B,这就是最小二乘所满足的代数方程，它是一个线性方程组，系数矩阵是A*A,常数项是A*B。3高斯与最小二乘法 1809年，高斯发表天体运动理论。在该书的末尾，他写了一节关于”数据结合“的问题，以极其简单的手法导出误差分布，并用最小二乘加以验证。关于最小二乘法，高斯宣称自1795年以来他一直使用这

8、个定理。这立刻引起了勒让德的强烈反击，他提醒说科学发现的优先权只能以出版物确定（最小二乘法最早出现在勒让德1805年发表的论著计算彗星轨道的新方法附录中），并严斥高斯剽窃了他人的发明。这两位数学家之间持续多年的关于优先权的争论，在数学史上的知名度仅次于牛顿和莱布尼兹之间关于微积分发明权的争论。现在一般认为，二人之间各自独立地发明了最小二乘法。尽管是高斯早十年使用了这个原理，但第一个用文字发表的是勒让德。 高斯是“能以九霄云外的高度按照某种观点掌握星空和深奥数学的天才“。的确，相比而言高斯不愧为数学王子，他把最小二乘法推进的更远，更深刻，进而极大地推进了数理统计的发展。故本次探究以分析研究高斯的

9、推导研究为主，他是由误差函数推导出这个方法并详尽阐述了最小二乘法的理论依据。其推导过程如下： 设误差密度函数为f(x),真值为x , x1，x2xn为n个独立测定值，因为观测是相互独立的，因而这些误差出现的概率为：Lx=Lx;x1，x2xn=i=1nf(xi-x)。要找出最有希望的误差函数应使Lx达到极大，高斯认为x就是x的估计值，并使Lx取得极大值。对上式两端取对数得：lnLx=i=1nlnf(xi-x)>>>>求导得：dlnxdx=i=1nf'(xi-x)f(xi-x) ,记gx=f'(x)f(x) 则有i=1ng(xi-x)=0 >>&

10、gt;> 求对xi的偏导数: gxi+gxnxnxi=0 ,而i=1nxi-nx=0,则有xnxi=-1（in),则对于任意i有gxi=gxn ,即gxi=c (c为常数)>>>>可得gx=cx+b ,以及 i=1ng(xi-x)=i=1ncxi-x+b=ci=1nxi-x+nb=0 ,因i=1nxi-x=0,可推导的b=0,则有gx=f'(x)f(x)=cx >>>>积分可得fx=ke12cx2 ,由-fxdx=1 ,则应有c<0 ,取c=-12 >>>>可得k=12 ,则有fx=12e-x222 此

11、即正态分布N(0,2)。这样可知（x1，x2xn）误差密度函数为 (2)-nexp-122i=1nxi-x2 ,要使此时达到极大值，选取x1，x2xn而使i=1nxi-x2达到极小值。于是可得x1，x2xn最小二乘法估计。 由以上推证过程可知，高斯是用逆向思维来思考这个问题，即先承认算术平均值x是所求的估计，即“如果在相同的环境和相同的管理下对任一个量经过多次直接观测确定，则这些观测的算术平均值是最希望要的值“。这是高斯大胆采用了人们千百年来的实际经验，实为高斯之独创思维。这也正如他所说:”数学，要有灵感，必须接触现实世界”。4质疑 我们信仰科学，但绝不迷信科学，科学精神应持有怀疑的态度。对于

12、如此经典的最小二乘法，我还是不禁要问一句:他真的是一种完美的理论吗？有疑问总归不是坏事，自以为是不是更可怕吗？疑问：从最简单的具有线性的最小二乘问题的几何意义上去理解，最小二乘就是要找一条直线去尽可能的拟合数据点，那好，我们本能的自然想法是：“应该用这样的直线，它使得每个点到直线的距离之和最小”，注意我们此时所理解的距离不就是点到直线的距离吗？而最小二乘法提供的约束条件却是M=i=0imaxyi-axi+b2最小，即考虑的是要使竖直方向上的偏差yi-fxi尽可能的小，这显然与我们的“相当然”有出入。下面就对这一疑问试着做如下探究：经过查阅相关内容，我发现这个自然的想法很多人在初学时也都有想过。

13、最后明白原来最根本的原因是哲学逻辑上的。我们做回归分析，有自变量x，有因变量y，寻找的是y和x之间的联系，更确切的说是知道x怎么求y。所以x和y是两个本质不一样的量，一个是因，一个是果。现在再来看我们的自然想法：“应该用这样的直线，它使得每个点到直线的距离之和最小”，这种方法其实是将因果混为一谈了，试图在(x,y)这个向量空间里找一个最好的超平面。不说错误吧，这至少是一个不自然的逻辑。最小二乘的逻辑就自然多了。比如说我有一个因变量y和两个自变量x1,x2，它们在我观测到的样本里都表现为一个个的向量。最小二乘是在做什么呢？它是在观测到的x1和x2的向量所生成的线性空间中，找一个离观测到的y向量最

14、近的点。从几何上看，这就是正交投影。有很多人说最小二乘不一定最好，我们也可以用别的距离。这固然不错，但最小二乘的优越性恰恰体现在它最“自然”这一点上。我们最习惯的空间是有内积的欧式空间，如果用其它任何一种距离，这种“自然”的内积就没有了，不变性就没有了。不用这个距离，最小方差(BLUE)的性质就没有了。不用这个距离，相当于是假设噪声服从另外一种分布（不再是正态分布）。说的高一点，整个现代科学的方法就是”归纳“和”演绎“两条。从归纳的角度出发，实际问题中碰到什么分布的噪声就应该用那种分布；从演绎的角度出发，什么方法最”自然“，最”漂亮“，最“易于理解”就尽量去用这种方法。欧式距离是最自然最直观的距离，正态分布是最常见最容易处理的噪声分布，那自然最小二乘就是最优的方法了。5.结语 最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家的广泛关注。据不完全统计，自1805年至1864年的60年间，有关最小二乘法的研究论文达256篇，一些百科全书包括1837年出版的大不列颠百科全书第七版，亦收入有关方法介绍。现如今，在CNKI中国知网检索“最小二乘法”词条，可查到篇有关研究论文; 在EMIS( 欧洲数学学会)官网上搜索“Least squares”词条，可出现21482篇相关文献，最小二乘法的广泛应用与研究由此可见一斑。本次探究限于笔者