最小二乘法求回归系数的解法探究 论文

2022年安徽省中小学教育教学论文评选最小二乘法求回归系数的解法探究 摘要：本文通过具体到抽象的方式探究最小二乘法求回归系数的三类解法（配方法、添项法、求导法）。根据残差平方和的最小值，可以论证一元线性回归模型的决定系数是样本线性相关系数的平方，即Rr2。结合样本线性相关系数公式和回归系数公式，可以论证一元线性回归模型满足总偏差平方和等于回归平方和与残差平方和的和。关键词：最小二乘法，残差平方和，决定系数，样本相关系数，总偏差平方和。引言：人教版《成对数据的统计分析》章节，包含样本相关系数、回归系数和决定系数，学生普遍认为这些统计量的公式复杂，理解困难。挖掘这些参数间的内在联系，能够帮助学生构建更好的统计观。一元线性回归模型中根据最小二乘法求回归系数有哪些算法？线性回归模型的决定系数R2与样本相关系数r有何关系呢?一、最小二乘法的历史和教学最小二乘法最早是由法国数学家勒让德在1805年发表的著作《计算彗星轨道的新方法》中提出的，勒让德提出直线应满足各个散点的残差平方和最小。高斯宣称他在1801年计算谷神星的轨道时，已经采用了这种方法，但是没有即时发表[1]。两位数学家曾经为谁最先提出最小二乘法，产生过争论。高斯在1809年出版的天文著作《天体沿圆锥曲线绕日运动之理论》中，首次发表了他的最小二乘法。后来，高斯用最小二乘法研究误差问题，提出了误差的正态分布思想[2]。在最小二乘法的教学方面，有学者限定回归直线必过样本中心点，然后求回归系数，会使得推导过程简单[3]。但是，如何让学生发现并论证回归直线过样本中心呢？由于最小二乘法有多种形式，面对不同层级的学生，可以采取不同的讲授方法[4]。本文从最小二乘法思想出发，通过三个散点完成回归系数的不同算法，再从具体到一般，推导回归系数公式，并通过不同算法，证明样本回归系数与决定系数之间的关系。二、回归方程的求法

1．三个具体散点的回归方程【问题1】如何确定直线l:ybxa中的参数，使得A11,1(),A2(3,2),A3(3,3)这三个散点的残差平方和最小（图1）？

12022年安徽省中小学教育教学论文评选方法一：配方法首先表示残差平方和Q(a,b)(ba)12(2ba3)2(3ba3)2，Q(a,b)3a212ab14b214a32b193(a2b)214(a2b)2b24b193(a2b7)22(b)1222333当且仅当

a72b 3b100，即ab1时，Q(,)取最小值231ab.3上述方法首先将代数式全部展开，然后合并同类项，最后采取配方法，将目标函数化简。通过这种方法，我们会发现ab70时，残差平方和最小。这个等式意味着直3线l具有怎样的特征呢？我们关注到三个散点的样本中心为(,27)，直线过该样本中心的3充要条件就是ab70。通过配方法，我们能够发现针对三个具体散点的回归直线是3经过样本中心的。因此对残差平方和的代数式进行变形时可以先添加代数式ab273。方法二：添项法Q(a,b)((a2b7)b4))2((a2b7)(2))2((a2b7)(b4))2Qa3333332,b)3(a2b722(b42b2)(a2b7)2(b4)2(b4)2(2)2(b2)3333333333(a2b7)22(b)1222333通过这种方法，我们会发现先配凑出代数式ab27会带来运算的简便。我们将该3代数式作为整体，然后将三个完全平方式进行展开，再次合并同类项后，会发现该代数式的一次项的系数和为0。除了上述两种方法以外，能否借助于导数研究上述问题呢？方法三：求导法仿照一元函数由导数求最值的方法，对该二元函数分别求偏导，进行求值。先令f(a)Q(a,b)，对a求导数，f'(a)2(ab)12(a2b3)2(a3b3)2(3a6b7)8)再令g(b)Q(a,b),对b求导数，g'(b)2(ab)12(a2b3)22(a3b3)34(3a7b

f'(a)0得3a3a6b70，解得ab

1由703

17b80g'(b)022022年安徽省中小学教育教学论文评选 上述计算的结果和前两种方法的计算结果是一致的，从运算量的角度看，该方法运算量是最少的。对于一般性的三个散点，如何确定直线方程呢？图1 图22．三个任意散点的回归方程【问题2】如何确定直线l:ybxa中的参数，使得A1(x1,y1),A2(x2,y2),A3(x3,y3)这三个散点的残差平方和最小？

方法一：添项法一般性问题的解决方法可以仿照问题1的方法。我们猜想直线l过样本中心(xy),，(,(bx12[(bxay)b(x1x)(y1y)]2[(bxay)b(x2x)(y2y)]2[(bxay)b(x3x)(y3y)]23(bxay)2[2b(x1x)(y1y)b(x2x)(y2y)b(x3x)(y3y)](bxay)[b(x1x)(y1y)]2[b(x2x)(y2y)]2[b(x3x)(y3y)]2考虑到b(x1x)(y1y)b(x2x)(y2y)b(x3x)(y3y)b(x1x2x33x)(y1y2y33y)0Q(a,b)3(bxay)2[(x1x)2(x2x)2(x3x)2]b22[(x1x)(y1y)(x2x)(y2y)(x3x)(y3y)]b(y1y)2(y2y)2(y3y)2 当且仅当b (x1x)(y1y)bxay0(x3x)(y3y)时，Q(a,b)取最小值.(x2x)(y2y)(x1x)2(x2x)2(x3x)2Q(a,b)最小值为(y1y)2(y2y)2(y3y)2[(x1x)(y1y)(x2x)(y2y)(x3x)(y3y)]2.(x1x)2(x2x)2(x3x)2方法二：求导法32022年安徽省中小学教育教学论文评选先令f(a)Q(a,b)，对a求导数，f'(a)2(bx1ay1)2(bx2ay2)2(bx3ay3)2)f'(a)2[(x1x2x3)b3a(y1y2y3)]2x3(bx3ay3)再令g(b)Q(a,b)，对b求导数，g'(b)2x1(bx1ay1)2x2(bx2ayg'(b)2[(x12x22x32)b(x1x2x3)a(x1y1x2y2x3y3)]bxay0

由f'(a)0得

(x12x22(x1x2x3)b3a(y12y3)0x3y3，解得0

by)'x1y1x2y2x3y33xyg(b)0x32)b(x1x2x3)a(x1y1x2y2x12x22x323x2通过上述两种方法，我们可以发现(x2y)x3xx3y3b(x1x)(y1y)x2)(y(x)(y3y)x1y12y23xy.(x1x)2(x2x)2(x3x)2x12x2x323x22上述两种方法解决了一般性的三个散点，根据残差平方和最小原理，确定回归直线方程中的参数，同时对于回归系数我们得到它的两个公式。对于一般性的n个散点，如何确定直线方程呢？3．n个任意散点的回归方程【问题3】如何确定直线l:ybxa中的参数，使得A1(x1,y1),A2(x2,y2),...,An(xn,yn)这n个散点的残差平方和最小（图2）？方法一：添项法Q(a,b)n

i1(bxiayi)2 n

i1[(bxay)b(xix)(yiy)]2yiy)n

i1(yiy)2n

i1(bxay)22(bxay)n

i1[b(xix)(yiy)]n

i1[b(xix)(yiy)]2考虑到n

i1[b(xix)(yiy)]b(n

i1xinx)(n

i1yiny)0，Q(a,b)n

i1(bxay)2n

i1[b(xix)(yiy)]2n(bxay)2b2n

i1(xix)22bn

i1(xix)(

当且仅当b

bxay0y)时，Q(a,b)取最小值n

i1(yiy)2ni1(xix)(yiy2n

i1)(xix)(yi)n

i1.ni1(xix)2(xix)2方法二：求导法42022年安徽省中小学教育教学论文评选先令f(a)Q(a,b)，对a求导数，f'(a)ni12(bxiayi)[2bni1xinani1yi]yi]nx再令g(b)Q(a,b)，对b求导数，g'(b)n

i12xi(bxiayi)[2bn

i1xi2an

i1xin

i1xi('a0

得0

bbn

i1nan

i1yi，解得

b

bxay0.所以bn

i1(xi)(y0n由f)xin

i1xiyinxyxyi)i1xiyiy.('bn

i1xin

i1xin

i1xiyin

i1g)xi)n

nx2g2a0n

i1xi2nx2(x2

i1xi2通过上述三个问题，我们从具体到一般，通过多种方法，推导出基于残差平方和最小原理，求得回归直线方程中的斜率参数和纵截距参数，其中我们还得到斜率参数的两个公式。下面我们聚焦残差平方和的最小值，研究一元线性回归模型的决定系数与样本线性相关系数间的关系。三、统计量间的关系【问题4】一元线性回归模型的决定系数与样本线性相关系数间有何关系呢？当用最小二乘法求回归方程时，根据问题3的方法一，我们知道此时残差平方和为n^nn(xix)(yiy)2

n

(yi^

yi)2n(xix)(yiy)2

(yy)2(yy)2i1n

i1x，所以R21i1i1r2yiii)1nnni1i1(xi)2i1(yiy)2i1(xix)2i1(yiy)2通过上述证明我们发现采用最小二乘法得到的一元线性回归模型的决定系数为样本线性相关系数的平方。样本线性相关系数公式与回归系数公式有很多类似之处，如果将两个公式进行比较，会有什么新发现呢？【问题5】样本线性相关系数是否还有其他的算法呢？因为rn

i1(xix)(yiy)，bn

i1(xix)(yiy)，所以rn

i1(xix)2n

i1(xix)2n

i1(yiy)2n

i1(xix)2bn

i1(yiy)252022年安徽省中小学教育教学论文评选r2n

i1(bxibx)2n

i1((bxia)(bxa))2n

i1(^yiy)2.nn(yn

i1(yiy)2

i1iy)2i1(yiy)2 通过上述论证，我们能够发现样本相关系数新的算法。我们将问题4和问题5的结论结合在一起，会有什么新的发现呢？【问题6】在一元线性回归模型中，总偏差平方和n

i1(yiy2)，回归平方和n

i1(^

yiy)2，残差平方和n

i1(yi^

yi)2三者之间有何关系呢？^

yiy)21n

i1(yi^

yi)2，因为r2n

i1(^

yiy)2，r2R21n

i1(yi^

yi)2，所以n

i1(n

i11n

i1n

i11n(yiy)2(yiy)2(yi