直线回归法的公式推导

关于直线回归法的公式推导主要内容

回归直线法的原理回归直线的公式推导一二第2页,共16页，2024年2月25日，星期天0x业务量（件）y

成本（元）y=a+bx一、直线回归法的原理直线回归发的原理——微积分极值原理第3页,共16页，2024年2月25日，星期天

从散布图法可以看出，我们总能设法找到一条尽可能通过所有坐标点，也就是所有误差最小的惟一直线y=a+bx。设ei为当业务量为xi时，实际值（又称观测值）yi与计算值（a+bxi）的误差，即

ei=yi–(a+bxi)二、直线回归法公式推导第4页,共16页，2024年2月25日，星期天

怎样判断一条直线方程就是我们所要找的所有误差最小的那条直线y=a+bx呢？可以考虑的办法有三：第一，判断所有误差的代数和是否最小。即：Σei=0

但由于误差有正有负，可能相互抵消，会存在无数满足上述条件的直线，因而无法据此作出最终判断。二、直线回归法公式推导第5页,共16页，2024年2月25日，星期天所有误差的代数和是否最小示意图？0x业务量（件）y

成本（元）满足Σei=0的条件满足Σei=0的条件二、直线回归法公式推导第6页,共16页，2024年2月25日，星期天

第二，判断所有误差绝对值的合计是否最小。即：Σ│ei│=0

但上式展开后，涉及到绝对数运算，非常麻烦：

Σ│ei│=±e1±e2±e3±…±en-1±en

因而也无法据此作出判断。二、直线回归法公式推导第7页,共16页，2024年2月25日，星期天

第三，判断所有误差平方和是否最小。即：Σei2=0

这种方法既排除了正负误差的符号问题，又避免了绝对值运算的麻烦。因此，可以根据误差的平方和是否达到最小，来判断直线方程y=a+bx的总误差是否达到最小。此法又称最小二乘法或最小平方法。二、直线回归法公式推导第8页,共16页，2024年2月25日，星期天

根据上述道理，回归直线法就是求能使Σei2=0成立的回归系数a和b的值。因为ei=yi–(a+bxi)

所以Σei2=Σ[yi–(a+bxi)]2

按照微分极值原理，令上式=0，并分别对a和b求偏导数，就可以求出能满足Σei2

达到极小值的a和b。按照此法推导的a，b计算公式，称为

公式法。二、直线回归法公式推导第9页,共16页，2024年2月25日，星期天Σe2=Σ[y

–(a+bx)]2=Σ[y

2–2y

(a+bx)+(a+bx)2]=Σ[y

2–2ay–2bxy+a2+2abx+b2x2]=Σy2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2令：Σy

2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2=0对上式求a的偏导数，得：

–2Σy+2na+2bΣx=0整理得Σy=na+bΣx（1）式1.按公式法推导a，b计算公式的过程第10页,共16页，2024年2月25日，星期天对Σy2–2aΣy–2bΣxy+na2+2abΣx+b2Σx2=0求b的偏导数，得：

–2Σxy+2aΣx+2bΣx2=0整理得

Σxy=aΣx+bΣx2

（2）式解联立方程，即可求出a，b的值。1.按公式法推导a，b计算公式的过程Σy=na+bΣxΣxy=aΣx+bΣx2第11页,共16页，2024年2月25日，星期天2.用行列式求二元一次方程组中a和b的解Σy=na+bΣxΣxy=aΣx+bΣx2因为下列联立方程中，未知数为a和b，Σy,Σxy为已知常数，n,Σx和Σx2分别为a和b的系数，则有常数列

ΣyΣxy用行列式的方法解法如下：第12页,共16页，2024年2月25日，星期天Δ==nΣx2-(Σx)2Δa==ΣyΣx2-ΣxΣxy

nΣxΣxΣx2ΣyΣxyΣxΣx2Δb==nΣxy-ΣxΣynΣxΣyΣxy

nΣx2.用行列式求二元一次方程组中a和b的解第13页,共16页，2024年2月25日，星期天a=ΔaΔb=ΔbΔnΣx2-(Σx)2ΣyΣx2-ΣxΣxy=nΣxy-ΣxΣy=nΣx2-(Σx)2∵Σy=na+bΣx可以同时计算出a和bΣy-bΣxn∴a=必须先计算出b，然后才能计算a2.用行列式求二元一次方程组中a和b的解第14页,共16页，2024年2月25日，星期天

上述联立方程也可以不用求偏导数的方法来建立，可利用一种所谓简捷法来实现。∵y=a+bx∴Σy=Σ(a+bx)=na+bΣx（1）式又∵xy=x(a+bx)=