直线回归法的公式推导

1、直线回归法的原理直线回归法的原理及推导公式及推导公式主要内容主要内容 回回归归直直线线法的原理法的原理 回回归归直直线线的公式推的公式推导导一一二二0 x 业务量（件）y 成本（元）y=a+bx一、直线回归法的原理一、直线回归法的原理直线回归发的原理直线回归发的原理微积分极值原理微积分极值原理 从散布图法可以看出，我们总能设法从散布图法可以看出，我们总能设法找到一条尽可能通过所有坐标点，也就是找到一条尽可能通过所有坐标点，也就是所有误差最小的惟一直线所有误差最小的惟一直线y=a+bx 。 设设ei为当业务量为为当业务量为xi时，实际值（又时，实际值（又称观测值）称观测值）yi与计算值（与计算值

2、（a+bxi）的误差，）的误差，即即 ei = yi (a+bxi)二、直线回归法公式推导二、直线回归法公式推导 怎样判断一条直线方程就是我们所要怎样判断一条直线方程就是我们所要找的所有误差最小的那条直线找的所有误差最小的那条直线y=a+bx 呢？呢？可以考虑的办法有三：可以考虑的办法有三： 第一，判断所有误差的代数和是否最第一，判断所有误差的代数和是否最小。即：小。即： ei =0 但由于误差有正有负，可能相互抵消，但由于误差有正有负，可能相互抵消，会存在无数满足上述条件的直线，因而无会存在无数满足上述条件的直线，因而无法据此作出最终判断。法据此作出最终判断。二、直线回归法公式推导二、直线回

3、归法公式推导所有误差的代数和是否最小示意图？所有误差的代数和是否最小示意图？0 x 业务量（件）y 成本（元）满足满足ei =0的条件的条件满足满足ei =0的条件的条件二、直线回归法公式推导二、直线回归法公式推导 第二，判断所有误差绝对值的合计是第二，判断所有误差绝对值的合计是否最小。即：否最小。即：ei =0 但上式展开后，涉及到绝对数运算，但上式展开后，涉及到绝对数运算，非常麻烦：非常麻烦： ei = e1e2 e3 en-1 en 因而也无法据此作出判断。因而也无法据此作出判断。 二、直线回归法公式推导二、直线回归法公式推导 第三，判断所有误差平方和是否最小。第三，判断所有误差平方和是

4、否最小。即：即：ei2 =0 这种方法既排除了正负误差的符号问这种方法既排除了正负误差的符号问题，又避免了绝对值运算的麻烦。题，又避免了绝对值运算的麻烦。 因此，可以根据误差的平方和是否达因此，可以根据误差的平方和是否达到最小，来判断直线方程到最小，来判断直线方程y=a+bx的总误差的总误差是否达到最小。是否达到最小。 此法又称最小二乘法或最小平方法。此法又称最小二乘法或最小平方法。二、直线回归法公式推导二、直线回归法公式推导 根据上述道理，回归直线法就是求能根据上述道理，回归直线法就是求能使使ei2 =0成立的回归系数成立的回归系数a和和b的值。的值。 因为因为 ei = yi (a+bxi

5、) 所以所以 ei2 = yi (a+bxi) 2 按照微分极值原理，令上式按照微分极值原理，令上式=0，并分，并分别对别对a和和b求偏导数，就可以求出能满足求偏导数，就可以求出能满足ei2 达到极小值的达到极小值的a和和b。 按照此法推导的按照此法推导的a，b计算公式，称为计算公式，称为 公式法。公式法。二、直线回归法公式推导二、直线回归法公式推导e2=y (a+bx) 2 = y 22 y (a+bx)+ (a+bx) 2 = y 22ay 2bxy+a2 +2abx+ b2x2 =y22ay2bxy+na2+2abx+b2x2令：令：y 22ay 2 bxy+na2 +2abx+ b2

6、x2=0 对上式求对上式求a的偏导数，得：的偏导数，得： 2y +2na +2bx=0 整理得整理得 y =na +bx （1）式）式1.按公式法推导按公式法推导a，b计算公式的过程计算公式的过程对对y22ay2bxy+na2+2abx+b2 x2=0求求b的偏导数，得：的偏导数，得： 2xy +2ax+ 2bx2 =0整理得整理得 xy = ax+ bx2 （2）式）式解联立方程，即可求出解联立方程，即可求出a，b的值。的值。 1.按公式法推导按公式法推导a，b计算公式的过程计算公式的过程y =na +bx xy = ax+ bx2 2.用行列式求二元一次方程组中用行列式求二元一次方程组中a

7、和和b的解的解y = na + bx xy = ax + bx2 因为下列联立方程中，未知数为因为下列联立方程中，未知数为a和和b，y,xy 为已知常数，为已知常数， n,x和和x2分别分别为为a和和b的系数，则有的系数，则有常数列常数列 y xy用行列式的方法解法如下：= n x2-(x) 2a= yx2-x xy nxxx2yxyxx2b= nxy-x y nxyxy nx 2.用行列式求二元一次方程组中用行列式求二元一次方程组中a和和b的解的解a=ab=bn x2-(x) 2yx2-x xy=nxy-x y=n x2-(x) 2y = na+bx可以同时计可以同时计算出算出a和和by-bxna =必须先计必须先计算出算出b，然后才能然后才能计算计算 a 2.用行列式求二元一次方程组中用行列式求二元一次方程组中a和