回归分析方法PPT学习教案

1、会计学1回归分析方法回归分析方法2021-10-15第1页/共52页2021-10-15第2页/共52页2021-10-15第3页/共52页2021-10-15iy (1,2,.,)xyxyiN数学上判定直线合理的原则：如果直线与全部观测数据的离差平方和，比任何其它直线与全部观测数据的离差平方和更小，该直线就是代表 与 之间关系较为合理的一条直线，这条直线就是 和 之间的回归直线。第4页/共52页2021-10-15*,)(1,2,.,)xy()iiiiiiiiiiiiyabxx yiNxyabxyabxyxyyyyabxy设是平面上的一条任意直线，(是变量 ， 的一组观测数据。那么，对于每一

2、个 ，在直线上确可以确定一个的值，与 处实际观测值 的差：就刻画了 与直线偏离度第5页/共52页2021-10-15xy1x( ,)iix y( ,)iix yyabx第6页/共52页2021-10-15*2211(1,2,.,)(1,2,.,)()()(1,2,.,),abQiiNNiiiiiiiy iNyiNQyyyabxQy iNQx y全部观测值与直线上对于的的离差平方和则为：反映了全部观测值对直线的偏离程度，显然，离差平方和 越小，愈能较好地表示之间的关系。用最小二乘法原理，通过选择合适的系数 ， ，使 最小第7页/共52页2021-10-1511_1111_22211_2()0(6

3、1)2()0(62)1()()(63)1()()(64)NiiiNiiiiNNNNiiiiiiiiiiNNiiiiiQyabxaQyabx xbxxyyx yxyNxxxxNay bx Ni=1联合求解得：b=第8页/共52页2021-10-15_1111,(65)ab(66)bNNiiiixx yyNNyabx此处求得 ， 后，回归方程为：便可以确定， 称为回归系数第9页/共52页2021-10-15第10页/共52页2021-10-15_22_22( ,)(1,2,.,)xyxy()()()()()iiiiiiyyiiiiiiix yiNxyxyabxyLyyyyyyyyyy_NNi=1i

4、=1Ni=1i=1设为变量 ， 间的一组观测数据，为观测点， 为 处的观测之，为这组观测数据求得的变量 ， 间的回归方程，在回归问题中，观测数据总的波动情况，用各观测值 与总平均y之间的平方和即总变动平方和表示_2()()iiiyyyyNNi=1第11页/共52页2021-10-152_2()()(68)xyy(69)iiiQyyQUyyUQUNi=1Ni=1yy第一项是观测值与回归直线的离差平方和，反映了误差的大小第二项反映了总变动中，由于 与 的线性关系而引起 变化的一部分，称为回归平方和第三项为零L第12页/共52页2021-10-15UQUQNN2UQfffffffyyyy总总总每一个

5、变动平方和（即L 、 、 ）都有一个“自由度”和它们对应，L 自由度称为总自由度，记做 。观测值个数1 11 三者之间仍然有：第13页/共52页2021-10-15aaF(2)2a0.050.01F(1,2)FFF FUNQNuQa可用 检验考察回归直线的显著性：U/f（1）计算F=Q/f（ ）对于选定的显著性水平 （或），从 分布上找出临界值F（3）比较 与 的大小。若 ，则回归方程有意义，反之则说明方程意义不大第14页/共52页2021-10-15_22_22_2_222_22()()()()()()()()1(611)()()iiiyyiiiiiiiiUyyUabxabxbxxLyyyy

6、yyxxbyyyy NNi=1i=1Ni=1Ni=1NNi=1i=1NNi=1i=1由代入整理后可得第15页/共52页2021-10-15_2222_22_2_2()()1(612)()()()()iiiiiiixxyyrbyyyyxxrbyy NNi=1i=1NNi=1i=1Ni=1Ni=1令第16页/共52页2021-10-15_2_21 yx(),1,()iiiiyyyy rbxxNi=1Ni=1下面存在三种情形：（） 与 有严格函数关系时xy1r xy1r 第17页/共52页2021-10-15_2yx,0,0yy rb（ ） 与 无任何依赖关系时xy0r xy0r 第18页/共52页

7、2021-10-153yxr（ ） 与 存在相关关系时0| |1xy10r xy01r第19页/共52页2021-10-15_21_22211yxr()()()()()()NiiiiNNiiiiixyxx yyxxyyxxrbyyxxyyll lNi=1Ni=1检验 与 是否相关的步骤：（1）按下式计算 ：第20页/共52页2021-10-15,2fn23| | |xy| |xya fa fa fa frrrrrrr（ ）给定显著行水平 ，按自由度 ，由相关系数临界表中查处临界值。（ ）比较与的大小。若，认为 与 之间存在线性相关关系；若，认为 与 之间不存在线性相关关系。第21页/共52页2

8、021-10-15n-2123456789100.05 0.010.9970.9500.8780.8110.7540.7070.6660.6320.6020.5761.0000.9900.9590.9170.8740.8340.7980.7650.7350.708n-2111213141516171819200.05 0.010.5530.5320.5140.4790.4820.4680.4560.4440.4330.4130.6840.6610.6410.6230.6060.5900.5750.5610.5490.537n-2212223242526272829300.05 0.010.41

9、30.4040.3960.3880.3810.3740.3670.3640.3550.3490.5260.5150.5050.4960.4870.4780.4700.4630.4560.449相关系数临界值表第22页/共52页2021-10-15第23页/共52页2021-10-150000002yxyyyyyQSN（一）预报问题一般来说，对于固定 处的观测值 ，其取值是以为中心而对称分布的。愈靠近的地方，出现的机会愈大，离愈元的地方，出现的机会少，而且 的取值范围与量有下述关系：第24页/共52页2021-10-1500000000000000322222yyyyyyyyyyySyySyyS

10、xxxyySySySyySSS落在范围内的可能性为99.7落在范围内的可能性为95落在范围内的可能性为68利用此关系，对于指定的 ，我们有95的把握说，在处的实际观测值 介于与之间即：这样，预报问题就得到了解决量称为剩余标准差。用来衡量预报的精确度第25页/共52页2021-10-15010211112222212120122323yyyyyyyaSbxyaSbxyaSbxyaSbxyxxxxxyyy（二）控制问题控制问题只不过是预报的反问题。若要求观测值在范围内取值，则可从（或）及（或）中分别解出 、 ，只要将 的取值控制在 与 之间，我们就能以95（或99.7）的把握保证， 在 与范围内取

11、值。第26页/共52页2021-10-15122(617)2(618)yyyabxSyabxS进行预报和控制，通常也采用图解法。其作法是：在散点图上作两条平行与回归直线的直线xy2yyabxSyabx1x2x1y2y2yyabxS0b xy2yyabxS2yyabxSyabx1x2x1y2y0b 第27页/共52页2021-10-151295xyyxx可以预测在 附近的一系列观测值中，将落在这两条直线所夹成的带行趋于中，若要求在 与 范围内取值，则只需要图中虚线所示的对于关系，可在 轴上找到值的控制范围。第28页/共52页2021-10-15腐蚀时间x（秒）腐蚀深度y（）5 5 10 20 3

12、0 40 50 60 65 90 1204 6 8 13 16 17 19 25 25 29 46第29页/共52页2021-10-15ii作散点图，即（x ,y）图40302010yx10 20 30 40 50 60 70 80 90 100 110 120 xy可见 与 之间无确定的函数关系，而表现为相关关系第30页/共52页2021-10-15_222111_222111_1111_211()()1()()1()()()()(619)(620)(621)NNNxxiiiiiiNNNyyiiiiiiNNNNxyiiiiiiiiiixyxxxyxyxxxx yyLxxxxNLyyyyNLx

13、xyyx yxyNLay bxbLlLrULl l（）求回归直线记第31页/共52页2021-10-15序号1234567891011xy2x2yxy5510203040506065901204954681316171925252946208252510040090016002500360042258100144003587516366416925628936162562584121165398203080260480680950150016252610552013755第32页/共52页2021249520811111483451375549520811111

14、149600358754951111NNNNNiiiiiiiiiiiiiiixyxxxyx yxyxyx yxyLL 具体计算格式如下：列表计算、以及，第33页/共52页2021-10-15_,0.05,9,483450.3281496002084950.3234.3711114.37.32320.521|xyxxxyxx yyffLbLaybxyxlrl lrrrr回归方程为：（ ）显著性检验相关系数0.98回归方程有意义第34页/共52页20212490.754.37.3234.370.32.7528.6( )228.622.2424.12( )228.62

15、2.2433.08( )yyysNQxyxysys（ ）预报与控制首先计算现在可以来回答两个问题1）预测当腐蚀时间秒时的腐蚀深度由回归方程第35页/共52页2021-10-1501212950.7524.1233.082)102021022031.334.5yyxyxsxsxx故有的把握回答：秒的腐蚀深度范围为：若要求克现深度在之间，应将腐蚀时间控制在什么范围：解方程4.37+0.3234.37+0.323得秒秒故知应将腐蚀时间控制在3234秒内第36页/共52页2021-10-15第37页/共52页2021-10-15121121121222212ijij01 112211101 12221

16、.x ,xY(;,)(;,)(;,)xxjyYjkknnnknkky xxxy xxxyxxxbb xb xb xbb xb xk01 1kk112模型设因变量, ,x ,有关系；b +b x +b x + (7-24)其中 是随机项，现有几组数据：（其中是自变量 的第 个值； 是 的第 个观察值）假设： y y22201 1220112n, ,N01kknnkknnkb xbb xb xb xb bbn y其中是待估参数；而 ，相互独立且服从相同的标准正态分布 （ ， ），（ 未知）第38页/共52页2021-10-1512k12ktk22.Ykxxx,;),1,2 726yxxy727Q(

17、)ttttxxxytNyy101122kk01k01k最小二乘法与正规方程设影响因变量 的自变量共有 个， ，通过实验得到以下几组观测数据（ ）根据这些数据，在 与之间欲配线性回归方程b +b x +b x +b x （ ）用最小二乘法，选择参数b ,bb ,使离差平方和达最小，即使b ,bb )=2t011tkkt1yb +b x +b x 728NtNt=1（ ）最小 第39页/共52页2021-10-1501kQ0bQ0b 729Q0b729 1111221kk1y2112222kk2y由数学分析中求极小值原理得（ ）化简并整理（ ）可得下列方程组l b +l b +l b =ll b

18、+l b +l b =l11121k11y21222k22yk1k2kkky011 730730l 1 lll l ll (730 l l llkkkbbbbyb xb x k11k22kkkky（ ）l b +l b +l b =l将（ ）写成矩阵形势为） 731（ ）第40页/共52页2021-10-15 11Nijjiitijtjt=1Nitjtt=11111 y=,n i=1,2,k l =l =xx xx i,j=1,2k1 =x x 730 a NNiiitttNNitjttty xxnxxn其中-（ ）Niytt=1Nittt=111k l =,1,21 =x y 73 0bn7

19、30QbbbitiNNittttxxyyikxy01n01n01（ ）方程组（ ）称为正规方程解正规方程，可得使b ,bb 达最小参数b ,bb ，其中为常数项，为回归系数第41页/共52页2021-10-15yy222113.lQU (7-32)1NNttttyynNyytt=1多元线性回归方差分析与一元线性回归情形类似，对多元线性回归我们有平方和分解公式： 其中 l =y -y第42页/共52页2021-10-152121122UQUE Q/ (7-33)Q/rNttNNti iytiQyyUyybl i01it22tkkt11y22ykky而 y =b +b x +b x +b x t=

20、1,2n还称 为回归平方和， 为剩余平方和。跟一元线性回归类似，我们有 b l +b l +b l具体计算时，用这个公式比较方便的。我们有 n-k-1实际上，可以证明服从自由222221 Q/ S2S (7-34)Snk度为的分布记n-k-1式（733）表明是的无扁估计，实际中常用来表示。 Q/(n-k-1)又叫剩余标准差。第43页/共52页2021-10-1520.10.050.01FYkFF (7-35)F (k,n-k-1),F(k,n-k-1),F(k,n-k-1)735UkS12k可以利用 检验对整个回归进行显著性检验，即 与所考虑的 个自变量x ,xx 之间的线性关系究竟是否显著，检验方法与一元线性回归的检验相同。只是这里仅能对总回归作出检验U/k=Q/(n-k-1)检验的时候，分别查出临界值，并与（ 0.010.050.010.10.050.1FFF(k,n-k-1),0.01F(k,n-k-1)FF(k,n-k-1)0.05F (k,n-k-1)FF(k,n-k-1)FF (k,n-k-1)Yk）计算的 值比较。若认为回归高度显著或称在水平上显著。认为回归在水平上显著则称回归在0.01水平上显著。