线性回归模型学习教案

1、线性回归线性回归(hugu)模型模型第一页，共83页。第1页/共83页第二页，共83页。第2页/共83页第三页，共83页。第3页/共83页第四页，共83页。第4页/共83页第五页，共83页。第5页/共83页第六页，共83页。第6页/共83页第七页，共83页。模型的最关键的标志，称之为随机扰动项或误差项。正是u 的随机性使得我们可以采用统计推断方法对模型的设定进行严格的检验。第7页/共83页第八页，共83页。第8页/共83页第九页，共83页。第9页/共83页第十页，共83页。第10页/共83页第十一页，共83页。第11页/共83页第十二页，共83页。第12页/共83页第十三页，共83页。,两个变

2、量的协方差为零,则表明这两个变量之间不存在相关关系.第13页/共83页第十四页，共83页。第14页/共83页第十五页，共83页。第15页/共83页第十六页，共83页。第16页/共83页第十七页，共83页。01()iiE yx简称总体回归方程（总体回归线）。其中简称总体回归方程（总体回归线）。其中(qzhng)总体回总体回归系数归系数 和和 是未知的，实际上总体回归线是无法求是未知的，实际上总体回归线是无法求得的，它只是理论上的存在，所以称为理论回归方程得的，它只是理论上的存在，所以称为理论回归方程01第17页/共83页第十八页，共83页。01iiiyxe01ix0101ie01iiyx第18页

3、/共83页第十九页，共83页。的平均变动值，即x的变动对y变动的边际贡献率；是实际观测值 y 的拟合值或估计(gj)值我们用一个图来表示yi,E(yi, )、ui、ei01011第19页/共83页第二十页，共83页。 Y iY ie iY Xi X 01iiyx01()iiE yx()iE yiu第20页/共83页第二十一页，共83页。出 、 能使 yi ， 之差的平方和最小（即为使残差平方和最小）01iy第21页/共83页第二十二页，共83页。方程组（方程组（* *）称为）称为(chn wi)(chn wi)正规方程组（正规方程组（normal equationsnormal equatio

4、ns）。）。 第22页/共83页第二十三页，共83页。iiiiiiiiYXnYXYYXXyx1)(上述上述(shngsh)(shngsh)参数估计量可以参数估计量可以写成：写成： 上式称为上式称为OLSOLS估计量的离差形式。估计量的离差形式。 由于参数由于参数(cnsh)(cnsh)的估计结果是通过最小二乘法得的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（到的，故称为普通最小二乘估计量（ordinary least ordinary least squares estimatorssquares estimators）。）。 第23页/共83页第二十四页，共83页。10niie

5、10niieen10niiie x, x y第24页/共83页第二十五页，共83页。iiiyxu2iiix yx第25页/共83页第二十六页，共83页。第26页/共83页第二十七页，共83页。2 2、无偏性无偏性， 即估计量估计量0、1的均值（期望）等于总体回归的均值（期望）等于总体回归参数真值参数真值0与1 证明证明(zhngmng)：易知易知故故同样地，容易同样地，容易(rngy)(rngy)得出得出 第27页/共83页第二十八页，共83页。3 3、有效性（最小方差性）、有效性（最小方差性），即在所有线性无偏估计量即在所有线性无偏估计量中，最小二乘估计量中，最小二乘估计量0、1具有最小方差

6、具有最小方差。 (1)先先求求0与与1的的方方差差 第28页/共83页第二十九页，共83页。其中其中(qzhng)，ci=ki+di，di为不全为零的为不全为零的常数常数则容易证明则容易证明假设*1是其他估计方法得到的关于1的线性无偏估计量： 普通最小二乘估计量（普通最小二乘估计量（ordinary least Squares ordinary least Squares EstimatorsEstimators）称为）称为(chn wi)(chn wi)最佳线性无偏估计量最佳线性无偏估计量（best linear unbiased estimator, BLUEbest linear unb

7、iased estimator, BLUE） 第29页/共83页第三十页，共83页。教育对生育率在其他条件不变下的影响吗？请解释。educkids10第30页/共83页第三十一页，共83页。重要影响因素与模型中的教育水平educ相关时，上述回归模型不能够揭示教育对生育率在其他条件不变下的影响，因为这时出现解释变量与随机扰动项相关的情形，基本假设4不满足。第31页/共83页第三十二页，共83页。NE第32页/共83页第三十三页，共83页。为这些性质的的成立无需随机扰动项的正态分布假设。N第33页/共83页第三十四页，共83页。第34页/共83页第三十五页，共83页。第35页/共83页第三十六页，

8、共83页。iiyY Y 第36页/共83页第三十七页，共83页。 如果Yi=i 即实际观测值落在样本回归“线”上，则拟合最好。可认为，“离差”全部(qunb)来自回归线，而与“残差”无关。第37页/共83页第三十八页，共83页。22)(YYyTSSii总离差平方和总离差平方和（Total Sum of Squares）22)(YYyESSii回归回归(hugu)(hugu)平方和平方和（Explained Sum of Explained Sum of SquaresSquares）22)(iiiYYeRSS残差平方和残差平方和（Residual Sum of Squares ）第38页/共8

9、3页第三十九页，共83页。此定义拟合优度：回归平方和ESS/Y的总离差TSS第39页/共83页第四十页，共83页。优度越高。222221iiiiyeyyr21ESSRSSrTSSTSS 第40页/共83页第四十一页，共83页。22212iiyxr第41页/共83页第四十二页，共83页。12211()()()()ninniiiixxyyrxxyy第42页/共83页第四十三页，共83页。因变量因变量自变量自变量个人储蓄个人储蓄利率利率小麦产出小麦产出降雨量降雨量美国国防开支美国国防开支前苏联国防开支前苏联国防开支老师的计量经济学教学老师的计量经济学教学学生的计量经济学成学生的计量经济学成绩绩总统声

10、誉总统声誉任职时间任职时间学生计量经济学成绩学生计量经济学成绩其统计学成绩其统计学成绩日本汽车的进口量日本汽车的进口量美国人均国民收入美国人均国民收入第43页/共83页第四十四页，共83页。0221rntr(2)nt第44页/共83页第四十五页，共83页。(2)2nt(2)2ntt(2)2ntt第45页/共83页第四十六页，共83页。A. 随机误差项随机误差项 B. 残差残差 C. 的离差的离差 D. 的离差的离差iY第46页/共83页第四十七页，共83页。012202(,)uiiXNnx01212(,)uiNx012u2u01第47页/共83页第四十八页，共83页。2u222iuen2u第4

11、8页/共83页第四十九页，共83页。在随机误差项ui的方差估计出后，参数0和1的方差方差和标准差标准差 的估计量分别是： 2u1的样本方差： 221ixS 1的样本标准差： 21ixS 0的样本方差： 2220iixnXS 0的样本标准差： 220iixnXS 2uu2uu第49页/共83页第五十页，共83页。于零,也就是检验样本是否(sh fu)取自其真实参数为零的总体.01第50页/共83页第五十一页，共83页。)2(1112211ntSxti2112(,)uiNx第51页/共83页第五十二页，共83页。 检验(jinyn)步骤： （1）对总体参数(cnsh)提出假设 H0： 1=0， H

12、1：10（2）以原假设）以原假设H0构造构造t统计统计(tngj)量，并由样本计算其值量，并由样本计算其值（3）给定显著性水平）给定显著性水平 ，查，查t分布表，得临界值分布表，得临界值t /2(n-2)(4) 比较，判断比较，判断 若若 |t| t /2(n-2)，则拒绝，则拒绝H0 ，接受，接受H1 ； 若若 |t| t /2(n-2)，则拒绝，则拒绝H1 ，接受，接受H0 ；t=11 (2)t ns第52页/共83页第五十三页，共83页。 对于一元线性回归方程中的0，可构造如下(rxi)t统计量进行显著性检验： )2(0022200ntSxnXtii在上述收入在上述收入(shur)-(s

13、hur)-消费支出例中，首先计算消费支出例中，首先计算 的估的估计值计值 134022107425000777. 04590020222221222nxyneiii0425. 00018. 07425000/13402221ixS41.98742500010/53650000134022220iixnXS2第53页/共83页第五十四页，共83页。t t统计统计(tngj)(tngj)量的计算结果分别为：量的计算结果分别为： 给定显著性水平=0.05，查t分布表得临界值 t 0.05/2(8)=2.306 |t1|2.306，说明家庭可支配收入在95%的置信度下显著，即是消费支出(zhch)的主

14、要解释变量； |t0|2.306,表明在95%的置信度下，无法拒绝截距项为零的假设。 第54页/共83页第五十五页，共83页。0110101第55页/共83页第五十六页，共83页。1第56页/共83页第五十七页，共83页。1111ts112(2)2(2)1nnpttt 111ts1112(2)112(2)1nnptsts 111112(2)12(2)(,)nntsts第57页/共83页第五十八页，共83页。00002(2)02(2)(,)nntsts第58页/共83页第五十九页，共83页。0 x0 yiiXY100 y第59页/共83页第六十页，共83页。iiXY777. 0172.10310

15、3.1720.777 40003004.828iY 第60页/共83页第六十一页，共83页。201(,)iiYNX于是于是 )(11 (, 0(220200ixXXnNYY000eYY第61页/共83页第六十二页，共83页。) 2(0000ntSYYtYY式中 :)(11 (220200iYYxXXnS从而(cng r)在1-的置信度下， Y0的置信区间为第62页/共83页第六十三页，共83页。0101000)()()(XEXEYE于是第63页/共83页第六十四页，共83页。可以证明可以证明 2210/),(ixXCov因此(ync)故)(1(22020iYxXXnS其中第64页/共83页第六

16、十五页，共83页。第65页/共83页第六十六页，共83页。在上述收入在上述收入- -消费支出例中，得到的样本回归消费支出例中，得到的样本回归(hugu)(hugu)函数为函数为则在则在 X0=1000处，处， 0 = 103.172+0.7771000=673.84 29.37277425000)21501000(10113402)(20YVar而05.61)(0YS因此，因此，总体均值总体均值E(Y|X=1000)的的95%的置信区间为：的置信区间为： 673.84-2.306 61.05 E(Y|X=1000) 673.84+2.306 61.05或或 （533.05, 814.62） 第

17、66页/共83页第六十七页，共83页。同样同样(tngyng)(tngyng)地，对于地，对于Y Y在在X=1000X=1000的个体值，其的个体值，其95%95%的置信区的置信区间为：间为： (372.03, 975.65) (372.03, 975.65) 总体回归函数的置信总体回归函数的置信(zhxn)(zhxn)带（域）带（域） 个体的置信个体的置信(zhxn)(zhxn)带（域）带（域） 第67页/共83页第六十八页，共83页。（1）样本容量）样本容量n越大，预测越大，预测(yc)精度越高，精度越高，反之预测反之预测(yc)精度越低精度越低（2）样本容量一定时，置信带的宽度当在X均值

18、处最小，其附近进行(jnxng)预测（插值预测）精度越大；X越远离其均值，置信带越宽，预测可信度下降。第68页/共83页第六十九页，共83页。小结：简单小结：简单(jindn)线性回归分析的主要步骤线性回归分析的主要步骤1、建立回归模型、建立回归模型 研究某一经济现象，先根据经济理论，选择具有因果关研究某一经济现象，先根据经济理论，选择具有因果关系的两个变量（系的两个变量（X，Y)，建立线性回归模型，确定解释变量，建立线性回归模型，确定解释变量和被解释变量。和被解释变量。 如果不明确两个变量是否为线性关系，也可如果不明确两个变量是否为线性关系，也可以根据散点图来分析。以根据散点图来分析。 建立

19、回归模型可以是根据经济理论，也可以根据相同或建立回归模型可以是根据经济理论，也可以根据相同或相似经济现象的历史分析经验来建立回归模型。相似经济现象的历史分析经验来建立回归模型。 建立模型时，不仅要考虑建立模型时，不仅要考虑(kol)理论或经验的依据，同理论或经验的依据，同时也要考虑时也要考虑(kol)数据的可利用程度。数据的可利用程度。2、收集数据，并经过适当的加工整理，得到适于回归分析、收集数据，并经过适当的加工整理，得到适于回归分析的样本数据集。的样本数据集。第69页/共83页第七十页，共83页。论和实际(shj)相符。若不符，寻找原因统计检验：拟和优度检验，回归参数的显著性检验和区间估计

20、。第70页/共83页第七十一页，共83页。5、预测、预测(yc) 对于解释变量的特定值，代入回归方程得到因变量的预测对于解释变量的特定值，代入回归方程得到因变量的预测(yc)值；在给定的置信水平上，得到因变量预测值；在给定的置信水平上，得到因变量预测(yc)值的置值的置信区间。信区间。6、回归结果的表述：、回归结果的表述： 222112122121)()()()(RsetsetXYRseseXY或： 并说明(shumng)参数的显著水平（ ）。第71页/共83页第七十二页，共83页。提供回归提供回归(hugu)分析结果一般有两种方式：分析结果一般有两种方式：（1） = 6.70 + 0.58X

21、 R2 =0.49 （1.38）（）（2.76） 这里这里6.70和和0.58分别为分别为 和和 的估计值的估计值 和和 。 括号中数字是括号中数字是H0 : =0和和H0 : =0 为真时的为真时的 t 值。值。Y010101第72页/共83页第七十三页，共83页。（2） = 6.70 + 0.58X R2 =0.49 （4.86)（0.21） 括号中提供的是 和 的标准误差。 由于存在这两种格式，使得回归结果的读者难以判断出括号中数字究竟是t 值还是标准误差。因此，要求在提供回归结果时，应予以说明。通常的作法有两种。一种是文字说明，另一种是用符号(fho)标示。 Y01第73页/共83页第

22、七十四页，共83页。第第2章章 小结小结本章主要结果：本章主要结果：一、最小二乘法一、最小二乘法 若双变量若双变量(binling)线性模型线性模型 满足下列统计假设满足下列统计假设（1）E（ut）=0 扰动项均值为扰动项均值为0（2）E（uiuj）=0 , i j扰动项相互独立扰动项相互独立（3）E（ut2）=2 常数方差常数方差（4）X与与ut不相关不相关（5）ut服从正态分布服从正态分布01tttYXu第74页/共83页第七十五页，共83页。21tttxyxXY10122tx00222ttxnX第75页/共83页第七十六页，共83页。222221ttttYYerYYYY 22ttttx yrxy 为最小二乘回归线拟合优度的测度，即回归线对为最小二乘回归线拟合优度的测度，即回归线对各观测点拟合紧密各观测点拟合紧密(jnm)程度的测度，且程度的测度，且22( )rr第76页/共83页第七十七页，共83页。221222tttteyx ynn112tsx111112 (2)ttt nsx212ttx1第77页/共8