最小二乘法OLS和线性回归实用教案

1、会计学1最小二乘法最小二乘法(chngf)OLS和线性回归和线性回归第一页，共89页。2第1页/共89页第二页，共89页。3图2-1 货币(hub)供应量和GDP散点图第2页/共89页第三页，共89页。4第3页/共89页第四页，共89页。5第4页/共89页第五页，共89页。6第5页/共89页第六页，共89页。7y= x 根据上式，在确定、的情况下，给定一个(y )x值，我们就能够得到一个(y )确定的y值，然而根据式（2.1）得到的y值与实际的y值存在一个(y )误差（即图2-1中点到直线的距离）。 第6页/共89页第七页，共89页。8y= ux 即： tttuxy其中t（=1,2,3,.,T

2、）表示(biosh)观测数。 （2.2）（2.3）式（2.3）即为一个简单(jindn)的双变量回归模型（因其仅具有两个变量x, y）的基本形式。 第7页/共89页第八页，共89页。9variable）、n结果变量(binling)n（effect variable）；n原因变量(binling)n（causal variable）第8页/共89页第九页，共89页。10第9页/共89页第十页，共89页。11第10页/共89页第十一页，共89页。12ttyx第11页/共89页第十二页，共89页。13tytutuT21ttuT21()tttyyT21()tttyx RSS= = （2.4） 第12

3、页/共89页第十三页，共89页。1422xTxxyTyxtttyx（2.5） （2.6） 第13页/共89页第十四页，共89页。15第14页/共89页第十五页，共89页。16ttxy+tu （2. 7）样本回归方程（SRF）是根据所选样本估算( sun)的变量之间的关系函数，方程为： 注意：SRF中没有误差项，根据(gnj)这一方程得到的是总体因变量的期望值txy（2.8） 第15页/共89页第十六页，共89页。17y tutttyxu第16页/共89页第十七页，共89页。18x2xxy第17页/共89页第十八页，共89页。19tutteAxy （2.10） 可以(ky)进行如下变换： ttt

4、uxAylnlnln （2.11）令 、 、 ，则方程(fngchng)（2. 11）变为： ttyYln Aln ttxXlntttuXY（2.12） 可以看到，模型2.12即为一线性模型。 第18页/共89页第十九页，共89页。20第19页/共89页第二十页，共89页。21布 0tE u 2tu0,jiuu0,ttxu2, 0第20页/共89页第二十一页，共89页。22第21页/共89页第二十二页，共89页。23第22页/共89页第二十三页，共89页。24 22222xTxTxsxxTxsSEtttt 22211xTxsxxsSEtt22Tust其中(qzhng)， 是残差的估计标准差。

5、（2.21） （2.22）第23页/共89页第二十四页，共89页。25 SE SE第24页/共89页第二十五页，共89页。262 xxt2 xxt第25页/共89页第二十六页，共89页。27图22 直线(zhxin)拟合和散点集中度的关系第26页/共89页第二十七页，共89页。282tx2tx2tx第27页/共89页第二十八页，共89页。29tu2, 0Nty var,N（2.30） var,N （2.31）第28页/共89页第二十九页，共89页。30其标准(biozhn)正态分布为： 1 , 0Nvar 1 , 0varN （2.32） （2.33）第29页/共89页第三十页，共89页。31

6、 SE SE 、 将不再(b zi)服从正态分布，而服从自由度为T-2的t分布，其中T为样本容量 SE SE即： SE (2.34) SE2Tt2Tt (2.35)第30页/共89页第三十一页，共89页。32第31页/共89页第三十二页，共89页。33第32页/共89页第三十三页，共89页。34 2 yyt第33页/共89页第三十四页，共89页。35 是被模型所解释的部分，称为回归(hugu)平方和（the explained sum of squares，简记ESS）； 是不能被模型所解释的残差平方和（RSS）,即 =2 yy2tu2tu2ttyy2 yyt2 yyt2tu第34页/共89页

7、第三十五页，共89页。36 图24 TSS、ESS、RSS的关系(gun x)第35页/共89页第三十六页，共89页。372RTSSESS （2.37） （2.38）TSSRSSTSSRSSTSSTSSESS1 1 , 02R R2越大，说明回归线拟合程度越好；R2越小，说明回归线拟合程度越差。由上可知(k zh)，通过考察R2的大小，我们就能粗略地看出回归线的优劣。第36页/共89页第三十七页，共89页。38第37页/共89页第三十八页，共89页。39第38页/共89页第三十九页，共89页。402R22111RKTTR（2.40）第39页/共89页第四十页，共89页。41第40页/共89页第

8、四十一页，共89页。42第41页/共89页第四十二页，共89页。43第42页/共89页第四十三页，共89页。44 SE*0:H*1:H第43页/共89页第四十四页，共89页。45 *stat =SE（3）选择一个显著性水平（通常是5%）,我们就可以在t分布中确定拒绝区域和非拒绝区域，如图2-5。如果(rgu)选择显著性水平为5%，则表明有5%的分布将落在拒绝区域 第44页/共89页第四十五页，共89页。46 图2-5 双侧检验(jinyn)拒绝区域和非拒绝区域分布第45页/共89页第四十六页，共89页。47第46页/共89页第四十七页，共89页。48 置信区间检验(jinyn)的主要步骤（所建

9、立的零假设同 t检验(jinyn)）。第47页/共89页第四十八页，共89页。49 SEcrittcritt SEcritt SE第48页/共89页第四十九页，共89页。50*0:H第49页/共89页第五十页，共89页。51stat*c ritc rit-ttS E critt SE*critt SE第50页/共89页第五十一页，共89页。52第51页/共89页第五十二页，共89页。53第52页/共89页第五十三页，共89页。54tktktttuxxxy.33221第53页/共89页第五十四页，共89页。55uXy（2.46）第54页/共89页第五十五页，共89页。56Tuuuu21M（2.4

10、7） 残差平方和为： 2222212121tTTTuuuuuuuuuuuuRSSKML（2.48）第55页/共89页第五十六页，共89页。57yXXXk121M （2.49）同样我们可以得到多变量回归(hugu)模型残差的样本方差kTuus2（2.50）参数(cnsh)的协方差矩阵 （2.51） 12varXXs第56页/共89页第五十七页，共89页。58第57页/共89页第五十八页，共89页。59TSSESSR 2（2.53）第58页/共89页第五十九页，共89页。60kttkttttxyxyxyESS3322233222tkttkttttyxyxyxyR第59页/共89页第六十页，共89页

11、。61 *1111tSE*2222tSE*kkkktSE（2.56） 均服从自由度为（n-k）的t分布。下面的检验过程跟双变量线性回归模型(mxng)的检验过程一样。 第60页/共89页第六十一页，共89页。62第61页/共89页第六十二页，共89页。63uxxykk221 （2.57）这个模型称为无约束回归模型（unrestricted regression），因为关于回归系数没有(mi yu)任何限制。 第62页/共89页第六十三页，共89页。64uxxxxykkqkqkqkqk11221（2.58） 第63页/共89页第六十四页，共89页。6501kqkuxxyqkqk221 （2.59

12、）第64页/共89页第六十五页，共89页。66RRSSURRSS第65页/共89页第六十六页，共89页。67 （2.60）RURURRSSRSSqRSSNK在这里，分子是误差平方和的增加与零假设所隐含的参数限制条件(tiojin)的个数之比；分母是模型的误差平方和与无条件(tiojin)模型的自由度之比。如果零假设为真，式（2.60）中的统计量将服从分子自由度为q，分母自由度为N-K的F分布。 第66页/共89页第六十七页，共89页。68第67页/共89页第六十八页，共89页。6921RSSRTSS 21URURURRSSRTSS21RRRRSSRTSS RURTSSTSSkNRqRRFURR

13、URkNq222,1（2.62） 第68页/共89页第六十九页，共89页。70第69页/共89页第七十页，共89页。71t1tE(YI)t,1f第70页/共89页第七十一页，共89页。72t, 1t1tf=E(YI) （2.65） 第71页/共89页第七十二页，共89页。73第72页/共89页第七十三页，共89页。74第73页/共89页第七十四页，共89页。75第74页/共89页第七十五页，共89页。76第75页/共89页第七十六页，共89页。77211TstttyyTstytyty第76页/共89页第七十七页，共89页。7811TstttyyT第77页/共89页第七十八页，共89页。79Tt

14、tTtstTttstyTyTyyTU121212111tstyy 第78页/共89页第七十九页，共89页。80 ssststyyyyT121222 （2.69） ,ssyystytyyyyyTtssts1第79页/共89页第八十页，共89页。81221tstsMyyTyyU（2.70）221tstsSyyTU （2.71）2112tstsCyyTU （2.72）第80页/共89页第八十一页，共89页。82MUSUCU1, 0CSMUUU比例 分别称为U的偏误比例，方差比例，协方差比例。它们是将模型误差(wch)按特征来源分解的有效方法（ ）。CSMUUU,1CSMUUU第81页/共89页第八十二页，共89页。83第82页/共89页第八十三页，共89页。84第83页/