最小二乘估计量的性质

1、第三节最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性、线性特性的含义线性特性是指参数估计值0|和0分别是观测值Y或者是扰动项卩的12线性组合，或者叫线性函数，也可以称之为可以用Y或者是卩来表示。tt1、0的线性特征证明2（1）由0的计算公式可得：2t=x2t占)tt入Zxy工TOC o 1-5 h z0t_L=_t=tpt2Zx2Zx2Zx2ZtttxYZt_Jd乙x2t需要指出的是，这里用到了工x=工(X-X)=工X-S|1工TOC o 1-5 h zttt=工X工x=0tt因为x不全为零，可设tb，从而，b不全为零，故QbY。这说明0是Y的线性组t工x2t2tt2tt合。(2)

2、因为Y-0+0X+卩，所以有 HYPERLINK l bookmark82 o Current Document t12tt0ZbYZb(0+0X+p)tttbp这说明0是p的线性组合。2t需要指出的是，这里用到了x2=0以及工bX=E(xx+X丿x2xXtx2tX2X2Sx2、0的线性特征证明1(1)因为0=Y-0X，所以有120=Y-0X=-SYX(SbY)12nttt占丄XbYVnt丿t这里，令a=-Xb，则有Q二工aYn1t这说明0是Y的线性组合。1t(2)因为回归模型为Y=0+0X+卩，所以t12tt0=aY=a(0+0X+p)1t1ttt12a+0SaX+Sapt2tttt=S1X

3、Sb=1。而ntSaX=S1XbxttVnt丿XX=0所以，0=0+Sap11tt这说明0是p的线性组合。1t至此，参数的线性特性证明完毕问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、随机扰动项和的随机性来理解。、无偏性的含义所谓无偏性是指估计值的均值等于真实值。在这里，无偏性是指参数估计值Q和0的期望值分别等于总体参数0和0。其数学上要求是1212EC)=0和EG)=0。1122证明：根据参数估计值的线性特征，我们推导出：0=0+工a卩，所以有：11ttEC)=E(0+工a卩)=E(0)+E(Xa卩)11tt1tt=E(0)+工E(a卩)=E(0)+X(E(a)E(卩)1tt1

4、tt=E(0)1相似地，0=0+Xb卩，所以有22ttEC)=E(0+Xb卩)=E(0)+E(Xb卩)22tt2tt=E(0)+XE(b卩)=E(0)+X(E(b)E(卩)2tt2tt=E(0)2三、最优性(有的书本上直接称之为最小方差性)的含义最优性是指用最小二乘法得到的参数估计值Q和0在各种线性无偏12估计中得到的方差最小。根据上述的定义，我们可以任意假设Q*是用其他方法得到的总体参数20的一个线性无偏估计。2因为0：具有线性特性，我们可以得到：20*=XcY=Xc(0+0X+p)，2ttt12ttECJ=E&cY)=E&c(p2tt=EcE(P+PX+p)=EcP+cE(pX)+EcE(

5、卩)ttt1t2t=pZc+ZcPE(X)+01tt2t=PZc+PZcX1t2tt又因为念是用其他方法得到的总体参数Q的一个无偏估计，所以有22EC*)=P22所以由上述两个结果，可以得到：p工c+p工cX=p1t2tt2上述式子要成立，必须同时满足两个条件，即Zc=0和ZcX=1ttt现在求p*的方差：(XcY)1tt2cYECcY丿|2tttt:cY-(cE(y)tttttt-2=E工cYY”Ltttvar)=var(ZcY)=ELZ2ttLcYE(XcY)12=E工cY-工cf1tttt一c卩2=E(ctt屮)2+(c卩匕1122屮+c|Ll+c|Ll卩1122tt=E=Zc2E(L2

6、)+ZZcLE(LL)tttsts+(cL匕人(cLcL+cLcL+)+(cLcL+cLcL+)+tt1122113322332244因为根据假设条件(常数方差和非自相关，即var(卩)=E(卩-E(卩)2=E(卩2)=g2和ttttucov(卩,卩)=E-E(卩)tsttss=E|_(卩0)(卩0)J=E(卩卩)=0tsts所以，有varC*)=2工c2=c2工(cb)+b22ututtt=a2Z(cZb2+22工b(cb)uttututtt0*方差的最后一项为2工b(cb)=工be工b2tttttt=Eet血F血J=yL(Eex1)x2ttt=E(工e(XX)1)x2ttt=*eXXEe1

7、)x2tttt=0这是因为Ee=0和EeX=1+C2工b2utttt因此，有varb)2uttctt而在此时，有0*=EeY=EbY=02tttt2即两个估计值相等。很明显，当e=b时，0*方差最小，此时，最小值为varC*)=2Eb2o22ut因为0*的最小方差等于0的方差，即var(3*)var(3)，因此，我们说，22220在所有线性无偏估计中的方差最小，且最小方差为：2var(0)=g2工b2=2utx2t同理，我们可以证明，Q在所有线性无偏估计中的方差最小，且参数1估计值的方差为：C)C2(EX2)varW丿=1nx2t由此，说明，最小二乘估计具有BLUE(bestlinearunb

8、iasedestimation)性质。从而在统计学和计量经济学中得到广泛应用。第四节系数的显著性检验一、系数估计值的特性：1、根据系数估计值的线性特性，我们知道系数估计值是Y和卩的线tt性组合。又因为Y和卩都服从正态分布，所以，我们可以自然得到两tt点：一是系数估计值是随机变量(这里是在数学上再次予以证明)；二是系数估计值服从正态分布。从而，可以用随机变量的一些数字特征来表示。通常，我们采用的是均值与方差。系数估计值的均值是多少呢？根据系数估计值的无偏性，我们知道，EC)=卩，EC)=卩。1122这说明系数估计值和T这两个随机变量的数学期望(均值)分别等于总体参数(实际值)。系数估计值的方差又

9、是多少呢？根据系数估计值的最小方差性的证明，我们得到了其方差，即有varC)=1C2X2)()yG2uyvarW丿=o2乙b2=y-unx22utx2tt至此，我们可以用随机变量的数学期望和方差来刻画p和p这两个随机变量的分布，即有：p服从均值为p、方差为u亍11n乙12b2X2)uy的nyx2t正态分布；而6服从均值为p、方差为二的分布。用数学的语言22工x2tC2S-Mx2t可以描述为：0:NpG2(ZX21,n乙x2t丿可以明显看出的是，在系数的描述中，方差中含有随机扰动项的方差，其他我们可以得到。随机扰动项是总体回归模型中的误差项，无法得到，只能对其估计。、随机误差项方差的估计因为总体

10、回归模型为：y二B+Bx+卩t12tt而样本回归模型为：Y=B+BX+et12tt从形式上看，样本回归模型中的残差e可以看作随机扰动项t的估计值。进一步，残差e的方差可以作为随机扰动项卩的tt方差2的估计值。u样本回归模型为：y=0+0X+et12tt样本回归直线为：Y=0+0Xt12t样本回归模型的左右两边减去样本回归直线的左右两边，可得：=e，把这个式子重新安排一下，可以得到：ttttte=Y-Pttt现在，重点要求的是e的两个部分，即C-Y）和（Y-Y）。这两ttt部分知道之后，才能求e的方差。t对样本回归模型y=0+0 x+e两边分别对t求和，再除以n,t12tt有：Y=0+0X+et

11、12ttn乙Y=乙0+乙0X+乙et12ttn1工Y=1工0+1工0X+1工entn1n2tntn1工Y=1工0+0 x1工X+1工entn12ntnt1、nY=0+0X+乙e12nt由前边的正规方程组，我们曾经知道，点（X,Y）在样本回归直线上，用数学的语言来讲，就有：AAY=0+0X，12因此，有=0+02Xt，进而，有TOC o 1-5 h z八八=0+0X入（_）入-Y=0VX-X丿=0 xt2t2t对总体回归模型y=0+0 x+卩两边分别对t求和，再除以nt12tt有：Y=0+0X+卩t12ttn乙Y=乙0+乙0X+乙卩t12ttn1工Y=1工0+1工0X+1工卩ntn1n2tntn

12、1工Y=1工0+0 x1工X+1工卩ntn12ntntTOC o 1-5 h z11YnY=0+0X+-乙卩卩=n乙巴Y=0+0X+卩12nt12所以，由Y=01+02ft+t，可得,Y=0+0X+卩12x+2tY-Y=0（X-X）+C-口）=0 x+C-门）t2tt2ttttIBe=Y-Yttt将两部分结合起来，现在，我们可以得到：Y-Y=0 xt2tY-Y=0 x+V卩丿t2tt可以得到：e)x+CJ，(从这个式子我们可以看出t22tt什么呢？)至此，已经将残差与扰动项联系起来了。由此，我们可以得到：工e2=一0)x+C一口)t22tt=一0)x)+C一口)+工2G-0)xC一口)22tt

13、22tt=(0一0)工x2+C一聲)+222tt22tt进一步，有：Ee2)=E一0)工x2+CJ+2G-0)xC一卩)t22tt22tt=工x2E(|3一0)+E一了)丄2EC0)SxC一口)t22t22tt在这三项当中，有：EG-0)=EC一0)=ECE=var=5U-2222222乙x2所以，第一项为工x2EG-0一)=工兀2邑tx2EG-0)=工x2fU=g2t22t7x2ut第二项为：EEE|LX2+t=nc2+En(丄工0|nt丿=nc2+Eu=nc2一EuE2)+E口2-20工卩工E(卩2)+E(口2-2口工卩)tttt2-21工0工0nt1皿-2皿Vntnt丿1皿Vnt丿=nc

14、2-E0)TOC o 1-5 h zunt=nc2-E(0+0+-+0)2n12t=nc2-E(0+0+-+0)2un12t=nc2-J-EP(02+02+02)+(00+00+)+(00+00)+unL12t12132324-=nc2-1E02)-1E(X工(00)untnts=nc2-c2-)uunts=(n-1)c2u第三项为：32）zxC一口）tt）ExQ初）x卩一工x胡）x卩）（Z；卩）x站）x卩”2Er（Xb卩治工xTttLttt/、-b卩）（x卩+x卩）一2E（Xb卩）Ex）ttiittttt）+-2E（b卩）E（pEx）tttii22iitt=2Ebx卩2+2E（b）2GpE（

15、卩）Ex）ttttsts=2b）+2bxE（卩卩）0ttttsts=2=2c2=2c2故有E（e2）=c2+（n1）c22c2=（n2）c2，也就疋说t卩卩卩卩iJIJIJ11(bi(b-_-_-_-_-_-_EEEEEE222222=tt+b卩八x卩+x卩,ittiitttt卩2+bx卩2）+Cbitttiibx卩2+2Ettttststttttttbxc2t卩bxttc2=Ee2）=E卩（n一2）tI（n-2）丿如令S2二工et2，则意味着ECs2)=02。这说明S2是c2的无偏估(n2)卩卩计量。前面，我们已经求得G2（ZX2）u、ti,n乙x2t丿c2u2,x2t。在p八和p的方差中都

16、含i2有未知量c2。这里，我们证明了S2是c2的无偏估计量，因此,工e2可以用S2上2作为c2的估计值，这样，代入得到p八和0的(n2)卩i2方差的估计值分别为S2=St和S2=吕01nx202工x2it2tS=吊，S=0ix2t，S=P2分别称为回归模型的标准差、参数估计值b八和0的标准差。12知道了估计值的方差估计值，就可以对参数进行显著性检验，也可以估计总体参数的置信区间。二参数估计的显著性检验以上一节家庭消费支出和收入之间的关系的例子来说明，通过选取样本，我们得到了总体参数0和0的估计值分12别为Q和0。通过这个估计值，我们知道了家庭消费支出和12收入的具体数量关系。现在，需要知道的是

17、，通过样本得到的估计值能够正确地反映总体参数吗？这需要通过假设检验来做出判断。1、关于假设检验假设检验指利用样本得到的信息来判断总体是否具有某种制定的特征。例如：某药品生产线上规定，每片药片的净重是400毫克，标准差是4毫克。今连续检查20片药片，平均药片重量为毫克。问药片的重量是否已经偏离了额定净重值？假设：对总体分布特征的假设假设检验：根据样本信息来判断总体分布是否具有指定的特征，这个过程叫假设检验。就家庭消费支出而言，我们关注的是家庭消费支出与收入之间是否真的存在回归关系，也就是说我们关注总体参数0和0是否不等于零。因此，我们这里的假设是对总体参数12的假设，我们这里的检验是对总体参数的

18、假设检验，我们要运用的假设检验的工具是用样本工具得到的与0和0有关的12检验的工具。这就是用样本信息来推断总体。1、对总体均值的假设检验因为我们关注的是解释变量和被解释变量之间的关系是否真实存在，因此，我们需要检验的是总体均值是否为零对总体均值的假设检验可分三种情况：总体服从正态分布，总体方差已知，样本大小无限制总体总体分布未知，总体方差未知，大样本总体服从正态分布，总体方差未知，小样本我们这里符合的是总体服从正态分布，总体方差未知，小样本。2、用什么来检验？(检验工具，统计量)我们已经知道，参数估计值满足：入(G2(SX20:N0uS11，乙X2Vt丿、a2uX2丿要尽可能利用关于0和012

19、的信息。将0和0由正态分布转化为标准正态分布统计量：12Z=01:N(01)和Z=02(2:N(01)V;var(p，V,var(fr)，在这两个统计量中，var(0)和varQ)我们都不知道，原因在于12a2未知。但我们前边已经证明s2二仝是a2的无偏估计量。u(n-2)u因此，对于大样本情况，我们可以用s2=21代替a2，进而(n-2)u2，S=B-var求得var）和var）以及S厂J:n（01）可以进一步转化这样，Z=varB-:N（01）和Z=12为：Z1-片:N（01）和Z2-匕:N（01）。S，S，卩1卩2从而可以利用这两个统计量对总体参数b和b进行检验。（什12么含义）就是说，

20、我们可以对比如B“进行检验。如何检验2呢？就是考察我们算出来的统计量Z二M=是否服从正态分布。对于一元线性回归模型而言，我们关心的是解释变量能否解释被解释变量，在数学上这表现为b丰0是否成2立。因此，我们可以进行下假设零假设H:002备择假设H:卩鼻0z口二鱼服从标准正态分布，我们用12在零假设条件下，JS2JS27这个统计量进行检验。在一般情况下，样本容量不满足大样本条件，这时要用t统计量，所做的检验称之为t分布检验。这时t统计量为:t二丄壬=二旦，其服从自由度为（n-2）的t分布。22Pt|仁(n_2)=w，此式子等价于pt(n_2)=牛和P_t(n_2)=w。见下图。w22tot(n-2

21、)(n2)假设成立，即b=0。2(即t统计量小于临界值)，则可以认为原关于t分布TOC o 1-5 h zt分布的含义是随机变量落入一定区域的概率。给定显著性水平和自由度(n-2),则t落入区间Ct(n-2),t(n-2)w2w2内的概率为：P_t(n-2)tt(n2)，w2反之，如果计算出来的这时t统计量为:则可以认为备择假设成立，即Bz0。2因此，我们通常的希望是t统计量值大于临界值。t统计量值我们可以根据样本计算出来，而临界值可以通过查表得到。问题：t值与P值的关系是什么？相应地，我们可以对总体参数值B进行检验。过程为：1零假设为：H:B=001备择假设为：H:B工012计算统计量t二丄

22、庐B1查t分布表，得出临界值t(n2)。a2，则拒绝零假设，接受备择假设，即认为卩工0。2若M显-2)三、总体参数的置信区间1、B的置信区间1由Pt(n2)vtvt(n2)=1a，将t=U代入概率公式，可a2a：2S得：、P=1aa2nPLt.(n2)SBBtf(n2)SL1aTOC o 1-5 h zra2B11a2BanP0tf(n2)SvBvB+1.(n2)S)=1ar1a2B11a2、BnP/t,(n2)SBB+1(n2)S)=1a1a：2B11a：2B用概率表述为：1总体参数P11丿+111ao包含总体参数在区间-Gt：(n2)S)(B+1-(n2)SM内的概率为_1a2b1a2b-

23、统计表述：区间(Bt.(n2)S)G+1(n2)S_1a2Bi1a2B-B的概率为1a。1通常说，总体参数B的1a置信区间为:13-1(n-2)S)G+1,(n-2)S)1&2A1&2A_2、相似地，总体参数卩的if置信区间为：2G-1(n-2)S)G+1.(n-2)S)_2&2B2&2B_由这两个区间，可以推断总体回归线所处的区域。四、决定系数(可决系数)评价回归直线对观察值拟合的好坏，拟合优度是一个重要的指标。显然，若观测点离回归直线近，则拟合程度好，反之，则拟合程度差。测量拟合优度的统计量是可决系数(决定系数)现由一个恒等式开始。AAYY=(YY)+(YY)tttt这个式子把解释变量的总

24、偏差YY分解成两部分：回归偏差t或者叫可解释偏差(yrY)和残差(Y-Y?)两部分之和。ttt可解释偏差是由样本回归直线决定的，残差则是随机的。显然，由样本回归直线解释的部分越大，则残差越小，样本回归直线与样本值的拟合优度就越好。而要从总体上反映样本回归方程对所有样本点的拟合的好坏，必须求和，考虑到正负抵消的问题，可以求平方和。总离差平方和：TSS二工C-Y)t回归平方和：ESS二工6Y)t残差平方和：rss=Z(Y-)t现在推导三者之间的关系：八八YY二(YY)+(YY)tttt工CY)工(*y)+(Y-y)tV*丄(丫厂Y)2+(Yt-Yt)2+2(Yt-Y弋%)工CY+CYr+2工&Y)

25、(Y)ttttt工CY+S(ytt这里有：TOC o 1-5 h z、八一八2乙(YY)(YY)=+0XY)12tt=20工e?1t2ttt=0(会议正规方程组)所以有工(YY)=工6Y)+工(yY)。即:ttt总离差平方和=回归平方和+残差平方和。用公式表示为：tss=ess+rss，ESS表示可以由解释变量说明的偏差部分，RSS表示可以由残差说明的偏差部分。显然，Ess在Tss中所占的比例越大，Rss所占的比例越小，则参数估计值的显著性越强，样本回归直线与样本观测值拟合得越好。因此，可以用ESS在TSS中所占的比例说明回归直线与样本观测值的拟合程度。也即总离差中可以由回归方程说明的部分。可

26、决系数或拟合优度可以定义为_ESS_-Y2=TSS=X(bt可决系数的取值范围为：R2uo,lR2变化的含义是什么?四、相关分析1、回归分析和相关分析的区别回归分析：性质、变量要求相关分析：相关关系，不是因果关系。变量要求不同2、相关分析的分类:线性相关：直观上讲，样本点集中分布在一条直线附近直线斜率为正，为正相关。直线斜率为负，则为负相关非线性相关：样本点分布在一条曲线周围。3、相关程度的度量一般用相关系数表示X和Y的相关程度。总体相关系数定义为p=T1)XYJvar(X)var(Y)总体相关系数的取值范围：总体相关系数与样本相关系数之间的关系。样本相关系数一般用r来表示，且定义:工xytt

27、E(X-X)(Y-Y)Tx2unXYcov(X,Y)r=-XYvarX)varY)这里有：x=X-Xty=Y-Yt4、相关分析与回归分析的关系这里特指在一元线性回归分析和简单相关分析中的关系。这里可决系数与相关系数有如下关系：r2=R2XYr=+R2。5、计量回归分析的规范表达第五节预测和预测区间关于预测预测对两种样本数据的作用。对于时间序列数据的估计的目的是预测。对截面数据估计的目的是为了推测未知数据。预测是计量经济学的一项主要任务。一、预测的点估计首先回顾四个方程式总体回归模型：y二B+Bx+卩t12tt总体回归直线：E(Y)=B+BXt12t样本回归模型：Y=B+BX+et01tt样本回

28、归直线：y=0+BXt01t对于样本外的符合假定条件的一点X而言，代入总体回归0模型和总体回归直线，我们可以得到：y=B+Bx+卩和e(y)=B+BX012000120然而，由于B和B我们并不知道，因此，无从获得Y和120E(Y)。0但是，利用样本回归直线，我们可以得到Y的估计值Y，00)=E(f3)+E(f3X)0120求期望有：+PX二E(Y)200这说明Y是E(Y)的无偏估计量。00冋时，EC）=E（Y）=Y_y，故ECLY，这说明#不是Y的00000000无偏估计量。由=P1+P2Xo叫可得：/Y=0+0X120C_F)=E(0+0X+卩00L1200(0_|3)+(0_0)X+卩(二

29、)2(2入0)0)V0_0丿+XEV0_0丿+E(卩)E=E=E=0)_C+0X力120110220这说明在多次观察中，（y“）平均值趋于零，从而以Y作000为y的估计中心是合理的。0二、预测的区间估计1、E（Y）的置信区间02、Y的置信区间0先求e（Y）的置信区间0因为E（Y）=0+0X，所以E（Y）服从正态分布。求其置信区01200间的关键是求其与Y的偏差的方差。0var(E(Y)_Y)=E(E(Y)_Y)_E(E(Y)_Y00L0000其中，E(E(Y)_Yr)=E(Y)_EC)=0(Y是E(Y)的无偏估计量)000000所以,var(E(Y)_Y)=E(E(Y)_F)，进一步可以写为0

30、000var(E(Y)_Y)=E(E(Y)_Y)2=E(E(Y)_Y)2=E(Y_E(Y)200000000=var(Y)0进而，var(e(Y)-Y)=E(E(Y)-Y)二EP(P+PX)-(|3+0X0000L120120(p-0)+G-0)X12二EG-0)+X2E(p-0)+0X)-0p+0pX1220120+2XE110220上式子中的第一项为：&2(EX2)tX2tE(0-0)=EG-EC)=varC)=-E11111nE上式子中的第二项为：C)=X2varC)=20X2EC-0)=X2ECE02202上式子中的第三项为：X2G20u-2工x2t3-0丿甲-0j=-2X0Xb:11

31、P2H2EX2t将上述三项相加得到var(Y)-Y)=b2(1+00unEx2t因为上式中，总体方差&2可以用s2来代替。从而可以得到uE(Y)-Yp的方差估计值为：Var(Y)-it)=VarC)=S2(!+0000nEx2t统计量，则有P00(o)E(Y)-P-tjn-2丿0=a2JVar所以，根据E(Y)-i的分布，给定显著性水平a，使用t(n-2)=1-a即有=1-a。PY-1(n2)屁rC)E(Y)Y+1.(n2)JvSrC)a2V00a2y0k丿这说明，E(Y)的1a置信区间为:0Y-1(n-2)0a.20var,Y+1(n-2)0a.22、y的置信区间0相似地，我们可以得到Y-Y

32、00的方差估计值为i(x-x)S2(l+_+0)x2从而y的1-a置信区间为:0Y-1(n-2)0aj2Var)-YZY+1000(n-2)a2tio.案例：用回归模型预测木材剩余物伊春林区位于黑龙江省东北部。全区有森林面积万公顷，木材蓄积量为亿m3。森林覆盖率为，是我国主要的木材工业基地之一。1999年伊春林区木材采伐量为532万m3。按此速度44年之后，1999年的蓄积量将被采伐一空。所以目前亟待调整木材采伐规划与方式，保护森林生态环境。为缓解森林资源危机，并解决部分职工就业问题，除了做好木材的深加工外，还要充分利用木材剩余物生产林业产品，如纸浆、纸袋、纸板等。因此预测林区的年木材剩余物是安排木材剩余物加工生产的一个关键环节。下面，利用一元线性回归模型预测林区每年的木材剩余物。显然引起木材剩余物变化的关键因素是年木材采伐量。给出伊春林区16个林业局1999年木材剩余物和年木材采伐量数据如表。散点图见图。观测点近似服从线性关系。建立一元线性回归模型如下：y=+x+ut01tt表年剩余物y和年木材采伐量x数据11林业局名年木材剩余物y（万m3）年木材采伐量x（万m3）乌伊岭东风新青红星五营上甘岭友好翠峦乌马河美溪大