计量经济学中相关证明

1、计量经济学中相关证明计量经济学中相关证明计量经济学中相关证明课本中相关章节的证明过程第2章相关的证明过程2.1一元线性回归模型有一元线性回归模型为：yt=0+1xt+ut上式表示变量yt和xt之间的真实关系。其中yt称被解释变量（因变量），xt称解释变量（自变量），ut称随机误差项，0称常数项，1称回归系数（平时未知）。上模型可以分为两部分。（1）回归函数部分，E(yt)=0+1xt,（2）随机部分，ut。图2.8真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材节余物的关系；身高与体重的关系

2、等。以收入与支出的关系为例。假设固定对一个家庭进行察看，随着收入水平的不同，与支出呈线性函数关系。但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，听从统计关系。随机误差项ut中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同样因素。所以，在经济问题上“控制其他因素不变”实际是不可能的。回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）合并误差（粮食的合并）（5）测量误差等。回归模型存在两个特

3、点。（1）建立在某些假设条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。（2）也正是由于这些假设与抽象，才使我们可以透过复杂的经济现象，深刻认识到该经济过程的本质。1xt平时，线性回归函数的估计，即对0和E(yt)=1的估计。0+1xt是察看不到的，利用样本获得的只是对E(yt)=0+在对回归函数进行估计以前应当对随机误差项ut做出如下假设。ut是一个随机变量，ut的取值听从概率散布。E(ut)=0。(3)D(ut)=Eut-E(ut)2=E(ut)2=2。称ui拥有同方差性。(4)ut为正态散布（根据中心极限定理）。以上四个假设可作如下表达：utN(0,)。(5)Cov(

4、ui,uj)=E(ui-E(ui)(uj-E(uj)=E(ui,uj)=0,(ij)。含义是不同察看值所对应的随机项相互独立。称为ui的非自相关性。xi是非随机的。Cov(ui,xi)=E(ui-E(ui)(xi-E(xi)=Eui(xi-E(xi)=Euixi-uiE(xi)=E(uixi)=0.ui与xi相互独立。否则，分不清是谁对yt的贡献。(8)关于多元线性回归模型，解释变量之间不能完全相关或高度相关（非多重共线性）。在假设（1），（2）建立条件下有E(t)=E(0+1t+ut)=0+1xt。yx2.2最小二乘估计（OLS）关于所研究的经济问题，平时真实的回归直线是察看不到的。收集样本

5、的目的就是要对这条真实的回归直线做出估计。图2.9怎样估计这条直线呢？显然综合起来看，这条直线处于样本数据的中心地点最合理。怎样用数学语言描述“处于样本数据的中心地点”？设估计的直线用y?t=?+?xt01表示。其中yt称y的拟合值（fittedvalue），?和?分别是0和1的估计量。察看值到01?t这条直线的纵向距离用?表示，称为残差。utyt=?=?xt+?yt+ut0+1ut称为估计的模型。假设样本容量为T。（1）用“残差和最小”确定直线地点是一个途径。但很快发现计算“残差和”存在相互抵消的问题。（2）用“残差绝对值和最小”确定直线地点也是一个途径。但绝对值的计算比较麻烦。（3）最小二

6、乘法的原则是以“残差平方和最小”确定直线地点。用最小二乘法除了计算比较方便外，获得的估计量还拥有优异特性（这种方法对异常值特别敏感）。设残差平方和用Q表示，=T?2Ty?)2T?2(y(yx)，Q=t=t01tuti1ti1i1则经过Q最小确定这条直线，即确定?0和?1的估计值。以?0和?1为变量，把Q看作是?0和?1的函数，这是一个求极值的问题。求Q对?0和?1的偏导数并令其为零，得正规方程，Q=2T?0?1xt)(-1)=0(yt(2.7)?i10Q=2T?0?1xt)(-xt)=0(yt(2.8)?i11下面用代数和矩阵两种形式推导计算结果。首先用代数形式推导。由（2.7）、（2.8）式

7、得，T(yt?0?1xt)=0(2.9)1T(yt?(2.10)01xt)xt=012.9）式两侧用除T，并整理得，?0=y?1x(2.11)把（2.11）式代入（2.10）式并整理，得，T?1(xt(yty)x)xt=0(2.12)i1TT(yty)xt?(xtx)xt=0(2.13)1i1i1?1=xt(yty)(2.14)(xtx)xtTTT因为x(yty)=0，x(xtx)=0，采用离差和为零的结论：(xtx)0，i1i1i1T(yty)0。i1TT所以，经过配方法，分别在（2.14）式的分子和分母上减x(yty)和x(xtx)得，i1i1?1=xt(yty)x(yty)(2.15)(

8、xtx)xtx(xtx)=(xtx)(yty)(2.16)(xtx)2即有结果：?1=(xtxt)(ytyt)（2.17）(xtx)2?0=y?1x这是察看值形式。如果以离差形式表示，就更加简洁好记。xtyt?1=2xt?0=y?1x矩阵形式推导计算结果：由正规方程，Q=2T?(yt)(-1)=0?i101xt0Q=2T?0?1xt)(-xt)=0(yt?i11?0T+?1(Txt)=Tyti1i1?T+?T2)=Txt(xtxtyt01i1i1i1Txt?=yt20 xtxt?xtyt1?Txt1yt=0 xt2?1xtxtytxt2ytxtxtyt1xt2xtytTxt2(xt)2=22x

9、TxtytT(xtxt)tTxtytxtytTxt2(xt)2Txt1注意：重点是求逆矩阵。它等于其陪同阵除以其行列式，陪同阵是其行列xtxt2式对应的代数余子式组成的方阵的转置。写成察看值形式。?1=(xtxt)(ytyt)(xtx)2?0=y?1x如果，以离式形式表示更加简洁：xtyt?1=xt2?0=y?1x2.3一元线性回归模型的特性1线性特性（将结果离差转变为察看值表现形式）?2xiyixi(YiY)x2x2iixiYYxiKYx2ix2iiii?Y?XYXKY12ii1YiKiXYi1KiXYinn2无偏性?2KiYiKi(12Xiui)Ki1Ki2XiKiui1Ki2KiXiKi

10、uixxi（XiX)Kii0其中：x2x2x2iiixx(XXX)KiXix2iXiiix2iixi(XiX)xiXx2ixi2Xxixi21xi2xi1故有：?22KiuiE?E(2Ku)2KEui2iii?11KiXYin1KiX12Xiuin12Xiuinnn1KiX2KiXXiKiXui12Xu1XKi2XKiXi(1XKi)uinE?(1KX)Eu11ii1n3有效性首先议论参数估计量的方差。2XKiuiVar(?2)E(?2E(?2)2E(?2)2E(2Ku)2)2E(Ku)22iiiiKu2(KuK2u2Ku)(KuKuKu)ii11nn1122nn(Kiui)2KiKjuiuj

11、ijE(Kiu)2E(Ku)2EKKjuujiiiiiijxi22222KiEuix2x2ii即：同理有：2Var(?2)xi2Var(?1)2Xi2nxi2Var(?1)E(?1E(?1)2E(1KiXui)2n1212KiXuiKiXu2nni1KX1KjXuujijniniVar(?1)212KiXn2(12KiXKi2X2)n2n222XKi2X2Ki2nn22(Xi)2nn2xi22n(x2)(Xi)2in2x2in2(Xi2nX2)12(Xi)nn2xi22Xi2xi2显然各自的标准误差为：se(?2)Xi2se(?1)xi2，nxi2标准差的作用：权衡估计值的精度。由于为总体方差

12、，也需要用样本进行估计。?2ei2n2证明过程如下：回顾:Yi12Xiui因此有：Y12Xu那么：(YiY)yi(12Xiui)(12Xu)2xi(uiu)根据定义：ey?xii2i，（实际察看值与样本回归线的差值）则有：e(2xi(uu)?x(uu)(?2)xii2ii2i两边平方，再求和：ei2(uiu)22(uiu)(?22)xi(?22)xi)2(?2)2x2(uiu)22(?2)(uiu)x2i2i对上式两边取希望有：E(e2)x2E(?)2ii22E(uiu)2)2E?22(uiu)xiABCAxi222xi2其中：BEui2nEu2n212nE(ui)n2n21E(ui2uiuj

13、)nijn21(n2)(n1)2nC2Exiuiuixiuxix2i22Exiui2E(?2)2x2xi22i22xi2x2i22故有：Eei2(n1)22e2Ein2即有：，e2?2in2，则问题得证。令关于ei2的计算：ei2yi2?22xi2yi2?2xiyi关于R2R2的证明：R2112n11a1R2Rnk，其中：a1。当k1a1R211R2n111R2R2n1当k1a1，当0R21时，有：R2R2R211R2aR21aaR2a1R2a1a11R20R2R2Q.E.D.关于R2可能小于0的证明。设：Yt2Xtut则有：那么但：Jmine2minY?X2?2t?2t2tJ0?22Y?Xt

14、XtXe0t2ttJ0et0，因为没有?1存在。同时，还有：Y?2XeYY?XtYet2t?Xt?Xee22t?XtXee2tTSSYY2Y2nY2tt?XtXee22t?XtX2ee22?XtXee2t2t其中：XtXeteXteteXeteXteteXt0eeeneen1e0tttnt，和Xtet0XtXetenXe则：TSS?2XtX2ee22?nXe2t2?2X2n?2X2e2ne22?nXe2t2t2?2X2e2ne22?nXen?2X22tt22?2X2e2n?2X22?Xee22tt22考虑到：nY2n?2Xe2?22X22?2Xee2nY2?Xte2?2X22?Xee2t2t2

15、t2ttt?22Xt2et2若定义TSSY2nY2?2X2e2n?2X22?Xee2t2tt22RSSTSS?22Xt2et2RSSTSSn?22X22?2Xee2?22Xt2n?2212Xt2?2Xee2?22Xt2nn?22Xt2n2?2Xee2?22Xt2n?22Xt2XtXsn2?2Xee2?22Xt2tsn1?22Xt2n?22XtXsn2?2Xee2ts可能小于0。参照书：DennisJ.AignerBasicEconometrics,Prentice-Hall,EnglewoodCliffs,N.J.1971,pp85-88第二章2.1简单线性回归最小二乘估计最小方差性质的证明关

16、于OLS估计式1和2,已知其方差为22XiVar(1)Nxi22Var(2)xi2这里只证明Var(2)最小，Var(1)最小的证明可以近似得出。*设2的另一个线性无偏估计为2，即*wYii2wiki,kixixi2其中E(2*)E(wYii)Ewi(12Xiui)1wi2wiXi*E(2*)因为2也是2的无偏估计，即2，必须有wi0，wiXi1同时Var(2*)Var(wYii)wi2Var(Yi)22因为Var(Yi)2wi2(wikiki)22(wiki)22ki222(wiki)ki2(wiki)22ki222(wkiiki2)wikiki2wixixi2xi2(xi2)2上式最后一项

17、中wi(XiX)1xi2xi2wiXiXwi1xi2xi20（因为wi0，wiXi1）Var(2*)2(wiki)22xi222所以(xi)2ki)22(wixi22ki)2(wiVar(2)20，因为wiki，则有(wiki)20，为此而2*)Var(Var(2)wiki*Var(2)只有时，2)Var(，由于2是任意设定的2的线性无偏估计式，这表示的OLS估计式拥有最小方差性。2.22最小二乘估计的证明用离差形式表示模型时yiYiY(12Xiui)(12Xu)(uiu)2xi而且yiYiY(12Xi)(12X)xi因此eiyiyi(uiu)(22)xiei22)xi2则有(uiu)(2(u

18、iu)22)2xi2(22(22)(uiu)xi取ei2的希望E(ei2)E(uiu)2xi2E(2)222E(22)(uiu)xi式中(1)E(uiu)2Eui2n(u)2E(ui2)1E(ui)2n21E(u12u22Lun22u1u2L2un1un)n21E(u12u22Lun2)n21n2(n1)2n2(2)xi2E(22)2xi2xi222E(2)(uiu)xi2Exiui(xiuiuxi)2(3)xi2(xiui)22Exi22E(2)2xi222xi2E(22)222所以E(ei2)(n1)2222(n2)222ei如果定义n22eiE(2)E2其希望值为n222ei2这说明n2

19、是的无偏估计。第三章3.1多元线性回归最小二乘估计无偏性的证明因为=(XX)-1XY=(XX)-1X(X+U)(XX)-1(XX)+(XX)-1XU=+(XX)-1XU对两边取希望,E()=+(XX)-1XE(U)=由假设1:E(U)=0即是的无偏估计。3.2多元线性回归最小二乘估计最小方差性的证明*设为的另一个关于Y的线性无偏估计式，可知*（A为常数矩阵）=AY*由无偏性可得E()=E(AY)=EA(X+U)E(AX)+AE(U)AXE()=所以必须有AX=IVar(*)，只要证要证明最小二乘法估计式的方差Var()小于其他线性去偏估计式的方差明协方差矩阵之差*-)E(-)(-)E(-)(为

20、半正定矩阵，则称最小二乘估计是的最小方差线性无偏估计式。*因为-=AY-=A(X+U)-=AX+AU-=+AU-=AU*-)E(AU)(AU)E(AUUA)所以E(-)(AE(UU)A2=AA=(XX)-1XY=+(XX)-1XU由于-1-1E(-)(-)E(XX)XU(XX)XU-1-1E(XX)XUUX(XX)(XX)-1XE(UU)X(XX)-1(XX)-1XX(XX)-12(XX)-12*2-12-)E(-)(-)=AA(XX)所以E(-)(AA-(XX)-12由于A-(XX)-1XA-(XX)-1X=A-(XX)-1XA-X(XX)-1AA-(XX)-1XA-AX(XX)-1+(XX

21、)-1XX(XX)-1AA-(XX)-1由线性代数知，对任一非奇怪矩阵C，CC为半正定矩阵。如果令A-(XX)-1X=C则CC=A-(XX)-1XA-(XX)-1X=AA-(XX)-1由于半正定矩阵对角线元素非负，因此有AA-(XX)-10j*j)2即E(E(jj)0（j1,2,Lk）这证了然j的最小二乘估计j在j的所有无偏估计中是方差最小的估计式。3.3残差平方和ei2的均值为(nk)2的证明由残差向量的定义及参数的最小二乘估计式，有e=Y-Y=Y-XY-X(XX)-1XYI-X(XX)-1XY可以记P=I-X(XX)-1X，则e=PY=I-X(XX)-1XX+UX-X(XX)-1XX+PU

22、PU容易考据，P为对称等冪矩阵，即P=PP2=PP=P残差向量的协方差矩阵为Var(e)E(ee)EPU(PU)EP(UU)PPE(UU)PP(2I)PPP2P2利用矩阵迹的性质，有ei2eetr(ee)两边取希望得E(ei2)E(ee)Etr(ee)trE(ee)trP22trI-X(XX)-1X2tr(I)tr(XX)-1XX2ntr(I)(nk)2第五章5.1在异方差性条件下参数估计统计性质的证明1、参数估计的无偏性依旧建立设模型为Yi12Xivi,i1,2,n用离差形式表示yi2xiui(其中uiviv)参数2的估计量?2为1）2）?xiyixi(2xiui)2xi2xiui2xi2x

23、i2xi2xiui(3)2xi2E(?2)2E(xiui)2E(xiui)2(4)xi2xi2在证明中仅用到了假设E(xiui)0。2、参数估计的有效性不可立var(ui)2222的估计?2的方差为假设（1）式存在异方差，且iXi，则参数xiui2Var(?2*)E?2E(?2)2?22E2E2xi22xiui2xi2ui22xixjuiujxi2E(ui2)2xixjE(uiuj)EEijijijijxi2(xi2)2(xi2)22222ijxiE(ui)ijxii2xi2Xi2xi2Xi2(xi2)2(xi2)2(xi2)2xi2xi2(5)在上述推导中用了假设E(uiuj)0,ij。wi

24、1zi下面对（2）式运用加权最小二乘法（WLS）。设权数为，对（2）式变换为yixiuizi2zizi（6）?2ui可求得参数的估计，根据本章第四节变量变换法的议论，这时新的随机误差项zi为同方var(ui)2?2差，即zi，而的方差为var(?2)wls22xizi（7）为了便于区别，用(?2)wls表示加权最小二乘法估计的2，用(?2)ols表示OLS法估计的2。比较（5）式与（7）式，即在异方差下用OLS法获得参数估计的方差与用WLS法获得参数估计的方差相比较为22xi2xi2var(?2)wlsxi22zizivar(?2)ols222222xiixizixixi2zi22222xix

25、izi（8）2xiai,zixibiab1令zia2b2，由初等数学知识有，因此（10）式右端有22xi12xixi2zi2zi（9）进而，有var(?2)wlsvar(?2)ols这就证了然在异方差下，依旧用普通最小二乘法所获得的参数估计值的方差不再最小。5.2对数变换后残差为相对误差的证明事实上，设样本回归函数为Yi?ei（10）12Xi其中eiYi?Y为残差，取对数后的样本回归函数为lnY?1?2lnXe*（11）*lnY?其中残差为elnY，因此?Y?Y?Y?*lnYYY?YelnYln(?)ln(?)ln(1)YYY（12）对（12）式的右端，依据泰勒展式ln(1X)XX2X3X4(

26、1)n1Xn234n（13）Y?Y?*将（13）式中的X用Y替换，则e可近似地表示为*Y?Ye?（14）Y即表示（11）式中的误差项为相对误差。第六章：6.1:存在自相关时参数估计值方差的证明Var(?2)E(?22)22xtutExt221E(x1u1x2u2xnun)2xt221xr21xt2E(x12u12x22u22xn2un2)+2(x1x2u1u2x1x3u1u3xn1xnun1un)2(x12E(u12)x22E(u22)xn2E(un2)2uxt22unxt2t1+2x1x2E(u1u2)x1x3E(u1u3)22x1x22x1x3222)uu(xtn1n2xtxt12xtxt

27、2(12t12t1nnxt2xt2t1t1xn1xnE(un1un)xn1xnu2n1x1xn2n)xt2t1第九章)9.12概率极限性质的证明x2ix3ix2i(uiu)plim2plim2plim3x2i2plimx2i2nnnnplim1x2ix3iplim1x2i(uiu)nnnn231x22iplim1x22iplimnnnnCovX2i,X3iCovX2i,ui23VarX2iVarX2i1x22i1x2ix3i1x2i(uiu)其中：n2的样本方差，n23的样本协方差，n为为X为X和XX2和ui的样本协方差。)9.2参数2一致性的证明plim)plim2plim(x32i)(x2i(uiu)(x2ix3i)(x3i(uiu)2x2i2x3i2(x2ix3i)2nnnplim(x32i)(x2i(uiu)(x2ix3i)(x3i(uiu)2nplimx22ix32i(x2ix3i)2nplim(x32i)plim(x2i(uiu)plim(x2ix3i)plim(x3i(uiu)2nnn