计量经济学中相关证明

1、课本中相关章节的证明过程第 2 章有关的证明过程一元线性回归模型有一元线性回归模型为： yt = 0 + 1 xt + ut上式表示变量 yt 和 xt 之间的真实关系。其中 yt 称被解释变量因变量 ，xt 称解 释变量自变量，Ut称随机误差项，0称常数项，1称回归系数通常未知。上模 型可以分为两局部。 1回归函数局部， Eyt = 0 + 1 xt, 2随机局部， ut 。图 真实的回归直线这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系； 商品价格与供应量的关系；文件容量与保存时间的关系；林区木材采伐量与木材 剩余物的关系；身高与体重的关系等。以收入与支出的关系为例。假

2、设固定对一个家庭进行观察， 随着收入水平的不同， 与支出呈线性函数关系。 但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可 能，所以由数据得到的散点图不在一条直线上不呈函数关系 ，而是散在直线周 围，服从统计关系。随机误差项ut 中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。所以，在经济问题上“控制其他因素不变实际是不可能的。回归模型的随机误差项中一般包括如下几项内容， 1非重要解释变量的省略，2人的随机行为， 3数学模型形式欠妥， 4归并误差粮食的归并 5 测量误差等。回归模型存在 两个特点 。( 1)建立在某些假定条件不

3、变前提下抽象出来的回归 函数不能百分之百地再现所研究的经济过程。 ( 2)也正是由于这些假定与抽象， 才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。通常， 线性回归函数 E(yt) = 0 + 1 xt 是观察不到 的，利用样本得到的只是对 E(yt) = 0 + 1 xt 的估计，即对 0和 1的估计。在对回归函数进行估计之前应该对随机误差项ut 做出如下假定。(1) ut 是一个随机变量， ut 的取值服从概率分布。(2) E( ut) = 0 。(3) D( ut) = E ut - E( ut) 2 = E( ut)2 = 2。称 ui 具有同方差性。(4) ut 为正态

4、分布(根据中心极限定理) 。 以上四个假定可作如下表达： ut N(0, ) 。(5) Cov(ui , uj) = E( ui-E(ui) (uj -E(uj)= E(ui,uj)= 0, ( i j )。含义是不同观测值所对应的随机项相互独立。称为ui 的非自相关性。(6) xi 是非随机的。(7) Cov( ui, xi) = E( ui - E( ui) ) ( xi - E( xi) ) = E ui ( xi - E( xi) = E uixi - ui E( xi) = E( ui xi) = 0.ui 与 xi 相互独立。否那么，分不清是谁对 yt 的奉献。(8) 对于多元线性

5、回归模型，解释变量之间不能完全相关或高度相关(非多 重共线性)。在假定( 1)，(2)成立条件下有 E(yt) = E( 0 + 1 xt + ut ) = 0 + 1 xt 。最小二乘估计( OLS)对于所研究的经济问题， 通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线做出估计。图怎样估计这条直线呢显然综合起来看， 这条直线处于样本数据的中心位置最合 理。怎样用数学语言描述“处于样本数据的中心位置设估计的直线用y = ?o + ?1 xt表示。其中？t称yt的拟合值fitted value， ?。和?1分别是。和i的估计量。观测值到这条直线的纵向距离用 ut表示，称

6、为残差。yt = ?t+?t= ?o+ ?i xt +?t称为估计的模型。假定样本容量为 To 1用“残差和最小确定直线位置是一个 途径。但很快发现计算“残差和存在相互抵消的问题。2用“残差绝对值和最小确定直线位置也是一个途径。但绝对值的计算比拟麻烦。3最小二乘法的原那么是以“残差平方和最小确定直线位置。用最小二乘法除了计算比拟方便外，得到的估计量还具有优良特性这种方法对异常值非常敏感。设残差平方和用Q表示，%)2(yti 1?ixt)T2 TQ=? =(yti 1i 1那么通过Q最小确定这条直线，即确定 ?o和?1的估计值。以?o和?1为变量，把Q看 作是?o和?1的函数，这是一个求极值的问

7、题。求Q对?o和?1的偏导数并令其为零， 得正规方程，厂 = 2 yt ?o ?凶-1= 00i 1-= 2 yt ?o ?1 xt- Xt = 0?1i 1F面用代数和矩阵两种形式推导计算结果。首先用代数形式推导。由、式得,(yt ?o?ixt) = 0i 1T(yt ?o?i xt) xt = 0i 1式两侧用除T,并整理得,0= y?ix把式代入式并整理，得,T(yty)?i(xtx)xt = 0i 1TT(yty)xt?i(xt x)xt = 0i 1i 1?'1xt(yty)(xt x)xtT因为x(yt y) = 0i 1(yti 1y) 0。x(xt x) = 0i 1采

8、用离差和为零的结论:(Xti 1x) 0，所以，通过配方法，分别在式的分子和分母上减x( yti 1Ty)和x(xt x)得,i 1?=人(力 y)x(%y)(Xt x)Xtx(xt x)(Xtx)(yt y)(xtx)2即有结果:(Xt x(yty(xt X)2()?0= y ?1X这是观测值形式。如果以离差形式表示，就更加简洁好记。矩阵形式推导计算结果:由正规方程,Q= 2?'0T(yti 13)(-1) = 0Q= 2?jT(yt?ixt)(-Xt) = 0TT严?°T +?1 (Xt)=yti 1i 1TTTJ?0xt+ ?1 (Xt2 )=xtyti 1i 1i 1

9、TXt?'0 =ytXt2Xt? _'1it1?'0=TXtyt? _'1Xt2 Xtxtyti 112XtXtTxt2(xt)2XtTytSt2xt yt为xt ytT xt2( xt)2Txtytxtyt2 2Txt(xt)注意：关键是求逆矩阵TXtxt2。它等于其伴随阵除以其行列式，伴随阵是Xt其行列式对应的代数余子式构成的方阵的转置。写成观测值形式?_(xt xt)(ytyt)1=2(xtx)? 一0= y?1x如果，以离式形式表示更为简洁:元线性回归模型的特性1.线性特性将结果离差转化为观测值表现形式其中：KiXixi22 Xj故有：?2 2KjUj3

10、.有效性2.无偏性首先讨论参数估计量的方差(Xj X)22Var")2即:xi同理有:显然各自的标准误差为:s&?2)2se(引xiXj2xi2标准差的作用：衡量估计值的精度由于为总体方差，也需要用样本进行估计证明过程如下：因此有：Y12X u那么：YiY) yi ( i2X1 ui) (12X U)根据定义：eyi?2Xi,实际观测值与样本回归线的差值那么有：两边平方，再求和：对上式两边取期望有:2 2AXi2其中：Xi故有：Ee2(n 1) 22 E£n 2即有：2?2 令.ein 2，那么问题得证。关于的计算:2 2关于R R的证明:R211R2 n n1 k

11、当k1a1当k1a1,当0R2关于R2可能小于0的证明。设：Yt2Xtut那么有：J0?那么2J但：e0因为没有?10存在。同时，还有:1 a 1 R2，其中：a 11时，有:其中:q eet ne1 etn net0和Xtet 0那么：考虑到：可能小于0参考书：Denn is J. Aig ner Basic Econ ometrics, Pren tice-Hall, En glewood Cliffs, N. J. 1971,pp85-88第二章简单线性回归最小二乘估计最小方差性质的证明对于OLS估计式1和2,其方差为AA这里只证明Var( 2)最小，Var( 1)最小的证明可以类似得出

12、设2的另一个线性无偏估计为2，即其中wikSki2x因为2也是2的无偏估计,即 E( 2)2，必须有w0wiXi 1同时Var(；)Var( WiYi)2 2Wi2因为 Var(Y)2WjXx2wi kiki22 2i ii2#2、2上式最后一项中Xi( X )0(因为Wi 0，wiXi1)2*222XiVar( 2)(Wi ki)所以(x )而220，因为W ki，那么有(w ki)0，为此只有wA人K时，Var( 2) Var( 2)，由于2是任意设定的2的线性无偏估计式，这说明2的OLS估计式具有最小方差性2最小二乘估计的证明用离差形式表示模型时而且y Y Y因此e yAi y (ui

13、u)A(22)xi那么有2 ei(UiU)(A22 )xi2取 e的期望式中 E(Uiu)2E u22n(u)A2 . /、2222X E( 22 )X2(2)XAXM2E( 22)(Uiu)x2E2 ( Xu u Xj(3)所以E(2e) (n1) 22 2 22(n 2)A22e如果定义n 2A2E( 2)Ee 2)其期望值为n2A22e这说明n2是的无偏估计。第三章多元线性回归最小二乘估计无偏性的证明A因为B=(X X)-1XY =(XX)-1X(X B+U)A-1对两边取期望 ,E(B)=B+(X X)-1XE(U)= B 由假定 1: E(U) = 0A即卩是卩的无偏估计。多元线性回

14、归最小二乘估计最小方差性的证明设B为卩的另一个关于Y的线性无偏估计式，可知B = AY( A 为常数矩阵)由无偏性可得E(B*)= E(AY) = EA(X B+U)所以必须有AX =IA要证明最小二乘法估计式的方差 Var( )小于其他线性去偏估计式的方差只要证明协方差矩阵之差为半正定矩阵，A那么称最小二乘估计卩是卩的最小方差线性无偏估计式。因为B* -B= AY -B= A(XB+U) -B所以E(B* -B )(*B-B) E(AU)(AU) E(AUU A )由于AB = (X X) -1 X Y = B +(X X) -1 X U所以AAE(B* -B )(*B-B) E(BB-)(

15、 B-)= AA 2 (X X)-12由于由线性代数知，对任一非奇异矩阵 C， CC 为半正定矩阵。 如果令 A-Var( *)-1(X X) -1X = C-1 -1 -1那么CC =A -(X X)-1XA -(X X)-1X = AA -(X X)-1-1由于半正定矩阵对角线元素非负，因此有 AA -(X X)-1 0A*2即 E( j*j)2 E( j j ) 0 ( j 1,2,L k)这证明了 j的最小二乘估计j在j的所有无偏估计中是方差最小的估计式2 2残差平方和 e的均值为n k的证明由残差向量的定义及参数的最小二乘估计式，有1可以记P = 1 -x(x X) X，那么容易验证

16、，P为对称等幂矩阵，即 残差向量的协方差矩阵为利用矩阵迹的性质，有 两边取期望得第五章 在异方差性条件下参数估计统计性质的证明1、参数估计的无偏性仍然成立设模型为2X1 v,i 1,2, ,n(1)用离差形式表示yi2XiUi(其中UiViv )(2)Q参数2的估计量'2为 在证明中仅用到了假定Edu 02 2Xi,那么参数2的估计?2的方差为2、参数估计的有效性不成立假设1式存在异方差，且varui2F面对2式运用加权最小二乘法1wi WLS。设权数为 乙，对2式变N2E(u2)i ji22(Xi )(2 2Xi ij22 v 2 为Xi2 7 :X Xi2x2Xi )(2x2Xi

17、)2Xi2Xi在上述推导中用了假定E(UiUj)0,ij。换为yXiU2(6)ZiZiZi可求得参数的估计2 ,根据本章第四节变量变换法的讨论， 这时新的随机误差项Zivar巴为同方差，即Zi2，而?2的方差为var( -2)wis2XiZi2222XiXivar( ?2)wiszZi?2 22 2 2var( -2)olsXi iXiZi2 22 2XiXiabx22(8)2Xlai, ZiXibi令Zi，由初等数学知识有2 2勺12 2Xi Zi2a2b2因此10式右端有XLZi从而，有这就证明了在异方差下,9仍然用普通最小二乘法所得到的参数估计值的方差不再(7)为了便于区别，用2wls表

18、示加权最小二乘法估计的2，用Sols表示OLS法估计的2比拟5式与7式，即在异方差下用 OLS法得到参数估计的方差与用WLS法得到参数估计的方差相比拟为最小。对数变换后残差为相对误差的证明事实上，设样本回归函数为(10)Y ?Xi e其中e Y Y?为残差，取对数后的样本回归函数为其中残差为e* InY InW,因此InY InY? In () ln(YIn(1YY?)(12)对12式的右端，依据泰勒展式In(1 X)X2X3X4(PM(13)将13式中的X用 Y 替换，那么e*可近似地表示为e(14)即说明11式中的误差项为相对误差第六章：:存在自相关时参数估计值方差的证明+ 2(X1X2U1 U2 X1X3U1U3Xn 1 Xn U nn)第九章)2概率极限性质的证明1 2其中：n X2为X2的样本方差,1n X2iX3i为X2和X3的样本协方差,X2i(Ui u)n为X2和Ui的样本协方差。0 plim)i； n1 和 )3参数J一致性的证明同理，可证 E(?1)1，E(?3)有测量误差模型参数估计结果的推导因此，有测量误差模型参数估计的概率极限为第11章联立方程偏倚的证明例如，设联