高级计量经济学 广义回归模型

1、第三讲第三讲 广义回归模型广义回归模型基本内容基本内容 一、回归模型的解释回归模型的解释 二、二、多重共线性多重共线性 三、广义最小二乘估计广义最小二乘估计 四、异方差性异方差性 五、自相关性自相关性回归模型的解释回归模型的解释 对模型 yt=0+1xt1+kxtk+t如何解释j为“当其他变量保持不变，xj变化一个单位时y的平均变化”？ 本质上： j=e(y|x)/xj即测度的是“边际效应”(marginal effect) 1 1、边际效应、边际效应 因此，当一个工资模型工资模型为 y=0+1age+2age2+3education+4gender+时，只能测度“年龄”变化的边际效应： e(

2、y|x)/age=1+22age解释：“当其他变量不变时，年龄变动1个单位时工资的平均变化量” 2、弹性：弹性： 经济学中时常关心对弹性的测度。这时模型常写为: lnyt=0+1lnxt1+klnxtk+t 在e(t|lnxt1,lnxt2,lnxtk)=0的假设下，弹性为e(y|x)/e(y|x)/xj/xje(lny|lnxj)/lnxj=j即弹性并非常数，而是随着xj的变化而变化。当原始模型为 yt=0+1xt1+kxtk+t时，弹性为： e(y|x)/e(y|x)/xj/xj =jxj/(0+1x1+kxk) 3 3、相对变化、相对变化 如果模型为 lnyt=0+1xt1+kxtk+t

3、则： j=e(lny|x)/xj解释为：xj变化1个单位时y的相对变化量。多重共线性多重共线性(multicollinearity)1.非多重共线性假定 rk (x x ) = rk (x ) = k . 解释变量不是完全线性相关的或接近完全线性相关的。 rxi xj 1, rxi xj 不近似等于 1。 就模型中解释变量的关系而言，有三种可能。 （1）rxi xj = 0，解释变量间毫无线性关系，变量间相互正交。这时已不需要多重回归，每个参数j都可以通过 y 对 xj的一元回归来估计。 （2） rxi xj = 1，解释变量间完全共线性。此时模型参数将无法确定。直观地看，当两变量按同一方式变

4、化时，要区别每个解释变量对被解释变量的影响程度就非常困难。 （3）0 rxi xj 1，解释变量间存在一定程度的线性关系。实际中常遇到的是这种情形。随着共线性程度的加强，对参数估计值的准确性、稳定性带来影响。 因此我们关心的不是有无多重共线性， 而是多重共线性的程度。 2.2.估计量的方差估计量的方差 在离差形式离差形式的二元二元线性样本回归模型中： yt=b1xt1+b2xt2+et 一般地，在多元回归中，记 y=x1 1+x2 2+ 特别地，假设x2=(x1k, xnk)，即为x中的最后一列 由于曾经得到 b2= 2+(x2m1x2)-1x2m1 因此 var(b2)= (x2m1x2)-

5、1x2m1e()m1x2(x2m1x2)-1 =2(x2m1x2)-1这里，x2m1x2恰为如下辅助回归辅助回归的残差平方和残差平方和ssr x2=x1b+v于是： var(b2)=2/ssr表明：第k个解释变量参数估计量的方差，由 模型随机扰动项的方差2 第k个解释变量的样本方差sxk2 第k个解释变量与其他解释变量的相关程度rk2 样本容量n四个方面的因素共同决定。 四个因素四个因素共同影响着bj方差的大小。rj2为xj关于其他解释变量这一辅助回归辅助回归的决定系数决定系数1/(1-rj2)称为方差膨胀因子方差膨胀因子(variance inflation factor)3.多重共线性的经

6、济解释多重共线性的经济解释（1）经济变量在时间上有共同变化的趋势。如在经济上升时期，收入、消费、就业率等都增长，当经济收缩期，收入、消费、就业率等又都下降。当这些变量同时进入模型后就会带来多重共线性问题。（2）解释变量与其滞后变量同作解释变量。 估计量不准确，j的样本估计值可能会远离真值 置信区间大，关于j的不同的假设都可能被接受，bj可能不会显著地异于“任何”假设 t检验值变小，可能将重要的变量排除在模型之外 使区间预测的“区间”变大，使预测失去意义。4.由多重共线性引起的大方差将导致：由多重共线性引起的大方差将导致： 注意：注意： 除非是完全共线性，多重共线性并不意味着任何基本假设的违背；

7、因此，ols估计量仍是最佳线性无偏估计量(blue)。 问题在于问题在于，即使ols法仍是最好的估计方法，它却不是“完美的”，尤其是在统计推断上无法给出真正有用的信息。5.5.何时需要多重共线性？何时需要多重共线性？ 多重共线性可能使单个的多重共线性可能使单个的 j不准确，却可使若干不准确，却可使若干参数的组合更准确。参数的组合更准确。 假设总体回归方程为： e(y)=0+1x1+2x2 记 =1+2，则其样本估计量为 t=b1+b2于是： var(t)=var(b1)+var(b2)+2cov(b1,b2)在离差形式下，记特别地，取于是22121ttxx12122212ttttttx xx

8、xrxx 11rrxx1111)(21rrrxx因此 var(b1)=var(b2)=2/(1-r2) cov(b1,b2) = -2r/(1-r2)var(t)=22/(1-r2)-2r/(1-r2)=22(1-r)/(1-r2)=22/(1+r)如果r=0，无共线性：var(b1)=var(b2)=2 var(t)=22 可见，较强的共线性使得1、2的估计量的方差较大，从而对它们各自的估计变得不准确； 但却使1、2的组合1+2的估计量的方差变小，因此使该组合的估计变得更准确。如果r = 0.9，有强共线性： var(b1)=var(b2)=2/(1-0.92)=2/0.19=5.32 va

9、r(t)=22 /(1+0.9)=22/1.9=1.0527.5逐步回归法（1）用被解释变量对每一个所考虑的解释变量做简单回归。（2）以对被解释变量贡献最大的解释变量所对应的回归方程为基础，以对被解释变量贡献大小为顺序逐个引入其余的解释变量。这个过程会出现3种情形。 若新变量的引入改进了r2，且回归参数的t检验在统计上也是显著的，则该变量在模型中予以保留。 若新变量的引入未能改进r2，且对其他回归参数估计值的t检验也未带来什么影响，则认为该变量是多余的，应该舍弃。 若新变量的引入未能改进r2，且显著地影响了其他回归参数估计值的符号与数值，同时本身的回归参数也通不过t检验，这说明出现了严重的多重

10、共线性。舍弃该变量。广义最小二乘估计广义最小二乘估计generalized least squares estimation一、广义经典回归模型一、广义经典回归模型 generalized classical regression model 对经典回归模型，将同方差和非自相关同方差和非自相关改为如下假设：assumption 6： |xn(0, 2v), where 0 20， 其中zt=(1 zt1 ztr) 取自于xt， =(0 1 r)。 于是，待检验的原假设为 h0： 1= =r=0在tn(0, 2)的假设下，受约束模型就是对（*）做ols估计，再按以下程序检验： 注意：注意： （1

11、）由于h(.)的具体形式未知，因此是个一般性的检验。 （2）一个渐近等价的检验是：将et2对zt做ols回归，得r2，则在h0下，nr2 2(r) 于是，给定于是，给定显著性水平显著性水平，查找，查找临界值临界值，当上述，当上述计算结果大于临界值时，即拒绝同方差性假设计算结果大于临界值时，即拒绝同方差性假设(3)在h0下有:21( )2aessr下面克服异方差。 （1） 对 yt和 xt同取对数。 得两个新变量 lnyt 和 lnxt（见图 5.9） 。 用 lnyt 对 lnxt 回归，得 lnyt = - 4.1801 + 0.9625 lnxt . (5.21) (16.9) r2 =

12、0.91, f = 285.6, (t = 1, , 29) 1234565678910log(x)log(y) -2-10120102030tres2 图 5.9 ln yt和 ln xt 图 5.10 残差图 经 white 检验不存在异方差。因为 tr2 = 2.58 20.05 (2) = 6.0，所以不存在异方差。 goldfeld-quandt 检验异方差。 去掉中间 7 个观测值，仍按 xt大小分成两个 t = 7 的子样本，并回归（结果略）得 sse1 = 1.17，sse2 = 0.65，经 goldfeld-quandt 检验，有 f = 17. 165. 0 = 0.56

13、, 因为 0.56 小于 f0.05 (9, 9) = 3.18，所以取对数后，模型中不存在递增型异方差（残差见图 5.10） 。 用 glejser 法检验异方差 用 (5.18) 式, yt = -5.6610 + 0.0123 xt, 的残差的绝对值对 xt回归 tu = 0.0024 xt (8.0) r2 = 0.22 可见误差项的异方差形式是 var(ut) = e(ut)2 = 5.7610-6 xt2。克服异方差的方法是用 xt分别除(5.18) 式两侧，得变换变量 yt* = yt / xt，xt* = 1 / xt。用 yt* 对 xt* 回归（见图5.11） ，得 yt*

14、 = 0.0113 + 0.8239 xt* (5.22) (13.8) (0.8) r2 = 0.63, f = 46.1 注意， 回归系数0.8239 没有显著性， 截距项0.0113 却有很强的显著性， 而0.0113正是还原后模型的回归系数，所以模型通过检验。把yt* = yt / xt，xt* = 1 / xt代入上式并整理得广义最小二乘估计结果如下： yt = 0.8239 + 0.0113 xt (5.23) (0.8) (13.8) r2 = 0.63, f = 46.1 由式 (5.22) 得到的残差见图5.12。经检验已不存在异方差。(5.22) 式，即 (5.23) 式中

15、的回归参数具有最佳线性无偏特性。(5.18) 式是最小二乘估计结果。比较(5.18)和 (5.23) 式， yt = -5.6610 + 0.0123 xt (5.18) 虽然0.0113 和0.0123 相差不多，但从估计原理分析，0.0113 有比0.0123 更大的可能性接近回归参数真值。经济含义是平均每一万亩耕地的农业产出值是 113 万元人民币。 通过这个例子说明， 在实际中直接用解释变量除原变量的变换方法克服异方差是可行的。 1.模型变换法 模型变换法即对存在异方差性的模型进行适当的变量变换，使变换后的模型满足同方差假定。前提是要合理确定异方差性的具体形式，这可以通过用帕克检验、戈

16、里瑟检验等方法所提供的异方差的具体形式来确定。 设模型为一元线性回归模型：异方差性的解决方法异方差性的解决方法记： 2.加权最小二乘法(wls) 加权最小二乘法是对原模型加权，使之变成一个新的不存在异方差性的模型，然后采用ols法估计其参数。加权的基本思想是：在采用ols方法时，对较小的残差平方赋予较大的权数，对较大的残差平方赋予较小的权数，以对残差提供的信息的程度作一番校正，提高参数估计的精度。3.3.模型的对数变换模型的对数变换 进行回归，通常可以降低异方差性的影响。其原因在于：（1）对数变换能使测定变量值的尺度缩小，它可以将两个数值之间原来10倍的差异缩小到只有2倍的差异；（2）经过对数

17、变换后的线性模型，其残差表示为相对误差，而相对误差往往具有较小的差异。 例例4 4 我国制造工业利润函数中异方差性的调整。用genr生成序列lny和lnx，即在光标处键入：genr lny=log（y）genr lnx=log（x）然后，用ols方法求lny对lnx的回归，其结果如下：4.广义最小二乘法(gls)对于多元线性回归模型： （1）群组异方差）群组异方差 只有两个未知方差的模型：设有a、b两个组别遵循如下工资模型： yt= xt +te(t|xt)=0, 对组别a(n1个样本点)，var(t|xt)=a2， 对组别b(n2个样本点)，var(t|xt)=b2异方差回归模型的两个常见应

18、用异方差回归模型的两个常见应用 由于 v=diag12,n2， 对容量为n的样本，估计n个未知的i2是困难的，需要额外的信息（如v的结构信息）。两类常见的异方差类型。v的结构比较特殊：2222bbaav可寻找v的一致估计从而2222bbaassssv 由e1，e2求出a2与b2的无偏且一致的估计量： sa2=e1e1/(n1-k), sb2=e2e2/(n2-k) a2与b2未知，可分别对a、b两个组别估计模型（各自满足同方差性），得残差e1，e2。权矩阵bbaassss/1/1/1/1c于是，原模型的一个fgls估计为：上述方法可以推广到较小的有限个组的情况：上述方法可以推广到较小的有限个组

19、的情况：设有设有g个组，每个组都满足同方差性，可分别做各组的个组，每个组都满足同方差性，可分别做各组的ols估计，得到各组的估计，得到各组的sj2(j=1,2,，g)，于是于是原模型的一个fgls估计仍为： 但当有些组观测值个数少于未知参数时，这些组的ols估计不可行，在大样本下，一个近似等价的做法是：进行所有数据的混合最小二乘估计，利用 sj=ejej/nj计算各组的方差估计（j=1,2,g） （2）乘积型异方差）乘积型异方差 对模型 y=x + 假设var( |x)=h(x; )，其中h(.)的形式已知，但参数 未知。常取var(t|xt)=t2=2exp(zt )，(zt)1r为(xt)

20、1k的某种组合， r1为参数向量(rk)。 由于lnt2=ln2 + zt 故有： lnet2=ln2 + zt +vt （*）其中，et为原模型的残差，vt=ln(et2/t2) 于是，于是，v的一个一致估计为：的一个一致估计为：,diag eee12nz z z v 加权模型的随机扰动项c 排除了异方差性，从而它的ols估计bf*是blue。 异方差下的fgls估计，都是用适当的c左乘原模型，得加权模型： cy=cx +c 因此，该方法也称为加权最小二乘法加权最小二乘法(weighted least squares)2 2、普通最小二乘法、普通最小二乘法（ols） 由于原模型的ols估计是

21、无偏的，只是非有效的，因此，也可采用第一种方法：仍取ols估计量，但修正相应的方差。 我们知道，原模型ols估计b的正确的方差矩阵是 var(b|x)=(xx)-1xv(xx)-1x = (xx)-1(xdiagt2x)(xx)-1但v或者说t2并不知道，仍需估计。在只有n个样本的情况下要求n 个t2也是困难的。 white (1980)指出，问题的关键并非是求t2而是求 xvx=xdiagt2x 因此，当仍用ols估计原模型得到： b=(xx)-1xy这也被称为异方差稳键推断异方差稳键推断(heteroskedasticity-robust inference) 因此，仍可进行ols估计，并

22、用上述异方差一致异方差一致标准误标准误进行统计推断。这时无论是否存在异方差性，以其为基础的t检验与f检验都是渐近有效的。如f检验为： 两个关键性问题：两个关键性问题： (1) ols估计b的标准误的传统估计值与正确估计值之间的差别是什么？ (2) 正确的ols标准误与gls标准误之间的差别又是什么？蒙特卡罗试验(davidson and mackinnon, 1993) ： yt=1+xt+ut utn(0, xt)xt为0,1间的均匀分布，为一可取任何值的参数 20,000个样本下的试验结果如下： 参数估计的标准误参数估计的标准误 ols截距 gls ols斜率 gls false true

23、 截距 false true 斜率0.5 0.164 0.134 0.110 0.285 0.277 0.2431.0 0.142 0.101 0.048 0.246 0.247 0.1732.0 0.116 0.074 0.0073 0.200 0.220 0.1093.0 0.100 0.064 0.0013 0.173 0.206 0.056结论性说明：结论性说明： 对截距截距，不正确的ols标准误大于正确值； 对斜率斜率，除=3.0外，正确的ols标准误与不正确的值差别很小； ols的非有效性的非有效性，可通过正确的ols标准误与gls估计的标准误之间的对比显示出来。自回归条件异方差自

24、回归条件异方差一、arch(1)模型二、arch(q)、均值arch和广义arch模型三、garch模型的极大似然估计四、对garch模型的检验五、伪极大似然估计自相关性自相关性(autoregressive process) 自相关性及其产生的原因 自相关性的后果 自相关性检验 自相关性的解决方法 案例分析一、一、 自相关性及其产生的原因自相关性及其产生的原因1. 什么是自相关性(a)非自相关的序列图 (b)正自相关的散点图 图5.1.1(a)、(b)、(c), 分别给出具有非自相关，正自相关和负自相关的三个序列对其一阶滞后变量的散点图。这三个散点图展示正负自相关以及非自相关性则非常明显。(

25、c)负自相关的散点图图5.1.1 时间序列及其当期与滞后一期变量的散点图 图5.1.2 自相关图 2.自相关性产生的原因 (1)经济变量惯性的作用引起随机误差项自相关 (2)经济行为的滞后性引起随机误差项自相关 (3)一些随机偶然因素的干扰引起随机误差项自相关 (4) 模型设定误差引起随机误差项自相关 (5)观测数据处理引起随机误差项序列相关 一般经验告诉我们，对于采用时间序列数据作样本的计量经济学问题，由于在不同样本点上解释变量以外的其他因素在时间上的连续性，带来它们对被解释变量的影响的连续性，所以往往存在序列相关性。二、自相关性的后果1.1.模型参数估计值不具有最优性模型参数估计值不具有最

26、优性(1)参数估计值仍具有无偏性 (2)参数估计值不再具有最小方差性2.低估随机误差项的方差3.3.模型的统计检验失效模型的统计检验失效实际意义。4.区间估计和预测区间的精度降低三、自相关的检验三、自相关的检验 图示法 durbin-watson检验 回归检验法 lagrange multiplier检验(breush-godfrey test)1按时间顺序绘制残差图 图5.3.1 正自相关图5.3.2 负自相关 图示法图示法t图5.3.3 正自相关 图5.3.4 负自相关 图示检验法可以借助于eviews软件来实现。在方程窗口中点击resids按钮，或者点击viewactual，fitted

27、，residualtable，都可以得到残差分布图。德宾一沃森(durbin-watson)检验 dw检验假定条件是： 第一，解释变量x为非随机的； 第四，模型中含有截距项； 第五，统计数据比较完整，无缺失项。dw检验的基本原理和步骤为：由上述判断区域知，误差序列存在一阶正自相关。 使用dw检验时应注意以下几个问题。 第一，dw检验只能判断是否存在一阶线性自相关性，对于高阶自相关或非自相关皆不适用。 第二，dw检验有两个无法判定的区域。 第三，这一方法不适用于对联立方程组模型中各单一方程随机误差项序列相关的检验。h检验所用的统计量仍然是(5.3.4) 回归检验法 回归检验法适用对任一随机变量序

28、列相关的检验，并能提供序列相关的具体形式及相关系数的估计值。这一方法的应用分三步进行： 出回归估计式，再对估计式进行统计检验（f检验和t检验）。如果通过检验发现某一个估计式是显著的(若有多个估计式显著就选择最为显著者)，表明随机误差项存在序列相关。高阶自相关性检验1偏相关系数检验 eviews软件可以同时给出时间序列的自相关和偏自相关系数及分析图。利用eviews软件计算偏相关系数，具体有两种方式：命令方式 ident resid菜单方式 在方程窗口中点击：viewresidual testcorrelogram-q-statistics 屏幕将直接输出et与et-1 ,et-2 , et-p（p是事先指定的滞后期长度）的自相关系数和自偏相关系数，从中可以直观地看出残差序列的相关情况。通过观察自相关和偏自相关系数来判断是否存在序列相关。如果残差不存在序列相关，各阶滞后的自