计量经济学重点笔记第四讲

1、第四讲 异方差一、同方差与异方差：图形展示对于模型$ =P1十 2年十 二 在高斯-马尔科夫假定下有：Eyy i24:.2 =、2 - 2yyiI其中& 2 = & 2意味着同方差假定成立.I为了理解同方差假定,我们先考察图一.在图一中,空心圆点代表xpEly,实心圆点代表观测值x,y观测,yi观测是随机变量 y的一个实现注意,根据假定, Xj是非随机的,即在重复抽样的 情况下,给定i的取值,外不随样本的变化而变化,倾斜的直线代 表总体回归函数：Ey= P1+ p2XjO图一显示了一个重要特征, 即,尽管y1,y2,的期望值随着x1,x2,的不同而随之变化,但由于25-2 i6-2 36定 段

2、它们的离散程度方差是不变的.然而,假定误差项同方差从而被解释变量同方差可能并不符合经济现实.例如,如果被解释变量y代表居民储蓄,x代表收入,那么经常出现的 情况是,低收入居民间的储蓄不会有太大的差异, 这是由于在满足基 本消费后剩余收入已不多.但在高收入居民间,储蓄可能受消费习惯、 家庭成员构成等因素的影响而千差万别.图二能够展示这种现象.图二异方差情况在图二中,依据X1所对应的分布曲线形状,X5所对应的实心圆 点看起来是一个异常点但依据 X5所对应的分布曲线形状,它或许 称不上是异常点.异常点的出现是同方差假定被违背情况下的一个 典型病症,事实上通过散点图来发现异常点从而初步识别异方差现象

3、在实践中经常被采用,见图三.浙江工商大学金融学院姚耀军讲义系列X图三 异方差情况下的散点图笔记：应该注意的是,如果第一个高斯-马尔科夫假定被违背,即模型设定有误,那么也可能出现异方差病症.例如,正确模型是非线性的,但我们错误地设定为 线性,以这个线性模型为参照,散点图也许显示出明显的异方差病症.事实上, 在很多情况下,异方差病症被认为是模型错误设定的一个表现.如果产生异方差 病症的原因是模型设定有误,那么我们首先应该要做的事情是正确设定模型, 而 不是基于错误设定的模型寻找有效的估计方法. 在本讲中,我们假定其他所有的高斯-马尔科夫假定成立.二、异方差的后果在证实高斯-马尔科夫定理时,我们仅仅

4、在证实 OLS估计量具有 有效性时涉及到了同方差假定,而在证实线性、无偏性并没有用到该 假定,因此违背同方差假定并不影响 OLS估计量所具有的线性与无 偏性这两个性质实际上也不影响 OLS估计量的一致性,一致性只 涉及到高斯-马尔科夫假定一、二、三.既然存在异方差,在估计各系数时我们为何不利用这个信息呢？ 要知道,利用的信息越多,我们获得的估计量其方差将越小,即估计3精度越高.利用OLS估计法来估计系数时并没有利用异方差这个信息,因此,在存在异方差的情况下,在所有线性无偏估计量中,OLS估计量并不是最有效的.另外值得注意的是,当同方差假定被违背时,计量软件包在默认 状态下计算出的参数估计量的标

5、准误是无意义的, 由于默认状态是同方差假定成立.作为一个复习,下面我们把默认状态下参数估计量的 标准差与标准误公式再推导一遍.真实模型是：一.+车),那么有：个 Var. + l)11 - (xi - x)2二Var( d-.):Var.d一.% (Xi - X)2(xrX)22在重要假定五：Cov(%,6 p= 0,i* j下,有：工(X-X)2Var()? (4 X)22在重要假定四：Var(.)=6 2 = & 2下, i2 : 2、(xE2 :2: (xi - X)22 ,(x 一 X)2计量软件包默认状态下通过公式:se(% = (4 - x)2浙江工商大学金融学院姚耀军讲义系列,一

6、. V ?,、,一,、,来计算P4的标准误,其中用 M =二来估计误差项的方差.1N -2 、“一, o2 一一显然,如果同方差假定不成立,那么 6 I手,故试图:1X - x2以?一位一万来估计:5 2.从而到达估计圆田的想法是错误Xi -x2Xj -x2?1我们也注意到,只有在高斯 -马尔科夫假定成立的前提下, v ? . 、这=L才是对误差项方差的一个无偏估计.当误差项具有异方N 2差性时,即误差项的方差随着i的变化而变化时,用一个与i无关的 ,一 , ,、一 ,估计量一二的最终结果与i无关去估计误差项的方差显然是不N 2合理的.换句话说,当误差项具有异方差性时,R=一二不可能N- 2是

7、对误差方差的一个恰当估计笔记：如果误差项方差已被恰当估计出,如 ?.,、？ ,直观来看,我们应该x 一 x2 f2心来作为对叱的标准差估计.不幸的是,我们无法很好地 - x221估计出各个误差项的方差.误差项是观察不到的,由于我们并不知道参数的真实 值.但我们可以获得残差.如果残差是对误差的良好近似,那么对误差项性质的任 何推断都可以建立在对残差的观察根底上. 然而,在异方差情况下,对于每一种 不同的误差分布曲线,我们只有一个残差观测值.仅仅依靠一个观察值,我们无 法获得对误差方差的一致估计.应该注意到, 5 2二甲1之恪2=哨, 既然残差是对误差的近似,难 道我们不可以用 q2来作为对a 2

8、的估计吗？问题还是在于,我们只能使用一个观测值来估计6它不可能是一个一致估计.然而,尽管 彳是对$ ,2的糟糕-ii-i估计,但以 UxX f 来估计6 :其情况应该更为乐观,由于借助于求和, 卜 - x221单个估计误差有被抵消的可能事实上 White1980已经证实,% (%-刈2孑(Xi - x)22是对估计量P?方差的一致估计,其正的平方根被称为异方差稳健性标准误,或者 White-Huber-Eicher 标准误.总而言之,在异方差情况下采用公式 se%=三2来计 1x-x2算P?的标准误是不恰当的,当然,依靠这个错误的标准误来进行的t检验也是无效的.思考题：通常的F检验有效吗？ F

9、检验在何处表达了同方差假定？三、发现异方差我们是通过对残差的分析来检验同方差假定是否被违背.因此, 下面所有的异方差检验方法都隐含一个前提,即残差是对误差的良好 近似.记住这一点十分重要,由于高斯-马尔科夫假定中的假定一、 二、三被违背将使得下面的一系列检验都无效.一Goldfeld-Quandt 检验Goldfeld-Quandt检验法假设,在经典线性模型假定中,只有同方差假定或许并不成立,而其他假定是成立的浙江工商大学金融学院姚耀军讲义系列笔记：2如果误差项序列相关,即使其他经典线性模型假定成立,但RSS/ 6并不22服从卡方分布,而RSS/ &对于构造F检验十分重要.为什么RSS/ 6不

10、服cn ci.i.d从卡方分布呢？这是由于根据定义,72(n)= z2,其中4 - N(0,1)o如果服 i 1从正态分布的误差项序列相关,那么各误差项并不独立,此时,作为对误差项的近 似,各残差将不是独立的,进而通过残差标准化所构建的卡方统计量就再也不服 从卡方分布了.这意味着,在利用 Goldfeld-Quandt检验法之前,误差项序列无 关的假定是否被违背应该先于检验, 在序列相关情况下,异方差检验将无效.只 有在序列相关被校正之后,异方差检验才能被进行.该检验的原假设是误差项同方差,备择假设是方差随着某一个变量z的增加而增加.其检验步骤是:1、对N个观测值按z升序排列,并抛弃中间的N-

11、2N*个观测值,形成两个容量都为N*的子样本;2、就两个子样本分别进行回归, 记RSSi、RSS2分别为两次回归 的残差平方和.3、计算RSS2/RSS1 o在同方差的原假设下有:2RSS2 /*N - k - 12RSS2 /=RSS2/ RSS1 F(N - k - 1,N - k- 1)*N - k -1假设计算出的F值大于Fa,那么在显著水平a下我们拒绝原假设.笔记：1、在原假设为真时,RSS2/ (N -k-1)与RSS1/ (N - k-1)都是对26的无偏、一致估计,故 近.2、为了提升检验的势(不会错误地不拒绝原假设的概率),中间被抛弃的观RSS2与RSS1应该相差不大,而 R

12、SS2/RSS1与1接测值数目约为总样本容量的3/8,以使RSS2与RSS1的差异显得更明显(“放大镜作用.通俗地讲,所谓检验的势,是指该检验对原假设的“苛刻度,如果 该检验不会轻易地“不拒绝原假设,那么检验的势就高.实际上,如果轻易地 “不拒绝原假设,那么我们犯“第二类错误不拒绝错误的原假设的概率就 高.显然,当检验对原假设的“苛刻度较高时我们仍然不拒绝原假设,那么原 假设的真实性是更加可信的.3、有时我们或许具有确切的理由认为不同的样本期间被解释变量具有不同的方差.例如,在解释我国1952-2002年间工业产值增长率时,我们有理由认为,在1952-1978年间工业产值增长率的方差应该小于

13、1979-2002年期间的方 差,由于前段样本期间属于方案经济, 缺乏市场冲击,而后一段时期属于市场或 者半市场经济,存在市场冲击.此时,我们可以把完整样本期间只划分为两个子 期间,根据Goldfeld-Quandt检验法第2、3步进行异方差检验.二White 检验Goldfeld-Quandt检验对误差方差的形式作了一定的假定.然而, 很多时候我们除了知道方差与解释变量具有一定关系之外,并无其他的关于方差确实切先验信息.此时,我们可以利用 White检验.假设 模型是$ =日.十B 1+B 2X2i十 i,那么White检验的步骤是：1、估计模型并计算残差的平方?；2、估计辅助回归auxil

14、iary regression模型：孑=a0 al为i a2x2i a3x2 a4x2i a5x1ix2i vi 原模型同方差的原假设对应于辅助模型的原假设：aTa2+ a4=a5=03、对于辅助回归模型,利用拉格朗日乘数 LM 统计量 NR2r91 2q进行检验原假设q = a2= a3= a4= a5= 0.其中 R2r是辅助模型的判定系数利用第三讲的术语,对于辅助模型,它 就是不受约束情况下的判定系数,q是辅助模型中不包含截距项的8浙江工商大学金融学院姚耀军讲义系列解释变量的个数,在上例中q=5笔记：1、应该注意到,辅助模型的被解释变量是 彳而不是误差方差2 2,毕竟误 差方差是无法获得

15、的.采取这样的做法有什么理由呢？注意到 彳=(息一 ？0) + ( F 一？从 +产在误差项序列无关的前提下,再假设同 方差原假设成立,那么必定有：Var(?) = Var( 7) x2Var( 2) 2x6ov( 7, ?) Var( J+各虬+ 162 (Xj -x)2j =1(X - Xi)(X - x) / N当N趋于无穷大时,1/N趋于0; Ti =-!将趋于22、(xj - x)2、 (xj - x)2 / Nj wj =1一个一个分母为Var(x)、分子为0的分数,故该项趋于0o因此,Var(?)将 收敛于误差方差s2.我们注意到E(W)= 0,因此Var(彳)=E(87),故

16、当n趋于无穷大时,E(彳2)将趋于2 2 o由于g2 = E(*2) + error ,因此 当n趋于无穷大时,彳=62 + error.总结上述数学推理,如果在辅助模型中用 /代替误差方差,那么隐含的前 提是：(1)大样本.故相关的检验是大样本下的检验.(2)其他高斯-马尔科夫 假定成立,尤其要注意到误差项序列无关假定要成立.与 Goldfeld-Quandt检验 一样,在利用WMte检验之前,误差项序列无关的假定是否被违背应该先于检验. 只有在序列相关被校正之后,异方差检验才能被进行.x1i * a2x2i + a3x2 + a4x2i * a5x1ix2i 来近似 f (x1,x2) 0

17、2、在WNte检验下,我们对误差方差的形式f (x1,x2)并无确切的先 验信息.然而利用泰勒展开式,我们可以利用a0 a13、为什么不直接用F检验而是首选LM检验呢？这是由于,我们是用残差的平方来代替方差,在这种情况下,当原假设为真时,NR2r的分布在大样本情9况下与2 2(q)足够近似,而 Rr /q与F分布的近似却不够好.(1-RUr)/N-q-1然而,利用F检验也是渐进合理的,见Wooldridge(fourth edition , p.275)4、对于辅助模型,受约束情况下的判定系数R2应该为0 (约束条件是a = .= 5=0).直观来看,如果R2r与0相差不多,那么我们应该不拒绝

18、原假设(这个原假设就是1= .= a5= 0).NR2r为何近似服从卡方分布？按照第三讲,对辅助模型,Rr/qa(1-RUr)/N -q-1F(k,N-q-1)0应该注意,由于使用残差的平方来代替方差,因此 段/q只是渐进服从F分(1-R2r)/N-q-1布.当原假设为真时,R2r与0相差不多,因此有：RUr / qRr / q您 匚/上1/ N -q-1 (1- Ru2r)/N -q-1 F(k,N q 1)a因此,(N-q-1Rr q-Fq(N,-q-1)在样本容很大的情况下,NRU/q： F(q,N).根据第三讲附录,如果F F(n1,n2),那么当n2T由 时,n1F渐进分布于 气.因

19、此,NR2r：?2(q).当样本容量不够大时,辅助模型中的交叉相乘项有时不得不被省 略以节约自由度.不过有文献指出,假设 White检验没有出现交叉项, 那么是纯粹的异方差检验,假设出现了交叉项,那么该检验既是异方差检验 又是模型设定偏误检验,见 Gujarati (第四版,p.414).另外,为了 解决在估计辅助回归时可能面临的自由度缺乏问题,Wooldridge(第四版,p.275)建议建立辅助模型：平=a0 a谓 a2 y2 vi10浙江工商大学金融学院姚耀军讲义系列再利用lm或者f检验来检验原假设：a,= a = 0.(三)12Breusch-Paga脸验除了知道误差项方差与解释变量具

20、有一定关系之外,White检验并未利用任何其他先验信息.因此可以说,White检验法是普适的. 普适的方法往往也是粗糙的！正因如此,当White检验说明不拒绝同 方差的原假设时,我们应该对该结果保持足够的警惕！另一方面,当 White检验说明拒绝同方差的原假设时,我们可以认为这是异方差的 强烈证据.【“一个高度近视的人没有发现一只小蚂蚁是非常可能的, 然而,如果他竟然也发现了一只蚂蚁,那么那只蚂蚁很可能还不小 正式的表述是：由于White检验没有充分利用关于异方差形式的先验 信息,因此该检验具有较低的检验势.如果我们确实有关于异方差的正确的先验信息,那么我们应该利用它,以提升检验的势.这正是

21、Breusch-Pagan检验的思想.例如, 如果我们预先知道,方差与解释变量的平方项及其交叉项无关, 那么, 我们可以对White检验进行改良：1、估计模型并计算残差的平方 ?；2、估计辅助回归模型：?2 a0a2x2i v原模型同方差的原假设对应于辅助模型的原假设：%=a2 = 03、利用拉格朗日乘数(LM)统计量NR2r J 2进行检验.其中R2r q是辅助模型的判定系数,q是辅助模型中不包含截距项的解释变量的ii个数,在上例中q=2.同样也可利用F检验.再例如,如果我们预先知道方差与某一个变量Z 可以不是解释变量具有线性关系,那么我们可以采取如下步骤进行异方差检验：1、估计模型并计算残

22、差的平方 ?；2、估计辅助回归模型：? = a0 平 vi原模型同方差的原假设对应于辅助模型的原假设：a1 = 03、利用拉格朗日乘数LM统计量进行检验.我们也可以利用t检验来检验a1 = 0这个原假设.笔记：一些教科书还涉及到异方差的 Park检验法.对模型：吊0 1xii2x2i,假定：2 : 2expa0 a1x1i a2x2iPark检验的步骤是：1、估计模型并计算残差的平方,；2、估计辅助回归模型：10g孑二 % a1x1i a2x2i v利用拉格朗日乘数LM统计量或者F统计量检验原假设：a1 = a2 = 0但Park检验存在一些问题：1它涉及到的原假设除同方差假设之外,还假定原模

23、型中误差项与解释变量独立；2对于辅助回归,F统计量可能并不服从F分布.因此在进行异方差检验时应该防止使用Park检验,参见Wooldridge第12浙江工商大学金融学院姚耀军讲义系列四版,p.284四、发现异方差后我们该怎么办？选择一：异方差稳健标准误根据 White1980,我们可以采用 White-Huber-Eicher标准误来作 为对作为估计量P?方差的一致估计.根据该标准误,仍可构造t统计 量进行t检验.另外,还有异方差稳健F统计量与异方差稳健LM统 计量,参见 Wooldridge第四版相关内容.不过值得注意的是,稳健 标准误一般适用于大样本,事实上当利用稳健标准误来构造t统计量时

24、,在小样本下这个t统计量可能并不接近于t分布.选择二：加权最小二乘法记住！即使我们利用了异方差稳健标准误,OLS估计仍然不是最 有效的线性无偏估计量.为了得到最有效的估计,我们利用加权最小 二乘法WLS.WLS是广义最小二乘法GLS的一个特例.关于 GLS可参见第五讲附录.情况一：异方差的形式对于线性模型 y = p 0 + p 1xi+ ,假定异方差形式是 的,62 = 6 4片.我们把原模型转化为：%/斤=：01/% 中元g/而 现在,Var1/JK = 5 2,因此,转换后的模型满足同方差假定, 于是得到WLS估计量.为什么称为 WLS?对转化后的模型利用OLS,即求：13MT “办 为

25、1/何-沁/屈2 0, 1也即c c _2 改/ Kymv 拆 0,1或者Min% 2y - ？- ？X2? ? h i 01 0,i iyi - pO - P?xi是什么呢？它是残差.因此,wls就是对残差的平方进行了加权,权数是1/h.显然,选择 r1=工为权数也 2h%2不会影响P?p感1的取值.警告：在使用EVIEWS软件时,输入权数变量是指输入hi,而不是1/卜笔记：关于 WLS的直觉.直线 Ey 12% 正是我们所关注的总体回归函数,然而我们无法确定它,由于它包含了未知的真实参数.我们的任务是,利 用观测值拟合一条直线以近似总体回归函数.假设与 xm对应的误差项a m其方 差较小,而与Xn对应的误差项8n其方差很大,那么yn很可能偏离Pj P2Xn较 远.从而,在使残差平方和最小的过程中,点 xn,yn很可能造成样本回归直14浙江工商大学金融学院姚耀军讲义系列线？=解+4Xj与总体回归函数 EYi= 12Xi相去甚远.为了