最大似然估计及三大检验WaldLMLR讲解

1、第二章 线性回归模型回顾与拓展（12-15学时）第四节 三大检验（LR Wald LM）一、极大似然估计法（ML ）（一）极大似然原理假设对于名&定样本 », X ,其联合概率分布存在，f （Y,X;t ）0将该联合概率 密度函数视为未知参数:的函数，则 f （Y,X;U）称为似然函数（LikelihoodFunction）。极大似然原理就是寻找未知参数 :的估计 匕使得似然函数达到最大， 或者说寻找使得样本y,x出现的概率最大 2（二）条件似然函数 vs无条件似然函数f Y,X; = f Y X3 f X;若日与甲没有关系，则最大化无条件似然函数 f （Y,X;j等价于分别

2、最大化 条件似然函数f （Y X ; 0 ）和边际似然函数f （X;邛），从而日的最大似然估计就是 最大化条件似然函数f （y x ; e）。（三）线性回归模型最大似然估计Y =XP +u , ut N（0产2I）L(Y,X；n22.：.二)二(2 二；)2 exp-(Y - X ) (Y - X ：)对数似然函数:l = LnLnn2二一 Ln2二 一 Ln二22(Y - X j(Y - X 1)2二25 = (2XY+2XXf?=0"一方X?)(Y-X?)=0?ml =(XX)XY得到1航l 二 -een（三）得分（Score）和信息巨阵（Information Matrix ）

3、色=f（6；Y,X）称为得分；c9fl更得分向量;(Gradient )海瑟矩阵（Hessian Matrix ） : h =FcOct?信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。但有些时候可能会遇到非样本信息一一对未知参数的约束限制（如生产函数中的规模报酬不 变等）。在这种情况下，我们就可以采用拉格朗日估计法。对于线性模型（1）,若其参数P具有某种线性等式约束：(6)其中H是m><k矩阵（m <k , rank（H ） = m ）。P可视为除分量P0以外的k父1矩 阵。上式表明未知参数£,311

4、14之间的某些线性关系的信息。现在的问题是寻求满足上式又使（Y-XP）'（Y-XP）达到最小的估计量PH0o为此，构造拉格朗日函数（八是mx1的向量）L=(Y_XP)'(YXP)+九'HP(7)于是今=2XY +2XX% +H % =0（8）:H = hNh=0（9）由（8）可得 PH = P-1（XX）H %（10）2（10）式的曰是OLS的估计量。两边再左乘H ,并结合（9）式有0 二H 2H = H ?-1h（XX）H ?H 2所以，马=2H（XX）,H 'H ?代入（10）式，我们便得到估计量：.=._（XX）,HH（XX）,H，H 伊（11）这就是拉格

5、朗日估计，或称为带约束的最小二乘估计。它既利用了样本信息,也利用了非样本信息。另外，咒也是带约束的极大似然估计量（证明从略）。四、广义最小二乘估计（GLS ）1、数理过程在实际经济问题的分析过程中，常常遇到古典假定中2的不满足，即随机扰 动项存在异方差或自相关。比如利用截面数据进行分析时，随机因素的方差会随 着解释变量的增大而增大（即所谓的递增异方差一一如在研究消费收入的关系 时，随着收入的增加，随机因素的变化会增大）。而利用时间序列数据进行分析 时，由于经济变量的惯性作用，随机扰动项之间也会有联系，较为普遍的现象是扰动项的一阶自相关。(即ut = Put+4)当存在异方差或自相关的情况下,传

6、统的OLS再是有效估计，这时,我们应采用广义最小二乘法来解决这类问题具体地,(12)_2EuuJ时Ut存在异方差,2CTIII：n1III,?n -2川IIIIII111_2IH1时ut存在一阶自相关。需要说明的是，无论是异方差还是自相关，矩阵C是正定矩阵。于是,存在非奇异矩阵P,使得P C(P)二 I在模型Y = xP+u 两边同时左乘P,，得PJY ' P,X : Pu或写成 Y*=X*P+u*(13)止匕时，Eu*u*'= EP4uu'(P)4= P4二2(P)-2|即u已无异万差和自相关。那么，对(13)式运用OLS可以得到N = (X*'x*)“X*Y

7、* =(X(P")'p4x)4x'(P，)'P，=(XQ-X)"xO(14)这就是未知参数P的广义最小二乘估计量GLS它同样具有良好的统计性质。即它是无偏的、一致的、渐近正态 （ErnPYarWnolXQ,X）-1）的估计量。换 句话说，GLS估计量是广义模型中的最小方差线性无偏估计。这就是所谓的 Aitken定理，当夏=1时高斯一马尔科夫定理为其特例。2、WLS和广义差分法广义最小二乘法是处理异方差和自相关问题的一般良好估计方法。当C已知时，比如异方差时，各个 Wi二巴/?已知，此时，矩阵P这时由（13）式估计出来的P ,其实同加权最小二乘估计（W

8、LS ）是相同的。换句话说，加权最小二乘实际上是广义最小二乘的特例。再比如随机扰动项有一阶自相关且P已知，止匕时C-P1P4-PIIIHI0III000III001III00III III HI III0 III p 1P III1 IHIII IIIIHn 210= pp',可以算得那么（13）式中的也p2Y= P、=、-。丫 .Jn-PYnJi_p2Xi、X* pYX2 - PXi> x = p x =,Jn- PXn此时估计（13）式得出的俘，其实就是所谓的广义差分法。也就是说广义差分法也是GLS的特例。所以，GLS是一个普遍适用的方法。3、C未知时的GLS当然，上述情形只

9、是C已知的情况。而在现实应用时，C往往是未知的。于是我们面临一个问题一一 。如何确定？回答当然是对 C中的未知量进行估计（比如自相关中的P,异方差中的WJ）。那么又该如何估计呢？在回答这个问题之前，我们先考察一下GLS与最大似然估计的关系（可对照 OLS与ML的关系）, n.八 1 ,InL = 一一 In2二-In22一般来说，当N|_ N（0,。2。）或Y|_ N（XP,。2。）时，Y的对数似然函数为仃2c _1（y_xP）'（d2c）,（y_xP）2或者考虑到G = PP',而P/Y=Y*、PX=X*,又有（经过适当的运算）nn 2_1*;ln L - - -ln 2二

10、一一ln。 ln | P |2（Y -X -）（Y - X -）2220最大化上式，对P求导令其为0,可得到P的极大似然估计量（它其实就是GLS ）0对C或P中的未知量求导令其为 0,可得到C中未知量（比如P）的估 计。这是一种理论上可行的方法，但实际操作可能会遇到障碍，尤其是在有异方 于存在时。为此，我们介绍另一种方法一一可行广义最小二乘法 FGLS4、可行广义最小二乘法（FGLS异方差的具体形式是复杂多样的，但总的来说都是与解释变量有关的，随解释变量的变化而变化。以下三种假设情况基本上涵盖了文献中讨论过的大多数情 形。(i )仃；=a。+%乙1+IH+ctpZip(H ) c- i =1

11、0 .二 iZii III ：-pZip(iii ) lncr2i+«iZii +|+c(pZip(或 <r2i =exp(c(0 +口忆曾 +|+otpZip)我们称这些方程为扰动项方差的辅助方程。式中的Z是原模型中部分或全部的X或X的函数(比如 乙=Xi,Z2=Xi2,Z3 =XiX2等等)。可行广义最小二乘法的 基本思想就是，先利用辅助函数求得参数估计值，然后得出估计值 煽从而得到?及最终的GLS结果。FGLS的步骤如下：(D Y对常数项和Xi,X2,IU,Xk回归,求得P的OLS估计值；计算残差 e=Y-*0-*XiiT”-rXki(3)选择上述方程的适当形式(3i)

12、G2对常数项及ZiJILZp回归，求得口的估计值。这是针对上述(i) 的情况。式中的Z为原来X的平方或交叉乘积。然后把这些a的估计值代回(i) 便得到仃：的估计值12。再使用GLS£ WLS1出最终结果。需要指出的是，这种 方式并不能保证所有的2都为正，如果其中出现了 0或负数，那么我们就只能 使用原来的ei2代替呼2 了。(3ii )对应于上述方程(ii )，让e对常数项及ZiJ|,Zp回归，求得口的OLS 估计值，代入(ii )得到卑,然后使用GLS或WLS此时选择权数为 %，如1 为负，那么权数为嵬)。(3iii )对应于方程(iii ),让ln/对常数项及 乙,HI,Zp回归

13、，求出«的 OLS估计值，再代回(iii )求得ln。2或由2。然后利用GLS或WLSfl出结果。这 里值得一提的是，此时的 乌2只会产生正值，不存在0或负的情况，这也是此种方法很有吸引力的地方。以上便是可行广义最小二乘法的一般步骤。由此得到的FGLS估计，量是一致估计量。而且他们的方差和协方差也是一致的。同时渐近地（大样本场合）比 OLS估计更有效。五、矩估计及GMIW介事实上就参数估计方法来说，矩估计是最简便直观的方法。即用样本矩作为 总体矩的估计。矩估计广义矩估计综上所述，我们将传统的单一方程的估计方法总结如下:OLS相同）OLS（普通最小二乘法，满足古典假定时的 BLUE）

14、估ML （极大的似然估计，另一种优良的估计法，结果与 计LM（拉格朗朗日乘数，或带约束最小二乘估计）WLS（加权最小二乘，异方差存在且已知法GLS（广义最小二乘）户义差分 （存在自相关且P可估计量）FGLS（可行广义最小二乘， C未知，需要对其中参数进行估计 ）回归的其他形式（标准化，与量纲回归，过原点回归等）第三节 线性回归模型的检验方法及拓展有个对检验的总体说明作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实 证分析中的一个重要方面。对模型进行各种检验的目的是，改善模型的设定以确 保基本假设和估计方法比较适合于数据，同时也是有关理论有效性的验证。正态性JB检验、峰度、偏度

15、检验一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是：（1）建立两 个相对的假设（零假设和备择假设）（2）在零假设条件下，寻求用于检验的统计 量及其分布（3）得出拒绝或接受零假设的判别规则。另一方面，对于任何的检 验过程，都有可能犯错误，即所谓的第一类错误（拒真）和第二类错误（采伪）。而犯这两类错误的概率（分别记为口和P）是一种此消彼长的情况，于是如何控 制这两个概率，使他们尽可能的小以满足要求，就成了寻找优良的检验方法的关 键。下面先就假设检验的有关基本理论做一简要介绍。参数显著性检验的具体步骤是：已知总体的分布F（x,e）,其中日是未知参数。 总体真实分布

16、完全由未知参数日的取值所决定。对日提出某种假设 H0:日=%（H1：日或日日0出3等），从总体中抽取一个容量为n的样本，确定 一个统计量及其分布，决定一个拒绝域 W使得Pe（W =a ,或者对样本观测数 据X, P0（X=W «0 a即是显著性水平，也是犯第一类错误的概率。既然犯两类错误的概率不能同时被控制，所以通常的做法是限制犯第一类错 误的概率，使犯第二类错误的概率尽可能的小，即在p-（X w ：。0的条件下，使得P2州，0 w0 -O0达到最大。其中Pd；XWW表示总体分布为F（x,e）时，事件XWW的概率，60为零假设集合(。只含一个点时成为简单原假设，否则称为复杂原假设)。

17、0 则表示备择假设集合，为了方便描述，我们定义=p<x vy称四日)为该检验的势函数。 当日WO。时，P(是犯第一类错误的概率；而当 睚6-。时，1-P(是犯第二类错误的概率。于是一个好的检验方程是：maxP(9),6 =0 -o0:s.t P(e)<a,e e©0为了理论上的深入研究和表达方便，我们常用函数来表示检验法。定义函数(x)= 1,x W0,x - W它是拒绝域W的示性函数，仅取0、1两个值。反之如果一个函数中4(x)只取0 或1,则川=x|伙x) =1可作为一个拒绝域。也就是说， W和©之间建立了一种 对立关系，给出一个小就等价于给出了一个检验法，

18、(我们称e为检验函数)。那 么，对于检验法小的势函数为F=E*X) = ；(x)dF(x,u)于是，一个好的检验法又可写为Xmax (仆尸 G -00(s.t E +(x) <«,0©0我们称满足上式的检验法为最优势检验(MPT)(如果是对于复杂原假设和备择假 设，则称为一致最优势检验(UMPT )0奈曼皮尔逊基本引理给出于*(x)是MPT的充要条件。定理设XJ|,Xn是来自总体分布密度为p(x,8)的样本，日为未知参数，对于简单假设检验问题Ho：6=90,Hi：9 =由，检验函数*(x)是显著性水平为a的最优势检验MPT勺充要条件是，存在常数 K之0,使得Wx)满足

19、：EJ(X) = ：(x)= L-Pd10,当p(x，d)< Kp(x,e0)这就是著名的奈曼皮尔逊基本引理，需要指出的是，上述定理中的检验函数Wx)通常也称为似然比检验函数，若记P(x,工)P(x,%)称为似然比统计量。如果K(x)较大，意味着p(x，4)较大，所以在Ho为真时观测 到样本点x的可能性比Hi为真时观察到样本点x的可能性小，因而应拒绝原假 设Ho；反之，如果九(x)较小则应接受Ho o止匕外，利用九(x),上述定理中的$(x) 可写为(x)1,(x) K0, (x)二 K这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定是似然比检验法。而大量的文献都已

20、证明了传统假设检验中的 Z检验，t检验，72 检验，F检验都是最优势检验。于是，我们可以放心地回到这部份的主题一一计量经济模型的检验方法。般线性框架下的假设检验多元回归模型Y十久Xi十用十儿*卜+u的统计检验通常包括以下三种情 况：(1)单个系数的显著性检验；(2)若干个回归系数的联合检验；(3)回归系 数线性组合的检验。例如：考虑下面这些典型假设的例子。10、Ho：P=0。即回归元X对Y没有影响，这是最常见的参数显著性检验。2°、Ho：Pi=Pio。Pi。是某一具体值。例如口表示价格弹性，我们也许希 望它是-1。3。、H。： £十鸟=1。这里的P表示生产函数中资本和劳动的

21、弹性，此时检 验是否规模报酬不变。4°、山邛2=久或02-久=0。即检验X2和X3的系数是否相同。50、Ho：Pi=P2=|Pk=O。即检验全部回归元都对 Y没有影响。6°、Ho：Pu =0。 这里的含义是把P向量分为两个子向量Pi和Pii ,分别 含有ki和k2个元素。检验H。：丸=0就是检验某一些回归元Xu (X的一部分) 对Y没有影响。诸如以上的情形都可归于一般的线性框架：RP =r(注意:这里 P=(P1,|Pk)r)其中R是由已知常数构成的qxk矩阵(q E k ), r是各元素为常数(一般是0或 1)的qM1矩阵。于是，对于上述情形，具体的我们有：(i) R =

22、 (0 川 1川 0),r =0.(q=1)(ii ) R=(0l|l1|l0),r ”0.(q =1)(iii ) R=(1,1,0I|I0), r =1.(q =1)(iv) R =(0,1,-1J|0),r =0.(q =1)(v) R = Ik, r =0.(q =k). .、_ 尸。0 ).、(vi ) R=,r =0.(q =k2)0 1k2 J所以，上述问题的统一假设是：H0 :R '- -r -0为了检验这个假设，应先估计出f?,计算Rf?-r ,若其值较“小”，(接近于0), 则不应否定原假设；而如果其值较大，那么应对H0提出怀疑。为此我们先考察Rf? 的分布。对于O

23、LS的火 我们知道肾|_ N(P,o2(XX)。(注意：这里的X是所有解 释变量观测值组成的nwk矩阵不含全是1的第一列)而E(R?) =R：Var(R?) =ER(?- -)( ?- -) R = RVar?R = c 2R(XX)R所以，r?L n(r：,；2r(xx)r)于是，在Ho :RP -r =0成立的条件下，R?-r L N(0,二2R(XX)玉)那么，由有关的数理统计知识可知：(R7一r)仃2R(XX)'R(R肾一r)L *(q)(1)止匕外，我们还可以证明e|l_炉(n-k-1)(残差平方和的分布)。因此，由上述两式，得到在 Ho下的检验统计量：(2)F =(R?-)

24、R(XX)“R?-)q ee(n-k-1)(注意：ee (n-k-1) = ；22)于是，检验的程序是，如果算出的F值大于某个事先选定的临界值，则拒绝 Ho 具体描述如下：10、Ho: 口 =0止匕时rB为卑。R(XX),R'为ci。即(XX),主对角线上的第i个元素(注:(XX尸是一 K阶对称方阵)。因此：?2Var ? F(1,n -k -1)取平方根 t= 5Lt(n-k-1),这就是传统的关于回归参数显著性的t检验法 se ?20、H。：彳i0? _ 1类似 T,这里 t = i i0 |_t(n_k-1) se ?此时也可以计算，比如Bi的95胡信区间，而不用检验关于 耳的具

25、体假设，这个置信区间是？-t°.025Se?。30、H0:，+B2=1R?合出了两个估计系数的和 因+用，而此时R(XXR' = Gi+2Ci2+c22(注:R(XX) R；?2(XX)'©) , R=(1,1，川,0)。那么=<?2(c11 +2c12 +c22)"1'=VarP1 +2Cov(因，用)+VarEr =Var(P? + 丹)广于是检验统计量为:1Var( ? Z)t(n - k -1)或者，也可以计算P1+P2的95函信区间华+国）土t0.0255Var馈+用）4°、H0:P2=P3O 23类似30 ,可推

26、得此时的检验统计量为?2%,t =23 Lt(n-k-1)Var( ?2 - ?3)50、H。：&=口2 = | ' =0此时 R = Ik, r=0, q=k,那么?XX ? kF =ee (n -k -1)ESSkRSSn -k -1U F(k,n-k-1)这就是我们熟悉的关于回归方程显著性的F检验 6°、H0 : % =0。把X分块为X =（XI XH ）,可以证明（过程略）此时 一SLf(-1)其中e是Y对Xi做线性回归的残差平方和。e'e是Y对所有X回归的RSS。通过上述示例，我们看到一般线性框架下的假设检验， 它涵盖了传统计量经 济分析中的统计检验

27、方法。有了它，我们可以方便地实现许多实证问题中线性意 义下的统计检验。具重要性是显而易见的。三、一般线性假设检验的另一种形式上面第60情况出现的统计量就是这里所说的另一种形式。显然50是60的特殊情况，而事实上我们还将看到其它的情况也可归于 6°。另外，这里还有一个问 题，即类似于第30种情况的检验与上一章所讲的带约束的最小二乘估计的关系是 什么？也就是说，对未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果是否一致？下面的具体分析就回答了这 一问题。事实上，无论5°还是6°都可以认为用了两种不同回归的结果。第一种回归可看作有约

28、束的回归，或者说H°中的约束条件实际上是估计方程施加的。即5°中 有约束回归是将Xi,X2,|,Xk从回归式中省略掉，或等价地说，令3,日2,1小友为 零；在6°中，有约束的回归只用了前面一部分变量 Xi （K+1-K2个）。而5°、6° 两种情况的第二种回归是无约束回归，它们都用了所有的变量 X。由于无约束模 型的残差平方和RSS是e'e ,有约束模型的残差平方和 RSS记为读e ,因此对某 些总的显著性检验也就是问，对应的 Xi加入模型后，残差平方和RSS是否显著 减少。具体到第3种情形，考虑离差形式的回归方程y = ：xi 2X2

29、 e对其施加约束R+B2=1,代入回归方程 y = P1X1+（1-印弘+e或（y - X2）- 1（X1 -X2） e由变量（y-X2）对（x, -X2）的回归便可得到M的受约束估计值，而这个回归的 RSS就是有约束的RSS,即a'a。实际上这就是我们前面讲到的带约束条件的最小二乘估计。一般地，在约束条件RP* =r下，求使RSS达到最小的底，构造拉格朗日函 数L =(YXP*)(Y-XP*)+，J(RP* -r),运用前面所讲的方法可得到(过程略)% = W_(XX),RR(XX),R(R 世-r)(4)其中因是无约束的OLS估计量，而受约束回归的残差为e =Y-X ? =Y-X

30、?.X(? - 3 =e-X(2 - ？)将其转置，再与其自身相乘，有ee =ee (?-？)XX(?)再把(4)式的氏-I?代入并化简可得e$*e'e = (R 代r)'R(XX),R(R 肾r)(5)H0: R ? = r的统计量的另一种形式为F (e.e. -ee) q ee (n -k -1)L F(q,n-k -1)(6)这与(2)式中除q外的分子完全相同，也就得到了检验假设这也恰好说明前面所述的6种检验的情形都可以用上述方式进行，即拟合一个受 约束的回归，用受约束模型的残差平方和与无约束模型的残差平方和之差e；e-ee勺大小(或记为RS&-RSS)来推断原假

31、设是否成立。这也就是说一般的线性假设情形都是6°的特例，或者(6)式的F统计量是普遍适应于一般线性假设的一种重要检验方法。即(RSSR -RSSj) q IF RF(q,n -k -1)RSSj (n -k -1)其中RS0和RSS分别是受约束模型和无约束模型的残差平方和 ，q是约束条件个数。同时，这也就回答了本段开始的问题，即，对于未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果应该是 一致的。四、似然比检验（LR）如本节开头所述，在统计推断中，古典检验方法是建立在似然比的基础之上 的。由此可见似然比检验的重要性（当然它的实用性也会在应用中显现

32、出来）。一般而言，似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数 的最大值的比率。上一节我们得到了线性回归模型参数的极大似然估计量（上一节（4）式和（5）式）% =（XX）XYMl =1（Y-X ?ml） （Y-X ?ml） n它们在无约束条件下，使似然函数最大化。把它们代入似然函数可得无约束 的最大似然值（推导过程略）L（凫夕2）=常数（eHe） n2（7）（式中的常数与模型中的任何参数无关，ee是残差平方和）另一方面，如果在约束条件 RP =下使似然函数最大化，令 仪和42表示所 导致的估计值，那么L（肖22）便是约束条件下的最大似然值，有约束的最大值当 然不会超过无约束的最

33、大值，但如果约束条件“有效”，有约束的最大值应当“逼 近”无约束的最大值，这正是似然比检验的基本思路。似然比定义为.L（G2）L（?m显然，0M九E1。如果原假设为真，我们会认为人的值接近1。或者说，如果 九太小，我们则应该拒绝原假设。似然比检验的建立就是要使得当 九Wk时，拒 绝原假设。即P（0 <Z<k Ho）=a （a为显著性水平）。在某些情况下，拒绝域九Wk可以转化为含有我们熟知的t统计量或F统计量的形式。不过，普遍适用的是大样本检验。可以证明，对大样本来说，统计量LR =Xn 九=2 jn L（以02） ln L（%斓2） 72（q）（8）具体地，如果LR很大，则应拒绝原

34、假设，或者说似然比检验的拒绝域为（LR之篙/q）,其中112Mq）为卡方分布的1-0下侧分位数。前面已得到无约束的最大似然值 L（月92）,为了保证LR的计算，我们还需要得出约束条件下的最大似然值 L（百2）。为此，最大化lnL-N'（RP-r）（式中的R是q父1的拉格朗日乘数向量，lnL就是无约束的 对数似然函数），可得约束条件下的110由于参数的极大似然估计量与最小二乘 估计量实际上是相同的，那么此处得到的 月就与上一小节所得到P?即（4）式相 同。与前面一样，此时的残差为 Y-X N =Y-X ? = e ,而。2的带约束的极大似 然估计为A2=e'%因此，（类似于（7式

35、）L（良也2）=常数（e*'e*）&2（9）（式中常数与（7）式相同）将（7）式和（9）式代入（8）式，就得到了似 然比检验统计量的另一种形式，(10)LR = n(ln ee -lnee)由此可见，计算LR统计需要拟合无约束模型和有约束模型。 而事实上，前面 讲的各种检验（t检验，F检验，（6）式）都可以根据似然比原理推导出来。这 就再次说明似然比检验是统计检验的理论基础。五、沃尔德检验（Wald ）在前面一般线性框架的假设检验的讨论中，由OLS估计量舀服从正态分布推 出了（1）式。这里如果我们考虑 MLE阴的渐近正态性，也能得到前面的（1）式，即- i(Rp-r)Ha2R(

36、XX) JRH I (Ra r)， ”(q)(11)这里q是R中约束条件个数，用 仃2的一致估计量夕2 = e%代替式中的仃2,渐近分布成立，或者说大样本情形的沃尔德统计量为(R? r),|R(XX),R，(R? r)a2(q)(12)类似于前面的（6）式，上式的分子也可写为（eX-ete）,于是Wald检验的 统计量具有另一种形式，'W Jiee）2（q）（13）ee与LR检验的情况一样，W呈大样本卡方分布。如果 W的值大于卡方分布的 «上侧分位数,则拒绝原假设。而前面的（6）式也可归为Wald检验类。Wald检验的一般公式：T TA 八aW= c( ) Var c(, )

37、 c( ) - 2(q)六*、拉格朗日乘数检验（LM ）上述的LR检验，Wald检验都涉及到了对数似然函数ln L。Wald检验是由附渐近服从均值为P,方差协方差阵为 L（P）的正态分布，而导出在H0下，R* L N（0,RI,（P）R）。其中i"（P）=o2（XX）、从而得出Wald统计量的分布。一般地，如果夕是日的极大似然估计量，由其大样本性或渐近性知，?i N(O,I -(e),其中I (8)称为信息矩阵，它的定义如下:1)(®、B fo2(XX),0'在线性模型的极大似然估计中，易知 |,( 2)=2仃4仃0<nJ即上述Wald 检验的 |-*(P)=

38、c2(XX)JLo拉格朗日乘数检验同样依赖于对数似然函数及信息矩阵。记S(0)=弛上，称为ln L在8处的得分。无约束估计量的得分S(的=0 ,而受约束的估计量也的得分S(曲在约束条件有效的情况下，应接近于0。可以证明，得分向量S(H)的均值为零，方差协方差矩阵为信息矩阵I，于是S'®)I,)S(9)服从分布?2,所以大样本时，在H0：e=e0下，有LM =S($)I(办sM)C 2(q)(L4)此时，我们只需计算受约束的估计量由的得分(注意：Wald计算的是无约束的估计量)即由S。)| 例n L |_n_ 工 u'u尹212仃2 2仃4 j用a =Y -xH和墟2=

39、e*e/n代替上式的u和0'2,以及R®=r,可得 "可=卜2'。再通过适当的运算和变换可得(过程略),-neX(X'X)，X'eLM= si(L5)ee具体的LM检验可分两步完成。第一步，计算受约束的估计量 鸟 ,从而得到 残差向量e* ,第二步，让e*对所有的变量X回归，这个回归的可决系数是 R2, 恩格尔（Engle 1982）证明了对于大样本来说，(16)LM = nR1 2(q)当nR2 >7,卡方分布的«上侧分位数）时，则拒绝原假设。LM检验方法实际上是从一个较简单的模型开始，检验是否可以增加新变 量，第一步就是对

40、简单模型（变量较少）回归，得到残差a。如果“真实”模型变 量很多，则这些变量加入模型应对e有影响。所以第二步a对所有变量回归而得 到的R2的大小就将直接决定是否应该增加新变量，即约束 RP =r是否成立。如 果R2很大（nR2>小,则说明新增变量对e有显著影响，即真实模型应含较多 变量，或者说对参数的约束（比如某些Pi为0）不成立。如果R2较小（nR2 < ）, 则说明新增变量对e没有显著影响，真实模型就应是变量较少的简单模型， 即约 束条件成立。这也是通常所说的“从简单到一般”的模型设定方法。七、LR , Wald , LM的简单比较三种检验方法都由极大似然估计而来。都用到了对数似然函数，LR检验只适用于线性约束的检验；Wald检验和LM检验既适用于线性约束也适用于非线性约束的检验。LR检验需要计算带约束和无约束的对数似然函数值；Wald检验只需要估计无约束的模型；而 LM检验只需要估计