第一部分4 GLS和MLE(三大检验)

1、第四章 GLS和MLE一、广义最小二乘法（GLS）1、回归模型的矩阵表示总体回归方程可表示为：也可以写成：。当取不同的形式时，也就构成了不同的模型，包括：线性、非线性和非参数等。我们这里主要讨论的是线性模型(一元或多元)：其中：，表示样本数量，表示解释变量个数（包含了常数项），当时就是一元线性回归模型。而表示的是随机扰动项，包含了除了解释变量以外的其他影响因素。若遗漏变量，则这个变量也将被扰动项所包含。2、经典假设满足时的残差项的方差协方差矩阵在无异方差和无自相关的假定下，残差项的方差协方差矩阵是一个对角阵，并且主对角线的元素都相同。即有：（此时OLS估计量是最优线性无偏估计BLUE）问题的提

2、出：若扰动项违背球形假定，结果怎样？ （1）其中是一般的正定矩阵，而不是在古典假设的情况下的单位矩阵。（1）异方差时存在异方差时的后果：OLS估计量是线性无偏估计，但不是最有效的。处理方法：第一条思路：找到最优线性无偏估计。具体方法加权最小二乘法（WLS），也就是模型变换法；第二条思路：存在异方差时OLS估计量是线性无偏，但是原OLS方法得到的方差计算公式有误。对于系数估计仍采用OLS估计，对于系数的方差估计进行修正。得到稳健估计量。具体参见本科课程（2）自相关时存在自相关时的后果：OLS估计量是线性无偏估计，但不是最有效的。处理方法：第一条思路：找到最优线性无偏估计。具体方法广义差分方法；第

3、二条思路：存在自相关时OLS估计量是线性无偏，但是原OLS方法得到的方差计算公式有误。对于系数估计仍采用OLS估计，对于系数的方差估计进行修正。得到稳健估计量。具体参见本科课程（利用广义差分方法处理，具体参见本科课程）（3）同时存在异方差和自相关时存在异方差、自相关时的后果：OLS估计量是线性无偏估计，但不是最有效的。处理方法：第一条思路：找到最优线性无偏估计。具体方法广义最小二乘（GLS）；第二条思路：存在异方差、自相关时OLS估计量是线性无偏，但是原OLS方法得到的方差计算公式有误。对于系数估计仍采用OLS估计，对于系数的方差估计进行修正。得到稳健估计量。3GLSGLS的思想十分简单，就是

4、通过对总体方差协方差矩阵的分解，将回归的残差转变成满足古典假定的残差，然后使用OLS估计。由于W是一个正定的对称矩阵，由矩阵代数的知识，我们知道存在一个满秩矩阵P，使得。在古典回归方程两边同乘，得到：或者写成：（其中）可以看出，显然变换后的模型满足古典假定，因此可以用OLS对该式进行估计。得到如下结果：4、FGLS（可行的GLS）FGLS是GLS在实际问题中的应用。显然，如果方差协方差矩阵是W已知的，那么GLS就是最优的估计方法。但是，在实际的问题中，W往往是未知的。这就要求我们必须先对矩阵W进行估计，得到，然后再按照上述GLS的方法对回归模型进行估计。二、最大似然估计（MLE）一个关于最大似

5、然估计的实例（打猎的例子）1、引子利用来自泊松分布的10个观测值，估计相关的参数。已知泊松分布的密度函数是：, 为参数，X为观察值。Poisson 分布，X所有的可能取值为0,1,2。取各值的概率既和x有关，也和参数有关。思考问题：现得到10个观测值，5，0，1，1，0，3，2，3，4，1,估计其参数。解答：似然函数具体的：该似然函数给出由具有未知参数的泊松分布生成数据时，观察到特定样本的概率。什么样的的使这个样本最为可能。考虑最大化这个函数。由于对数函数是单调递增的，而且便于处理，因此通常最大化lnL()，即最大化对数似然函数。又因为2、极大似然函数及其估计的基本原理（1）MLE估计的原理似

6、然函数的定义：从总体中经过N次随机抽取得到样本容量为N的样本观测值，在任一次随机抽取中，样本观测值都以一定的概率出现，各样本的抽取是独立的，因此容易得到样本的联合密度函数。似然函数样本观测值的联合概率函数（联合密度函数）似然函数的表示：设总体的概率密度函数为，其类型是已知的，但含有未知参数，观测值的联合密度函数为：样本的似然函数，包含有未知参数。对数似然函数原理：极大似然估计的原理就是寻找参数估计量，使得似然函数达到最大，就称为极大似然估计量。求解的方法：通过取对数以及一阶条件可以求得该参数估计值。最大化的必要条件是一般来说似然函数是非线性的，必须采用迭代计算的方法求参数的极大似然估计值。极大

7、似然估计量 (MLE) 具有一致性和渐近有效性。（2）例2，经典线性回归模型的最大似然估计量线性回归模型的MLE yt = b0 + b1 xt1 + b 2 xt 2 + + b k-1 xt k -1 + ut , t = 1, 2, , T, 进行极大似然估计。假定ut N(0, s 2 ), 则yt 也服从正态分布。 yt N(E( yt), s 2 )， 其中E( yt) = b0 + b1 xt1 + b 2 xt 2 + + bk -1 xt k -1。若yt是相互独立的，则对于样本 ( y1, y2, , yT)，似然函数是 L(y1, ,y2, , yT |b, s 2) =

8、 f( y1) f( y2) f( yT),其中 b 表示未知参数 b0, b1, , b k -1的集合。正态分布：f ( xt ) = 每个yt的概率密度函数为： f ( yt ) = exp.取对数后：lnf ( yt ) = .对于样本 ( y1, y2, , yT)，对数似然函数为 logL = f ( yt ) = -log 2p - log s 2 - E( yt ) 2. = -log 2p -log s 2 - b0 + b1 xt1 + b 2 xt 2 + + b k-1 xt k -1 2 分析：对logL极大化，等同于使平方和- E( yt )2 极小化，即选择使-

9、-xt 1 -xt 2 - -xt k -1) 2 = 极小化。上式中表示残差。这种估计方法恰好与OLS法相同，所以在这个例子中 b 的MLE估计量与OLS估计量完全相同，即=。（具体的，是对数似然值对于每个求偏导数，并等0。）与OLS法不同的是极大似然估计法在估计的同时，还得到ut方差的估计量。对（lnL）求 s 2 的偏导数并令其为零。 = -+- E( yt ) 2 = 0. 用代替上式中E(yt) 中的b 得 = T -13、极大似然估计的性质若似然函数满足正则条件，极大似然估计量有下列渐进性质：M1、一致性：M2、渐进正态：，M3、渐进有效：是渐进有效的，且达到一致估计量的克拉美-劳

10、下界： M4、不变性：若是的ML估计，是连续函数，则的ML估计是。这四个性质特别是最后两个性质，估计量达到了最小方差，即ML估计量是有效估计量。同时若要估计参数的函数，无需重新估计模型，为估计参数函数提供了便利。ML估计量大样本性质好，但在小样本的条件下，ML估计并不一定是最佳的。三、 基于MLE的三大检验(回顾，基于OLS的检验：t检验，模型整体显著性F检验，F检验（多个系数同时为零，线性约束检验）。下面介绍三种常用的检验方法，这三种检验所用统计量都是利用极大似然估计法计算的。似然比（LR）检验：需要计算受约束，不受约束的模型沃尔德（W）检验： 需要计算不受约束模型拉格朗日（lagrange

11、）乘数（LM）检验： 需要计算受约束模型1、似然比（LR）检验（1）思想：思想：如果约束条件成立则相应约束模型的极大似然函数值LR与非约束模型的极大似然函数值LUR应该是近似相等的。因为加上这样的约束不应该引起似然函数最大值的大幅度降低。实质：比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。方法：构造似然比。似然比定义为有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比。以似然比为基础可以构造一个服从卡方分布统计量（2）LR检验步骤H0：约束条件成立H1：约束条件不成立计算非约束模型的极大似然函数（数值大，因没有约束模型的RSS小） Lur =L(,) 其中和分别是无约

12、束模型的 b（参数集合）和s 2 的极大似然估计。计算约束模型的极大似然函数(数值小，因约束模型的RSS大) Lr =L(,)其中和分别是约束模型的b和s 2 的极大似然估计。定义似然比（LR）统计量为 括号内是两个似然函数之比（似然比检验由此而得名）。可以证明在零假设：约束条件成立条件下 LR c 2(m) ，其中m表示约束条件个数。判别用样本计算LR统计量，并与临界值相比若LR < c 2a (m) , 则接受零假设，约束条件成立。若LR > c 2a (m) , 则拒绝零假设，约束条件不成立。2、WALD检验（1）思想原理：测量无约束估计量与约束估计量之间的距离。如果约束是有

13、效的，那么在没有约束情况下估计出来的估计量应该渐进地满足约束条件，因为MLE是一致的。例如：要检验。进行无约束估计，得到无约束估计量。以无约束估计量为基础可以构造一个Wald统计量（具体形式参见Greene），这个统计量也服从卡方分布；优点：是只需估计无约束模型。当约束模型的估计很困难时，此方法尤其适用。W检验由沃尔德（Wald 1943）提出，适用于线性与非线性约束条件的检验。（2）一个简单例子比如对如下模型： yt = b1 x1t + b2 x2t + b3 x3t + vt 检验线性约束条件b2 = b3是否成立。分析，计算无约束估计量：HoH1W检验只需对无约束模型进行估计（因为对约

14、束估计量和来说，必然有-= 0）。如果约束条件成立，则无约束估计量-应该近似为零。如果约束条件不成立，则无约束估计量-应该显著地不为零。关键是要找到一个准则，从而判断什么是显著地不为零。首先需要知道（-）的抽样分布。依据经典回归的假定条件，（-）服从均值为（b2-b3），方差为Var(-) 的正态分布。通常Var(-) 是未知的，使用的是Var(-) 的样本估计量，定义W统计量为， W1 = N(0, 1)在约束条件成立条件下，W渐进服从N(0, 1) 分布。等价的： N(0, 1)（3）Wald检验的一般形式多个约束条件的情形。f(b )= 0, 其中f(b) 表示由约束条件组成的列向量。用

15、表示施加约束条件后对参数集合的估计。若把代入上式，则上式一定成立。表示未施加约束条件时参数的估计。当把无约束估计值代入上式时，通常上式不会成立。W统计量定义如下， W = f()' Var( f() ) -1 f() 其中f()是用代替b 后的f(b )表达式，Var(f() 是f()的估计的方差协方差矩阵。在约束条件成立条件下，W = f()' Var( f() ) 1 f() 渐近服从 c 2(m) 分布。 W = f()' Var( f() ) -1 f() c 2(m) .其中m表示被检验的约束条件的个数（4）WALD检验步骤H0：约束条件成立H1：约束条件不成

16、立计算非约束模型的参数估计把无约束模型的参数估计带入约束条件，并计算WALD统计量W = f()' Var( f() ) -1 f() 在H0成立时，上述统计量服从自由度为m(约束条件的个数)的卡方分布判别用样本计算WALD统计量，并与临界值相比若WALD < c 2a (m) , 则接受零假设，约束条件成立。若WALD > c 2a (m) , 则拒绝零假设，约束条件不成立。3.LM乘数检验。（1）拉格朗日乘数检验的思想回顾：求有约束条件的极值时：用 langrange方法。 利用拉格朗日乘子：. 为拉格朗日乘子向量。如果，说明此约束不紧，（加上这个约束条件不会使似然函数

17、最大值下降很多，说明原本这个约束就接近自然成立，因此约束条件很可能成立。）如果，说明这个约束条件“紧”的，（加上这个约束条件会使似然函数最大值下降很多，说明原本这个约束条件很可能不成立，因此约束条件很可能不成立）。问题转化为检验是否接近于0根据一阶条件（对求导），可知（2）一个简单的LM检验例子考虑有约束条件的对数似然函数最大值问题。两个待检验的约束条件：f1(b) = 0和f2(b) = 0。为求这两个约束条件下的极大似然估计量，应按拉格朗日乘数法则建立如下函数， logL* = logL + l1 f1 (b) + l2 f2 (b) , (19)其中l1，l2为拉格朗日乘数。按照前面的分

18、析，如果约束条件成立，参数l1,l2应该和0无显著差异。即：l1=l2=0利用一阶条件，计算由约束条件下的极值：¶ logL*/¶ bj = 0, 即有约束条件的极值：= + l1 + l2 = 0, " j 由上式得无约束条件的极值： = - l1 - l2, " j （注意：上式左边，是无约束模型求极值的表达式。）约束条件成立，有约束条件极值，应该与无约束条件极值一样， =0=- l1 - l2,因此，问题转化为，检验l1,l2是否为0。若，l1=l2=0，约束条件满足，若l1，l2 显著地不为零，则拒绝约束条件。 但是，直接检验拉格朗日乘数向量比较困难，实际应用中，有一个简单公式，是通过一个辅助回归式计算LM统计量的值。（3）拉格朗日乘子检验：H0：约束条件成立H1：约束条件不成立考虑有约束模型的对数似然函数最大化问题： 根据一阶条件，计算最优的拉格朗日橙子向量，（及对数似然函数在的梯度向量）。构造LM统计量为在H0成立时，上述统计量服从自由度为k(约束条件的个数)的卡方分布判别用样本计算LM统计量，并与临界值相比若LM < c 2a (k) , 则接受零假设，约束条件成立。若LM > c 2a (k) , 则拒绝零假设，约束条件不成立。 4、三个检验的关系（1）联系