极大似然估计和广义矩估计

第四讲极大似然估计

和广义矩估计MaximumLikelihoodestimateandGeneralizedMethodofMoments2/3/2023第一节极大似然估计法第二节似然比检验、沃尔德检验和拉格朗日乘数检验第三节广义矩(GMM)估计2/3/2023普通最小二乘法(OLS)是计量经济学中使用频率最高的估计方法。建模者越来越多使用广义矩估计和极大似然估计、贝叶斯估计等。极大似然估计(MLE)和广义矩估计(GMM)已成为计量经济学中重要的估计方法，其中极大似然估计的使用频率仅次于LS。极大似然估计法和广义矩估计法适用于大样本条件下参数的估计，在大样本条件下它们具有优良的性质。2/3/2023第一节极大似然估计法

极大似然估计(MLE)的应用虽然没有OLS广泛，但它是一个具有更强理论性质的点估计方法，它以极大似然原理为基础，通过(对数)似然函数估计总体参数。极大似然估计量是一致的、渐近正态的，而且在所有具有这些性质的估计量中又是有效的。其缺陷：要假设变量的分布，如正态分布。对一些特殊类型的计量经济模型，如后面将介绍的Logit和Probit模型，OLS不再适用，常采用极大似然估计。

2/3/2023一、极大似然法的思路极大似然估计的出发点是已知被观测现象的分布，但不知道其参数。极大似然法用使得观测值(样本)最高概率的那些参数的值来估计该分布的参数，从而提供一种用于估计一个分布的参数的方法。例4.1设有一枚不均衡的硬币，我们关心的是在每次抛掷该硬币出现正面的概率p。抛掷该硬币N次，假设得到N1次正面，N－N1

次反面。由于每次抛硬币都是相互独立的，根据二项分布，得到这样一个样本的概率为：2/3/2023上式可看作是未知参数p的函数，被称为似然函数。对p的极大似然估计意味着选择使似然函数达到最大的p值，从而得到p的极大似然估计量。实际计算中，极大化似然函数的对数往往比较方便，这给出对数似然函数上式达到极大的一阶条件是解之得到p的极大似然估计量2/3/2023

二、极大似然原理未知

观测值随机变量Y的概率密度函数，随机样本似然函数对数似然函数更方便、更容易极大似然估计的思想：的极大似然估计是使得产生样本的最高概率的那个值，(使得观测到该样本可能性最大的那个)；即的极大似然估计是使似然函数达到最大的值。记为

总体有离散型和连续型两种，离散型总体通过分布列来构造似然函数，而连续型总体通过密度函数来构造似然函数.似然方程Score向量，梯度向量2/3/2023离散型随机变量极大似然原理若总体为离散型分布，分布列样本取到观察值的概率，亦即事件发生的概率为：其中是待估参数向量；似然函数为

这一概率随的取值而变化，它是的函数。极大似然估计就是在的可能取值范围内寻找使似然函数达到最大的那个作为参数的估计值，即求，使得一般通过微分的方法求得，即令得到，有时也可通过迭代法来求，具体的计算方法根据随机变量的分布来确定。2/3/2023连续型随机变量极大似然原理若总体为连续型分布，密度函数为，形式已知，其中待估参数向量为。样本的联合概率密度为似然函数对数似然极大似然估计就是使得下式成立的具体求法：由解出极大值点，因函数ln单增,故常常由求解。对数似然函数的一阶导数向量称为score向量或梯度向量。似然方程即2/3/2023三、极大似然估计量的性质极大似然估计量的优势在于其大样本性质(渐近性质)。参数向量的极大似然估计量

参数向量的真值如果极大似然函数被正确设定，可以证明，在较弱的正则条件下，极大似然估计量具有以下渐近性质：

(1)一致性：是的一致估计量，即

(2)渐近正态性：

即近似服从正态分布，其中V是渐近方差—协方差矩阵

(3)渐近有效性：是渐近有效的且达到所有一致渐近正态估计量的Cramèr-Rao下界，即在所有一致渐近正态估计量中具有最小方差。

(4)不变性：设是任一连续可微的函数，则的极大似然估计为2/3/2023极大似然估计量的渐近协方差矩阵极大似然估计的渐近方差—协方差矩阵由对数似然函数决定.信息矩阵(InformationMatrix)Fisher可以证明：在适当的正则条件下，极大似然估计量的渐近方差—协方差矩阵等于Fisher信息矩阵的逆矩阵，即上式很少用！因信息阵为复杂的非线性函数，期望总是未知的。实际中用渐近方差—协方差的估计梯度向量海赛矩阵2/3/2023四、线性回归模型的极大似然估计线性回归模型是计量经济学应用最广泛的模型，因此讨论线性回归模型的极大似然估计是非常必要的。在随机误差项服从正态分布的假设下分别讨论一元线性回归模型和多元线性回归模型的极大似然估计。非线性模型的极大似然估计，将在第五章中介绍。注意:

比较线性回归模型回归系数的OLS和MLE的区别。2/3/2023一元线性回归模型的极大似然估计一元线性回归模型：假设随机扰动项即随机扰动项具有0均值、同方差、不相关和服从正态分布，密度函数似然函数对数似然函数似然方程2/3/2023极大似然估计的极大似然估计是一个有偏估计；但它是渐近无偏的。MLE的线性回归模型的残差平方和等于OLS的残差平方和2/3/2023多元线性回归模型的极大似然估计一般多元线性回归模型矩阵形式：对随机扰动项作出如下假设：则的密度函数为：的密度函数为似然函数为：对数似然函数为：2/3/2023使对数似然函数达到极大的一阶条件为(正规方程组)

解得:

因此，在随机扰动项满足标准假设条件的情况下，的极大似然估计与普通最小二乘估计相同，的ML估计与OLS估计则不同。是无偏的，而是有偏的，但渐近无偏。对数似然函数的极大值：

2/3/2023为了得到的无偏估计量的Cramèr-Rao下界，需要先计算信息阵

Cramèr-Rao下界2/3/2023注意：达到了Cramèr-Rao下界。在正态性的假设下，回归系数的OLS和ML估计是最小方差无偏估计量(MVU)，这表明,它们在所有无偏估计量而不仅仅是线性无偏估计量中方差最小。在大多数情况下，无法由似然方程解得极大似然估计的显式解，(尽管知道它是存在的)而只能借助迭代方法求得数值解。非线性回归模型的极大似然估计(ch5)离散或受限因变量模型的极大似然估计(ch10)2/3/2023

例4.2以消费函数为例，说明极大似然估计法的估计过程。根据经济理论，消费和收入与价格密切相关，因此建立以我国国内生产总值gdp和消费价格指数p为解释变量，国内总消费tc为被解释变量的消费方程。数据区间为1988—2007年。消费方程设定为：其中服从正态分布。普通最小二乘估计的结果为：

极大似然估计的结果为：对于线性回归模型，用极大似然估计得到的系数估计值与用最小二乘法估计得到的结果完全相同。2/3/2023五、极大似然估计的计算方法除少数情况外(如正态线性回归模型)，大多数时候无法由似然方程得到参数极大似然估计的显示表达式。只能借助迭代方法得到其数值解。1.一阶导数方法

Gauss-Newton/BHHH法(拟牛顿型)Marquardt法(拟牛顿型)2.二阶导数方法

Newton-Raphson法(牛顿型)

Goldfeld-Quandt法

DFP法(拟牛顿型)BFGS法(拟牛顿型)2/3/2023第二节似然比检验、沃尔德检验

和拉格朗日乘数检验似然比检验(LikelihoodRatioTest,LR)

瓦尔德检验(WaldTest,W)

拉格朗日乘数检验(LagrangeMultiplierTest,LM)

是三种基于极大似然法的大样本检验方法。2/3/2023在第二章中介绍的F检验适用于检验经典线性回归(CLR)模型的线性约束条件且具有嵌套关系。如果施加于模型的约束是非线性的，模型存在参数非线性，F检验就不再适用，通常需要采用LR、W和LM三个检验方法。这三个检验方法是渐近等价的，都渐近地服从自由度为约束条件个数的分布。但它们的小样本性质却各不相同，除个别特殊情况外它们的小样本性质是未知的。2/3/2023一、三种检验的基本原理(自看)三个检验统计量基于三个不同的原理,用下图来解释。2/3/2023图中，对数似然函数lnL由上面的那条曲线表示，它是要估计的参数的函数。无约束极大似然估计是使lnL达到极大的值。假设要检验的约束条件是在这个约束下，lnL的极大值为，称为有约束极大似然估计。从图上看，这个点是函数与横轴的交点。2/3/2023

1.LR检验(对数似然函数角度进行比较)

如果约束条件为真，则施加该约束条件后lnL的极大值lnLR

不应当显著小于lnL的无约束极大值。因此，LR检验基于lnL-lnLR是否显著异于0，若这个差显著异于0，拒绝原假设.2.W检验(从约束条件的角度比较)

如果约束条件为真，则不应显著异于0，其中是的无约束极大似然估计值。W检验基于若它显著异于0，则拒绝原假设。

3.LM检验(从对数似然函数的斜率的角度比较)

对数似然函数在A点达到极大，在这点关于的斜率为0。如果约束条件为真，则lnL在B点的斜率应近似为0。LM检验基于对数似然函数在约束极大似然估计处的斜率,若该斜率显著异于0，则拒绝原假设。2/3/2023二、似然比（LR）检验设为待估计参数向量，原假设规定施加于这些参数上的约束。分别为的无约束和有约束极大似然估计。似然比为其值位于0和1之间，因为两个似然都是正的，并且约束似然不会大于无约束似然函数值(局部最大不可能大于全局最大)。如果过于小，则怀疑原假设的正确性。LR检验的检验统计量是在大样本情况下近似服从自由度为q的卡方分布。(q是约束条件造成的参数个数减少的数目)缺点：既要进行约束回归，又要进行无约束回归。(对数似然函数角度进行比较)2/3/2023复杂模型中，有约束和无约束估计中可能有一个很难计算。有两个可供选择的方法，即沃尔德检验和拉格朗日乘数检验。这两个检验只需要估计约束或无约束参数中的一个。设的无约束极大似然估计为，要检验的原假设为：若约束条件成立，则若显著不为0，则拒绝原假设。W检验就是遵循这个思路构建的。W统计量是从约束条件的角度大样本时，W近似服从自由度为q的卡方分布。注意：W统计量只需要估计无约束模型。三、沃尔德（W）检验2/3/2023四、拉格朗日乘数(LM)检验拉格朗日乘数(LM)检验，亦称score检验。该检验只需估计约束模型，无需估计无约束模型。假设要在约束条件下极大化对数似然函数，令表示拉格朗日乘数向量，并定义拉格朗日函数约束最大化问题就是求解方程组若约束成立，则加上它们不会造成对数似然函数极大值的显著差异。这意味着在一阶条件下，第二项应该很小，特别是应该很小，可以通过检验2/3/2023直接检验拉格朗日乘数向量比较困难，其等价而简单一些的方法:对数似然函数的导数在约束估计值处有如果约束条件成立，则应有。即在约束估计值处对数似然的导数应该近似为0。对数似然的一阶导数向量是Score向量。由于LM检验基于该向量，因而也被称为Score检验，但大多数文献中还是称之为拉格朗日乘数检验。LM检验统计量是2/3/2023实际应用中，LM统计量有一个很简单的公式其中是通过一个辅助回归计算得到的非中心可决系数辅助回归：用元素均为1的列向量为因变量，对数似然函数在约束估计值处的导数为自变量进行线性回归,得到的非中心。非中心的含义是，在计算总平方和TSS时，因变量不减去其均值，即用这种方法计算LM统计量非常容易，但对于小样本不可靠，犯第一类错误的可能性很大。Davidson和MacKinnon(1983)提出了计算LM统计量的另一种方法，该方法克服了上述方法的缺点，而保持了其计算简便的优点，尽管计算中需要执行他们所称的双长度回归(double-lengthregression,DLR)。2/3/2023五、实践中三种检验法的选择问题

面临具有相同渐近性质的几种统计量时，通常根据其小样本性质进行选择。由于这三个检验的小样本性质未知，所以实践中，通常都是根据计算的难易来选择。计算LR统计量，需要计算约束和无约束估计，如果二者都容易计算，则LR检验是三种检验中最具吸引力的.计算W统计量只需要无约束估计。如果约束估计的计算比较困难，而无约束估计容易计算，则W统计量应成为首选。计算LM统计量只需约束估计。如果约束估计值的计算比较容易，而无约束估计值的计算困难，则LM统计量应成为最为可取。在计算方面的考虑不是问题的情况下，应选择LR检验.2/3/2023第三节广义矩(GMM)估计

OLS法和ML估计法等方法都有本身的局限性。

OLS法必须在遵循经典假设的条件下才具有优良的性质,在违背基本假设(异方差和序列相关)时,OLS估计不再是BLUE。应用ML估计需要对随机误差项的分布做出某种假设。广义矩估计(GMM)不需假定随机误差项的具体分布，且允许随机误差项存在异方差和自相关。

OLS估计、ML估计和IV估计等都是GMM的特例。当不存在异方差和自相关时，2SLS是一致、渐近正态、有效估计；若存在异方差或自相关，GMM是最有效的。2/3/2023一、矩估计法矩估计法(MethodofMoments)是GMM法的基础，GMM是MM估计的推广，类似于GLS和OLS的关系。(一)矩估计原理总体的原点矩：样本的原点矩：总体分布的参数是总体原点矩的函数。大数定律：样本k阶原点矩收敛到其总体k阶原点矩(依概率)

Slutsky定理：样本k阶原点矩的函数收敛到其总体k阶原点矩的相应函数。(依概率)一般地，总体的各阶原点矩都有其样本原点矩的对应物。很自然的想法：用样本原点矩作为总体原点矩的估计，从而得到总体未知参数的估计！--矩估计2/3/2023例4.3

未知，是来自X的随机样本，试用矩估计法求参数的估计量。解：总体的1阶和2阶原点矩样本一阶和二阶原点矩分别为：矩估计：总体矩等于样本矩，所以矩条件2/3/2023(二)OLS和ML估计与矩估计经典线性回归模型OLS估计量的一个重要假设条件是：解释变量与扰动项无关(解释变量外生)，即

总体这组矩条件的样本对应物

由上述矩条件解得矩估计。这些矩条件正好是OLS估计的正规方程，因此OLS估计是矩估计。2/3/2023极大似然估计是通过对数似然的导数等于0得到的。矩条件样本对应物极大似然估计也是矩估计。2/3/2023二、广义矩法在矩估计中，矩条件的个数恰好等于要估计参数的数目，即方程个数等于未知参数的个数，所以存在未知参数的唯一解。如果矩条件的个数大于未知参数的个数，则不能解得唯一解，就引出了广义矩法(GMM)。广义矩估计直接从模型所施加的矩条件来估计模型，这些矩条件有时是线性的，但多数情况下是非线性的。GMM也可以看作是IV在非线性模型中的推广，以解决非线性模型的内生性问题。2/3/2023矩条件的一般形式为：其中其中m表示有L个元素的向量函数，未知参数;

为模型中全部变量，如为解释变量，为工具变量.矩条件的样本对应物恰好识别：矩条件的个数等于未知参数的个数(唯一解)过度识别：矩条件的个数大于未知参数的个数(无唯一解)不可识别：矩条件的个数小于未知参数的个数(无解)若m是的非线性函数，则可能得不到解析解(显式解)；2/3/2023(一)广义矩估计方法概要矩条件的个数大于参数的个数()，则不能通过设定

的样本矩来确定参数的估计。(没有唯一解)为了充分利用L个矩条件的信息，有必要对可能的种不同的估计进行加权平均。借助最优化的思想，选择使得样本矩向量尽可能接近于0的的作为其估计量。这就是广义矩估计的思路。具体的做法:将下面加权平方和(距离函数)作为目标函数，

加权平方和求使得该目标函数达到最小的的值，就得到GMM估计量.

为任意的正定矩阵，称为权矩阵，假设二次型性质2/3/2023权矩阵可能依赖于数据，但不是的函数。权矩阵在某种意义上反映了诸矩条件在距离函数中所占的权重(重要性)。矩条件个数大于参数个数情况下参数的估计问题化为如下的最小化问题：求解此最优化问题，得到的估计量就是广义矩估计(GMM)。在一般情况下无法得到它的解析解，常采用数值解法求解得到GMM估计量。在某些弱正则条件下，GMM估计量是一致、渐近正态估计量(可以证明)。不一定是方差最小的(有效的)。GMM的假设条件(正则条件)：略。2/3/2023不同的权矩阵会得到不同的一致估计量，其渐近协方差矩阵不同。OLS是GMM的特例;GLS和TSLS是其特例；ML也是GMM的特例。要想得到有效的GMM估计，即估计的协方差矩阵最小，必须选择合适的权矩阵