极大似然估计

第1章极大似然估计极大似然估计是非线性模型中非常重要的一种估计方法。最小二乘法是极大似然估计在线性模型中的特例。1.1似然函数假设随机变量Xt的概率密度函数为f(xt),其参数用0=©,02,…，ek)表示，则对于一组固定的参数0来说，xt的每一个值都与一定的概率相联系。即给定参数0，随机变量存的概率密度函数为fxt)。相反若参数0未知，当得到观测值xt后，把概率密度函数看作给定xt的参数0的函数，这即是似然函数。L(0|xt)=f(xt|0)似然函数L(0lxt)与概率密度函数f(xtI0)的表达形式相同。所不同的是在f(xtl0)中参数0是已知的，xt是未知的；而在L(0Ixt)中xt是已知的观测值，参数0是未知的。对于n个独立的观测值x=(X],x2,…,xn)，其联合概率密度函数为f(x10)」f(x10)ii=1其对应的似然函数为：LnL(01x)=工LnL(01x)=Hf(x10)iii=1 i=1经常使用的是对数似然函数，即对L(0Ixt)取自然对数:LnL(0|xt)=log[f(xt|0)]例1.1正态分布随机变量的似然函数设一组随机变量x,,(z=1,2,...,n)是相互独立的，且服从正态分布N(PQ2)。存在N个独立的观测值x=(x],x2,…,xn)。x,的似然函数为L(卩QIx)=f(xI卩Q)= -expi i i (2兀G2)1/2/x_卩、ix2IG丿x2其中，©表示标准正态分布的概率密度函数，e(x)=x,的对数似然函数为:LnL(p,gIx)=—ln(G2)+lni i21 x2其中，Ine(x)=-—ln(2冗)—一22(x1,x—, xn)的联合似然函数为LnL(pQIx)=-—ln(c2)+》nln©(_—)工n(■——工n(■——)2i=1—2nn=——ln(o2)-ln(2冗)-22例1.2泊松分布的对数似然函数假设每5分钟到达商店的顾客的数目服从Poisson分布，有N个样本观测值(X],x2,…,xN)。每个随机变量的概率密度函数，即似然函数为：九x’e-九x!i其对数似然函数为LnL.=Log[f(x.I九)]=x.ln(X)一九一ln(xi!)由于每个观测值都是独立的，因此这N个观测值的对数似然函数为LnL=工nLnL.=工N[x.ln(X)一九一ln(x.!)].=1 . .=1..=ln(九)Enx.-N九一工nln(x.!).=1. .=1 .例1.3指数分布随机变量的似然函数1.2极大似然估计1.2.1极大似然估计的原理极大似然估计是指使得似然函数极大化的参数估计方法，即估计那些使得样本(x「x2,…,x))出现的概率最大的参数。n例1.4正态分布的ML估计对于n个相互独立的随机变量x=(x「x2,…，xn)，x.〜N(—Q2)(/=1,2,...,n)。根据前面推导的g,x2,…,xn)的联合似然函数：nnLnL(—Ix)=-一ln(o2)-ln(2兀)-22两个一阶条件分别为LnL—Yn(x-—)=0o2 .=1.匹=丄+丄工n(x-^)2=0do2 2G2 2G4 i=1i可以求出未知参数的估计量分别为d=x,G2=1工n(x-x)ML MLni=1i例1.5泊松分布的ML估计。未知参数九要使得观测到这N个值得概率最大，即令上述对数似然函数对九的偏导数等于0。警=-N+Zi=i宀0M=zN=1小例1.6例1.7指数分布的ML例1.6例1.7设回归模型为尸xp+u,u〜NID(O,g2)。由yi~N(XiP，c2)，得yi的似然函数是(y-xp)2'— i i TOC\o"1-5"\h\z2G2 丿y.的对数似然函数为iLnL(P，oIy)=-1ln(2冗)-1ln(o2)-(yi—XiP)2i 2 2 2G2若yi是相互独立的，贝y(y],y2, yn)的对数似然函数为LnL(P，oIy)=-殳ln0)-上in(o2)-(y—型y—也2 2 2G2极大化似然函数，两个一阶条件为dLnL=x'(y-xp)=0dp 2o2dLnL=__j+(y-x0)'(y-xP)=0、do2 2o2 2o4解上述方程可得p=(x'x)-ix'y；G2=(U1'u)/n。ML ML另外一种常见的方便推导方法是利用集中对数似然函数(concentratedlog-likelihood)由对数似然函数的第二个一阶条件dLnL=__J+(y-xp)'(y-xp)=0do2 2o2 2o4可得：G2=(y-xp)'(y-xp)/n。将其带入对数似然函数便得到了集中对数似然函数

n nLnLC(PQn nLnLC(PQIy)=-—ln(2兀)——ln2 2((y-xp)'(y-xp))n--1+ln(2兀)+lnn2r(y-xp)'(y-xp)yi根据一阶条件可得ML估计量。实际上,最大化极大似然函数等价于最小化残差平方和。因此，在误差项服从正态分布的假定下，卩的极大似然估计量与LS估计量完全相同。ML方法与LS方法对回归方差的估计量不同，ML估计量是有偏的。但后面将会看到，当误差项服不服从正态分布时，0的ML估计量与LS估计量是不一样的，ML估计量比LS估计量渐进有效。ML估计量的统计特征ML估计方法的盛行在于其估计量的优良的大样本(或渐进)特征。在一定的正则条件下,ML估计量具有如下特征(正则条件及详细证明请参见Greene(2000))。设DGP的真实参数值为00,ML估计量为。具有如下特征。一致性：plim0=08282LnL8080'00=—E[H]i渐进正态性：0〜N[0,{1(0)}-1]，其中，I(0)=-=—E[H]i0003.渐进有效性：的方差达到Cramer-Rao下界。Cramer-Rao下界：如果yi的概率密度函数满足正则条件，那么，所有一致渐进正态估计量的方差下限为[I(0)]-1[I(0)]-1=—Ed2LnL8080'00-idLnLdLnL\-i4.不变性：如果函数f如果f连续且连续可微，那么f(%)的ML估计量为f()。似然函数的导数矩定的正则条件下，似然函数的导数对于随机变量y,，其概率密度函数为f(y,)。在具有如下特征。定的正则条件下，似然函数的导数1.g=8lnf(y10)/80，H=82lnf(y10)/8080'都是随机变量的随机抽样。这意味TOC\o"1-5"\h\zi i i i着，如果样本是独立抽样的，那么g.与gj不相关，H.与H.也不相关。i/ .丿似然函数的一阶导数称为梯度向量(Gradientvector):g=8lnf(y10)丄8Inf(y10)丄gg_80_ 80——gi\o"CurrentDocument"i=1 i=1也称为得分向量(scorevector)。对于N个观测值、K个参数，则g<・％k1向量。将gi构成的矩阵G=[g1',g2',..,gn']'(Nk)称为梯度向量的贡献矩阵。梯度向量g的每个元素为

矩阵G的各列的和。似然函数的二阶导数称为海赛矩阵(HessianMatrix)：H 2lnf(y10)Q2Inf(y16)H—aoae' — aeaei—ii=1 i=1对于N个观测值、K个参数，则H为kk向量。将H：(k k)称为海塞矩阵的贡献矩阵。海赛矩阵H的每个元素为所有矩阵Hi的和。比如，在线性回归模型中， 包含k个参数，加上标准差，共k+1个参数。矩阵G的前k列的第i行第j列元素为QLnLx(y-xf)TOC\o"1-5"\h\zi—=-jii i。卩 G2j最后一列的元素为QLnL= n((y—xf)'(y—xf)do2 G2 G4e(g(e°))-oVar(g(0))—E[g(0)g(0)']—E(H(0))i0 i0i0 i01.2.4方差矩阵的估计方法(1)由渐进公式[I(0(1)由渐进公式[I(0)]-1——E0Q2LnLQ0Q000丫1，可以将带入上式作为的方差估计量,/即信息矩阵的逆，Var(0)——EQ2LnL6060')—10-0丿在线性回归模型中,[1(00[1(00)]-1—-E62LnL00)-162LnL62LnL60600062LnL62LnL6f6f' 6f6g262LnL62LnL6g26f' 6(g2)2\o"CurrentDocument"x'x x'uG2 G4u'xn u'uG4 2g4 G6因此，ML估计量的协方差矩阵为TOC\o"1-5"\h\zG2(x'x)—1 0[I(卩，G2)]-1— 0 2g4_ n_将和的估计量带入可得到方差估计量G2(x'x)-1,2G4/n。显然，f,g是不相关的。

这表明，对于参数的推断与的估计无关；同样地，对于参数的推断与的估计无关。但实践中，非线性模型的二阶导数的形式不容易明确地解出。因此，这种方法用的比较少。2)/第二种方法是：少。2)/第二种方法是：Var(6)=d2LnL丫1aoao'丿‘，即直接将带入二阶导数，而不是求二阶导数的期望。可以证明，这等价于在样本均值点求二阶导数的期望。与第一种方法相类似，这种方法面临着二阶导数求解的难题。在线性模型中，估计量的方差为：Var(0)=x'xVar(0)=x'xG2u'xG4x'uG41、nuu o=e2g4 G6x'x八G20-1nuu+2G4 G6(3)由导数矩的第三个特征，估计量的协方差矩阵等于一阶导数的协方差矩阵的逆。由一阶导数E(g.)=0，其方差估计量为：ivar(g)=£g'g=&Giiii=l因此，ML估计量的方差估计量为其中，gi IK)，G=叮…,g“TZK)。这种估计量称为BHHH估计量或OPG估计量(outerproductofgradients)。这种方法的最大优点是计算方便。上述三种方法是渐进等价的，但在小样本情况下，三种方法的估计结果可能会出现很大差异，得到不同的统计推断结论。1.2.5拟极大似然估计如果一个方程设定错误，但ML估计量仍然具有一致性，将这种情形下的ML估计量称之为拟极大似然估计量(QMLE)。比如，如果线性模型中的误差项服从正态分布，则ML估计等价于OLS估计。我们知道，OLS估计量的一致性与分布没有关系，因此ML估计也具有一致性。即使误差项的真实分布不是正态分布，ML估计仍然具有一致性。这时，我们将ML估计量称为QML估计量。

三种渐进等价的检验方法似然比检验(LikelihoodRatio,简写为LR)、沃尔德检验(Wald)和拉格朗日乘子检验(LagrangeMultiplier，简写为LM)是三种被广泛应用的检验。对于原假设H0：c(0)=q，LR检验、Wald检验和LM检验采用了不同的思路。如下图所示。In似然比检验令LnLU=LnL()为无约束时的极大似然函数值，LnL=LnL()为带约束的极大似然函数值。令表无约束的似然函数估计量，令表示受约束的似然函数估计量。如果原假设H0：c⑹=q成立，那么LnLU应该近似等于LnLR，即(厶斤厶巴-LnLR)应该比较小。如果(厶斤厶巴-LnLR)比较高，就要拒绝原假设。LR检验统计量为LR=2ln(L/L)=2(LnL-LnL)UR U R如果原假设成立，那么LR~Z2(J)oJ表示未知参数缩减的个数，即约束条件的个数，也是c(0)=q中方程的个数。我们来看似然比统计量的另一种简单的计算方法。在正态分布的线性模型中，无约束模型的集中对数似然函数为同样地，受约束模型的集中对数似然函数为n叫（0同样地，受约束模型的集中对数似然函数为n叫（0R|y）=-2uu+ln（2兀）+ln（3R）n因此，似然比统计量又可以写为LR=2LR=2(6)-LnL(6)U RR=LnLc(BIy)—LnLc(0Iy)RRIuuuuIln($r)—ln()(n nGn(&2)-ln(62))Wald检验因为极大似然估计量具有一致性，因此如果原假设成立，那么c(6)应该近似等于q。U如果c(6)显著不等于q,就要拒绝原假设。Wald统计量为UW=[c(6)—q]'^AsyVar[c(6)—q])_1[c(6)—q]UUU如果原假设成立，W~Z2(J)，J表示未知参数缩减的个数。拉格朗日乘子检验如果c(6)=q成立，那么应该距离真实参数&比较近。而在似然函数在真实参数处的斜率为0，因此原假设成立的时候，似然函数在处的斜率也应该近似为0。LM检验就是基于受约束的似然函数在的斜率进行的检验。LM统计量为LM=LM=/ 八、(8LnL(6) 7―R—'[I(6)]—1/ 八、I8LnL(6) 7_R—186"JRL迪丿如果原假设成立，LM~Z2(J)，J表示未知参数缩减的个数。我们来看LM统计量的另一种简单计算方法。在正态分布的线性模型中，根据一阶条件dLnL_x'u80 b2及方差估计量AsyVar(8LnL/80)_b2(x'x)-1，b2_u'u/n，将受约束模型中的残差项带入上两式，再将结果代入LM统计量中，可得LM_nR2Ru'x(x'x)—1x'uLM_nR2R_—R Ru'u/nRR其中，表示受约束模型的残差项对所有的解释变量进行回归得到的拟合优度。LM统计量也可以通过公式LM=nR2进行计算。其中n为样本量，R.2为用1对似然函数在处的导数回归得到的拟合优度。这三种检验是渐进等价的，但在小样本情况下可能得到不同的推断。而三种检验的小样本特征并没有特别的规律。因此，人们一般根据计算上的方便性来选择采用哪一种形式的检验方法。如上所述，LR检验需要同时计算带约束方程的似然函数和不带约束的方程的似然函数。Wald检验只需要计算无约束的似然函数，而LM检验只需要计算带约束的似然函数。例1.8消费模型的ML估计(数据文件：usmacro.dta)设消费模型为yt=00+“內+ut，假定ut~N(0,b2)，那么yt=N(fi0+0丹b2)。(1)利用ML方法估计上述模型，并根据得分向量计算协方差矩阵上述模型的ML估计Stata程序如下(程序文件：mylogl.ado)。 mylogl.ado--programdefinemyloglversion9.2argslnfb1xsigmatempvarresquietlygendouble'res'=$ML_y1-'b1x'quietlyreplace'lnf'=-ln('sigma')-0.5*'res'A2/'sigma'A2end mylogl.ado--.mlmodellfmylogl(b1:realcons=realdpi)(sigma:).mlmaximize得分向量可通过如下命令提取：.mlscoresc_*根据BHHH公式，协方差矩阵可利用得分向量直接计算出来。或者也可以通过technique(bhhh)直接计算出来。.mlmaximize,technique(bhhh)(2)利用似然比、LM和Wald检验方法分别检验如下约束是否成立：H1："1=0；H2："1=0.7；似然比检验：.regressrealconsrealdpi.eststoreA.regressrealcons.regressB.lrtestAB,statsdirLM检验：.regressrealcons.predictres,residual.regressresrealdpi.scalarlm=e(r2)*e(N).scalarcrit=invchi2tail(2,0.05).scalarlistlmcritWald检验.testrealdpi=0(3)观察估计量的协方差矩阵.matrixliste(V)

1.4 非线性回归模型的ML估计对于一般的回归模型TOC\o"1-5"\h\zg(yiO)=f(x.;卩)+u., u~N(0,G2) (1)参数(0；卩)仍然可以通过LS方法估计，即最小化S(P)= 2二为[g(y;0)-f(x;P)]2 (2)...i=1 i=1但得到的估计量不具有一致性。这种情况下，ML估计是更好的估计方法。由u.的概率分布可以得到y.的概率密度为其中，f(y.)=

.duidu .—r(2其中，f(y.)=

.duidu .—r(2兀G2)-1/2expdyi[g(y.;0)-f(x.；P”、丿2g2表示由u.到y.转换的雅克比矩阵行列式，表示为J(y;0)=.du(3)显然，当被解释变量为y时，J(y；0)=1。.y.的对数似然函数为.LnL(y)=ln(J(y;0))-[ln(G2)+ln(机g(y;0)-f(x;P)])..2..=ln(J(y;0))-；ln(2兀)-；lnQ2)-丄[g(y;0)-f(x;P)]2 ⑷. 2 2 2G2 . .观测值(y.・・・yn)的似然函数为L(y y)=HJ(y;L(y y)=HJ(y;0)x(2kg2)-n/2xexp1n .n.=1工[g(y;0)-f(x;P)]2

..—-4=1 2g2(5)其对数似然函数为2G2 ..=1LnL(y，…,y)=工ln(J(y;0))-：ln(2兀)-：吠“)-—工[g(y;0)-f(x;P)]2⑹

1n 2G2 ..=1.=1显然，当被解释变量为y时，即当g(y;0)=y时，..LnL(y)=-；lnQ2)+ln(机y-f(x;P)]).2..=-；lnQ2)-；ln(2兀)-—[y-f(x;P)]22 2 2G2. .

LnL(y「儿)—-2】心)-2ln(b2)-將y[y，-f(x;P)]2i—1利用一阶条件极大化上式得到，QLnL_1ycf