最大似然估计

1、最大似然估计最大似然估计 最大似然估计最大似然估计 广义矩估计广义矩估计 贝叶斯估计贝叶斯估计 分位数回归估计分位数回归估计 最大似然估计最大似然估计 计量经济学模型计量经济学模型( (参数模型、均值回归模型、基于参数模型、均值回归模型、基于 样本信息）样本信息）的的3 3类估计方法类估计方法 LSLS、MLML、MMMM 经典模型的估计经典模型的估计LSLS 非经典模型的估计非经典模型的估计MLML、GMMGMM 综合样本信息和先验信息的贝叶斯估计综合样本信息和先验信息的贝叶斯估计 分位数回归模型，分位数回归模型，Quantile Regression ,QREGQuantile Regre

2、ssion ,QREG 非参数模型的权函数估计、级数估计等非参数模型的权函数估计、级数估计等 最大似然估计最大似然估计 一、最大似然原理一、最大似然原理 二、线性模型的最大似然估计二、线性模型的最大似然估计 三、非线性模型的最大似然估计三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计四、异方差和序列相关的最大似然估计 五、最大似然估计下的五、最大似然估计下的Wald、LM和和LR检验检验 最大似然估计最大似然估计 最大似然方法最大似然方法(Maximum Likelihood，ML) 当从模型总体随机抽取当从模型总体随机抽取n组样本观测值后，最合理的参组样本观测值后，最合理的参

3、 数估计量应该使得从模型中抽取该数估计量应该使得从模型中抽取该n组样本观测值的概组样本观测值的概 率最大。率最大。 将样本观测值联合概率函数称为样本观测值的似然函数。将样本观测值联合概率函数称为样本观测值的似然函数。 在已经取得样本观测值的情况下，使似然函数取最大值的总体在已经取得样本观测值的情况下，使似然函数取最大值的总体 分布参数所代表的总体具有最大的概率取得这些样本观测值，分布参数所代表的总体具有最大的概率取得这些样本观测值， 该总体参数即是所要求的参数。该总体参数即是所要求的参数。 通过似然函数极大化以求得总体参数估计量的方法被通过似然函数极大化以求得总体参数估计量的方法被 称为极大似

4、然法。称为极大似然法。 最大似然估计最大似然估计 最大似然估计最大似然估计 ), ( 2 10 ii XNY 2 10 2 ) ( 2 1 2 1 )( ii XY i eYP ),(), , ( 21 2 10n YYYPL 2 10 2 2 ) ( 2 1 )2( 1 ii n XY n e Yi的分布 Yi的概率函数 Y的所有样 本观测值的 联合概率 似然函数 2 10 2 * ) ( 2 1 )2ln( )ln( ii XYn LL 0) ( 0) ( 2 10 1 2 10 0 ii ii XY XY 22 1 22 2 0 )( )( ii iiii ii iiiii XXn XY

5、XYn XXn XYXYX 对数似然 函数 对数似然函 数极大化的 一阶条件 结构参数的 ML估计量 0) ( 2 10 2 1 2 * 2 22 ii n XYL n e XY n i ii 2 2 10 2 ) ( 1 分布参数的 ML估计量 注意：注意： ML估计必须已知估计必须已知Y的分布。的分布。 只有在正态分布时只有在正态分布时ML和和OLS的结构参数估计结果的结构参数估计结果 相同。相同。 如果如果Y不服从正态分布，不能采用不服从正态分布，不能采用OLS。例如：选。例如：选 择性样本模型、计数数据模型等。择性样本模型、计数数据模型等。 最大似然估计最大似然估计 yxxx iiik

6、kii 01122 i=1,2,n 2 (,) i YN i X 2 (0,) i N ) () ( 2 1 ) ( 2 1 21 2 2 2 2 22110 2 2 )2( 1 )2( 1 ),(), ( XYXY e e YYYPL n XXXY n n n kikiii n 结构参数估计结果与结构参数估计结果与OLSOLS估计相同估计相同 * 2 ( ) 1 ( 2)() () 2 MaxLLn L nLn YXYX () ()MinYXYX YXXX 1 )( 分布参数估计结果与分布参数估计结果与OLS不同不同 2 2 () () i ML e nn YXYX 2 2 11 i OLS

7、 e nknk e e 最大似然估计最大似然估计 一致性一致性 渐近正态性渐近正态性 渐近有效性渐近有效性 不变性不变性 最大似然估计最大似然估计 最大似然估计最大似然估计 yf x iii (,) i=1,2,n 2 (0,) i N),( 2 XifNY i 2 2 2 ) ,( 2 1 21 2 )2( 1 ),(), ( ii n XfY n n e YYYPL 面临面临NLSNLS同样的过程，得到相同的估计结果同样的过程，得到相同的估计结果。 2 2 * ) ,( 2 1 )2( )( ii XfYnLn LLnMaxL 2 ) ,( ii XfYMin 最大似然估计最大似然估计 以

8、上是一般非线性模型的完整描述。以上是一般非线性模型的完整描述。 iii uxgyh),(),(ni, 1 ), 0(),( 2 1 INuu n kiiii xxxx 21 随机项满足随机项满足 经典假设经典假设 模型参数的一种估计方法是最小二乘法，即最小模型参数的一种估计方法是最小二乘法，即最小 化化 2 ),(),(),( ii i xgyhS 模型参数的另一种估计方法是最大似然法。得模型参数的另一种估计方法是最大似然法。得 到广泛应用。到广泛应用。 最大似然估计最大似然估计 yi的密度函数的密度函数 2 2 2/12 2 ),(),( exp)2( ii i i xgyh y u i i

9、 i i i i J y yh y u yJ ),( ),( 雅可比行列式雅可比行列式 雅可比行列式雅可比行列式正态分布密度函数正态分布密度函数 2 2 2/12 2 ),( exp)2( ii xgy iii uxgy),( 因变量样本的对数似然函数为：因变量样本的对数似然函数为： i i yJ nn L),(lnln 2 2ln 2 ln 2 i ii xgyh 2 2 ),(),( 2 1 很明显若没有雅可比行列式项，参数的非线性最很明显若没有雅可比行列式项，参数的非线性最 小二乘估计将是最大似然估计；但是，如果雅可比小二乘估计将是最大似然估计；但是，如果雅可比 行列式包括行列式包括，最

10、小二乘法不是最大似然法。，最小二乘法不是最大似然法。 最大化对数似然函数的一阶条件为：最大化对数似然函数的一阶条件为： 0 ),(1ln 2 i i i xg u L 0 ),(11ln 2 i i i i i i yh u J J L 0 2 1 2 ln 2 422 i i u nL 一般是得到中心化对数似然函数，然后最大化一般是得到中心化对数似然函数，然后最大化 i i i ic u n nn yJL 2 1 ln 2 )2ln(1 2 ),(lnln 如果变换的雅可比行列式是如果变换的雅可比行列式是1，则不存在因变量，则不存在因变量 的参数变换；如果变换的雅可比行列式包含的参数变换；如

11、果变换的雅可比行列式包含，则，则 称为因变量的参数变换模型。称为因变量的参数变换模型。 i i u n 22 1 最大似然估计最大似然估计 非线性模型最大似然估计的性质非线性模型最大似然估计的性质 结构参数的最大对数似然估计是渐近无偏、一致估计且结构参数的最大对数似然估计是渐近无偏、一致估计且 渐近地服从正态分布；渐近地服从正态分布； 分布参数的最大对数似然估计是渐近无偏和一致估计。分布参数的最大对数似然估计是渐近无偏和一致估计。 非线性模型的最大对数似然估计一般不等价于非线非线性模型的最大对数似然估计一般不等价于非线 性最小二乘估计，而是一个加权非线性最小二乘估性最小二乘估计，而是一个加权非

12、线性最小二乘估 计计。 在特殊情况下，最大对数似然估计才等价于非线性最小在特殊情况下，最大对数似然估计才等价于非线性最小 二乘估计。二乘估计。 (,)() ii f YYg ii X ,X , 最大似然估计最大似然估计 最大似然估计最大似然估计 经典模型的异方差问题或者序列相关问题的处理经典模型的异方差问题或者序列相关问题的处理 方法：方法： 一类是变换模型，使之成为不再具有异方差性或者序一类是变换模型，使之成为不再具有异方差性或者序 列相关性的模型，然后采用列相关性的模型，然后采用OLS进行估计，例如进行估计，例如WLS、 GLS等；等； 一类是修正一类是修正OLS估计量的标准差，纠正模型具

13、有异方估计量的标准差，纠正模型具有异方 差性或者序列相关性时差性或者序列相关性时OLS估计量的非有效性，使得估计量的非有效性，使得 继而进行的统计推断（例如显著性检验、参数的置信继而进行的统计推断（例如显著性检验、参数的置信 区间估计等）仍然有效，例如区间估计等）仍然有效，例如White修正、修正、Newey- West修正方法等。修正方法等。 非线性非线性ML方法方法 将异方差问题或者序列相关问题看成一类非线性问题，将异方差问题或者序列相关问题看成一类非线性问题， 采用采用NML估计，比较简单，可以同时得到结构参数估估计，比较简单，可以同时得到结构参数估 计量和反映异方差或者序列相关特征的分

14、布参数估计计量和反映异方差或者序列相关特征的分布参数估计 量。量。 最大似然估计最大似然估计 iii uxyf),(ni, 1 )(, 0(),( 2 1 NuuU n 被解释变量样本的对数似然函数为：被解释变量样本的对数似然函数为： )ln()2ln( 2 1 ),|,(ln 22 nxyL n i i i y u UU 1 21 |)ln(|/ 2 1 |)ln(| 2 1 )ln()2ln(1 2 1 ),|,(lnnnxyLc n i i i y u UUn 1 1 |)ln(|)ln( 2 1 |)ln(| 2 1 对异方差的结构给出假定，可以对模型的参数和对异方差的结构给出假定，可

15、以对模型的参数和 异方差的结构参数进行最大似然估计。异方差的结构参数进行最大似然估计。 针对不同的问题假定不同的异方差结构；针对同针对不同的问题假定不同的异方差结构；针对同 一个问题假定不同的异方差结构，进行估计和比一个问题假定不同的异方差结构，进行估计和比 较。较。 典型的异方差结构及其对应的对数似然函数，见典型的异方差结构及其对应的对数似然函数，见 教材。教材。 ), 0( 2 ii Nu )( 22 ii h 最大似然估计最大似然估计 州 开支 收入 州 开支 收入 州 开支 收入 AL 275 6247 AK 821 10851 AZ 339 7374 AR 275 6183 CA 3

16、87 8850 CO 452 8001 CT 531 8914 DE 424 8604 DC 428 10022 FL 316 7505 GA 265 6700 HI 403 8380 ID 304 6813 IL 437 8745 IN 345 7696 IA 431 7873 KS 355 8001 KY 260 6615 LA 316 6640 ME 327 6333 MD 427 8306 MA 427 8063 MI 466 8442 MN 477 7847 uXXY 2 210 MS 259 5736 MO 274 7342 MT 433 7051 NB 294 7391 NV 3

17、59 9032 NH 279 7277 NJ 423 8818 NM 388 6505 NY 447 8267 NC 335 6607 ND 311 7478 OH 322 7812 OK 320 6951 OR 397 7839 PA 412 7733 RI 342 7526 SC 315 6242 SD 321 6841 TN 268 6489 TX 315 7697 UT 417 6622 VT 353 6541 VA 356 7624 WA 415 8450 WV 320 6456 WI NA 7597 WY 500 9096 Coefficient Std. Error z-Stat

18、istic Prob. C 832.9144 327.2925 2.544862 0.0109 X -0.183420 0.082899 -2.212588 0.0269 X2 1.59E-05 5.19E-06 3.057433 0.0022 Variable Coefficient Std. Error t-Statistic Prob. C 832.9144 327.2925 2.544862 0.0143 X -0.183420 0.082899 -2.212588 0.0318 X2 1.59E-05 5.19E-06 3.057433 0.0037 OLS ML 22 ii X 2

19、2 exp() ii X 线性模型，截面样本，一般存在异方差。线性模型，截面样本，一般存在异方差。 采用非线性最大似然法估计，可以得到关于异方差采用非线性最大似然法估计，可以得到关于异方差 结构的估计结果。结构的估计结果。 在某些情况下，得到异方差结构的估计结果比模型在某些情况下，得到异方差结构的估计结果比模型 参数估计量更重要。这就是异方差性的非线性方法参数估计量更重要。这就是异方差性的非线性方法 的意义所在。的意义所在。 最大似然估计最大似然估计 首先假定模型随机误差项的序列相关结构。一般首先假定模型随机误差项的序列相关结构。一般 以以AR(1)、MA(1)、ARMA(1,1)为常见。为常见。 求出随机误差项对被解释变量的偏导数表达式。求出随机误差项对被解释变量的偏导数表达式。 构造最大似然函数。构造最大似然函数。 同时得到模型参数和随机误差项的序列相关结构同时得到模型参数和随机误差项的序列相关结构 的估计结果。的估计结果。 假定模型随机误差项的序列相关结构为假定模型随机误差项的序列相关结构为AR(1) (,) ttt f YXTt,2, 1 1ttt 2 (0,