最大似然估计与W、LR、LM三种检验(OVER)

1、 极大似然估计极大似然估计与与W,LR,LMW,LR,LM检验检验极大似然估计法我们从简单线性模型开始分析 对于每一个都是服从均值 为，方差为 的正态分布，其概率密度函数可以表示为 似然函数是密度函数在所有各观测处取值的乘积，在简单线性模型下表示为：第一部分：极大似然估计2222212212)(exp21)().()(),.,(iiNNNXYYPYPYPYYYL)(21exp21)(22iiiXYYpiiiiXYX222221)ln(2)2ln(2lniiiXYNNL 极大似然估计的目标是寻找最可能生成样本观测 的参数 的值。于是可以通过寻找使上述似然函数达到最大的参数 值来实现。对似然函数求

2、对得到对数似然函数：当对数似然函数达到最大时，似然函数也达到最大。将对数似然函数分别对三个未知参数求偏导，令它们等于零，并求解：NYY,1nkllll21 通过求偏导得到三个方程求解得出： 可以看出，得到的结果与最小二乘法估计量完全一样， 和 是最优线性无偏估计量，但是， 却是有偏估计量。因此需要调整分母为N-2NXYXXYYXXXYiiiii22a 2线性模型的ML估计的一般形式假设一般模型为: 其中 服从正态分布且满足基本线性回归模型的所有其他假设条件。对于Y和相应的所有X的N个观测中的每一个观测，给定X和Y的密度函数为：N个观测的对数似然函数为：（所有求和都是对观测i=1,2,N进行）p

3、kXXfY,2, 112112212,21exp21, pkiiiiiXXfYXYfpkiiiiiXXfYNNXYfL,21ln22ln2,1122 同样的，将上式对每一个 求偏导，令它们等于零并求解，可以得到关于p+1个未知数和p+1个非线性方程的联立方程组，如果这些方程是线性，求解每一个参数的极大似然估计就很容易，但是，如果方程不是线性的，求解过程就比较复杂，需要用到数值方法。2和线性模型的ML估计量的导出（向量形式） 对线性模型： u的多元正态密度为 则y关于x的多元条件密度为 这里是由u 中元素关于y中元素的偏导数组成的矩阵转换成行列式的绝对值。这里矩阵为恒等矩阵。因此，对数似然函数为

4、：uXy),0(2INu )(21(22221)(uuneufyuufXyf)()|( 未知参数向量有 k+1个元素，即： 取对数似然函数的偏导数，得： uunnufXyfl2221ln22ln2ln)|(ln XyXynn2221ln22ln22, 令这些偏导数为零，则可以得到诸MLE为XXyXl21 XyXynl422212nXyXyyXXX21最大似然估计量的性质第二部分 最大似然估计量的主要性质是大样本性或渐近性。这些性质在一般条件下都成立： 一致性（Consistency） 渐近正态性(Asymptotic normality) 渐近有效性(Asymptotic efficiency

5、) 不变性(Invariance) 得分的均值为零，方差为最大似然估计量的性质)(I1.一致性（Consistency）)lim(p N（ ， ） 这表明 的近似分布是正态的，其均值为，方差为矩阵 的逆。 是信息矩阵(information matrix)，可以用两种等价的方法来定义它2.渐近正态性(Asymptotic normality)a)(1I)(I)(I)()(2lEllEI 实践中，计算第二个表达式通常要简单得多，当是一个k维向量时， 表示 k个偏导数组成的列向量，即 这个得分（或斜率）向量中的每一个元素本身就是的函数，因此可以求它关于中每个元素的偏导数。l3.渐近有效性(Asym

6、ptotic efficiency) 若 是单一参数的最大似然估计量，那么前一个性质意味着对某一个有限常数 有： 如果 表示的其它任何的一致、渐近正态估计量，那么 是正态有限分布的，其方差大于或等于 。MLE是所有一致、渐近正态估计量中方差最小的一个。2n2), 0()(2Nnd 渐近方差（asymptotic variance）指的是有限分布的方差。因而 的渐近方差是 。不过这个术语也可用来描述未知有限样本分布的渐近近似分布的方差。因此，与此相当的表述为 渐近方差 是 /n 。当是一个参数向量， 是MLE时，对某一正定矩阵V,有 若 表示其它任何一致，渐近正态估计量的方差矩阵，那么 -V是一

7、个半正定矩阵2n2), 0()(VNndVV4.不变性(Invariance) 如果 是的MLE，g( ) 是的连续函数，则g( )是g( )的MLE5.得分的均值为零，方差为 为表明其均值为零，我们注意到，在y的所有可能取值范围内对联合密度积分得到的值为1，即 等式两边关于求导，得)(I1.);,.,(.121Ldydydyyyyfnn0.dyL 但是 =0 因此S的方差为LdylsE.)( dyL.)()()()var(IllEs sEs第三部分W、 LR 、LM三种检验的基本思想问题的一般性描述问题的一般性描述 对于多元回归模型的一般表达式： 当回归系数存在线性约束 时，如何检验？ ik

8、ikiiiuXXXY33221032),(gk 设模型为： 其中， 。 定理： 的拒绝域为： 其中： ， 同时 也等价于 。111TkkTTXYTT,NiidI01,:HKKJqR10KJ kT,JFJsFuTTTuqRRXXRqR112kTRSSsu2kTRSSJRSSRSSUUR0HF三种检验的基本思想三种检验的基本思想 在检验回归模型中某些参数是否存在约束时，通常采用三种等价的检验：似然比检验、沃尔德检验、拉格朗日乘数检验。 下面分别对这三种检验的基本思想进行讨论。 设有模型： 其中： 是 的向量； （高斯白噪声向量），是非奇异阵（ 只存在同期相关）。 设 ， 其中 ，或是 的线性函数或

9、是非线性函数，但要求 是可微连续。 在无约束条件下，对数似然函数记为 ， 有约束条件下，对数似然函数记为 。 tXY1ktttY1n),(iidNt0t 0c:H0 0c:H1 c cRLlnLln沃尔德检验（沃尔德检验（Wald Test） 基本思路 设 成立，且 为连续。若 为无约束条件下 的ML估计量，依据ML估计量的性质，有 （或者 ）且： 。 又依据不变性，有：cp limp I0,1Nn 0cc 0c:H0因此， 一方面： 故在成立时有：（其中：成立）； ccMLEn21 T)(,Nn*MLE*cIcc1210 JcncMLETMLE21 0c T*1*cIc 另一方面： 由于 为

10、 的一致性估计量，当 成立时， 应当在 附近。这样，若 的绝对值过大，则拒绝 。沃尔德是通过 来建立检验统计量的。 0c c0 c0H c 对于回归模型的参数约束而言，可以是线性约束也可以是非线性约束。 设 ， 采用ML估计，有： 0c:H0 0c:H1120XX,NTaML 则： 故当 成立时，有： 0c:H0 MLMLTTMLaMLXX,NMLcccc10000MLMLTMLVarWccc rXXaMLMLMLTTMLTMLML2100cccc定理：Wald检验统计量的分布 Wald检验统计量为： 其中， 是无约束条件下的参数估计向量。 在 和大样本条件下，W遵从自由度等于约束个数的卡方分

11、布。其中，约束个数是指约束方程 的个数。 qcqcqcVarWT q c:H0 0q- c似然比检验似然比检验 基本思想： 设总体的密度函数（或分布列为 ， 为未知参数， ，现考虑如下的检验问题： ， （1） 其中 与 是非空子集，且 与 不相交，下面为方便起见，讨论 与 之并为 的情况。 )( fx; 00 :H11 :H010101 设 是来自 的样本，记其似然函数为 ， 与 分别是 的参数空间 与 上的极大似然估计，似然函数在 与 上的极大值分别记为 与 ，即 和 ，记其比值为： （2）000)(L0)(L )(Lmax)(L00)(Lmax)(L)(L)(L)X,X,X(n021nX,

12、X,X21X)(L 其中， 是一个统计量，由于范围越大L的最大值不会减少，故总有 ，这意味着 。由于似然函数可以看成是给定样本后， 出现可能性的一种度量。 因而，当 为真时， 应取较大的值；当 不真时， 应取值较小。故将（2）式作为检验问题（1）式的检验统计量时，拒绝域应取： 其中c应满足如下条件，使 ， 且尽可能接近 。 )(L)(L0100H0H)(L0)(L0cW cP0 设 的密度函数为 ， 为 阶的未知参数向量 ， ， 。 分为三种情形讨论 1 ， ； 2 ， ； 3 ， ； tY)(fx;1ktttXYT ,t21iidt00:H01:H 00cc:H 01cc:H 0c:H0 0

13、c:H1（1）简单假设情形： ， 则有：当 成立时，有： ， 且 的拒绝域为： 。 00:H01:H0H)k()(Lln)(Lln2020H)k()(Lln)(Lln202 ， 其中： 是 的向量， 与 是一一对应， 连续。 由于 为 的极大似然估计， 则： ，可得： 因此， 。 （2）复合假设情形： 00cc:H 01cc:H c1r ccd)(d I10,N(Td） )(cTT*cc *T*dcc,NI10)rk()(Lln)(Llna202（3）一般情形 ， 则有检验统计量 0c:H0 0c:H1)r()(Lln)(LlnaR22拉格郎日乘数检验拉格郎日乘数检验 LM检验法是从有限制条件

14、模型限定的原假设出发,检验向备择假设方向的变化能否显著地提高有限制条件模型的解释能力。它以有条件极大化技术为基础，其中拉格郎日乘数是用来估计限制条件对参数极大似然估计的影响程度。 目标：在限制条件 等价于求 极大。的极大下求)(lnLR)()(lnRL 基本思想 由于在非限制条件下， 满足 即 在 处为0。若 成立，则 也在0附近。考虑到 和 均为的一致性估计、有约束条件下的对数似然函数为 0Lln Lln 0c:H0RRLlnR cLlnLlnR 0cLlnLlnRR cLln因而，有 0000:H:Hc 若 成立，则 ；则可依据 构造检验统计量，得到给定 显著水平条件下 的拒绝域。 定理：

15、 故有拉格朗日乘数检验： 0c:H00LlnRLlnR0H rLlnLlnLMaRRRTRR21I 注意：RTRRRRRLlnELlnVarI2 rLlnLlnVarLlnLMaRRRRTRR21 rLlnLlnELlnLMaRRTRRRTRR212 简单形式：LM=N （r）， 其中r为限制条件个数，N为样本容量，20R2220RR 是回归方程的第四部分Wald检验、似然比检验和拉格朗日乘数检验的比较 Wald检验最广义的形式与似然比检验和拉格朗日乘数检验都有很密切的关系，以为它也是以有条件参数估计与无条件参数估计之差为基础的。对于线性回归模型的特殊情形，Wald检验简化为F检验： 其中 是

16、无条件模型的 ， 是有条件模型的 。在下面的更加特殊的情形，无条件模型是一元线性回归模型且q=1，Wald检验统计量更进一步)/()1 (/ )(222,KNRqRRFURRURKNq2URR2R2RR2R简化为W=在同样的情况下，拉格朗日乘数检验统计量为其中 是由Y关于一个常数（Y的离差）和自变量X回归的残差回归计算得来的。最后，在这个简单情况下，似然比检验统计量为)1 (22URURRNR20NRLM 20R)1ln(2URRNLR 以上三个检验统计量都是渐进等价的，即，如果样本容量可以无限制地增大的话，它们将得出同样的检验结果。 一般来说，对于同样的样本，三个检验的确是不同的检验，可能会给出不同的、有时是相互矛盾的检验结果。（在误差项服从正态分布等对数似然函数为二次函数的情况下，这三个检验方法是等价的。） 对于线性模型，如果对同样的样本，检验的统计量不同的话，Wald统计量总是最大的，而拉格朗日乘数检验