广义矩估计法

1、广义矩估计一、背景我们前面学了 OLS估计、工具变量估计方法，前面这几种方法都有重要假 设就是需要知道分布才能估计，但是往往现实理论我们无法得到关于分布的信 息，因此矩估计方法应运而生。矩估计方法的基本思想是利用样本矩的信息组成 方程组来求总体矩，以此得到渐进性质下的一致性估计量。那么在构成方程组求 解的过程中涉及识别问题和解决。本章详细介绍矩估计方法。矩估计方法实际应 用非常广泛，应注意将矩估计与OLS估计、工具变量估计和极大似然估计方法 结合对比进行应用。二、知识要点1，应用背景矩估计存在的问题（识别）矩正交方程和矩条件矩估计的属性三、要点细纲1、应用背景其基本思想是：在随机抽样中，样本统

2、计量（在一个严格意义上，一个统 计量是观察的n维随机向量即子样X = J1，X2 ,., Xn）的一个（波雷尔可测） 函数，且要求它不包含任何未知参数）将依概率收敛于某个常数。这个常数又是 分布中未知参数的一个函数。即在不知道分布的情况下，利用样本矩构造方程（包 含总体的未知参数），利用这些方程求得总体的未知参数。基本定义统计量 吸全1三X为子样的V阶矩（V阶原点矩）；n i=1统计量bv=- w q 一 x为子样的v阶中心矩。n i=1子样矩的均值与方差EX = i V（X）=E（X_pi）2=Ek2L全。2EXk =ak E（X-i/ = ik我们用到或时假定它是存在的。基本做法设：母体X

3、的可能分布族为 （兀。）,0 G）,其中属于参数空间的 o =（91,e2,.,ejt）是待估计的未知参数。假定母体分布的储介矩存在，则母体 分布的V阶矩 6,。2,f 尸dF（x,0） lv k00是。=的函数。对于子样X =（X,X2，.,X），其u阶子样矩是1 n v阳= X，1 v k n=l现在用于样矩作为母体矩的估计，即令:Oy四-E Xv =l,2,.,k（1）（1）式确定了包含化个未知参数0 = 41，。2，.，叫）的*个方程式。求解（I）式就可以得到=，1，。2，*）的一组解。二因为叭是随机变量，故解得的也是随机变量。将,我，分别作为1，2,，阮的估 计称为矩方法的估计，这种

4、求估计量的方法称为矩方法。2、矩估计存在的问题（识别）当我们选择的样本矩方程多于、等于或少于我们所要估计的参数时，是否 存在唯一解？如果无解，我们应该采用什么技术进行处理？设为模型向量，为工具变量。考虑R个矩条件这里0是K x 1向量,)=0()是R维向量函数。考虑相应的样本矩条件: f (的，m , 0 ) = 0.T t=l什么时候可以利用R个样本矩条件估计K个参数?(1) R K这时方程组中方程的个数多于参数的个数，此为过度识别问题,这时我们对矩条件的权重进行修正，即采用最优GMM估计方法。考虑GMM的目标函数q) =采用平方形式：qt = gT，yj1) I吟 / = arg imn如

5、何选择吟？根据大数定理：T oo.和中心极限定理：gr(0)E(/O) T T 8.厅.gT(0)TN(0,S)方差较小的矩就赋予较小的权重，即plimWpt =Wopt = S-1Tts 1如不存在自相关，贝I：5 = VarQf.gT(0 ) = T.Var(gT(0 )问题就是最小化：=T Var(1 T Rf (吗，)t=l)意味着我们选用的最优权重矩阵为:z t、1冷宙而wfpt =3,矩正交方程和矩条件本节介绍实际操作中如何建立矩条件方程组。考虑一个变量七，我们不知道分布，但是知道n =Ey),我们得到总体 的矩条件：日)=0或者，。危)=0这里fyt= yt -kto( )1由于

6、我们不能计算ELf定义样本矩条件： TOC o 1-5 h z HYPERLINK l bookmark69 o Current Document St 3)=亍 Z /(也 M)= Z()7 四)=(1)1 t=l1 t=l根据大数定理，有： HYPERLINK l bookmark72 o Current Document gr(P)TEf G)对于8.(2)1 T1 T那么米用矩估计量盛M = E可以证明：&mm = _ 。TTT t=l实际操作中采用两阶段GMM估计和迭代GMM估计。(1 )两阶段GMM估计选择一个最初的估计权重wq, %广/或广知1,找到参数的一致性估计量：%)= a

7、rgmingT/wayr(。)，接着估计最优权Wpt = S 最后作最优 GMM 估计：&GMM = argmin (0) gT(0)(2 )迭代GMM估计选择一个最初的估计权重),计算矩条件得到的参数函数 条)，再找一 个新的权重咐，进行迭代运算直到&()和咐收敛。4,矩估计的属性1、矩估计量是一个大样本估计量。2、当T没有关于分布的假设条件；矩估计量是渐进有效的；很多估计量可以作为GMM的估计量，应用很广泛；矩估计量是一个非线性的估计量: E: f Q * DI四、习题1、阐述矩估计的应用背景。2、简要阐述矩估计的识别问题。3、简要阐述两阶段矩估计和迭代矩估计的思想和做法。4、简要阐述矩估

8、计和OLS估计和IV估计之间的关系。极大似然估计一、背景极大似然估计法(ML)是不同于最小二乘法的另一种参数估计方法，其应 用虽然没有最小二乘普遍，但在计量经济学中占有绝对重要的地位，因为极大似 然原理比最小二乘原理更本质的揭示了通过样本估计母体参数的内在机理。计量 经济学理论的发展更多的是以极大似然估计原理为基础的，一些特殊的计量经济 模型只有用极大似然的方法才能进行估计。本部分我们就极大似然估计的基本原 理以及性质进行学习。二、知识要点1，极大似然函数正则条件与克拉美-劳下界极大似然估计的性质4，BHHH三、要点细纲1、极大似然函数及其估计的基本原理从总体中经过N次随机抽取得到样本容量为N

9、的样本观测值，在任一次随 机抽取中，样本观测值都以一定的概率出现，各样本的抽取是独立的，因此容易 得到样本的联合密度函数。若只知道总体服从某种分布，但不知道其分布的参数， 在可供选择的总体中，我们选择使得产生N个样本的联合概率最大的总体。样 本观测值联合概率函数就称为似然函数。设总体的概率密度函数为f，其类型是已知的，但含有未知参数，观测值X，X.,X的联合密度函数为：L(x, )=寸f (x )。它就称为样本的似然函12Nii=1 数，包含有未知参数。极大似然估计的原理就是寻找参数估计量，使得似然函数达到最大，就 称为极大似然估计量。通过取对数以及一阶条件可以求得该参数估计值。可以证明对于多

10、元线性回归模型，在古典假设条件成立的条件下，极大似然 估计得到的参数估计量与最小二乘估计得到的参数估计量是一样的。2、正则条件设（%, %,., x）是来自于密度函数为f （x, m的单元（或多元）总体，密度函 数f （x,。）遵从下列正则条件：R1.对几乎所有的x和所有的0，ln f （x ,9）关于9的前三阶导数是有限的。（这样就确保了某些Taylor级数近似的存在和/ n L导数的有限方差）；R2.满足获得ln f （x ,0）一阶二阶导数期望所需的条件； iR3.对于所有0的取值，仞1n f x；0）小于一个具有有限期望的函数（这点30 30 30 j k l使我们能够对Taylor级

11、数进行舍去项数）。在这些正则条件，我们有下列关于f （x ,0）的基本性质：iD1. ln f （x ,0）, g =3ln小，0）和H =32lnf （x，0）（，= 1,2,.,n）是30i3030t随机变量的全部随机样本；D2. Eg= E m当,0）= 0，一阶导数的期望为零；D3. Var g = -EH = -E竺MR，二阶导数矩阵期望的负值等于 ii 3030t ）一阶导数的方差。了解正则条件，记住D2、D3的性质。3、克拉美劳下界若x的密度函数满足一定的正则条件，参数0的一个无偏估计量的方差总是 大于等于1 (0)-1 =C-E一3 2 InL (0)30 27eZ r ir3

12、0这就是克拉美-劳下界，或称为信息矩阵。对g (0)的任一无偏估计，g = g (气,七 x)，Var(g) 岑器，这是g(0)无偏估计的方差下界，但不一定是下确界。若g(0)的方差正好达到不等式的右端，则g(0)为g(0 )的最小方差估计。4、极大似然估计的性质若似然函数f (x, e)满足正则条件，极大似然估计量有下列渐进性质：mi、一致性：plime=e、,一 一， m2、渐进正态：e-a N1(e)，I(e)= ea 2 in LaeaerM3、渐进有效：0是渐进有效的，且达到一致估计量的克拉美-劳下界:AsyVar e = E合2ln L (e) |1deaer(a ln L (e)

13、Y a in l (e) E1M4、不变性：若0是0的ML估计，C(o )是连续函数，则Y = C(o )的ML 估计是c ()。这四个性质特别是最后两个性质，估计量达到了最小方差，即ML估计量 是有效估计量。同时若要估计参数的函数，无需重新估计模型，为估计参数函数 提供了便利。但在小样本的条件下，ML估计并不一定是最佳的。5、BHHH简单的说它是用来估计最大似然估计量的渐近方差，也就是方差的克拉美- 劳下界，是一种依靠计算机的算法，因此此内容只是作为了解。当对数似然函数 的二阶微分期望值的形式是已知的，那么可以在0处估计MLE的方差。I(0)-1 三Ea 2 InL (0川-1a0a0 J由于对数似然函数的二阶微分几乎总是复杂的非线性函数，其确切的期望值 是未知的，那么可以考虑如下两个可选估计量:(1)计算对数似然函数的二阶微分矩阵而不是其期望值简单得到渐近方差:合2lnL WI 2 决所J它的缺点仍然在于计算二阶微分矩阵的复杂性，计算机编程难以实现。(2)由于在正则条件下我们有性质二阶导数矩阵期望的负值等于一阶导数 的方差，因此我们有：弋 g;.g;. T=g Gj1，3-i=1一 一 G = Lg1，g