北京大学经济学院2极大似然估计

1、第二章极大似然估计（MLE）第 0 节 基础知识回顾：OLS一例子假设一个基金的投资组合 (“基金 XXX”)的超额回报和股市指数的超额回报，有如下的数据:Year,tExcess returnExcess return on market index=rrf=rm-rft117.8239.0312.8424.2517.2tt13.723.26.916.812.3直觉上，该基金的beta( beta 测量股票对股市指数的反应)应该是一个正数，我们希望证实这种关系。画这2个变量的散点图：4540353025201540353025201510500510152025d n u f n ors c

2、 EExcess return on market portfolio对于一条直线，可以用以下的方程,来拟合数据。y=a+bx不过这个方程 (y=a+bx)是完全确定的，与实际情况不符合。要在这个方程里加入一个挠动项。tty = + x + tt式中 t = 1,2,3,4,5用直线来拟合数据最常用的方法是普通最小二乘法(ordinary least squares， OLS)：取每个数据点到拟合直线的垂直距离，选择参数 ，使得平方距离t 12最小化(leasttsquares)。t挠动项能够反映数据的一些特征 :我们经常会忽略一些影响 yt 的因素，不可能把影响 y 的所有的的随机因素都在模

3、型t中考虑。L (ytttL 5t 1)2 ( yti2 t )2t求解两个参数：2(ytt ) 0t 2x (ytt ) 0t这就是OLS。整理得到： xyTxy ttand y xx2 Tx2t在上例中，把数据代入公式得： 1.741.64xtt根据这个结果，如果预期下一年的市场回报将会比无风险回报高20%，那么你预期基金 XXX 的回报将会是多少?1.6420i二概念：线性和非线性运用 OLS, 要求模型对参数( 和 )是线性的。“对参数线性”意味着参数之间不能乘、除、平方或n次方等。在实际中变量之间的关系很有可能不是线性的。某些非线性的模型可以通过变换转化为线性模型，例如指数回归模型：

4、Y e X eutln Y ln X uttttt令 yt=ln Yt及 xt=ln Xty x uttt但是，很多模型从本质上讲是非线性的，例如：y x uttt三OLS的优良性质在OLS回归模型中，对ut (不可观测的误差项作如下假设)作如下架设:解释E(ut) = 0误差项的均值为零tVar) = 误差项的方差是常数tCov (ui,uj)=0误差项相互独立的Cov (ut,xt)=0有如下三个良好性质。一致性大时，估计值将收敛于它们的真实值（需要假设 E(xtut)=0 和Figure:SamplingDistributionsofEstimatorsUnbiasedBiased(a)

5、(b)Figure:SamplingDistributionsofEstimatorsUnbiasedBiased(a)(b)Efficient(c)(d)Inefficienttlim Pr 0 0Figure:Figure:DistributionofaConsistentEstimatorAs the sample sizeincreases the estimator converges in probability on the true parameter valueTrue Value无偏性最小二乘估计式是无偏的，意味着估计值的期望等于真实值.E()= and E( )=uu 为

6、了保持无偏性需要假设 E()=0和Cov uu tij致性更强。有效性在所有的线性无偏的估计式中，OLS估计式的方差是最小 OLS估计的参数四统计推断用标准误差来度量参数估计值的可靠程度。在假设1 - 4 成立的条件下，估计值的标准误差可以写成x2SE) s t,T(x x)2(x x)21t其中 s 是残差t的标准误差。s2 1 T2t假设 ut N(0,2)，则OLS统计量服从正态分布： N(, Var()如果挠动项不服从正态分布，最小二乘的估计式还是正态分布吗？样本数足够大时，答案是：是的。从估计式构造标准正态分布： N N 0,1但是，由于不知道 var() 和 t tSE)T2SE(

7、)T2normal distributiont-distributiont 2 种分布都是对称的，并t (样本总观测数 -2)t normal distributiont-distribution用置信区间进行假设检验0在显著性检验中，下面的情况下接受零假设 H ： = 统计量落在非拒绝域内，0tcrit * SE( )critf(x)f(x)2.5% rejection region2.5% rejection region-2.086+2.086如果我们能够以 5% (或者 10%)的置信水平拒绝某个检验的零假设，则称这个检验在统计上是显著的.在这个过程中，我们可能会犯2种错误:当 H0

8、.RealityH is trueSignificantResult ofTest(reject H )Type I errorRealityH is trueSignificantResult ofTest(reject H )Type I error= 0H is false0Insignificant( do not0Type II = reject H )0. 。一类错误概率的同时也提高了第二类错误的概率。第一节 引言考虑ARMA 模型：Y c Yt1 t Y2 t 2 . Yp t p t1 t . q t qt其 中 t0,2 （1）。 前 面 我 们 假 定 知 道 总 体 参

9、数c, ,., , ,., , 2，此时利用过程（1）进行预测。1p1q本章我们要研究在仅能观测到序列Y 的情况下，如何估计c, ,., , ,., ,1p1q。估计方法为极大似然估计。令c, ,.,1p, ,.,1,表示总体参数向量。假定我们观察到一个样本量为 T 的样本y , y12,., yT。写出样本的联合概率密度函数：fYT,Y,.,YT 11y , yTT,., y1（2）这是观察到样本发生的概率。使得“概率”最大的 值就是最优估计这就是极大似然估计的思想。极大似然估计需要设定白噪声的分布。常常假定t白噪声，则得到的函数为高斯似然函数。极大似然估计的步骤：写出似然函数。是高斯利用求

10、极大值方法求使得函数值最大的值。第2节 高斯 AR1过程的似然函数一计算高斯 AR1过程似然函数高斯 AR1过程的表达式为Y cY（3）其中tiidN0,2。参数为 c,2。观察值 Y1的均值和方差分别为 E Y1 c / 1和E Y1 2 / 1。因为tiidN0,2，因此Y 也fy ; fY1Y11y ;c,2112 2 /12 12 /12 1 （4）12 /对于第二个观察值在观察到 y1条件下的分布。根据，Y c Y 212（5）此时Y21 y N y , 2 ，其概率密度函数为2112 yc 2 22Y Y22 1y ;1exp1（6）观察值Y 和Y12的联合密度函数就是（4）和（6

11、）的乘积：fY ,Yy , y ; f21Y yy ; f21y ;（7）12 12 11同样fY Y ,Yyy3, y ; f1Y yy3; 3 2 13 21 y c 2 （8）232322fY Y ,Yy , y3, y ; f1Y ,Yyy3, y ;1Y ,Yy , y ; 213, 2 13 2 12 1（9）一般地，fY Yyytt,., y1; fY Yyytt; t t11t t11yc 2 10）2t2tt则前t 个观察值的联合密度为fY Y,.y , ytt,., y ; 1t , t1 fY Y1yytt; fYyt,., y ;1（11）t t1t11全部样本似然函数

12、为fY Y,.y , yTT,., y ; f1y ;1fyY Yyt; T , T11t2t t1（12）进行对数变换，得到对数似然函数L ：L ln fYy ;1ln fY Yyytt; 1将（）和1）代入1tt t1（13）c2y L1ln1ln2 122 12212T 1 T 1Ty cy2ln ln 2t 1222t 2（14）二似然函数的矩阵表示观察值写成向量形式为：Y y , y ,., y（15）T12T可以看作是T 为高斯分布的单个实现。其均值为 E 1 2E Y 2（16）M ME YTT这里 c / 1。表示成向量形式为：E 其中 表示的右边的1向量。Y 为：E Y （1

13、7）其中EE2 2 1E1T T 111 E 1 ELE 212TMMLME E E2T1T2T（18）该矩阵中的元素对应于Y 的自协方差。将样本Y N ,高斯密度公式直接写成：fy;T /2 1 1/2 exp1yT Y21 y 其对数似然值为：T11L lnln 1 y2221 y 这本质上和（14）是相同的。理论上，对方程（14）求导并令导数为零，就可得到参数向量是y,., 的非线12T性方程。此时求解需要格点（grid）搜索等数值优化方法。四条件极大似然（MLE）函数如果将 y1的值看作确定性的，然后最大化以第一个值为条件的似然值，这种方法称为条件极大似然函数。此时最大化目标为： T

14、1 T 1 Ty cy2L ln ln 2t 1222t 2等价于最小化：T ytt 2c y2t 1这与OLS回归的结果一样。已知参数估计值,，下一步L 关于2求导数T 1 2得到Ttt 2cy2t02421T 1Tty y2tt这也是OLS 估计下的残差方差。条件极大似然估计的特点：易于计算。样本量T 足够大，则第一个观测值的影响可以忽略。第三节 高斯 ARMA 过程的条件似然函数AR p条件似然函数Y c Y . Ytt2 t 2p tpt其中iidN0,2。参数向量为 c, ,., ,2。t12p以前 p 个观察值为条件的对数似然函数为：LT pT py c yTT. y2lnln 2

15、2 tt1 t 2 2p t p求c, ,.,使得最大化问题转变为最小化：12pTyt c1yt y2t . py2t pt p1非高斯时间序列的极大似然估计（拟极大似然估计）) )计 c, ,),.,为总体参数的一致估计。12p拟极大似然估计得到的系数的标准差不正确。二 MA1条件似然函数对于高斯MA1过程Y ttt 1其中tiidN0,2。, 2表示要估计的总体参数。如果t已知，则Y tt N t, 2 其概率密度函数为：y 2 2fY 2y ttexpttt t1t如果已知00，则：Y 10, 2给定观察值 y1，则1就是确定的：1 y 1于是y 2 2fY Y , 2yy ,21 0;

16、exp12 222 1 02 可由下式求出：12 y22 1通过迭代法由y , y,., 求出,.,整个序列：12T12T y ttt样本条件对数似然函数为L T ln T ln 2 T2t22t 12 2三高斯 MAq过程的条件似然函数对于 MAq过程Y tt 1t 2t . qt q假设前q 项的 全为零： .001q于是 ytt 1t 2t . qt q其中t 1,2,.,T 。令 表示1向量 ,.,。001q条件对数似然函数为：L ln fY ,Y,.,Y 0y , yTT,., y 1 0; T T1 0T T2ln ln 2t22t 12 2其中, ,12,., q,2。ARMAp

17、qARMApq过程Y c YY. . t1 t2 t2p t pt1 tq t q其中t 0,。参数向量为 c, , ,., , , ,., ,2。12p12q自回归过程的似然函数的近似以 y 的初始值为条件，移动平均过程似然函数的近似以 ARMApq y 和 的初始值为条件。假设初始值y y ,y,., y和001p1 ,.,., ，迭代001得到：q12T y c . y . tt1t tp t1 t 12 t 2q t q可得t 1,2,., T 的序列 ,1,., T。则条件似然函数为：L ln fYT,YT Y,.,Y1Y ,0 y , yTT,., y1Y , 0; T ln T ln 2 T2t22五，选择模型的标准AIC 准则（Akaike 信息标准BIC 准则HQ 准则t 12 2第四节 极大似然估计