Eviews数据统计与分析教程6章 基本回归模型的OLS估计-加权最小二乘法

1、第6章 基本回归模型的OLS估计 重点内容： 加权最小二乘法（消除异方差） 广义最小二乘法（消除序列相关和异方差） 广义矩估计,一、加权最小二乘法（WLS） 1.异方差问题的解决,当线性回归模型出现异方差时，所得到的估计量是非有效的。用加权最小二乘法（WLS）可以解决异方差问题。 基本思路： 赋予每个观测值残差不同的权数，从而使得回归模型的随机误差项具有同方差性。,一、加权最小二乘法（WLS） 1.异方差问题的解决,基本原理： 设一元线性方程为 yt =0 +1xt +t 如果随机误t差项的方差Var(t)与解释变量成比例关系，即 Var(t) = t2 = f(xt)2 说明随机误差项的方差

2、与解释变量xt之间存在相关性，即存在异方差问题。,一、加权最小二乘法（WLS） 1.异方差问题的解决,消除方法： 用 乘以一元线性方程的两端，得 yt = 0 + 1xt + t 则，Var( t) = E( t)2 = E(t)2 = 2 从而，消除了异方差，随机误差项同方差。这时再用普通最小二乘法（OLS）估计其参数，得到有效的0，1估计量。,一、加权最小二乘法（WLS） 1.异方差问题的解决,消除方法（EViews操作） （1）用最小二乘法（OLS）估计方程，得到残差序列； （2）根据残差序列计算出加权序列； （3）选择EViews主菜单栏中的“Quick”| “Estimate Equ

3、ation”选项，弹出下图所示的对话框。 包括两个选项卡： （1）“Specification”选项卡 （2）“Options”选项卡,一、加权最小二乘法（WLS） 1.异方差问题的解决,消除方法（EViews操作）,在“Specification”选项卡的“Equation specification”文本框中输入用OLS（普通最小二乘法）估计的方程。 在“Options”选项卡中，选中“Weighted LS/TSLS”复选框，并在“Weighted”的文本框中输入加权序列的名称，例如输入“w”。 加权序列“w ”用OLS估计模型 时得到的残差序列的绝对值的 倒数序列。填好后再单击 “确定

4、”按钮,二、广义最小二乘法（GLS）,广义最小二乘法（Generalized Least Squared，GLS）常用来对存在序列相关和异方差的模型进行估计。普通最小二乘法（OLS）和加权最小二乘法（WLS）是广义最小二乘法（GLS）的特例。,二、广义最小二乘法（GLS）,基本原理： 通过变换原回归模型，使随机误差项消除自相关，进而利用普通最小二乘法估计回归参数 。 设原回归模型是 yt = 0 + 1x1t + 2 x2t+ kxkt +ut (t = 1, 2, , n )（1） 其中，ut具有一阶自回归形式 ut = ut-1 + vt （2） vt 满足线性回归模型的基本假定条件，把（

5、2）式代入（1）式中，得 yt = 0+1x1t+2x2t+0 xkt+ut- 1 + vt （3）,二、广义最小二乘法（GLS）,基本原理： 再求模型(3)的滞后1期即(t-1)期的回归模型，并在两侧同乘 yt-1= 0 + 1x1t-1 +2x2t-1 +kxkt-1+ ut-1 (4) 用（2）式与(4)相减，得 ut- yt-1 = 0 (1-)+1(x1t-x1t-1)+ +k(xk-1- xkt-1) + vt (5) 令 yt* = yt - yt -1 xjt* = xjt -xjt -1, j = 1 , 2 , k (6) 0* = 0 (1 - ) 则yt* = 0*+

6、1 x1 t* + 2 x2 t* + + k xk t* + vt 如果模型不存在异方差和序列相关，则使用广义最小二乘法等于普通最小二乘法。,三、两阶段最小二乘法（TSLS）,基本原理： 两阶段最小二乘法分两个阶段： 第一阶段:找到工具变量，用最小二乘估计法（OLS）对模型中的每一解释变量与工具变量做回归； 第二阶段:用第一阶段的拟合值代替内生变量，对原方程进行第二次回归，这次回归得到的系数就是用两阶段最小二乘法得到的新估计值。,三、两阶段最小二乘法（TSLS）,EViews操作： 选择主菜单栏中的“Object”| “New Object” | “Equation”选项，或者选择“Quic

7、k”| “Estimate Equation” 选项，在打开的方程对话框的“Method”种选择“TSLS”法，会得到如下对话框。,三、两阶段最小二乘法（TSLS）,EViews操作： 在上图的方程设定（Equation specification）的文本框中列出解释变量和被解释变量， 在工具变量列表（Instrument list）的文本框中输入工具变量。 在进行两阶段最小二乘估计时，方程中的工具变量数至少要与估计系数相等。常数项常常用来做工具变量。,四、非线性最小二乘法（NLS）,非线性模型包括可线性化的非线性模型和不可线性化的非线性模型。可线性化的模型是指该模型可以通过线性化的处理变为线

8、性模型，如一元二次方程，幂函数等。 例如： y =axb lny =lna+blnx 即 y=a+bx 并非所有的函数均可被线性化，能被线性化的可以继续用OLS等线性回归模型适用的方法进行估计，不能被线性化的模型就可以用非线性最小二乘法（Nonlinear Least Square，NLS）进行估计。,四、非线性最小二乘法（NLS）,基本原理： 设定非线性回归模型的一般式为 yi = f(xi, ,) + i i=1，2,，n （1） 则其残差平方和为 S ( ) = （2） 能使(2)达到最小的为参数的非线性最小二乘估计。要得到的估计值，首先对式（1）中的求偏导，然后令该式等于0。 还可以通

9、过迭代法求的近似值，先给出参数估计的初始值，然后通过迭代法得到一个新的估计值，重复迭代直到估计值收敛为止。,四、非线性最小二乘法（NLS）,EViews操作： 选择主菜单栏中 “Object”|“New Object”|“Equation”选项，或者选择“Quick”|“Estimate Equation” 选项，打开方程设定对话框，在“Equation specification”中输入非线性模型的表达式，如“y c 1/x”，即为双曲线的回归模型。EViews软件会自动用非线性最小二乘法（NLS）进行估计，因而建立方程时，只输入非线性表达式即可。例如y =axb ，只需输入“y= c(1)

10、*xc(2)”即可。,五、广义矩估计（GMM）,广义矩估计法（Generalized Method of Moments，GMM）则可以不受模型假定的限制，它不要求随机扰动项一定非序列相关，不存在异方差等，并且所得到的参数估计值比用其他估计方法得到的参数估计值更与实际接近。 广义矩估计法（GMM）是一个大样本估计，其估计量在大样本下有效，在小样本下无效。,五、广义矩估计（GMM）,基本原理： 广义矩估计是设定参数满足的一种理论关系。其原理是选择参数估计尽可能接近理论上关系，把理论关系用样本近似值代替；并且估计量的选择就是要最小化理论值和实际值之间的加权距离。参数要满足的理论关系通常是参数函数f

11、()与工具变量Zt之间的正则条件，即 Ef()Z=0，是被估计参数 广义矩估计法（GMM）中估计量选择的标准是，使工具变量与函数f()之间的样本相关性越接近于0越好。,五、广义矩估计（GMM）,EViews基本操作： 选择主菜单栏中 “Object”|“New Object”|“Equation”选项，或者选择“Quick”|“Estimate Equation” 选项，在“Method”中选择“GMM”后弹出如下图所示的方程设定对话框。,五、广义矩估计（GMM）,EViews基本操作： 选择主菜单栏中 “Object”|“New Object”|“Equation”选项，或者选择“Quick”|“Estimate Equation” 选项，在“Method”中选择“GMM”后弹出如下图所示的方程设定对话框。 在“Equation specification”（方程设定）中列出方程的被解释变量和所