多元线性回归模型估计及t检验

1、多元线性回归：估计方法及回归系数显著性检验线性回归模型的基本假设：yi = ：0 ：1Xii, ：2x2i, ：kxki ui通常对模型提出若干基本假在普通最小二乘法中， 为保证参数估计量具有良好的性质， 设：1. 解释变量间不完全相关；2. 随机误差项具有 0均值和同方差。即：2n.,E(Ui)2, Var(Ui)i = i , 2 ,3. 不同时点的随机误差项互不相关(序列不相关)，即Cov(Ui,Uiu) =0s 乒 0, i = 1 , 2 ,4. 随机误差项与解释变量之间互不相关。即Cov（为，Ui） =0j = 1 , 2 , k , , i = 1 , 2 ,5. 随机误差项服从

2、 0均值、同方差的正态分布。即2 、一Ui N（0,二）i = 1 , 2 ,”，当模型满足假设1 5时,当模型满足假设14时，将回归模型称为 标准回归模型将回归模型称为 标准正态回归模型”。如果实际模型满足不了这些假设，普通最小二乘法就 不再适用，而要发展其他方法来估计模型。广义(加权)最小二乘估计( generalized least squares当假设2和3不满足时，即随机扰动项存在异方差E(Ui2ffi2 , i = 1 , 2 ,n；|!随机扰动项序列相关 Cov(q ,u j)=研，i # j , i = 1 , 2 ,n；j= 1 , 2 ,n-,此时OLS估计仍然是无偏且一致

3、的，但不是有效估计。线性回归的矩阵表示：y = X 6 + u(1)则上述两个条件等价为：Bl1。12%°22-Var(u)=CTt1 °>2对于正定矩阵存在矩阵M，使得 M QM '乘M，得到转换后的新模型：y =X 6+un My = ° 1n.心 2n 2"I 心nn=I n M 'M = Q-。在方程(1 )两边同时左MX 3+Mu，令 y * = My , X* = MX , u* = Mu ,* _ * 一一 * y =X u新的随机误差项的协方差矩阵为var(u ) =E(Muu 'M ') = M Q

4、M ' = I ,显然是同万差、无序列相关的。目标函数，即残差平方和为：Q =u*'u* = u'M'Mu = u'Qu。目标函数是残差向量的加权平方和， 而权数矩阵则是u的协方差矩阵的逆矩阵 (因此，广义最小二乘估计法 也称为加权最小二乘估计法)。而新模型的OLS估计量则是原模型的 GLS估计量。?GLS =(X*'X*)-X* 'y* =(X'M 'MX 片X 'M 'My = (X ' Q-1X)X' Q与iM._* * .1-1-1 -11-1Var (gls) = (X X ) =

5、(X M MX) =(X ' X) ( Var (P ols) = (X X) X ' X(X X)。由于变换后的模型(2)满足经典OLS的所有假设，所以根据高斯-马科夫定理可知，GLS估计量是 BLUE (Best Linear Unbiased Estimator)。虽然从理论上讲，GLS比OLS有效，但由于多数情况下残差序列的协方差矩阵未知， 当我们用代替GLS估计式中的 以获得估计时，估计量虽然仍旧是一致的，但却不是最好线性无偏估计。而且，也很难推导出估计量的小样本性质。继而用White(1980)的异方 差一致协方差估计方法(残差序列有未知形式的异方差，但序列不相关)

6、和 Newey-West(1987)的异方差-自相关一致协方差估计方法 (有未知形式的异方差且自相 -n.关存在)得到修正的Var (0 ols)是相对较好的选择。(使用 White或Newey-Wes屏方差 一致协方差估计不会改变参数的点估计，只改变参数估计的标准差。)White协方差矩阵公式为：- n/里 °*_?W =k'XX) £ uiXiXi (XX)其中n是观测值数，k是回归变量数，ui是最小二乘残差。Newey-West协方差矩阵公式为：?NW =(XX)，？(XX)n nq、n其中！？=一u2xX+£1- !Z(XMU3XL+X3UdUjX

7、：) *, q是滞nk、但v4 q+1)K力后截尾，一个用于评价 OL破差ui的动态的自相关数目的参数。q=(4(n/100)29)。二阶段最小二乘法(TSLS, Two stage least squares Sargan (1958)当假设4不成立时，即随机误差项与某些解释变量相关时，OLS和广义LS都是有偏的和不一致的。有几种情况使右边某些解释变量与误差项相关。如：在方程右边有内生决定变量， 或右边变量具有测量误差。为简化起见，我们称与残差相关的变量为内生变量，与残差 不相关的变量为外生变量。解决解释变量与 随机误差项 相关的方法是使用工具变量回归。就是要找到一组变量 满足下面两个条件：

8、(1) 与内生变量相关；(2) 与残差不相关；这些变量称为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关 性。考虑工具变量时，应注意以下问题：1)使用TSLS估计，方程说明必需满足识别的阶条件，即工具变量的个数至少与方程的系数一样多(Davidson & MacKinnon(1994)和 Johnston & DiNardo(1997)。2 )根据经济计量学理论，与扰动项不相关的解释变量可以用作工具变量。3 )常数配一个合适的工具变量。在二阶段最小二乘估计中有两个独立的阶段。在第一个阶段中，找到内生变量和工具变量。这个阶段包括估计模型中每个内生变量关于工具变量的最

9、小二乘回归。第二个 阶段是对原始方程的回归，所有内生变量用第一个阶段回归得到的拟合值来代替。这个回归的系数就是TSLS估计。令Z为工具变量矩阵，y和X是因变量和解释变量矩阵。则二阶段最小二乘估计的系 数由下式计算出来：4sls =(X Z(ZZ)ZX)X Z(ZZ)-1Zy系数估计的协方差矩阵为：Var( ?) =s2(X Z(Z Z)重Z X)其中s2是估计残差的协方差矩阵。广义矩方法(GMM , Generalized Method of Moments Hansen(1982)由于传统的计量经济模型估计方法，例如普通最小二乘法、工具变量法、极大似然法等，都有它们的局限性，其参数估计量必须

10、在模型满足某些假设时才具有良好的性质，而GMM估计是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差项存在异方差和序列相关， 所得到的参数估计量比其他参数估计方法更合乎实际；而且可以证明，普通最小二乘法、工具变量法、极大似然法都是GMM的特例设模型为：yt = xt （3 + ut其中，Xt=(*t,X2t,，XKt) ,6 = (01,&，0k)' ,zt 为工具变量(1KL)。令 wt=(yt，xt，zt),则L个矩条件为：m（wt，。）= E（ztU ）=E N'（yt xt6） = 0LX1对应的样本矩条件为：51'(yt x 邛=

11、5; z'(y x 6)= Olxic1 Jm（wt，e）=-s等价于解方程：KQ =£ 血2 = m（wt，0）' m（wt，H）= 0（3）l =4当存在L>B工具变量时，共有 S矩方程，而只有 B未知参数。因此，根据 MM方法,ZK U共有个组合，可以得到的矩估计重的个数为。这时，每个组合得到的MM估计重UILJ都不能满足（3）式，即（3）式不会恰好为0。但可以考虑将各种不同的估计结果综合起来, 使（3）式最小化，即使得 S矩条件的平方和最小。因为不同矩的方差不同，因此更科学的方法是使用加权的平方和，q = m( wt，0)' w t m( wt，

12、0)GMM估计量是求下式的最优解：Q =arg min 输(wt，0)' Wm?(wt，。冬MM jWt 与GL邻类似，GMM方法中，目标函数为各个矩的加权平方和，权数的选择则要考虑各 个矩的异方差和相关性。最优权数即是各个矩的协方差矩阵的逆矩阵。如果南(wt,。)为一致估计量?Gmm对应的矩，则S的一致估计量为：S =Var(/F (wt,。)=T Var (ri?(wt,=TVarr? (wt, 8)=Z 尚(w t, 0)'r?( wt,。)因此，最优权数矩阵为：m 1 T 一 一 T wt p =S=i z r( wt, e)rft( wt,明 J ''

13、 '其是Wt的一致估计。回归系数显著性t检验H0: 0=0vs H1:00检验统计量：t4 / std(lF)iM.iM.White t 检验：t=6 / std# white)ft-ft-Newey-West t 检验：t=0 / std(6 n-w)参考文献：Newey, W. K., West, K.D., A simple, positive semi-dedinite, heteroskedasticity and autocorrelation consistent covariance matrix. Econometrica, 55,703-708.Sargan, T.

14、D., 1958, The estimation of economic relationships using instrumental variables.Econometrica, 26, 393-415.White, H., 1980, Heteroskedasticity-consistent covaricnce matrix estimator and a direct test for heteroskedasticity. Econometrica, 48, 817-838.White, H., 1980, Instrumental variables regression

15、on cross-section data. San Diego: University of California Press.Hansen, L. P., Hodric, R. J., 1980, Forward exchange rates as optional predictors of future spot rate: an econometric analysis. The Journal of Political Economy, 5(88), 829-853.Hodric, R. J., 1982, Dividend yields and expected stock returns: