多元线性回归模型：估计及t检验

多元线性回归：估计方法及

回归系数显著性检验线性回归模型的基本假设:y-P+0X+0XH HPx+ui=1,2，…，ni0 11i22i kkii在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出假设干基本假设：1．解释变量间不完全相关；2．随机误差项具有0均值和同方差。即:E(u)-0,Var(u)-O2i=1,2，…，nii3．不同时点的随机误差项互不相关〔序列不相关〕，即Cov(u,u)-0s丰0,i=1,2，…，nii-s4．随机误差项与解释变量之间互不相关。即Cov(X,u)-0 j=1,2,…,k,i=1,2,…,njii5．随机误差项服从0均值、同方差的正态分布。即u~N(0,02) i=1,2，…，ni当模型满足假设1~4时，将回归模型称为“标准回归模型”，当模型满足假设1~5时，将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假设，普通最小二乘法就不再适用，而要发展其他方法来估计模型。广义〔力口权〕最小二乘估计〔generalizedleastsquares〕当假设2和3不满足时，即随机扰动项存在异方差E(u2)-02,i=1,2,…，n，且随iii机扰动项序列相关Cov(u,u)-0,i丰j,i=1,2，…，n,j=1,2，…，n，此时OLS估ijij计仍然是无偏且一致的，但不是有效估计。线性回归的矩阵表示：〔1〕y=Xp〔1〕则上述两个条件等价为：

(o••H12InOO•••oVarQ)==21*22*•••2n*WO2l、T1T2•••o>nn对于正定矩阵□□师在矩阵M,对于正定矩阵□□师在矩阵M,使得MQM=I^MM=Qio在方程〔1〕两边同时左〔2〕乘M,得到转换后的新模型：y=Xp+u^My=MXP+Mu,令y*=My,X*=MX,u*=〔2〕y*=X*P+u*新的随机误差项的协方差矩阵为var(u*)=E(Muu，M)=MOM，=I,显然是同方差、无序列相关的。目标函数，即残差平方和为：Q=沅*力*=>/'•=-皿。目标函数是残差向量的加权平方和，而权数矩阵则是u的协方差矩阵的逆矩阵〔因此，广义最小二乘估计法也称为加权最小二乘估计法〕。而新模型的OLS估计量则是原模型的GLS估计量。八p=(X*'X*)-1X*'y*=(X'M'MX)-iX'M'My=(X'Q-iX)-iX'Q-iyGLSVar=(X*'X*)-i=(X'M'MX)-i=(X'DQUiX)-i〔Var〔6。心〕=(X'X)-iX'DQX(X'X)-i〕。由于变换后的模型⑵满足经典OLS的所有假设，所以根据高斯-马科夫定理可知，GLS估计量是BLUE1BestLinearUnbiasedEstimator)。虽然从理论上讲，GLS比OLS有效，但由于多数情况下残差序列的协方差矩阵未知,当我们用代替GLS估计式中的Q以获得估计时，估计量虽然仍旧是一致的，但却不是最好线性无偏估计。而且，也很难推导出估计量的小样本性质。继而用White(1980)的异方差一致协方差估计方法(残差序列有未知形式的异方差，但序列不相关〕和Newey-West(1987)的异方差-自相关一致协方差估计方法(有未知形式的异方差且自相关存在〕得到修正的Var〔口OLS〕是相对较好的选择。(使用White或Newey-West异方差一致协方差估计不会改变参数的点估计，只改变参数估计的标准差。〕White协方差矩阵公式为：^=-n-(XX)-/Zu2xx'](XX)-iWn-k[iii,'i=i /其中n是观测值数，k是回归变量数，ui是最小二乘残差。Newey-West协方差矩阵公式为：£ =(XX)-1Q(XX)-1NWi=1U2i=1U2XX'+Xiiiv=1X(XUUX'iii-vi-vi=v+1+XUUX'))>••••i-vi-vii刀q是滞后截尾，一个用于评价OLS残差ui的动态的自相关数目的参数。q=[(4(n100)29)]。二阶段最小二乘法〔TSLS，Twostageleastsquares，Sargan〔1958〕〕当假设4不成立时，即随机误差项与某些解释变量相关时，OLS和广义LS都是有偏的和不一致的。有几种情况使右边某些解释变量与误差项相关。如：在方程右边有内生决定变量，或右边变量具有测量误差。为简化起见，我们称与残差相关的变量为内生变量，与残差不相关的变量为外生变量。解决解释变量与随机误差项相关的方法是使用工具变量回归。就是要找到一组变量满足下面两个条件：〔1〕与内生变量相关；〔2〕与残差不相关；这些变量称为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关性。考虑工具变量时，应注意以下问题：1〕使用TSLS估计，方程说明必需满足识别的阶条件，即工具变量的个数至少与方程的系数一样多(Davidson&MacKinnon(1994)和Johnston&DiNardo(1997)〕。2〕根据经济计量学理论，与扰动项不相关的解释变量可以用作工具变量。3〕常数c是一个合适的工具变量。在二阶段最小二乘估计中有两个独立的阶段。在第一个阶段中，找到内生变量和工具变量。这个阶段包括估计模型中每个内生变量关于工具变量的最小二乘回归。第二个阶段是对原始方程的回归，所有内生变量用第一个阶段回归得到的拟合值来代替。这个回归的系数就是TSLS估计。令Z为工具变量矩阵，y和X是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来：人B =(X'Z(ZZ)-1ZX)-1X'Z(ZZ)-1ZyTSLS系数估计的协方差矩阵为：八Var(B)=s2(X'Z(Z'Z)-1ZX)-1其中S2是估计残差的协方差矩阵。广义矩方法〔GMM,GeneralizedMethodofMoments,Hansen(1982)〕由于传统的计量经济模型估计方法，例如普通最小二乘法、工具变量法、极大似然法等，都有它们的局限性，其参数估计量必须在模型满足某些假设时才具有良好的性质，而GMM估计是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差项存在异方差和序列相关，所得到的参数估计量比其他参数估计方法更合乎实际；而且可以证明，普通最小二乘法、工具变量法、极大似然法都是GMM的特例设模型为：其中，xt=(%,%21，…,％)，P=(BB…,p),，zt为工具变量〔1xL〕。令w=(yxz)，tttl t tttt则L个矩条件为：m(w,0)=E(z'u)=E「z'(y-xB)]=0

t tt t,tt Lx1对应的样本矩条件为：m(wt,0)=-1£[zjGt_xtB)]=-1z'(y-Xp)=0Lx1t=1等价于解方程：q=£m2=m(w,o)'m(w,0)=0 〔3〕lt tl=1当存加＞K个工具变量时，共有L个矩方程，而只有K个未知参数。因此，根据MM方法，」K、. (K、 共有 个组合，可以得到的矩估计量的个数为。这时，每个组合得到的MM估计量T T\L7 kL7都不能满足〔3〕式，即〔3〕式不会恰好为0。但可以考虑将各种不同的估计结果综合起来，使〔3〕式最小化，即使得L个矩条件的平方和最小。因为不同矩的方差不同，因此更科学的方法是使用加权的平方和，q=m(wt,0)'Wtm(wt,0)GMM估计量是求下式的最优解：Q=argmin{in(w,0)'Win(w,0)}

0(w) 0 ' ''GMMt

与GLS相类似，GMM方法中，目标函数为各个矩的加权平方和，权数的选择则要考虑各个矩的异方差和相关性。最优权数即是各个矩的协方差矩阵的逆矩阵。如果rfi(w,。)为一致估计量以对应的矩，贝Us的一致估计量为：t GMMS=VarCfm(w,0))=T*Var(m(w,0))=TVarT t=TVarT t<t=1 /因此，最优权数矩阵为：，工m(w,0)=—Xm(w,0)'m(w,0)Tt=i t、一1、一1lTt=1 tWopt=S-1=T其是WT的一致估计。回归系数显著性t检验H0:6=0 vsH1:阡0检验统计量：t=p/std(p)Whitet检验：td/std(PWhit)telt^iv^Newey-Westt检验：t=。/std(。NW)参考文献:Newey,W.K.,West,K.D.,Asimple,positivesemi-dedinite,heteroskedasticityandautocorrelationconsistentcovariancematrix.Econometrica,55,703-708.Sargan,T.D.,1958,Theestimationofeconomicrelationshipsusinginstrumentalvariables.Econometrica,26,393-415.White,H.,1980,Heteroskedasticity-consistentcovaricncematrixestimatorandadirecttestforheteroskedasticity.Econometrica,48,817-838.White,H.,1980,Instrumentalvariablesregressiononcross-sectiondata.SanDiego:UniversityofCaliforniaPress.Hansen,L.P.,Hodric,R.J.,1980,Forwardexchangeratesasoptionalpredictorsoffuturespotrate:aneconometricanalysis.TheJournalofP