第5章违背基本假设的问题多重共线性异方差和自相关

1、第5章、违背基本假设的问题：多重共线性、异方差和自相关回顾并再次记住最小二乘法（LS）的三个基本假设：1. y=Xb+e2. Rank(X)=K3. e|XN(0,s2I) §1、多重共线性（multicollinearity）1、含义及后果1）完全的多重共线性如果存在完全的多重共线性（perfect multicollinearity），即在X中存在不完全为0的ai，使得a1x1+aKxK=0即X的列向量之间存在线性相关。因此，有Rank(X)<K，从而|XX|=0，即b=(XX)-1Xy不存在，OLS失效。也即违背了基本假设2。例子：C=b1+b2nonlabor inco

2、me + b3salary +b4income + e2）近似共线性常见为近似共线性，即a1x1+aKxK0则有|XX|0，那么(XX)-1对角线元素较大。由于，所以bk的方差将较大。例子：Longley是著名例子。2、检验方法1） VIF法（方差膨胀因子法，variance inflation factor）第j个解释变量的VIF定义为此处是第j个解释变量对其他解释变量进行回归的确定系数。若接近于1，那么VIF数值将较大，说明第j个解释变量与其他解释变量之间存在线性关系。从而，可以用VIF来度量多重共线性的严重程度。当大于0.9，也就是VIF大于10时，认为自变量之间存在比较严重的多重共线性

3、。K个解释变量，就有K个VIF。可以计算K个VIF的平均值。若大于10，认为存在比较严重的多重共线性。VIF方法直观，但是Eviews不能直接计算VIF的数值。需要逐个进行回归，较为麻烦。2） 相关系数矩阵例子：对于longley数据。在Eviews中，quick/group statistics/correlations，输入te year gnpd gnp arm，得到TEYEARGNPDGNPARMTE 1.000000 0.971329 0.970899 0.983552 0.457307YEAR 0.971329 1.000000 0.991149 0.995273 0.417245

4、GNPD 0.970899 0.991149 1.000000 0.991589 0.464744GNP 0.983552 0.995273 0.991589 1.000000 0.446437ARM 0.457307 0.417245 0.464744 0.446437 1.000000相关系数矩阵的第一列给出了被解释变量与每一个解释变量之间的相关系数；度量了每一个解释变量对被解释变量的个别影响。除ARM之外，解释变量与被解释变量之间的相关系数都很大。但是，从剩下的相关系数矩阵可以看到，变量之间的相关系数也很大。表明变量之间存在严重的多重共线性。3） 条件数（condition number

5、）首先计算XX的最大和最小特征根，然后计算如下条件数若大于20，则认为存在多重共线性。3、处理方法1）剔除法（推荐此方法）方法：设法找出引起多重共线性的解释变量，并将之剔除在回归方程之外。准则1：逐个引入解释变量，根据R2的变化决定是否引入新的解释变量。如果R2变化显著，那么应该引入，反之不引入。准则2：剔除VIF最大的解释变量和不显著的解释变量。请试着计算每个解释变量的VIF值。2）岭回归（ridge regression estimator）回忆对于多元线性回归方程，系数的LS估计是岭回归估计就是计算此处D是一个对角矩阵，定义为具体操作：一般选取r从0.01开始，逐步增加，每次都计算，一直

6、到稳定不变为止。此方法的优点：在matlab环境下，使用矩阵运算非常容易计算。缺点：一方面，Eviews不带此功能；另外一方面，缺乏对估计结果的解释的直观含义（是什么东西？）。3）主成分方法（principal components）首先，计算对称矩阵XX的特征根和特征向量，此处是特征向量矩阵是特征根矩阵，其中特征根从大到小排列。我们关心最大的前面L个。其次，计算，即是新的数据列向量，作为新的解释变量。最后，将y对Z进行回归，得到此方法并不难计算，但是问题仍然是很难解释估计结果。§2、异方差（heteroscedasticity）1、含义及影响y=Xb+e，var(ei)var(ej

7、), ij，E(e)=0，或者记为即违背假设3。用LS估计，所得b是无偏的，但不是有效的。由于E(e)=0，所以有E(b)=b。即满足无偏性。但是，b的方差为其中。2、检验（White检验）举例说明。若回归方程为y=b0+b1x1 + b2x2 + e使用残差和解释变量，建立如下辅助回归方程 （*）构造如下原假设H0：残差不存在异方差性直观上，若H0为真，那么会有什么？可以证明，若H0为真，则其中n为样本个数，R2为方程（*）的确定系数，m为除常数项外的回归系数的个数。Eviews命令：view/residual tests/white heteroscedasticitystep1：双击数据

8、文件production_function.wflstep2：输入ls log(x) c log(l1) log(k1)，进行回归step3：view/residual tests/white heteroscedasticity（no cross term）（当然也要试一下选择white heteroscedasticity（cross term）的输出结果），有White Heteroskedasticity Test:F-statistic1.275975 Probability0.298609Obs*R-squared5.090339 Probability0.278153Test E

9、quation:Dependent Variable: RESID2Method: Least SquaresDate: 11/03/04 Time: 19:33Sample: 1929 1967Included observations: 39VariableCoefficientStd. Errort-StatisticProb. C-0.1318660.466549-0.2826400.7792LOG(L1)0.0685320.2153410.3182510.7522(LOG(L1)2-0.0056380.020636-0.2732360.7863LOG(K1)-0.0240770.06

10、2504-0.3852100.7025(LOG(K1)20.0018800.0064570.2911810.7727R-squared0.130522 Mean dependent var0.001112Adjusted R-squared0.028230 S.D. dependent var0.002170S.E. of regression0.002139 Akaike info criterion-9.337819Sum squared resid0.000156 Schwarz criterion-9.124542Log likelihood187.0875 F-statistic1.

11、275975Durbin-Watson stat1.899724 Prob(F-statistic)0.298609你得到什么结论？再试一下具有交叉项的情形。得到如下输出结果：White Heteroskedasticity Test:F-statistic1.045111 Probability0.408004Obs*R-squared5.331424 Probability0.376785Test Equation:Dependent Variable: RESID2Method: Least SquaresDate: 11/03/04 Time: 19:34Sample: 1929 19

12、67Included observations: 39VariableCoefficientStd. Errort-StatisticProb. C-0.0392740.508873-0.0771780.9389LOG(L1)-0.0542010.333444-0.1625490.8719(LOG(L1)20.0254400.0672540.3782660.7077(LOG(L1)*(LOG(K1)-0.0441980.090923-0.4861050.6301LOG(K1)0.0755370.2144530.3522310.7269(LOG(K1)20.0162590.0302920.536

13、7410.5950R-squared0.136703 Mean dependent var0.001112Adjusted R-squared0.005901 S.D. dependent var0.002170S.E. of regression0.002163 Akaike info criterion-9.293672Sum squared resid0.000154 Schwarz criterion-9.037740Log likelihood187.2266 F-statistic1.045111Durbin-Watson stat1.997638 Prob(F-statistic

14、)0.408004你得到什么结论？3、处理方法两种方法：WLS：适用于异方差形式已知情形HAC：适用于异方差形式未知情形1）WLS方法（weighted least square，加权最小二乘法）WLS方法是GLS（generalized ls，广义最小二乘法）的特例。所以按照GLS来学习这一部分。假设回归方程y=Xb+e的扰动项满足E(e|X)=0，称为非球形分布（nonspherical distribution），而传统情形称为球形分布（spherical distribution）。系数的Ls估计b的分布为由于E(e|X)=0，所以有E(b|X)=b。即满足无偏性。但是，b的方差为其中

15、。即若已知的对称正定矩阵。将之进行分解，得到并定义。那么在回归方程左右两边左乘以矩阵P，得到Py=PXb+Pe或者记为现在观察新的扰动项的分布。请试一下计算的分布。注意，由于，所以加个括号还是成立两边转置，得到，即。（注意是对称矩阵）这说明是单位矩阵。因此，现在回归方程满足LS的基本假定，可以实施LS，得到是有效估计。还可以计算系数的GLS估计的分布。留给感兴趣的同学。对于WLS的Eviews实现。以美国生产函数为例。首先双击数据文件production_function.wfl。并在object/new object中选取equation。其次，输入log(x) c log(l1) log(

16、k1)，点击options，选中weighted ls项，并输入权数即可。缺点：确定并计算“权数”的过程，还是很麻烦。2）HAC协方差（Heteroskedasticity and autocorrelation consistent covariance，与异方差和自相关一致的协方差）前面已经知道，系数的ls估计的分布为即系数的ls估计是无偏的、但却是无效的。我们可以保持无偏的最小二乘法估计，但是使用某个矩阵来对无效性进行修正。当e的协方差矩阵未知时，可以运用从最小二乘法估计得到的估计残差，来代替原来的具有异方差的协方差矩阵，记为，即对的估计。那么，b还是ls得到的系数的估计。有两种构造的方

17、法：White和Newey-West。l Heteroskedasticity Consistent Covariances (White，1980)当存在未知形式的异方差时，Eviews提供了White协方差矩阵以替代ls的协方差矩阵。此处n时观察样本个数，K是解释变量个数，e是ls残差。l HACcovariances (Newey-West) 上面描述的协方差矩阵，需要假定回归方程的残差是序列不相关的（什么意思：协方差矩阵具有怎样的形状？）。Newey和West (1987b) 提出另外一个更加一般的协方差矩阵。该协方差矩阵当同时存在未知形式的异方差和自相关时，是一致的。该矩阵是此处其中

18、Eviews按照Newey和West的建议，将q设定为注意：这两种HAC方法，都不影响系数的点估计，只是改变了系数的标准差和t统计量。意义：当异方差形式未知时，采取HAC的纠正可以得到更加可靠的t统计量，以便我们分析回归结果。Eviews实现。在options中选择Heteroskedasticity consistent covariance即可。请比较如下两个回归结果。Dependent Variable: LOG(X)Method: Least SquaresDate: 11/03/04 Time: 21:36Sample: 1929 1967Included observations:

19、 39VariableCoefficientStd. Errort-StatisticProb. C-3.9377140.236999-16.614880.0000LOG(L1)1.4507860.08322817.431370.0000LOG(K1)0.3838080.0480187.9930350.0000R-squared0.994627 Mean dependent var5.687449Adjusted R-squared0.994329 S.D. dependent var0.460959S.E. of regression0.034714 Akaike info criterio

20、n-3.809542Sum squared resid0.043382 Schwarz criterion-3.681576Log likelihood77.28607 F-statistic3332.181Durbin-Watson stat0.858080 Prob(F-statistic)0.000000Dependent Variable: LOG(X)Method: Least SquaresDate: 11/03/04 Time: 21:37Sample: 1929 1967Included observations: 39White Heteroskedasticity-Cons

21、istent Standard Errors & CovarianceVariableCoefficientStd. Errort-StatisticProb. C-3.9377140.252031-15.623940.0000LOG(L1)1.4507860.09446915.357220.0000LOG(K1)0.3838080.0548227.0009440.0000R-squared0.994627 Mean dependent var5.687449Adjusted R-squared0.994329 S.D. dependent var0.460959S.E. of regression0.034714 Akaike info criterion-3.809542Sum squared resid0.043382 Schwarz criterion-3.681576Log likelihood77.28607 F-statistic3332.181Durbin-Watson stat0.858080 Prob(F-statistic)0.000000你能得到什么结论？§3、自相关1、含义及影响影