义多重共线性

1、补充内容：多重共线性“多重共线性” 一词由R. Frisch 1934年提出，它原指模型的解释变量间存在线性关系。1. 非多重共线性假定rk (X ' X ) = rk (X ) = k .解释变量不是完全线性相关的或接近完全线性相关的。rxi xj -1, rxi xj不近似等于1。就模型中解释变量的关系而言，有三种可能。(1) rxi xj = 0 ,解释变量间毫无线性关系，变量间相互正交。这时已不需要多重回归，每 个参数-j都可以通过y对为的一元回归来估计。(2) rxi为=1，解释变量间完全共线性。此时模型参数将无法确定。直观地看，当两变 量按同一方式变化时，要区别每个解释变量

2、对被解释变量的影响程度就非常困难。(3) 0 < rxi xj < 1，解释变量间存在一定程度的线性关系。实际中常遇到的是这种情形。随着共线性程度的加强，对参数估计值的准确性、稳定性带来影响。因此我们关心的不是有 无多重共线性，而是多重共线性的程度。2. 多重共线性的经济解释(1) 经济变量在时间上有共同变化的趋势。如在经济上升时期，收入、消费、就业率等 都增长，当经济处于收缩期，收入、消费、就业率等都下降或增长率下降。当这些变量同时 做解释变量就会给模型带来多重共线性问题。(2) 解释变量与其滞后变量同作解释变量。3. 多重共线性的后果(1) 当沁=1 , X为降秩矩阵，则(X

3、X) -1不存在，？= (X 'X)-1 X 'Y不可计算。(2) 若r沁I韵，即使rxi力一.1 , ?仍具有无偏性。E( ?) = E( X 'X)-1 X 'Y = E( X 'X) -1X '(X 1 + u) = + (X 'X)-1X ' E(u)= <(3) 当rx xj -1时，X 'X接近降秩矩阵，即 X 'X - 0, Var( ?) = c2 (X 'X)-1变得很大。 所以？丧失有效性。以二解释变量线性模型为例， 当rxi xj = 0.8时，Var( ?)为rxi xj =

4、0时？方 差的 2.78 倍。当 rxi x = 0.95 时，Var( ?)为 rxi xj = 0 时的 10.26 倍。4. 多重共线性的检验(1) 初步观察。当模型的拟合优度(可决系数，R 2)很高，F值很高，而每个回归参数 估计值的方差Var(l)又非常大，即t值很低时，说明解释变量间存在多重共线性。(2) Klein判别法。计算多重可决系数R2及解释变量间的简单相关系数Q沪若有某个rxi凶> R2,贝U人,为间的多重共线性是有害的。(3) 此外还有其他一些检验方法，如主成分分析法等，很复杂。5. 多重共线性的克服方法，逐步回归法(1)用被解释变量对每一个所考虑的解释变量做简单

5、回归。(2)以对被解释变量贡献最大的解释变量所对应的回归方程为基础，以对被解释变量贡献大小为顺序逐个引入其余的解释变量。这个过程会出现3种情形。若新变量的引入改进了R2,且回归参数的t检验在统计上也是显著的，则该变量在模型中予以保留。若新变量的引入未能改进R2,且对其他回归参数估计值的t检验也未带来什么影响，则认为该变量是多余的，应该舍弃。若新变 量的引入未能改进 R2,且显著地影响了其他回归参数估计值的符号与数值，同时本身的回 归参数也通不过t检验，这说明出现了严重的多重共线性。舍弃该变量。（2）利用先验信息，合并高度相关的解释变量，从而减少解释变量个数，达到消除多 重共线性的目的。案例：中

6、国电信业务总量的计量模型（文件：coli ne2）经初步分析，认为影响中国电信业务总量变化的主要因素是邮政业务总量（Xi）、中国人口数（X2）、市镇人口占总人口的比重 （X3）、人均GDP（ x ）、全国居民人均消费水平 （X5）。 所得数据见附表。403020104030201011.411.611.812.012.212.412.6403020100YX30.270.280.290.300.310.26LOG( Y)X1321LOG( Y)X21. 411. 611. 812. 012. 212. 412LOG( Y)X30.2 60.2 70.2 80.2 90.3 00. 3404YL

7、OG(Y)30 _3 _420 2 L10 _1 -*0 _irj.X4ii0X440LOG(Y)30201000.51.01.52.02.53.0X53.5X5用1991-1999年数据建立中国电信业务总量计量经济模型如下,Ln y = 24.94 + 2.16 X1 -3.03 X2 + 33.7 X3 + 1.29 X4 - 2.03 xs(0.6)(1.6)(-0.8)(1.0)(1.5)(-1.2)2R = 0.99, F = 106.3, DW = 3.4, T = 9, (1991-1999),t°.05 =3.18,D即endent Variable: LOG(Y)M

8、ethod: Least SquaresDate: 03/12TO Time： 14:17Sample: 1991 1999Included observations: 9VariableCoefficient Slid. Error t-Stalistic ProbX1X2X3X4X5249366038.452070.6485110.56292.1636311.3523221.5999380.20793.0345513.986712-0.7B11660 5019337133332.939431.0234950.39141,2888600.8340691.5452670.2200-2 0271

9、911.664341-1.218014.3103R-squred0.994355Mean dependent var2013502Adjusled R-squared0 985027S.D. deperide nt var1.018022S.E of regression0.124570Akaike info criterior-3.931056Sumresid0 046553Schwarz criterion-3,799573Log likelihood10.91930F<statistic106.2583Durbin-Watson stat3.408677Prob(F-statist

10、ic)0 001421R2 = 0.99，但每个回归参数的t检验在统计上都不显著（估计量的方差变大所致），这说明模型中存在严重的多重共线性。下面用Klein判别法进行分析。首先给出解释变量间的简单相关系数矩阵。因为其中有 一个简单相关系数大于R 2 = 0.9944，所以根据Klein判别法，模型中存在严重的多重共线性。x10.98331.0000x20.99380.98951.0000x30.98750.97000.98821.0000x40.98200.96280.98720.96781.0000x50.98150.97030.98880.96540.9986Ln(y)X1Ln(y)1.0

11、000X2X3X4X51.0000用逐步回归法筛选解释变量。 ( 1)用每个解释变量分别对被解释变量做简单回归，以可决系数为标准确定解释变量的重要程度，为解释变量排序。Ln y =- 0.34 + 206 XiR2 =(- 2.i) (i4.3)0.9668,F= 204, T = 9Ln y =- 33.26 - 29i X2R2 =(- 22.2) (23.6)0.9875,F= 555, T = 9Ln y =- i8.46 + 7075 X3R2 =(- i4.9) (i6.6)0.9752,F= 275.5, T = 9Ln y =- 0.49 + 0.56 X4R2 =(- 2.5

12、) (i3.8)0.9644,F= i89.7, T = 9Ln y =- 0.42 + i.i6 X5R2 =(- 2.i) (i4.3)0.9633,F= i83.5, T = 9解释变量的重要程度依次为X2, X3, Xi, X4, X5。(2)以 Ln y = - 33.26 - 291 x2 为基础，依次引入X3, Xi, X4, X5。首先把X3引入模型，Ln y = - 29.9 - 2024 x2 + 16.76 x32(- 6.9) (2.7)(0.8)R2 = 0.988, F = 265.5, T = 9因为X3的引入使各回归系数的t值下降，同时X3的系数也未通过t检验，

13、所以应剔除X3。接着把 X1 引入模型 ，Ln y = -33.37(- 3.2)-2.92 X2(3.2)-0.007 Xi(-0.0i)R2= 0.9875, F= 237.9, T= 9同理剔除Xi 引入X4Ln y = -3i.94-2.79 X2+ 0.022 X4(- 3.4)(3.3)(0.i4)R2 =0.9876, F =238.7, T =9同理剔除X4引入X5Ln y = -3i.94-2.79 X2+ 0.022 X5(- 3.4)(3.3)(0.i4)R2 =0.9876, F =238.7, T =9同理剔除X5,最后确定的模型是Ln y = - 33.26 - 2

14、91 X2 2(- 22.2) (23.6)R2 = 0.9875, F = 555, T = 9或者用解释变量之间相关系数值最小的Xi和X4同做解释变量与Ln y回归，得Ln y = - 0.48 -1.08 Xi + 0.28 X42(- 3.4)(2.7)(2.5)R2 = 0.98, F = i84, T = 9(2)已知10年间平均X5= 0.4676X4, X3 =0.2893 X2,可以考虑将X5、X合并，x?、X3合并。得新变量，zi = X5+X4 =0.4676 X4+X4 = i.4676X4，z2 = X2+X3 =X2 + 0.2893X2=i.2893 X2。用Ln

15、 y对zi, Z2回归，R2 = 0.9876, F = i84, T = 9Ln y = - 3i.9444 + 2.i697 zi + 0.0i57 z2(- 3.4)(3.3)(0.i)Z2的系数没有显著性。实际上zi, Z2仍然高度相关，R（zi, Z2）= 0.9871。近似等于可决系数。剔除Z2，再次回归，得Ln y = - 31.2573 + 2.2604 zi（-22.2）（23.6）R2 = 0.9876, F = 184, T = 9这时回归系数呈高度显著性，可决系数也没有出现明显降低。Dependent Variable: LOG(Y)Method: Least Squa

16、resDate: 11JO7A12 Time: 09:13Sample: 1991 1999Included observations: 9VariableCoeificientStd. Error t-StatisticProb.C-33.257321.497494-22.208650.00001 2893-X22.2604250.09593623 561840 0000R-squared0.987548Mean dependent var2.013502Adjusted R-squared0.985769S.D, dependent var1.018022S E. of regressio

17、n0.121443Akaiike info criterion-1 185615Sum squared resid0103239Schwar； ciriterion-1.141787Log likelihood7.335268F-statistic555 1601Durbin-Watson stat1.690478Prob(F-statistic)0.000000表11991-1999年中国电信业务总量数据年电信业务总量 y （百亿元）邮政业务总量X1 （百亿元）中国人口数X2 （亿人）市镇人口比重X3人均GDPX4 （千元）人均消费水平X5 （千元）19911.51630.527511.58

18、230.26371.8790.89619922.26570.636711.71710.27632.2871.07019933.82450.802611.85170.28142.9391.33119945.92300.958911.98500.28623.9231.74619958.75511.133412.11210.29044.8542.236199612.08751.332912.23890.29375.5762.641199712.68951.443412.36260.29926.0532.834199822.64941.662812.48100.30406.3072.972199931

19、.32381.984412.59090.30896.5343.143资料来源：中国统计年鉴2000用EViews求相关系数矩阵有两种方式可以求相关系数矩阵。（1）点击 Quick 键并依次选择 Group Statistics, Correlations，Qui* OQtions Window HelpSample. Generate Series， show.Graphs,.Erripty Group (Edit Series)Series StatisticsGroua Statistics!Descriptive Statistics CovariancesEstimate Equati

20、on.Estimate 护R CotrelationsCross CorrelogramCointegraton Test Granger Causality Test将出现一个要求填写序列名的对话框(Series List),填好序列名后按 0K。可得。(2)在Workfile窗口中用鼠标选中序列名，点击Show键，0K键，从而打开数据组(Group)窗口。在数据组窗口点击View键选择Correlations。)roup: UNTITLED Workfile: C0LINE2Group Members|Nsrne J FreezeEdi t+/ | Smpl+/- IlikEtel | Tran?SpreadsheetX1X2X3£ated Data Table0.52750011.582300.263700Graph0,63670011.717100.276300Multiple Graphs0.80260011.851700.2S1400Descriptive Sta 出Tests of Equality.N-Way Tabulation, h.0.95890011.995000.2862001 13340012.112100.2904001,33290012.238900.2937001.