第6章多重共线性

1、浙江财经学院 倪伟才1第6章 多重共线性一.多重共线性概念概念（multi-collinearity）1.多元线性回归模型的矩阵形式：y=x +，其中x是设计矩阵，它的基本假设是rank(x)=p+1n,该假设的理由：为什么等于p+1; 为什么p+1n,而不是p+1=n ？2.多重共线性的两种情况（1）完全多重共线性（perfect multi-collinearity ）： 若存在不全为0的(p+1)个数，c0,c1,c2,cp,使得c0+c1x1+c2x2+cp xp =0,则x1，x2， xp 之间存在完全多重共线性（1）近似完全多重共线性(less than multi-colline

2、arity)：如果存在不全为0的(p+1)个数，c0,c1,c2,cp,使得c0+c1x1+c2x2+cp xp 0,（或c0+c1x1+c2x2+cp xp +v=0 ,其中v为随机误差项。）则x1，x2， xp 之间存在近似完全多重共线性浙江财经学院 倪伟才2(3)二者的区别a.完全多重共线性:取x0=1, c0 x0+c1x1+c2x2+cp xp =0,如c10，则x1= - c0 x0 /c1-c2x2 /c1-cp xp /c1 说明 x1 和其它变量有准确的线性关系；或能从其它变和其它变量有准确的线性关系；或能从其它变量的线性组合推出量的线性组合推出 x1 和方程右边线性组合的相

3、关系数1b.近似完全多重共线性： c10，则x1= -c0 x0 /c1-c2x2 /c1-cp xp /c1 v/ c1 说明： x1 不是其它变量的一个准确的线性组合，因为它还决定于随机误差项v.例：x1=10 ,15 ,18, 24,30.利用软件spss的compute 产生x2=5*x1, 及产生x3=x2+ uniform（10), 说明二者区别。浙江财经学院 倪伟才3statainput x11015182430endgen x2=5*x1gen x3=x2+uniform()*10list x1 x2 x3corr x1 x2 x3浙江财经学院 倪伟才4课堂练习设x1,x2为解

4、释变量，则完全多重共线性的是（ ）a、 b、c、 d、02121xx021xex)( , 02121为随机误差项vvxx021xex浙江财经学院 倪伟才5二、产生多重共性的背景背景例1：y=0+1x1+2x2 ，y表示电力消费，x1表示收入，x2表示住房面积。 x1和x2存在多重共线性（实质上是较强的相关性）：收入越高，住房面积较大；收入越低，住房面积较小。例2. y=0+1x1+2x2+ 3x3 ， y表示粮食产量， x1表示施肥量， x2表示灌溉面积， x3表示农业资金的投入。 x3和x1，x2存在多重共线性：资金的投入主要用于购买化肥和开发水利。例3.在医学研究中，在少量的病人上，收集了

5、大量解释变量的信息。浙江财经学院 倪伟才6三.多重共线性的后果后果 完全多重共线性完全多重共线性的后果：回归参数的估计值不能确定，而且它们的标准误是无穷大； 近似完全多重共线性近似完全多重共线性的后果：虽然回归参数的估计值可以确定，但是有较大的标准误，不理想。下面用二元线性回归模型y=0+1x1+2x2+的数学公式推倒来说明它们的后果。浙江财经学院 倪伟才71：随着共线性增强，估计值的方差变大221111212222,iiiilxlx xlx记1122yx1,x20 yxx假设 与都已经，此时回归常数项为 ，回归方程为：中心化浙江财经学院 倪伟才822121211122122111212)()

6、()ov(rx2x1,llllxxxxclll的协方差阵为：之间的相关系数为：则221212112212212111122122212212111122112111(1)()llllx xlllll llllx xlll lr22212222121211vvar()(1)ar()(1)rrll浙江财经学院 倪伟才92：估计值不能确定i1122yx1,x20 yiixx假设 与都已经，此时回归常数项为 ，回归方程为：中心化2122121222121222111222221212i2122111i112211222()()()()()()()()()()()()()()x(0)()()()(x )

7、()()(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiy xxy xx xxxx xy xxy xx xxxx xxy xxy xxxx假设则22120)0i类似。浙江财经学院 倪伟才103：估计值的解不唯一i2i1i1122i11211211i11221121xxy y()xiiiiiiiixxxxxxolseyx 可唯一地估计出，却无法唯一地估计将代入其中由，：浙江财经学院 倪伟才11小结：完全多重共线性的后果完全多重共线性的后果：参数估计值不能确定；1的意义：保持x2 不变的情况下，x1每变化1个单位，y的平均变化，但x1和x2存在完全共线性，就没有任何办法能保持x2不变

8、：理由是x1变化1个单位，x2将变化个单位，意味着不能从所给的样本中把x1,x2对y的影响分开来。简而言之简而言之，x1和x2是不可能区分，而在实际中要求知道每个解释变量x1,x2各自对y的影响。具有破坏性！ 具体联系实事具体联系实事!若利用x2=x1，将二元模型转化一元模型，只有1条方程，但却有两个未知数 ，故0，1，的解不唯一，即不能确定！标准误是无穷大浙江财经学院 倪伟才122.近似完全多重共线性的后果将x2=x1+v代入1说明x2,x1共线性程度越高，即v越趋于0，从而1 趋于不确定。var(1 )会增大；参数显著性检验的t统计量：t= 1 / var(1 ) (1/2) ,存在共线时

9、，var(1 )会增大，t值会变小。对于给定,当|t|0.9999时，自变量xj将被自动拒绝在回归方程之外，除非修改容忍度的默认值。浙江财经学院 倪伟才18例题讲解例3.3多重共线性的判断。（vif）1通过辅助回归计算x1的vif练习：计算x2的vif2:直接产生vif3:考虑x1,x2的偏相关系数:0.9776浙江财经学院 倪伟才19stata相关命令请参考数据：消费和收入财富的多重共线性.dtareg y x1 x2reg y x1 x2vifvif variable | vif 1/vif -+- x1 | 482.13 0.002074 x2 | 482

10、.13 0.002074-+- mean vif | 482.13浙江财经学院 倪伟才20特征根的分析根据行列式的性质：矩阵的行列式等于其特征根的连乘。当存在多重共线性时，行列式|xx|0，矩阵xx至少有一个特征根近似为零。反之，当矩阵xx至少有一个特征根近似为零时，x的列向量间必存在多重共线性，下面给出证明！浙江财经学院 倪伟才21特征根的证明00c, 0cc,c0cc),(c0),(110010i10ppppxcxcxcxxxxxcccxxxxxxxx即从而得：上式两边左乘特征向量，则是对应于特征根的单位，根，的一个近似为零的特征是矩阵的列向量。为其中结论结论：用矩阵xx的特征根来研究多重

11、共线性，矩阵xx有多少个特征根接近于0，设计矩阵x就有多少个多重共线性关系。浙江财经学院 倪伟才22条件指指数(condition index)为了确定特征根近似于0的标准，引进了条件数。记矩阵xx的最大特征根为1，称为特征根为i的特征根。判断标准：k100，严重的多重共线性；10 k100,较强的多重共线性； 0 k10，认为没有多重共线性。1iik浙江财经学院 倪伟才23方差比例表例3.3多重共线性的判断。浙江财经学院 倪伟才24stata: 例3.3.dtareg y x1 x2 x3 x4 x5vif variable | vif 1/vif -+- x1 | 1968.90 0.00

12、0508 x2 | 1749.89 0.000571 x4 | 55.47 0.018029 x5 | 24.95 0.040077 x3 | 3.15 0.317365-+- mean vif | 760.47浙江财经学院 倪伟才25condcollincollin x1 x2 x3 x4 x5(obs=16) collinearity diagnostics sqrt r- variable vif vif tolerance squared- x1 1968.90 44.37 0.0005 0.9995 x2 1749.89 41.83 0.0006 0.9994 x3 3.15 1.7

13、8 0.3174 0.6826 x4 55.47 7.45 0.0180 0.9820 x5 24.95 5.00 0.0401 0.9599- mean vif 760.47浙江财经学院 倪伟才266.4 消除多重共线性的方法 对多重共线性的两点认识认识：在实际中，多重共线性是一个程度问题而不是有无的问多重共线性是一个程度问题而不是有无的问题，有意义的区分不在于有和无，而在于多重共线性的程题，有意义的区分不在于有和无，而在于多重共线性的程度。度。多重共线性是针对固定的解释变量而言，是一种样本的特征，而非总体的特征。消除多重共线性的方法：1.增加样本容量二元线性回归模型 y=0+1x1+2x2

14、 +，var(1)=2/x1i2 (1-r122), var(2)=2/x2i2 (1-r122),n； x1i2 ，x2i2 ； var(1)， var(2)。部分消除多重共线性对方差的影响。2.利用先验信息改变参数的约束形式例：柯布道格拉斯生产函数浙江财经学院 倪伟才27 已知x2 和x3 之间高度共线。根据先验信息，确定3=22，带入模型后可得：。和可得到估计方程设变量23221323221322212),2()2(2iiiiiiiiiiiiiuzyxxzuxxuxxy 例如：c-d生产函数 ，k与l高度相关。已知规模收益不变，则+=1。生产函数的双对数模型可变为：kaly uklakyuklayln)ln(lnln)1 (ln)ln(ln整理，可得： 可以对这一新回归方程进行估计。2、利用先验信息 假定对回归模型：iiiiuxxy33221浙江财经学院 倪伟才283.删除不必要的解释变量：y=0+1x1+2x2+ 3x3+ ， y表示粮食产量， x1表示施肥量， x2表示灌溉面积， x3表示农业资金的投入。可删除x3!4.其它方法：逐步回归法，岭回归（ridge regression）,主成分