第七章多重共线性

1、第七章第七章 多重共线性多重共线性一、关于多重共线性对于模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n其基本假设之一是解释变量是互相独立的。如果某两个或多个解释变量之间出现了相关性，则称为多重共线性(Multicollinearity)。如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中: ci不全为0，则称为解释变量间存在则称为解释变量间存在完全共线完全共线性性（perfect multicollinearity）。如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中ci不全为0，vi为随机误差项，则称为 近似共近似共线性线性（a

2、pproximate multicollinearity）或交互相关交互相关(intercorrelated)。注意：注意： 完全共线性的情况并不多见，一般出现的完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。是在一定程度上的共线性，即近似共线性。（1）多重共线性的性质是什么？（2）多重共线性存在的原因及后果怎么样？（3）在实际中，如何去发现多重共线性？（4）消除多重共线性的补救措施有哪些？例如在市场对鸡肉的需求模型中：011223344iiiiiiYXXXXuYi为鸡肉的平均需求量；X1为人均支配收入； X2为鸡肉的价格； X3 ，X4分别为猪肉和牛肉的价格。以两个

3、解释变量X1，X2的线性回归模型来考察多重共线性的问题 1、参数的估计（1）X1，X2是完全线性相关的，即二者的相关系数为1，则回归分析不能进行。 7.1 多重共线性的性质多重共线性的性质（2）若X1，X2高度相关，r很大，接近于1，但只要不完全相关，则r 21，也就是1和2的估计值是存在的。多重共线性是一个程度问题若解释变量两两之间完全不相关，则不存在该问题；若其中部分解释变量之间完全相关，则根本不能用OLS进行回归；若解释变量之间存在一定程度的线性关系，则是本章所要解决的多重共线性的问题。 2.参数的方差因为估计值的方差为：22212221212()()iiiiixVarxxx x 221

4、22221212()()iiiiixVarxxx x 显然偏回归系数的估计值的方差与解释变量之间相关程度成同方向变化。当X1与X2完全相关时方差为无穷大，完全不能回归 ；相关性越强，分母越趋近于0一、多重共线性存在的原因一、多重共线性存在的原因1.经济变量之间固有的内在联系经济变量之间固有的内在联系，比如以生产函数为例：7.2 多重共线性存在的原因及后果多重共线性存在的原因及后果 YAK LY是产值，解释变量是资金K与劳动力L资金规模和劳动力规模之间有着内在的联系截面数据中的多重共线性，多半是由经济变量之间的内在联系所产生的。 2.经济变量在时间上有同方向变动的趋势。经济变量在时间上有同方向变

5、动的趋势。 例如，经济繁荣时期，许多经济变量，如收入、消费、储蓄、投资、就业等都随着时间而趋向增长； 而在经济衰退时期，这些经济变量都趋向下降。在时间序列数据中，增长因素或趋向因素是造成多重共线性的主要原因。3.将某些解释变量的滞后值作为单独的新解释将某些解释变量的滞后值作为单独的新解释变量包含在模型中。变量包含在模型中。 例如，在消费函数中，解释变量除了包含现期收入水平外，还包含上期的收入水平，而现期收入的一部分一般由前期值决定。 例如，投资函数中常常包含现期的期望产量和过去若干期的产量，作为解释变量。 这类含有变量滞后值的模型称为滞后模型滞后模型，变量的前后期之值自然是相互关联的。几乎可以

6、肯定滞后模型中是存在多重共线性的滞后模型中是存在多重共线性的。4.样本资料的限制样本资料的限制由于完全符合理论模型所要求的样本数据较难收集，特定样本可能存在某种程度的多重共线性。 一般经验一般经验： 时间序列数据时间序列数据样本：简单线性模型，往往存在多重共线性。 截面数据截面数据样本：问题不那么严重，但多重共线性仍然是存在的。二、多重共线性的后果二、多重共线性的后果（一）完全共线性下的后果（一）完全共线性下的后果1.参数估计值不确定2.参数估计值的方差无限大（二）不完全多重共线性下的后果（二）不完全多重共线性下的后果 1.多重共线性的理论后果(1) 无偏性是一个重复抽样的性质。(2) 普通最

7、小二乘法估计量的方差最小，并不意味着在任何给定的样本中普通最小二乘法估计量的方差会很小。 （3）多重共线性本质上是一个样本(回归)现象。二、多重共线性的后果二、多重共线性的后果（一）完全共线性下的后果（一）完全共线性下的后果1.参数估计值不确定2.参数估计值的方差无限大（二）不完全多重共线性下的后果（二）不完全多重共线性下的后果 1.多重共线性的理论后果(1) 无偏性是一个重复抽样的性质。(2) 普通最小二乘法估计量的方差最小，并不意味着在任何给定的样本中普通最小二乘法估计量的方差会很小。 （3）多重共线性本质上是一个样本(回归)现象。2.实际后果实际后果（1）OLS的回归系数方差和标准差较大

8、，且与解释变量之间的线性相关呈同向变化。即虽即虽然然OLS估计式仍然是无偏估计，但这时估计估计式仍然是无偏估计，但这时估计式的方差会随共线性程度的提高而增大。式的方差会随共线性程度的提高而增大。如果估计量的标准差增加了，普通最小二乘法估计量的精确度就下降了。参数估计的精确性降低了，因而不能正确判断各种解释变量对被解释变量的影响的大小。 仍以二元线性模型 y=1x1+2x2+ 为例: 2221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX221211rxi2221221)(iiiixxxx恰为X1与X2的线性相关系数的平方r2由于

9、 r2 1，故 1/(1- r2 )1多重共线性使参数估计值的方差增大重共线性使参数估计值的方差增大，1/(1-r2)为方差膨胀因子方差膨胀因子(Variance Inflation Factor, VIF)当完全不共线完全不共线时, r2 =0 2121/)var(ix当近似共线近似共线时, 0 r2 15.19，故认上述粮食生产的总体线性关系显著成立。 但X4 、X5 的参数未通过t检验，且符号不正确，故解释变量间可能存在多重共线性解释变量间可能存在多重共线性。54321028. 0098. 0166. 0421. 0213. 644.12816XXXXXY (-0.91) (8.39)

10、(3.32) (-2.81) (-1.45) (-0.14) 2 2、检验简单相关系数、检验简单相关系数 发现：发现： X1与X4间存在高度相关性。列出X1，X2，X3，X4，X5的相关系数矩阵：X1X2X3X4X5X11.000.010.640.960.55X20.011.00-0.45-0.040.18X30.64-0.451.000.690.36X40.96-0.040.691.000.45X50.550.180.360.451.00 3 3、找出最简单的回归形式、找出最简单的回归形式 可见，应选可见，应选第第1 1个式子个式子为初始的回归模型。为初始的回归模型。分别作Y与X1，X2，X

11、4，X5间的回归：1576. 464.30867XY (25.58) (11.49) R2=0.8919 F=132.1 DW=1.562699. 018.33821XY (-0.49) (1.14) R2=0.075 F=1.30 DW=0.124380. 00 .31919XY (17.45) (6.68) R2=0.7527 F=48.7 DW=1.115240. 219.28259XY (-1.04) (2.66)R2=0.3064 F=7.07 DW=0.36 4 4、逐步回归、逐步回归 将其他解释变量分别导入上述初始回归模型，寻找最佳回归方程。CX1X2X3X4X52RDWY=f(

12、X1)308684.230.88521.56 t 值25.5811.49Y=f(X1,X2)-438714.650.670.95582.01t 值-3.0218.475.16Y=f(X1,X2,X3)-119785.260.41-0.190.97521.53t 值0.8519.63.35-3.57Y=f(X1,X2,X3,X4)-130566.170.42-0.17-0.090.97751.80t 值-0.979.613.57-3.09-1.55Y=f(X1,X3,X4,X5)-126905.220.40-0.200.070.97981.55t 值-0.8717.853.02-3.470.37

13、 回归方程以回归方程以Y=f(Y=f(X1，X2，X3) )为最优：为最优： 5 5、结论、结论32119. 041. 026. 511978XXXY 严格地说，实际模型由于总存在一定程严格地说，实际模型由于总存在一定程度的共线性，所以每个参数估计量并不度的共线性，所以每个参数估计量并不 真正反映对应变量与被解释变量之间的真正反映对应变量与被解释变量之间的结构关系。结构关系。 当模型存在共线性，将某个共线性变量去当模型存在共线性，将某个共线性变量去掉，剩余变量的参数估计结果将发生变化，掉，剩余变量的参数估计结果将发生变化，而且经济含义有发生变化；而且经济含义有发生变化；7.1 什么是经济变量之间的多重共线性？试举例说明。7.2 多重共线性的实际后果是什么？7.3 什么是方差膨胀因子？VIF的最小可能值和最大可能值分别是多少？ 思考题 7.6 补全下列各句话。（1）在存在接近多重共线性的情况下，回归系数的标准差会趋于 而t值会趋向于 。 （2）在存在完全多重共线性的情况下，普通最小二乘估计量是 ，其方差 。 （3）在其他情况不变条件下，VIF越高，则普通