计量经济学课件：第7章（多重共线性）

1、计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著1一、多重共线性的概念一、多重共线性的概念二、产生多重共线性的原因二、产生多重共线性的原因三、多重共线性对三、多重共线性对OLSOLS估计量的影响估计量的影响四、多重共线性现象的侦察四、多重共线性现象的侦察五、对多重共线性问题的补救五、对多重共线性问题的补救第第7 7章章 多重共线性多重共线性Multi-CollinearityMulti-Collinearity计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著27.1 7.1 多重共线性的概念多重共线性的概念 1.多重共线性的概念多重共线性的概念 对于模型 Yi=0+1X1i+2X2

2、i+kXki+i i=1,2,n其基本假设之一是解释变量是互相独立的。如果某两个或多个解释变量之间出现了相关性，则称为多重共线性(Multicollinearity)。计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著3 一、完全多重共线性一、完全多重共线性 如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中: ci不全为0，则称为解释变量间存在完全多重共线性（perfect multicollinearity）。 在矩阵表示的线性回归模型Y=X + 中，完全共线性完全共线性指：指：秩秩(X)k+1，即：中，至少有一列向量可由其他列向量（不包括第一列）线性表出。如X2=

3、kX1，则X2对Y的作用可由X1代替。knnnkkXXXXXXXXXX212221212111111计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著4注意：注意： 完全多重共线性的情况在经济学中并不多见，一般出现的是在一定程度上的共线性，即不完全的多重共线性。二、不完全多重共线性二、不完全多重共线性如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中ci不全为0，vi为随机误差项，则称为 不完全多重共线性或欠完全多重共线性（approximate multicollinearity）。计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著57.2.7.2.产生多重

4、共线性的原因产生多重共线性的原因 一般地，产生多重共线性的主要原因有以下四个方面： （1 1）经济变量相关的共同趋势）经济变量相关的共同趋势 时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。 横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。 （2 2）滞后变量的引入）滞后变量的引入 在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入），显然，两期收入间有较强的线性相关性。 计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著6（3 3）多

5、项式项的引入）多项式项的引入 如研究企业的成本与产量之间的关系时，往往在成本模型中引进产量的三次方，即：在这种模型中，解释变量之间可能存在一定程度的多重共线性。 （4 4）样本资料的限制）样本资料的限制 由于完全符合理论模型所要求的样本数据较难收集，特定范围内抽取样本可能存在某种程度的多重共线性。 进一步地讲，如果在实际应用中我们有足够多的样本，解释变量的多重共线性程度就会大大降低。这就再次说明，多重共线性本质上是样本问题。230112131iiiiiYXXXu计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著77.3 7.3 多重共线性对多重共线性对OLSOLS估计量的影响估计量的影响一

6、、完全多重共线性对一、完全多重共线性对OLSOLS估计量的影响估计量的影响1 1、完全共线性下参数估计量不确定的、完全共线性下参数估计量不确定的的OLS估计量为：如果存在完全共线性，则(XX)-1不存在，无法得到参数的估计量。2、参数估计量方差无穷大、参数估计量方差无穷大对于模型： ，其OLS估计量的方差为：XYYXXX1)(01122iiiiYXXu2122121var()(1)irx2222212var()(1)irx计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著8 在完全多重共线性下， 导致上面两式的分母都等于0，因此OLS估计量的方差和标准误都是无穷大。 二、不完全多重共线性下

7、二、不完全多重共线性下OLSOLS的后果的后果 不完全的多重共线性下，可以得到OLS参数估计量，但参数估计量方差的表达式为 由于|XX|0，引起(XX)-1主对角线元素较大，使参数估计值的方差增大，OLS参数估计量仍然是有效，但有效并不意味着方差的值较小。1.参数估计量的方差增大参数估计量的方差增大 以二元线性离差模型 ：y=1x1+2x2+ 为例:2212211rr12)()(XXCov计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著92221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX221211rxiX1与X2的线

8、性相关系数的平方r2，由于 r2 1，故 1/(1- r2 )1。在X1与X2为不完全多重共线性时，OLS估计量方差会很大，而且随着共线性程度增加，两个估计量的方差也将随之增大。因此，从这个角度看，解释变量具有不完全多重共线性时，OLS的估计量虽然仍具有最小方差性，但方差最小是相对其他的线性和无偏估计量而言。2.参数的估计精度较低参数的估计精度较低 当存在不完全多重共线性时，从上面已经知道，参数的OLS估计量方差较大，其标准误也就较大，从而使得参数估计量的精度较低。 计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著10 3.参数估计量经济含义不合理参数估计量经济含义不合理 如果模型中两个

9、解释变量具有线性相关性，例如 X2= X1 ，这时，X1和X2前的参数1、2并不反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响。1、2已经失去了应有的经济含义，于是经常表现出似乎反常的现象似乎反常的现象：例如1本来应该是正的，结果恰是负的。 在含两个解释变量的回归模型中， 的经济含义是：在X2保持不变的条件下，X1变化一个单位会导致被解释变量平均变化 个单位，显然如果两个解释变量存在较强的线性关系，则在保持X2不变的条件下，X1变化一个单位时，X2也会变化，因此， 不能正确度量解释变量X1单独对被解释变量的平均影响。111计量经济学，高教出版社，王少平、杨继生和欧阳志刚

10、等编著114. 4. 显著性检验的结论可能失效显著性检验的结论可能失效存在不完全多重共线性时参数估计值的方差与标准差变大容易使通过样本计算的t值小于临界值， 误导作出参数为0的推断可能将重要的解释变量排除在模型之外*注：使本来影响显著的变量变得不显著。或者更准确地说，在不完全多重共线性下，t检验更容易接受原假设。计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著125. OLS估计量及其标准误对样本数据微小变化较敏感估计量及其标准误对样本数据微小变化较敏感 以两个解释变量的回归模型为例，OLS估计量的方差和标准误都与解释变量之间的相关系数有关，而相关系数 的微小变化，都导致 的变化非常明显

11、，从而使标准误会发生显著变化。 如：当 由0.9增加到0.95时， 的值由10增加到20。212r2121/ (1)r212r2121/ (1)r计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著13总结：总结： 除非是完全多重共线性，否则多重共线性并不意味着任何基本假设的违背；也就是说，不完全的多重共线性并不违背经典假定； 因此，即使出现较高程度的多重共线性，OLS估计量仍然具有最佳线性无偏估计量的统计性质，即高斯-马尔科夫定理仍然成立； 问题在于问题在于，即使OLS法仍是最好的估计方法，它却不是“完美的”，尤其是在统计推断上无法给出真正有用的信息。因为，模型存在多重共线性时，OLS估计

12、量的方差会增大，因此，无论是参数的估计还是参数的统计推断都是不可靠的。计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著14 多重共线性表现为解释变量之间具有相关关系，所以用于多重共用于多重共线性的检验方法主要是统计方法线性的检验方法主要是统计方法。 1 1、相关系数法、相关系数法 (1)对两个解释变量的模型，采用对两个解释变量的模型，采用简单相关系数法简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则说明两变量存在较强的多重共线性。经验表明，当r的值大于或等于0.8时，说明存在多重共线性。 (2)对多个解释变量的模型，对多个解释变量的模型，采用相关系数矩阵法，采用相关系数

13、矩阵法，但是相关系数矩阵法是存在多重共线性的充分条件而不是必要条件。尤其在多于两个解释变量的回归模型中，有时较低的简单相关系数也意味着可能存在比较严重的多重共线性，因此仅利用相关系数来判断是否存在多重共线性，有时不能准确判断多重共线性的严重程度。7.4 7.4 对多重共线性现象的侦察对多重共线性现象的侦察计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著15计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著162 2、辅助回归法、辅助回归法 利用模型中每一个解释变量分别以其余解释变量为解释变量进行回归，并计算相应的拟合优度。 如果某一种回归 的判定系数判定系数较大，说明Xj与其他X间存

14、在共线性共线性。判别的标准是回归模型是否通过F检验。 具体可进一步对上述回归方程作具体可进一步对上述回归方程作F检验，检验，构造如下F统计量 式中：Rj2为第j个解释变量对其他解释变量的回归方程的判定系数， 若存在较强的共线性，则Rj2较大且接近于1，这时（1- Rj2 ）较小，从而Fj的值较大。因此，给定显著性水平，计算F值，并与相应的临界值比较，来判定是否存在相关性。11221111.jjjjjkkXcXXXXX) 1, 2() 1/()1 ()2/(2.2.knkFknRkRFjjj计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著17计量经济学，高教出版社，王少平、杨继生和欧阳志刚

15、等编著18计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著19计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著20计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著21 3.3.根据回归结果来判断根据回归结果来判断（1）对于原始的多元回归模型，当增加、剔除或者改变一个变量的观测值(不是异常值)时，回归参数的估计值和标准误发生较大变化，据此可以判断回归方程可能存在严重的多重共线性。这是因为数据的微小变化，引起了解释变量之间的相关关系发生明显变化，从而导致回归系数的估计值和标准误发生较大变化(如果不理解，看看本章第三节内容)。因此，在实证研究中，由于样本数据发生的微小变化而对估计结

16、果产生较大影响，隐含着模型中可能存在严重的多重共线性。（2）在回归方程中，一些理论上显著的重要解释变量的回归系数的标准误较大，t 统计量值较小而不能拒绝原假设，同时 又很高(或F检验能显著拒绝原假设)，这种情况可初步判断存在严重的多重共线性。 2R计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著22 上式的第一行是对应参数估计值的t统计量，第二行是对应的t检验的p-值。从回归结果来看，当显著性水平为5%时，所有参数OLS估计量的p值都大于0.05，说明t检验的结论是都不能拒绝原假设。而从模型的F检验来看，F统计量的p值是0，说明模型是显著成立的，同时R2很高(=0.97)。综上所述，如果

17、按照t检验的结果，所有的解释变量对被解释变量的影响是不显著的，而按照F检验的结果，模型又具有总体显著性。也就是说，t检验的结果和F检验的结果相互矛盾，这种矛盾的根源在于多元线性回归模型存在严重的多重共线性现象。在例7.1中，利用Eviews6.0对模型进行估计，估计的结果如下：计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著23（3）如果有些解释变量的回归系数的符号与经济原理相违背，这种现象表明很可能存在多重共线性。我们在前面已经说明，多重共线性可能扭曲了参数的经济含义。4.方差膨胀因子方差膨胀因子(VIF)检验检验 对于多元线性模型，解释变量 的参数估计值 的方差可以表示为：其中 是

18、的方差膨胀因子，即： 是第j个解释变量与其它所有解释变量回归时的判定系数， 经验表明：当方差膨胀因子大于10时，认为存在严重的多重共线性。jXj222221()1jjjjjVarVIFxRxjVIFjX211jjVIFR2jR计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著24 在例7.1中，在上面辅助回归的基础上，可以直接得到各个解释变量的方差膨胀因子，分别是 VIF18.176 ；VIF2=48.41；VIF3=15.42；VIF4=39.281;；VIF5=105.03 除了第一个解释变量的VIF小于10以外，其余四个解释变量的VIF都大于10，说明模型存在严重的多重共线性。计量经

19、济学，高教出版社，王少平、杨继生和欧阳志刚等编著25 1. 剔除变量法剔除变量法这是消除多重共线性最简单的一种方法。当回归方程中存在严重的多重共线性，可以删除引起多重共线性的解释变量。以辅助回归模型(7.4.1)为例，通过F检验发现变量Xj是其他解释变量的近似的线性组合，一个最为简单的方法是在回归模型中去掉变量Xj。这种去掉变量的方法可以持续下去，直到所有的辅助回归模型都不能通过F检验为止。注意：注意：根据经济理论建立的回归模型，去掉某些解释变量会导致模型的设定误差，从而使参数的OLS估计产生偏误，因此在使用该方法时要慎重。 7.5 7.5 对多重共线性问题的补救对多重共线性问题的补救计量经济

20、学，高教出版社，王少平、杨继生和欧阳志刚等编著262.增大样本容量增大样本容量 造成多重共线性的直接原因是参数OLS估计量的标准误增大，因此如何减小因多重共线性导致OLS估计量的标准误是解决多重共线性问题的目的之一。我们知道，增加样本容量，可以提高回归参数的估计精度，即可以导致回归参数的方差和标准误减小，t检验值也随之增大，因此尽可能地收集足够多的数据可以改进模型参数的估计，提高参数估计的精度和假设检验的有效性。3.变换模型形式变换模型形式 将原设定的模型形式作适当的变换，可以有效地消除或减弱原模型中解释变量之间的相关性，从而减弱多重共线性的影响。一般的变换方式包括：变换模型的函数形式，如把线

21、性模型变换为对数模型等；变换模型的变量形式，如差分变换和对变量做对数变换等。以差分变换为例，对变量进行差分可以减弱多重共线性，因为增量之间的相关性往往要低于水平值之间的相关性。 差分变换的缺陷是丢弃了X、Y变量水平值之间的数量关系。计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著274.逐步回归法逐步回归法 逐步回归法逐步回归法是指在选择变量时，遵从“由少到多”的原则，即从所有解释变量中间先选择影响最为显著的变量建立模型，然后再将模型之外的变量逐个地引入；每引入一个变量，就对模型中所有解释变量进行显著性检验，并从中剔除不显著变量；逐步引入-剔除-引入，直到模型之外所有变量均不显著。 具体步骤：具体步骤：先利用相关系数从所有解释变量中选取相关性最强的变量建立模型；然后在一元回归模型中引入第二个变量，第三个变量，选择原则是：每个解释变量影响显著、参数符号正确、修正的判定系数 有所提高。2R计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著28计量经济学，高教出版社，王少平、杨继生和欧阳志刚等编著29计量经