第10讲多重共线性

1、第十讲第十讲 多重共线性多重共线性(Multicollinearity)一、多重共线性及其产生的原因一、多重共线性及其产生的原因二、多重共线性的影响二、多重共线性的影响三、多重共线性的检验三、多重共线性的检验四、多重共线性的克服和处理四、多重共线性的克服和处理第一节第一节 多重共线性及其产生的原因多重共线性及其产生的原因一、多重共线性一、多重共线性 多元线性回归模型要求解释变量之间不存在线性关系，包多元线性回归模型要求解释变量之间不存在线性关系，包括严格的线性关系和高度的近似线性关系。括严格的线性关系和高度的近似线性关系。 但事实上由于模型设定和数据等各方面的问题，模型的解但事实上由于模型设定

2、和数据等各方面的问题，模型的解释变量之间很可能存在某种程度的线性关系。这时候称多元线释变量之间很可能存在某种程度的线性关系。这时候称多元线性回归模型存在多重共线性性回归模型存在多重共线性(Multicollinearity)问题。问题。 1.定义定义2.分类分类u如果多元线性回归模型中，若变量之间存在如下线性关系：如果多元线性回归模型中，若变量之间存在如下线性关系： c1x1i+c2x2i+ckxki=0 i=1,2,n 其中其中: ci不全为不全为0则称解释变量之间存在则称解释变量之间存在“完全共线性完全共线性”，也称为，也称为“严格的多重严格的多重共线性共线性”(perfect multi

3、collinearity)。 u若解释变量之间如下关系：若解释变量之间如下关系： c1x1i+c2x2i+ckxki+vi=0 i=1,2,n 其中其中: ci不全为不全为0，vi为随机误差项为随机误差项这种情况被称为这种情况被称为“近似共线性近似共线性”(approximate multicollinearity)或或“交互相关性交互相关性”(intercorrelated)。 u完全共线性的情况并不多见，一般出现的是在一定程度上的完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。共线性，即近似共线性。u需要说明的是，解释变量之间不存在需要说明的是，解释变量之间不存在

4、线性线性关系，并并不意味关系，并并不意味着不存在着不存在非线性非线性关系，当解释变量之间存在非线性关系时，关系，当解释变量之间存在非线性关系时，并并不违反不违反无多重共线性假定。无多重共线性假定。二、多重共线性产生的原因二、多重共线性产生的原因1.经济变量之间的内在联系（根本原因）经济变量之间的内在联系（根本原因）u时间序列样本：经济繁荣时期，各基本经济变量（收入、消时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。u 横截面数据：生产函数中，资本投入与劳动力投入往往出现横截面数据：生

5、产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。高度相关情况，大企业二者都大，小企业都小。2.滞后变量的引入滞后变量的引入例如，消费例如，消费= =f( (当期收入当期收入, 前期收入），显然，两期收入间有较前期收入），显然，两期收入间有较强的线性相关性。强的线性相关性。3.样本容量的限制样本容量的限制u假设只有两个自变量假设只有两个自变量x1与与x2, ,当当n=2时时, ,两点总能连成一条直线两点总能连成一条直线, ,即使性质上原本并不存在线性关系的变量即使性质上原本并不存在线性关系的变量x1与与x2, ,由于样本含量由于样本含量问题产生了共线性。问题产生了

6、共线性。u如果研究的自变量个数大于如果研究的自变量个数大于2, ,设为设为x1, ,x2，.，xk，虽然各自，虽然各自变量之间没有线性关系，但如果样本容量变量之间没有线性关系，但如果样本容量n小于模型中自变量的小于模型中自变量的个数个数k，就可能导致多元共线性问题。，就可能导致多元共线性问题。4.特殊观测值的存在特殊观测值的存在20世纪世纪80年代后期年代后期, ,人们开始关注特殊观测值对多重共线性的影人们开始关注特殊观测值对多重共线性的影响响:(:(1) )导致或加剧多重共线性导致或加剧多重共线性 ( (2) )掩盖存在着的多重共线性掩盖存在着的多重共线性（a）中特殊观测值掩盖了）中特殊观测

7、值掩盖了原本存在的共线性；原本存在的共线性；（b）中则因为特殊观测）中则因为特殊观测值得出现而导致了解释变值得出现而导致了解释变量之间存在共线性。这样量之间存在共线性。这样的特殊观测值称谓多重共的特殊观测值称谓多重共线性强影响观测值。线性强影响观测值。第二节第二节 多重共线性的影响多重共线性的影响一、完全共线性条件下无法得到参数估计量一、完全共线性条件下无法得到参数估计量对于回归模型：对于回归模型： XYOLS估计量为：估计量为：YXXX1如果自变量之间存在完全共线性，则有：如果自变量之间存在完全共线性，则有： ，也，也就是说就是说 的逆阵不存在。因此无法利用最小二乘法估计的逆阵不存在。因此无

8、法利用最小二乘法估计偏回归系数。偏回归系数。0XXXX 例：对离差形式的二元回归模型例：对离差形式的二元回归模型2211xxy如果两个解释变量完全相关，如如果两个解释变量完全相关，如x2= x1，则：则：121)(xy这时，只能确定综合参数这时，只能确定综合参数 1 1+ +2 2的估计值：的估计值：二、近似共线性条件下二、近似共线性条件下OLS估计量方差会很大估计量方差会很大假定要回归的模型为：假定要回归的模型为：2211xxy在近似共线性的条件下，可以得到在近似共线性的条件下，可以得到OLS估计量，但由于估计量的估计量，但由于估计量的方差为：方差为：2122112111)()(rxxVi2

9、122222211)()(rxxVir12为为x1、x2的的相关系数相关系数 称为方差膨胀因子称为方差膨胀因子(Variance Inflating Factor)，记成记成VIF。VIF表明：表明：OLS估计量的方差随着多重共线性的出现而估计量的方差随着多重共线性的出现而“膨胀膨胀”起来。起来。当当x1、x2高度相关时（即高度相关时（即r121），），VIF+；OLS估计量估计量的方差将成倍增长，直至趋于无穷大。的方差将成倍增长，直至趋于无穷大。 21211r三、参数估计量不具有合理的经济含义三、参数估计量不具有合理的经济含义如果模型中两个解释变量具有线性相关性，如果模型中两个解释变量具有线

10、性相关性，例如例如 x2= x1 ，这时，这时，x1和和x2前的前的参数参数 1 1、 2 2并不反映各自与被解释变量之间并不反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响。的结构关系，而是反映它们对被解释变量的共同影响。u 1 1、 2 2已经失去了应有的经济含义，于是经常表现出已经失去了应有的经济含义，于是经常表现出似乎反似乎反常的现象常的现象：例如：例如 1 1本来应该是正的，结果恰是负的。本来应该是正的，结果恰是负的。u一般情况下一般情况下，在多元线性回归模型的估计中，如果出现参数在多元线性回归模型的估计中，如果出现参数估计值的经济意义明显不合理的情况，应该首先

11、怀疑估计值的经济意义明显不合理的情况，应该首先怀疑是否存在是否存在多重共线性。多重共线性。四、变量的显著性检验失去意义四、变量的显著性检验失去意义存在多重共线性时存在多重共线性时参数估计值的方差与标准差变大参数估计值的方差与标准差变大容易使通过样本计算的容易使通过样本计算的t t值小于临界值，值小于临界值， 误导作出参数为误导作出参数为0 0的推断的推断可能将重要的解释变量排除在模型之外可能将重要的解释变量排除在模型之外五、模型的预测功能失效五、模型的预测功能失效u 变大的方差容易使区间预测的变大的方差容易使区间预测的“区间区间”变大，使变大，使预测失预测失去意义去意义；u其次，由于参数估计量

12、的方差变大，因而参数估计对样本其次，由于参数估计量的方差变大，因而参数估计对样本的变化反应十分敏感，即当样本观测值稍有变化时，模型参的变化反应十分敏感，即当样本观测值稍有变化时，模型参数就有很大差异，数就有很大差异，致使模型难以应用致使模型难以应用。值得注意的是：多重共线性不改变参数估计量的无偏性。事实值得注意的是：多重共线性不改变参数估计量的无偏性。事实上，对严重多重共线性，参数估计量仍为最优的估计上，对严重多重共线性，参数估计量仍为最优的估计（BLUE）第三节第三节 多重共线性的检验多重共线性的检验多重共线性检验的任务在于：多重共线性检验的任务在于：u检验多重共线性是否存在；检验多重共线性

13、是否存在；u估计多重共线性的范围，即判定哪些变量之间存在估计多重共线性的范围，即判定哪些变量之间存在共线性。共线性。u多重共线性的根源是解释变量之间的相关性，因此分析解释变多重共线性的根源是解释变量之间的相关性，因此分析解释变量之间的相关性，进行单相关或多元相关性的分析检验，是发量之间的相关性，进行单相关或多元相关性的分析检验，是发现和判断多重共线性问题的基本方法。现和判断多重共线性问题的基本方法。 u当然，解释变量之间总是有不同程度相关性的，因此要认定模当然，解释变量之间总是有不同程度相关性的，因此要认定模型确实存在较严重、必须处理的共线性问题，必须结合参数估型确实存在较严重、必须处理的共线

14、性问题，必须结合参数估计的符号、大小和显著性等是否异常，或者参数估计是否表现计的符号、大小和显著性等是否异常，或者参数估计是否表现出很大不稳定性（可通过改变少量数据检验）等进行判断。出很大不稳定性（可通过改变少量数据检验）等进行判断。 多重共线性检验的基本原则：多重共线性检验的基本原则：一、一、 检验多重共线性是否存在检验多重共线性是否存在1简单相关系数检验法简单相关系数检验法 利用解释变量之间的线性相关程度去判断是否存在严重多重利用解释变量之间的线性相关程度去判断是否存在严重多重共线性的一种简便方法。共线性的一种简便方法。 u一般而言一般而言，如果每两个解释变量的简单相关系数比较高，如，如果

15、每两个解释变量的简单相关系数比较高，如大于大于0.80.8，则可认为存在着较严重的多重共线性。，则可认为存在着较严重的多重共线性。值得注意的是：较高值得注意的是：较高的简单相关系数只是多重共线性存在的的简单相关系数只是多重共线性存在的充分充分条件条件，而，而不是必要条件不是必要条件。特别是在多于两个解释变量的回归模型。特别是在多于两个解释变量的回归模型中，有时较低的简单相关系数中，有时较低的简单相关系数也可能也可能存在多重共线性。因此并不存在多重共线性。因此并不能简单地依据相关系数进行多重共线性的准确判断。能简单地依据相关系数进行多重共线性的准确判断。 2直观判断法直观判断法 通常通常以下情况

16、的出现可能提示存在多重共线性的影响：以下情况的出现可能提示存在多重共线性的影响：u一些重要一些重要解释变量解释变量因为标准误较大，因为标准误较大，未能通过未能通过显著性检验时显著性检验时，可能可能存在严重的存在严重的多重共线性；多重共线性； u增加增加或删除一个解释变量，或者改变一个观测值时或删除一个解释变量，或者改变一个观测值时，参数估，参数估计值变化较大，方程计值变化较大，方程可能存在严重的可能存在严重的多重共线性；多重共线性；u模型的模型的拟合程度较高拟合程度较高，但通过，但通过 t 检验的变量个数较少时，可检验的变量个数较少时，可能存在多重共线性；能存在多重共线性；u解释变量回归系数的

17、符号与定性分析的结果相反时，可能存解释变量回归系数的符号与定性分析的结果相反时，可能存在多重共线性；在多重共线性；u解释变量间的解释变量间的相关系数较大相关系数较大时，可能会存在多重共线性。时，可能会存在多重共线性。3综合统计检验法综合统计检验法R2 与与 F 值较大，但各参数估计值较大，但各参数估计量的量的 t 检验检验值较小，值较小，说明各说明各解释解释变量对变量对Y的联合线性作用显著的联合线性作用显著，但，但各解释变量间各解释变量间存在多重共线性存在多重共线性而使得它们对而使得它们对Y的独立作用不能分辨，的独立作用不能分辨，故故 t 检验检验不显著。不显著。对于多个解释变量（对于多个解释

18、变量（2个以上）的回归模型个以上）的回归模型 若在若在OLS法下：法下： 1判定系数检验法判定系数检验法 2行列式检验法行列式检验法 3方差膨胀方差膨胀(扩大扩大)因子法因子法4逐步回归法逐步回归法二、二、 估计多重共线性的范围估计多重共线性的范围 1判定系数检验法判定系数检验法 设多元回归模型的解释变量为设多元回归模型的解释变量为 x1、x2、xk，为分析研究，为分析研究它们之间的相关关系，需它们之间的相关关系，需将每个解释变量与其他解释变量进将每个解释变量与其他解释变量进行回归行回归，可得出，可得出k个回归方程式个回归方程式01111 11 1, 2, 1, 2,jiijjijjikkii

19、XXXXXinjk并计算相应的拟合优度，即判定系数并计算相应的拟合优度，即判定系数 。2jRu如果求出的判定系数如果求出的判定系数都比较小，没有一个是接近于都比较小，没有一个是接近于1的，的，2jR则可认为模型的解释变量之间不存在严重的多重共线问题。则可认为模型的解释变量之间不存在严重的多重共线问题。u如果某一回归方程的判定如果某一回归方程的判定系数系数较大较大(接近于接近于1)，说明说明xj与其他解与其他解释释变变量量x间间存在多重共线性存在多重共线性. 可进一步对上述出现较大判定系数可进一步对上述出现较大判定系数2jR 的回归方程作的回归方程作F F 检验检验：22(1)(1,)(1)()

20、jjjRkFFknkRnk若存在较强的共线性，则若存在较强的共线性，则 较大且接近于较大且接近于1 1，这时，这时 较小，较小，从而从而，即即认为认为xj与其他变量与其他变量x间间并与相应的的并与相应的的临界值比较来进行检验，判定是否存在相关性临界值比较来进行检验，判定是否存在相关性。如。如果：果：2(1)jRjFjF(1,)jFFknk0H0H 的值较大。因此，可以给定显著性水平的值较大。因此，可以给定显著性水平 ，通过计算，通过计算，则拒绝，则拒绝， 即即认为认为xj与其与其他变量他变量x间间不不2jR存在多重共线性，否则，接受存在多重共线性，否则，接受存在多重共线性。存在多重共线性。判定

21、系数法的另一个等价检验为：判定系数法的另一个等价检验为：在模型中排除某一个解释变量在模型中排除某一个解释变量 xj ，估计模型，如果拟合优度，估计模型，如果拟合优度与与包含包含xj时时十分接近，则十分接近，则说明说明xj与其它解释变量之间与其它解释变量之间存在共线存在共线性性。由于回归模型参数估计量的方差由于回归模型参数估计量的方差协方差矩阵为协方差矩阵为21()()CovX X而而1*1()()|X XX XX X所以所以21( )()|CovXXXX 2行列式检验行列式检验法法 21( )()|CovX XX X 说明模型的解释变量之间完全相关，因而多重共线性最为说明模型的解释变量之间完全

22、相关，因而多重共线性最为严重，即存在严重，即存在完全共线完全共线性。性。X Xu当当 较大时，较大时， 较小较小()jVar说明参数估计的精度较高，因而多重共线性不严重。说明参数估计的精度较高，因而多重共线性不严重。u当当()jVar =0时，则时，则X X()jVaru当当较小较小时，时， 较大较大X X说明参数估计的误差较大说明参数估计的误差较大，模型，模型的多重共线性严重。的多重共线性严重。这意味着：这意味着： 3方差膨胀（扩大）因子法方差膨胀（扩大）因子法 对于多元线性回归模型来说，对于多元线性回归模型来说，如果分别以每个解释变量为被解如果分别以每个解释变量为被解释变量，做对其他解释变

23、量的回归，这称为释变量，做对其他解释变量的回归，这称为辅助回归辅助回归。 以以xj为被解释变量做对其他解释变量辅助线性回归，判定系数为被解释变量做对其他解释变量辅助线性回归，判定系数为为Rj 2，则，则xj作为解释变量在原模型中系数估计量作为解释变量在原模型中系数估计量 的方差的方差可以表示为：可以表示为：j jjijjijVIFxRxVar2222211其中，其中，VIFj是变量是变量xj的方差膨胀因子，即的方差膨胀因子，即:211jjVIFRu由于由于Rj 2度量了度量了xj与其他解释变量的线性相关程度，这种相关与其他解释变量的线性相关程度，这种相关程度越强，说明变量间多重共线性越严重，程

24、度越强，说明变量间多重共线性越严重， VIFj也就越大。也就越大。u反之，反之， xj与其他解释变量的线性相关程度越弱，说明变量间与其他解释变量的线性相关程度越弱，说明变量间的多重共线性的程度也就越小，的多重共线性的程度也就越小， VIFj也就越接近于也就越接近于1。u由此可见，由此可见， VIFj的大小反映了解释变量之间是否存在多重共的大小反映了解释变量之间是否存在多重共线性，可用它来度量多重共线性的严重程度。经验表明，线性，可用它来度量多重共线性的严重程度。经验表明， VIFj 10时，说明解释变量时，说明解释变量xj与其余解释变量之间有严重的多重共线与其余解释变量之间有严重的多重共线性，

25、且这种多重共线性可能会过度地影响最小二乘估计。性，且这种多重共线性可能会过度地影响最小二乘估计。 3逐步回归法逐步回归法 以以y为被解释变量，逐个引入解释变量，构成回归模型，进行模为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。根据型估计。根据拟合优度的变化拟合优度的变化决定新变量是用其他变量的线性决定新变量是用其他变量的线性组合代替，还是作为独立的解释变量引入模型；组合代替，还是作为独立的解释变量引入模型；u 如果拟合优度变化显著，则说明新引入的变量是一个独如果拟合优度变化显著，则说明新引入的变量是一个独立的解释变量立的解释变量；u如果如果拟合优度变化很不显著，则说明新引入的变量

26、不是一拟合优度变化很不显著，则说明新引入的变量不是一个独立的解释变量，它可以用其他变量的线性组合代替，也个独立的解释变量，它可以用其他变量的线性组合代替，也就是说它与其他变量之间存在多重共线性。就是说它与其他变量之间存在多重共线性。习题习题1考虑一组数据考虑一组数据y-10-8-6-4-20246810 x11234567891011x213579111315171921现在假定你想做如下回归：现在假定你想做如下回归：iiiixxy22110请回答以下问题：请回答以下问题：（1）你能估计出这一模型的参数么？为什么？）你能估计出这一模型的参数么？为什么？（2）如果不能，你能估计哪一参数或参数组合

27、？）如果不能，你能估计哪一参数或参数组合？第四节第四节 多重共线性的克服和处理多重共线性的克服和处理 为了避免共线性的影响为了避免共线性的影响, ,目前多采用回归系数目前多采用回归系数有偏有偏估计的方估计的方法法, ,即为了减小偏回归系数估计的方差而放弃对估计的无偏性要求。即为了减小偏回归系数估计的方差而放弃对估计的无偏性要求。换言之换言之, ,允许估计有不大的偏度允许估计有不大的偏度, ,以换取估计方差可显著减小的结以换取估计方差可显著减小的结果果, ,并在使其总均方差为最小的原则下估计回归系数。并在使其总均方差为最小的原则下估计回归系数。u对多重共线性处理的思路：对多重共线性处理的思路：u

28、对多重共线性常见的处理办法：对多重共线性常见的处理办法：u 省略变量法省略变量法u 利用已知信息克服多重共线性利用已知信息克服多重共线性u 通过变换模型形式克服多重共线性通过变换模型形式克服多重共线性u 通过增加样本容量克服多重共线性通过增加样本容量克服多重共线性u 逐步回归法逐步回归法一、一、 省略变量法省略变量法定义：找出引起多重共线性的解释变量，将其省略掉定义：找出引起多重共线性的解释变量，将其省略掉 这是最为有效的克服多重共线问题的方法这是最为有效的克服多重共线问题的方法u需要注意的是：需要注意的是：采用这种方法在克服多重共线性的同时，因为采用这种方法在克服多重共线性的同时，因为省略了

29、某个或某些变量后，保留在模型中的变量的系数的估计值省略了某个或某些变量后，保留在模型中的变量的系数的估计值及其经济意义均将发生变化。及其经济意义均将发生变化。u这种方法的缺点在于：这种方法的缺点在于：解释变量较多时，往往很难选准在模型解释变量较多时，往往很难选准在模型中比较次要的解释变量以便省略。因此，这种方法可能会犯遗漏中比较次要的解释变量以便省略。因此，这种方法可能会犯遗漏重要解释变量的错误，以致使模型出现新的问题。所以，在去掉重要解释变量的错误，以致使模型出现新的问题。所以，在去掉某一解释变量时，一定要全面考虑、谨慎从事，避免顾此失彼。某一解释变量时，一定要全面考虑、谨慎从事，避免顾此失

30、彼。二、二、 利用已知信息克服多重共线性利用已知信息克服多重共线性已知信息：已知信息：就是指在建模之前根据经济理论、统计资料就是指在建模之前根据经济理论、统计资料或经验分析，已知的解释变量之间存在的某种关系。或经验分析，已知的解释变量之间存在的某种关系。 为了克服多重共线性，可将解释变量按已知关系加以为了克服多重共线性，可将解释变量按已知关系加以合并合并例如，消费函数：例如，消费函数：其中：其中：y为为消费消费支出；支出； x1为消费者的年平均为消费者的年平均收入；收入； x2为消费者的年平均储蓄额为消费者的年平均储蓄额。可以依据储蓄额与收入之间的确定关系，将两个变量合并。可以依据储蓄额与收入

31、之间的确定关系，将两个变量合并。kixxyiiii,2, 122110u需要说明的是：在将解释变量进行合并时要注意经济理论和实需要说明的是：在将解释变量进行合并时要注意经济理论和实证的根据，如加权的权重要符合经济理论、经验结论，或者原模证的根据，如加权的权重要符合经济理论、经验结论，或者原模型回归分析的试算结果等。型回归分析的试算结果等。三、三、 通过变换模型形式克服多重共线性通过变换模型形式克服多重共线性例如：已知生产函数为科布道格拉斯生产函数：例如：已知生产函数为科布道格拉斯生产函数：经过对数变换建立了线性回归模型：经过对数变换建立了线性回归模型：如果有关于模型或者其中参数的某些如果有关于

32、模型或者其中参数的某些“先验信息先验信息”，也可以，也可以利用这些信息来克服模型的多重共线性问题。利用这些信息来克服模型的多重共线性问题。KALY KLAYloglogloglog因为劳动力和资本的增长往往有同步性，因此上述模型往往有多因为劳动力和资本的增长往往有同步性，因此上述模型往往有多重共线性问题。重共线性问题。 有时根据对经济的实证研究，能够预先知道所研究的经济有规模有时根据对经济的实证研究，能够预先知道所研究的经济有规模报酬不变的性质，即模型中的参数报酬不变的性质，即模型中的参数 和和 满足：满足： + = 1，这种，这种先验信息就可以用来克服多重共线性的问题：先验信息就可以用来克服

33、多重共线性的问题：把把 = 1 - 带入原模型得：带入原模型得：KLAYloglog1loglog整理可得：整理可得：LKALYlogloglogloglogLKALYlogloglogkAylogloglog或者可以直接写成：或者可以直接写成：这相当于是一元回归模型，当然不会出现多重共线性的问题。这相当于是一元回归模型，当然不会出现多重共线性的问题。u在时间序列数据的条件下，还可以利用在时间序列数据的条件下，还可以利用“差分差分”的方式调的方式调整模型的形式，克服多重共线性。整模型的形式，克服多重共线性。因为一般情况下，增量之间的线性关系远比总量之间的线性因为一般情况下，增量之间的线性关系远比总量之间的线性关系要弱得多。关系要弱得多。由此可见，由此可见，增量的线性关系弱于总量之间的线性关系增量的线性关系弱于总量之间的线性关系下表为我国居民消费与下表为我国居民消费与GDP的变化情况的变化情况有分析可以很容易地得到：有分析可以很容易地得到：uGDP和消费之间的判定系数为和消费之间的判定系数为0.9988uGDP与消费增量之间的判定系数为与消费增量之间的判定系数为0.9567 2.74故认上述粮食生产的总体线性关系显著成立。故认上述粮食生产的总体线性关系显著成立。u但但lnX4 、lnX5 的参数未通过的参数未通过t检验，且符号不