第6章多重共线性

1、中南财经政法大学中南财经政法大学 刘康泽刘康泽 第6章多重共线性 第第6 6章章 多重共线性多重共线性 信息系刘康泽信息系刘康泽 第6章多重共线性 异方差和序列相关性都是随机误差项不满足经典回归分析条件异方差和序列相关性都是随机误差项不满足经典回归分析条件 假设的问题。本章将研究解释变量违背经典假设时的问题。假设的问题。本章将研究解释变量违背经典假设时的问题。 信息系刘康泽信息系刘康泽 第6章多重共线性 主要内容主要内容 n第一节第一节 多重共线性多重共线性 n第二节第二节 多重共线性的后果多重共线性的后果 n第三节第三节 多重共线性的检验多重共线性的检验 n第四节第四节 多重共线性补救措施？

2、多重共线性补救措施？ 信息系刘康泽信息系刘康泽 第6章多重共线性 第一节第一节 多重共线性多重共线性 对于模型对于模型 01122 ,1,2, iiikkii yxxxin 其基本假设之一是解释变量其基本假设之一是解释变量x1，x2，xk是相互独立的，如果是相互独立的，如果 其两个或多个解释变量之间出现了相关性，则成为多重共线性。其两个或多个解释变量之间出现了相关性，则成为多重共线性。 如果存在不全为零的如果存在不全为零的c1，c2，ck，使得，使得 1122 0, (1,2, ) iikki c xc xc xin 称这些解释变量之间存在完全共线性。称这些解释变量之间存在完全共线性。 如果出

3、现这种情况，则说明存在某个解释变量可以由其余的解如果出现这种情况，则说明存在某个解释变量可以由其余的解 释变量线性表示。释变量线性表示。 信息系刘康泽信息系刘康泽 第6章多重共线性 当然完全的多重共线性的情况并不多见，往往出现的是一定程当然完全的多重共线性的情况并不多见，往往出现的是一定程 度上地近似共线性，即度上地近似共线性，即 1122 0, (1,2, ) iikki c xc xc xin 在进行经济计量分析时，如果模型地设定出现失误，则容易导在进行经济计量分析时，如果模型地设定出现失误，则容易导 致完全共线性致完全共线性 例如：设定居民消费对工资收入例如：设定居民消费对工资收入S和非

4、劳动收入和非劳动收入N及总收入及总收入T 的回的回 归模型为归模型为 0123 CSNT 则出现了多重共线性，这是因为总收入则出现了多重共线性，这是因为总收入=工资收入工资收入+非劳动收入，这非劳动收入，这 个糟糕的设定导致了完全共线性个糟糕的设定导致了完全共线性! 信息系刘康泽信息系刘康泽 第6章多重共线性 在实践中，许多经济变量之间往往存在着一定的相互联系，但在实践中，许多经济变量之间往往存在着一定的相互联系，但 各自又受到一些随机因素的影响，从而表现为高度相关，但又不是各自又受到一些随机因素的影响，从而表现为高度相关，但又不是 完全相关。完全相关。 如：影响家庭消费支出的家庭收入及家庭财

5、富两个变量就存在如：影响家庭消费支出的家庭收入及家庭财富两个变量就存在 明显的高度相关；明显的高度相关； 又如：影响企业产出的劳动投入和资本投入二者之间也往往具又如：影响企业产出的劳动投入和资本投入二者之间也往往具 有相当高的相关关系，这是因为这两个投入要素与产出成正比，产有相当高的相关关系，这是因为这两个投入要素与产出成正比，产 出高的企业，投入的要素自然多，这就导致投入要素呈线性相关性。出高的企业，投入的要素自然多，这就导致投入要素呈线性相关性。 另外，经济变量在时间上有共同变化的趋势。如在经济上升时期，另外，经济变量在时间上有共同变化的趋势。如在经济上升时期， 收入、消费、就业率都在增长

6、；当经济收缩期，收入、消费、就业收入、消费、就业率都在增长；当经济收缩期，收入、消费、就业 率等都又都在下降。当这些变量同时进入模型就存在多重共线性。率等都又都在下降。当这些变量同时进入模型就存在多重共线性。 信息系刘康泽信息系刘康泽 第6章多重共线性 再如：建立一个服装需求模型，影响服装需求量再如：建立一个服装需求模型，影响服装需求量q的有收入的有收入I， 服装价格服装价格p，按常规判断，收入和价格之间不应该相关。但细致地，按常规判断，收入和价格之间不应该相关。但细致地 分析后发现，高收入者经常在高档商场购买服装，低收入者往往在分析后发现，高收入者经常在高档商场购买服装，低收入者往往在 低档

7、商场购买，而同样的服装在高档商场和低档商场的价格是不同低档商场购买，而同样的服装在高档商场和低档商场的价格是不同 的，这样就产生了多重共线性。的，这样就产生了多重共线性。 有时候，模型中的某个变量和其滞后项同时作为解释变量。有时候，模型中的某个变量和其滞后项同时作为解释变量。 信息系刘康泽信息系刘康泽 第6章多重共线性 第二节第二节 多重共线性的后果多重共线性的后果 1、完全共线性时的参数估计不存在、完全共线性时的参数估计不存在 而当完全共线性时，由于而当完全共线性时，由于 ，故，故 不存在。不存在。 这是因为参数估计为：这是因为参数估计为： 1 () TT X XX Y ()()1 T r

8、X Xr Xk 1 () T X X 2、一般共线性（近似）下、一般共线性（近似）下OLS法的参数估计量是法的参数估计量是BLUE, 但是有大但是有大 的方差和协方差，难以做出精确的估计。的方差和协方差，难以做出精确的估计。 由于此时由于此时 ，而，而 ，引起，引起 主对角元素变大。主对角元素变大。 21 ( )cov( )() T DX X 0 T X X 1 () T X X 信息系刘康泽信息系刘康泽 第6章多重共线性 4、变量的显著性失去意义、变量的显著性失去意义 3、参数估计量的经济含义不合理或不清晰、参数估计量的经济含义不合理或不清晰 例如：例如：x1和和x2的系数并不能反映各自与被

9、解释变量之间的结构的系数并不能反映各自与被解释变量之间的结构 关系，而是反映它们对被解释变量的共同影响，因而失去各自参数关系，而是反映它们对被解释变量的共同影响，因而失去各自参数 的应有经济含义，当这种状况出现时，其模型常出现反常现象，如的应有经济含义，当这种状况出现时，其模型常出现反常现象，如 本该出现正的系数，结果却是负系数等。本该出现正的系数，结果却是负系数等。 解释变量接近多重共线性的影响使回归系数的标准差增大，解释变量接近多重共线性的影响使回归系数的标准差增大，t- 统计值减小，从而使系数显著性下降（甚至有时候可能不显著）。统计值减小，从而使系数显著性下降（甚至有时候可能不显著）。

10、信息系刘康泽信息系刘康泽 第6章多重共线性 多重共线性一定是坏事情吗？多重共线性一定是坏事情吗？ 如果回归分析的唯一目的是预测或预报，则多重共线性不是一如果回归分析的唯一目的是预测或预报，则多重共线性不是一 个严重的问题。因为，个严重的问题。因为，R2值越高，预测越准。值越高，预测越准。 信息系刘康泽信息系刘康泽 第6章多重共线性 第三节第三节 多重共线性的检验多重共线性的检验 首先，当模型的解释变量之间高度相关时，经常会出现以下的首先，当模型的解释变量之间高度相关时，经常会出现以下的 一些症状：一些症状： 第一，尽管对模型的整体性检验值（如第一，尽管对模型的整体性检验值（如F值，判定系数值，

11、判定系数R2）很）很 高，但是各回归系数估计量的方差很大，这样会导致对各回归系数高，但是各回归系数估计量的方差很大，这样会导致对各回归系数 显著性的显著性的t检验值很低，从而使得对模型的取舍产生矛盾，这表明模检验值很低，从而使得对模型的取舍产生矛盾，这表明模 型往往出现了多重共线性。型往往出现了多重共线性。 第二，每个回归系数的值很难精确估计，甚至可能出现估计出第二，每个回归系数的值很难精确估计，甚至可能出现估计出 的回归系数值令人难以置信或符号错误的现象，这也导致我们难以的回归系数值令人难以置信或符号错误的现象，这也导致我们难以 精确鉴别各个解释变量对被解释变量的不同影响。精确鉴别各个解释变

12、量对被解释变量的不同影响。 信息系刘康泽信息系刘康泽 第6章多重共线性 第三，模型阐述的估计量对删除或增添少量的观察值以及删除第三，模型阐述的估计量对删除或增添少量的观察值以及删除 一个不显著的解释变量可能非常敏感，换句话说，样本数据得很小一个不显著的解释变量可能非常敏感，换句话说，样本数据得很小 变化都会导致模型参数估计量的很大变化。变化都会导致模型参数估计量的很大变化。 观察有无上述症状，将有助于判断解释变量之间是否存在较严观察有无上述症状，将有助于判断解释变量之间是否存在较严 重的多重共线性。重的多重共线性。 但是，要准确的测度解释变量之间的多重共线性还需要有一些但是，要准确的测度解释变

13、量之间的多重共线性还需要有一些 专门的方法和专门地测度指标来进行。专门的方法和专门地测度指标来进行。 （1）简单相关系数测度法）简单相关系数测度法 两变量间的简单相关系数两变量间的简单相关系数r时测定量变量之间线性相关程度的时测定量变量之间线性相关程度的 重要指标，因此可用来测定回归模型的解释变量之间的共线性程度。重要指标，因此可用来测定回归模型的解释变量之间的共线性程度。 信息系刘康泽信息系刘康泽 第6章多重共线性 如果两个解释变量的相关系数的平方如果两个解释变量的相关系数的平方r2比较高（如比较高（如0.9以上），以上）， 那么解释变量之间的共线性将是严重的。如果两个解释变量的相关那么解释

14、变量之间的共线性将是严重的。如果两个解释变量的相关 系数的平方系数的平方r2大于被解释变量对全部变量的判定系数大于被解释变量对全部变量的判定系数R2，则解释变，则解释变 量之间的共线性是有害的。量之间的共线性是有害的。 设设xs和和xt是两个变量，观察值分别为：是两个变量，观察值分别为： 1212 ,;, sssntttn xxxxxx 则相关系数平方为：则相关系数平方为： 2 2 1 22 11 ()() ()() n sistit i nn sistit ii xxxx r xxxx 信息系刘康泽信息系刘康泽 第6章多重共线性 【注】此方法的缺点是：用简单相关系数测度法的局限性在于相关【注

15、】此方法的缺点是：用简单相关系数测度法的局限性在于相关 系数只能测度两个解释变量之间线性相关的程度，而不能测度三个系数只能测度两个解释变量之间线性相关的程度，而不能测度三个 或更多解释变量之间的线性相关关系。或更多解释变量之间的线性相关关系。 信息系刘康泽信息系刘康泽 第6章多重共线性 （2）判定系数检验法）判定系数检验法 使模型中每一个解释变量分别以其余解释变量为解释变量进行使模型中每一个解释变量分别以其余解释变量为解释变量进行 回归分析计算，并计算相应的拟合优度（判定系数）。如果在某种回归分析计算，并计算相应的拟合优度（判定系数）。如果在某种 形式形式 中判定系数中判定系数 较大，则说明该

16、形式较大，则说明该形式 中作为被解释变量的中作为被解释变量的xj可以用其余的变量来线性表示，可以用其余的变量来线性表示，x1，x2，xl 之间存在共线性。之间存在共线性。 1122jiiilli xc xc xc x 2 j R Klein规则：若规则：若 ，则存在多重共线性。，则存在多重共线性。 22 j RR 方差波动因子检验：若方差波动因子检验：若 ，则存在多重共线性。，则存在多重共线性。 2 1 10 1 j j VIF R 信息系刘康泽信息系刘康泽 第6章多重共线性 （3）逐步回归法）逐步回归法 以以y为被解释变量，逐个引入解释变量，构成回归模型进行模为被解释变量，逐个引入解释变量，

17、构成回归模型进行模 型估计，根据拟合优度的变化决定新引入的变量是否可以用其它变型估计，根据拟合优度的变化决定新引入的变量是否可以用其它变 量的线性组合代替，而不作为独立的解释变量。如果拟合优度变化量的线性组合代替，而不作为独立的解释变量。如果拟合优度变化 显著，则说明新引入的变量是一个独立的变量，否则如果拟合优度显著，则说明新引入的变量是一个独立的变量，否则如果拟合优度 变化很不显著，则说明新引入的变量不是一个独立的变量，它可以变化很不显著，则说明新引入的变量不是一个独立的变量，它可以 用其它的变量的线性组合代替（即它与其它变量间存在共线性）。用其它的变量的线性组合代替（即它与其它变量间存在共

18、线性）。 信息系刘康泽信息系刘康泽 第6章多重共线性 第四节第四节 多重共线性的补救措施多重共线性的补救措施 1、排除引起共线性的变量、排除引起共线性的变量 找出引起多重共线性的解释变量，将它排除出去，这是较有效找出引起多重共线性的解释变量，将它排除出去，这是较有效 的克服多重共线性的方法，因此上述用于检验多重共线性的方法，的克服多重共线性的方法，因此上述用于检验多重共线性的方法， 同时也是克服多重共线性的方法，其中以逐步回归法得到最广泛的同时也是克服多重共线性的方法，其中以逐步回归法得到最广泛的 应用。应用。 信息系刘康泽信息系刘康泽 第6章多重共线性 2、采用差分模型或增长率模型、采用差分

19、模型或增长率模型 以时间序列数据为样本，以直接线性关系为模型关系的计量经以时间序列数据为样本，以直接线性关系为模型关系的计量经 济模型，常用差分方法来克服共线性问题济模型，常用差分方法来克服共线性问题 将模型将模型 01122iiikkii yxxx 变换为差分模型变换为差分模型 11221iiikkiii yxxx 一般说来，增量之间的线性关系远比总量之间的线性关系弱得一般说来，增量之间的线性关系远比总量之间的线性关系弱得 多，这是由经济时间序列数据的内在性质决定的。多，这是由经济时间序列数据的内在性质决定的。 信息系刘康泽信息系刘康泽 第6章多重共线性 例如：设原模型为例如：设原模型为 0

20、1122tiii yxx 如果如果x1和和x2之间存在很强的线性相关性，为估计参数，改用差之间存在很强的线性相关性，为估计参数，改用差 分模型分模型 1122tiii yxxu 1111,1 222,11 , , iiiiii iiiiii yyyxxx xxxu 可以证明可以证明 和和 的相关系数的相关系数 1i x 2i x 12 0r 【注】这里的【注】这里的ui已不是不相关的序列，这是因为已不是不相关的序列，这是因为 1112 ()()() iiiiii E u uE 22 11212 iiiiiii E 信息系刘康泽信息系刘康泽 第6章多重共线性 在实际应用中，除了差分模型外，对于一

21、些指数型的问题，采在实际应用中，除了差分模型外，对于一些指数型的问题，采 用增长率更好，例如用增长率更好，例如 p为价格指数，则为价格指数，则 1 11 ln() iii i ii ppp p pp 在研究价格指数在研究价格指数p同价格指数同价格指数p1和和p2的关系时，若采用模型的关系时，若采用模型 01122iiii ppp 往往碰到多重共线性，而若采用模型往往碰到多重共线性，而若采用模型 01122iiii pppu 则可以避免共线性问题则可以避免共线性问题 信息系刘康泽信息系刘康泽 第6章多重共线性 3、使用非样本先验信息、使用非样本先验信息 非样本信息来自于对经济理论的分析，如果回归

22、模型中某些参非样本信息来自于对经济理论的分析，如果回归模型中某些参 数间有线性关系，则可以将这种线性关系转化为某些约束条件，将数间有线性关系，则可以将这种线性关系转化为某些约束条件，将 约束条件和样本信息结合起来进行估计。约束条件和样本信息结合起来进行估计。 如：生产函数如：生产函数 iii YAL K 建立回归模型建立回归模型 lnlnlnlnYALK L和和K之间可能高度相关。如果按照经济理论之间可能高度相关。如果按照经济理论“生产规模报酬不变生产规模报酬不变” 的假定，即的假定，即 1 代入得回归模型变为：代入得回归模型变为： lnlnln YL Au KK 信息系刘康泽信息系刘康泽 第

23、6章多重共线性 4、减少参数估计量的方差、减少参数估计量的方差 多重共线性的主要后果是参数估计量具有较大的方差，因此采多重共线性的主要后果是参数估计量具有较大的方差，因此采 用适当方法减少参数估计量的方差，虽然不一定能消除模型中的多用适当方法减少参数估计量的方差，虽然不一定能消除模型中的多 重共线性，但是确能消除多重共线性产生的后果，常用的做法有重共线性，但是确能消除多重共线性产生的后果，常用的做法有 （1）增加样本的容量）增加样本的容量 多重共线性本质上是一种样本现象：即使在总体中解释变量没多重共线性本质上是一种样本现象：即使在总体中解释变量没 有线性关系，但在具体获得的样本中仍可能有线性关

24、系。因此多重有线性关系，但在具体获得的样本中仍可能有线性关系。因此多重 共线性往往是由于样本信息不够充分所致，追加样本信息是克服多共线性往往是由于样本信息不够充分所致，追加样本信息是克服多 重共线性的有效方法。因此，增加样本容量通常会使参数估计量的重共线性的有效方法。因此，增加样本容量通常会使参数估计量的 方差减少。方差减少。 信息系刘康泽信息系刘康泽 第6章多重共线性 （2）岭回归法）岭回归法 可以证明，当可以证明，当 的最小特征值接近于零时，的最小特征值接近于零时， 将将 会很大，在此情况下会很大，在此情况下 不是不是 的好估计。的好估计。 T X X 2 () E 为了克服这一困难，为了

25、克服这一困难，1970年年Hoere和和Kemard提出了提高提出了提高XTX的的 最小特征值，以降低最小特征值，以降低 的方差的方差 具体方法为：引入矩阵具体方法为：引入矩阵D，将参数估计量修正为：，将参数估计量修正为： 1 () TT X XDX Y 1 () TT X XIX Y ,(0)DI 信息系刘康泽信息系刘康泽 第6章多重共线性 的性质的性质 ( ) 1 () TT X XYIX 11 ()() TTTT X XIX XX XIX YX 1 ( )()( ) TT EX XIX E Y 1 () TT X XIX X 1 () () TT X XIX XII 1 () T X X

26、I 因此当因此当a0时，时， 不是不是 的无偏估计。的无偏估计。 信息系刘康泽信息系刘康泽 第6章多重共线性 ( )E 11 1 ()() () TTTT TT X XIX XX XIX X XIX X 1 () TT X XIX ( )( )( ) T DEEE 11 ()()() TTTT X XIX EX X XI 211 ()() TTT X XIX X X XI 信息系刘康泽信息系刘康泽 第6章多重共线性 2 0 ( )( ) k ii i SE 22 00 ( )( )( ) kk iiii ii EEE 12 ( )( )SS 协方差矩阵的迹协方差矩阵的迹 211 1( ) ()() TTT STrX XIX X X XI 22 () TT Tr