大学生创业基础

第6章多重共线性

第6章多重共线性

异方差和序列相关性都是随机误差项不满足经典回归分析条件假设的问题。本章将研究解释变量违背经典假设时的问题。

异方差和序列相关性都是随机误差项不满足经典回主要内容第一节多重共线性第二节多重共线性的后果第三节多重共线性的检验第四节多重共线性补救措施？主要内容第一节多重共线性第一节多重共线性

对于模型其基本假设之一是解释变量x1，x2，…，xk是相互独立的，如果其两个或多个解释变量之间出现了相关性，则成为多重共线性。如果存在不全为零的c1，c2，…，ck，使得

称这些解释变量之间存在完全共线性。

如果出现这种情况，则说明存在某个解释变量可以由其余的解释变量线性表示。

第一节多重共线性对于模型其基本假设之一是解释变

当然完全的多重共线性的情况并不多见，往往出现的是一定程度上地近似共线性，即

在进行经济计量分析时，如果模型地设定出现失误，则容易导致完全共线性

例如：设定居民消费对工资收入S和非劳动收入N及总收入T的回归模型为则出现了多重共线性，这是因为总收入=工资收入+非劳动收入，这个糟糕的设定导致了完全共线性!!!!!当然完全的多重共线性的情况并不多见，往往出现

在实践中，许多经济变量之间往往存在着一定的相互联系，但各自又受到一些随机因素的影响，从而表现为高度相关，但又不是完全相关。

如：影响家庭消费支出的家庭收入及家庭财富两个变量就存在明显的高度相关；

又如：影响企业产出的劳动投入和资本投入二者之间也往往具有相当高的相关关系，这是因为这两个投入要素与产出成正比，产出高的企业，投入的要素自然多，这就导致投入要素呈线性相关性。另外，经济变量在时间上有共同变化的趋势。如在经济上升时期，收入、消费、就业率都在增长；当经济收缩期，收入、消费、就业率等都又都在下降。当这些变量同时进入模型就存在多重共线性。在实践中，许多经济变量之间往往存在着一定的相

再如：建立一个服装需求模型，影响服装需求量q的有收入I，服装价格p，按常规判断，收入和价格之间不应该相关。但细致地分析后发现，高收入者经常在高档商场购买服装，低收入者往往在低档商场购买，而同样的服装在高档商场和低档商场的价格是不同的，这样就产生了多重共线性。

有时候，模型中的某个变量和其滞后项同时作为解释变量。

再如：建立一个服装需求模型，影响服装需求量q第二节多重共线性的后果

1、完全共线性时的参数估计不存在

而当完全共线性时，由于，故不存在。

这是因为参数估计为：

2、一般共线性（近似）下OLS法的参数估计量是BLUE,但是有大的方差和协方差，难以做出精确的估计。

由于此时，而，引起主对角元素变大。第二节多重共线性的后果1、完全共线性时的参数估计不4、变量的显著性失去意义

3、参数估计量的经济含义不合理或不清晰

例如：x1和x2的系数并不能反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响，因而失去各自参数的应有经济含义，当这种状况出现时，其模型常出现反常现象，如本该出现正的系数，结果却是负系数等。

解释变量接近多重共线性的影响使回归系数的标准差增大，t-统计值减小，从而使系数显著性下降（甚至有时候可能不显著）。4、变量的显著性失去意义3、参数估计量的经济含义不合理或不多重共线性一定是坏事情吗？

如果回归分析的唯一目的是预测或预报，则多重共线性不是一个严重的问题。因为，R2值越高，预测越准。多重共线性一定是坏事情吗？如果回归分析的唯一第三节多重共线性的检验

首先，当模型的解释变量之间高度相关时，经常会出现以下的一些症状：

第一，尽管对模型的整体性检验值（如F值，判定系数R2）很高，但是各回归系数估计量的方差很大，这样会导致对各回归系数显著性的t检验值很低，从而使得对模型的取舍产生矛盾，这表明模型往往出现了多重共线性。

第二，每个回归系数的值很难精确估计，甚至可能出现估计出的回归系数值令人难以置信或符号错误的现象，这也导致我们难以精确鉴别各个解释变量对被解释变量的不同影响。第三节多重共线性的检验首先，当模型

第三，模型阐述的估计量对删除或增添少量的观察值以及删除一个不显著的解释变量可能非常敏感，换句话说，样本数据得很小变化都会导致模型参数估计量的很大变化。

观察有无上述症状，将有助于判断解释变量之间是否存在较严重的多重共线性。

但是，要准确的测度解释变量之间的多重共线性还需要有一些专门的方法和专门地测度指标来进行。

（1）简单相关系数测度法

两变量间的简单相关系数r时测定量变量之间线性相关程度的重要指标，因此可用来测定回归模型的解释变量之间的共线性程度。第三，模型阐述的估计量对删除或增添少量的观察值

如果两个解释变量的相关系数的平方r2比较高（如0.9以上），那么解释变量之间的共线性将是严重的。如果两个解释变量的相关系数的平方r2大于被解释变量对全部变量的判定系数R2，则解释变量之间的共线性是有害的。设xs和xt是两个变量，观察值分别为：

则相关系数平方为：

如果两个解释变量的相关系数的平方r2比较高（如0.【注】此方法的缺点是：用简单相关系数测度法的局限性在于相关系数只能测度两个解释变量之间线性相关的程度，而不能测度三个或更多解释变量之间的线性相关关系。【注】此方法的缺点是：用简单相关系数测度法的局限性在于相关系

（2）判定系数检验法

使模型中每一个解释变量分别以其余解释变量为解释变量进行回归分析计算，并计算相应的拟合优度（判定系数）。如果在某种形式中判定系数较大，则说明该形式中作为被解释变量的xj可以用其余的变量来线性表示，x1，x2，…xl之间存在共线性。Klein规则：若，则存在多重共线性。

方差波动因子检验：若，则存在多重共线性。（2）判定系数检验法使模型

（3）逐步回归法

以y为被解释变量，逐个引入解释变量，构成回归模型进行模型估计，根据拟合优度的变化决定新引入的变量是否可以用其它变量的线性组合代替，而不作为独立的解释变量。如果拟合优度变化显著，则说明新引入的变量是一个独立的变量，否则如果拟合优度变化很不显著，则说明新引入的变量不是一个独立的变量，它可以用其它的变量的线性组合代替（即它与其它变量间存在共线性）。

（3）逐步回归法以y为被解释变量，第四节多重共线性的补救措施1、排除引起共线性的变量

找出引起多重共线性的解释变量，将它排除出去，这是较有效的克服多重共线性的方法，因此上述用于检验多重共线性的方法，同时也是克服多重共线性的方法，其中以逐步回归法得到最广泛的应用。第四节多重共线性的补救措施1、排除引起共线性的变量2、采用差分模型或增长率模型

以时间序列数据为样本，以直接线性关系为模型关系的计量经济模型，常用差分方法来克服共线性问题

将模型变换为差分模型

一般说来，增量之间的线性关系远比总量之间的线性关系弱得多，这是由经济时间序列数据的内在性质决定的。

2、采用差分模型或增长率模型

例如：设原模型为

如果x1和x2之间存在很强的线性相关性，为估计参数，改用差分模型

可以证明和的相关系数【注】这里的ui已不是不相关的序列，这是因为

例如：设原模型为如果x1和x2之间存在很

在实际应用中，除了差分模型外，对于一些指数型的问题，采用增长率更好，例如p为价格指数，则在研究价格指数p同价格指数p1和p2的关系时，若采用模型

往往碰到多重共线性，而若采用模型

则可以避免共线性问题

在实际应用中，除了差分模型外，对于一些指数型

3、使用非样本先验信息

非样本信息来自于对经济理论的分析，如果回归模型中某些参数间有线性关系，则可以将这种线性关系转化为某些约束条件，将约束条件和样本信息结合起来进行估计。

如：生产函数

建立回归模型

L和K之间可能高度相关。如果按照经济理论“生产规模报酬不变”的假定，即

代入得回归模型变为：

3、使用非样本先验信息

4、减少参数估计量的方差

多重共线性的主要后果是参数估计量具有较大的方差，因此采用适当方法减少参数估计量的方差，虽然不一定能消除模型中的多重共线性，但是确能消除多重共线性产生的后果，常用的做法有（1）增加样本的容量

多重共线性本质上是一种样本现象：即使在总体中解释变量没有线性关系，但在具体获得的样本中仍可能有线性关系。因此多重共线性往往是由于样本信息不够充分所致，追加样本信息是克服多重共线性的有效方法。因此，增加样本容量通常会使参数估计量的方差减少。4、减少参数估计量的方差（2）岭回归法

可以证明，当的最小特征值接近于零时，将会很大，在此情况下不是的好估计。

为了克服这一困难，1970年Hoere和Kemard提出了提高XTX的最小特征值，以降低的方差具体方法为：引入矩阵D，将参数估计量修正为：

（2）岭回归法可以证明，当

的性质

因此当a≠0时，不是的无偏估计。

的性质因此当a≠0时，不是大学生创业基础协方差矩阵的迹

协方差矩阵的迹

可以看出实际上是岭回归参数估计的方差平方和，它随a的增加而减少，而实际上是估计的均值同实际值的差，它随a的增加而增加。

因此如果从估计值同实际值的差距来度量估计的精度的话，并不一定在a=0。

事实上，Hoerl与Kennard证明：存在这样的a0，使得OLS估计量

若以估计值同真实值的误差平方和小为准则的话，岭回归估计比OLS估计更精确。可以看出实际上是岭回归参数估S(a)可