《回归分析》 课件 第5章 多重共线性

多重共线性来源与影响诊断方法处理方法岭估计小结与评注回归分析之绪论应用回归分析李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院1

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注目录多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院2

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院3

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性在回归分析中，

由变量间强相关性引发的问题被称为多重共线性，

该问题用数学语言也可以表示为，

存在一组不全为零的常数a0,a1,·

·

·

,ap

，使得a0

+

a1xi

1

+

a2xi

2

+

·

·

·

+

apxip

≈

0, i

=

1,

2,

·

·

·

,

n成立，或者有a0

+

a1xi

1

+

a2xi

2

+

·

·

·

+

apxip

=

0, i

=

1,

2,

·

·

·

,

n李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院4

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性例5.1：

美国新客车出售量的相关数据下表。试建立新客车出售量（Y，单位：十万辆）与新车消费价格指数（X1，未经季节调整，1967年为100%）、消费者价格指数（X2，全部项目，1967年为100%）、个人可支配收入（X3，单位：百亿美元）、利率（X4）和民间就业劳动人数（X5，单位：百万人）的线性回归方程，并简要分析结果。（数据来源于Gujarati（2009））李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院5

/

57年份YX1X2X3X4X51971102.27112.0121.377.684.8979.3671972108.72111.0125.383.964.5582.1531973113.50111.1133.194.987.3885.064197487.75117.5147.7103.848.6186.794197585.39127.6161.2114.286.1685.846197699.94135.7170.5125.265.2288.7521977110.46142.9181.5137.935.5092.0171978111.64153.8195.3155.127.7896.0481979105.59166.0217.7172.9310.2598.824198089.79179.3247.0191.8011.2899.303198185.35190.2272.3212.7613.73100.397198279.80197.6286.6226.1411.2099.526198391.79202.6297.4242.818.69100.8341984103.94208.5307.6267.069.65105.0051985110.39215.2318.5284.117.75107.1501986114.50224.4323.4302.216.31109.597诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性表

1:新车销量数据李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院6

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性图

1:各变量矩阵散点图李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院7

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性在此基础上，利用软件R建立回归方程，得到：Yˆ

=

26.526

+

0.482X1

−

1.012X2

+

0.603X3

−

1.090X4

+

1.288X5.表

2:系数检验a变量名称系数的估计量标准误差t

值P

值截距x1

x2

x326.5260.482-1.0120.60383.6320.7070.5200.3750.3170.681-1.9601.6070.7580.5110.0780.139x4

x5-1.0901.2881.5331.265-0.7121.0190.4930.332n=16R2=0.755R2=0.632F

=

6.161P=0.007李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院8

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性模型整体通过了F检验，但是五个自变量的系数却未通过t检验（α

=0.05）。从解释的角度看，新车消费者价格指数（X1）系数为0.482， 意味着当其他三个自变量不变时，

新车消费者价格指数每 增加1单位，新客车销售量Y

会平均增加0.482个单位。这似乎 与散点图显示的内容并不相符，与经济学解释也存在着矛盾。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院9

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院10

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注来源抽样方法使用不当可能引起多重共线性。比如，在研究变量X1、X2对Y的影响时，图2中显示两个自变量间存在较强的正相关关系。但是假如由于抽样方法使用不当，获取的样本只是来自总体中满足公式（1）或者（2）的一个子空间，该图左上、右下部分对应的样本有可能未被抽到，

即数据缺少了X1较低X2较高（或X1较高X2较低）

的信息，才导致两者间呈现出这样的关系。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院11

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注来源a0

+

a1xi

1

+

a2xi

2

+

·

·

·

+

apxip

≈

0,a0

+

a1xi

1

+

a2xi

2

+

·

·

·

+

apxip

=

0,i

=

1,

2,

·

·

·

,

n

(1)i

=

1,

2,

·

·

·

,

n

(2)但是事实上，只有信息完整、样本分布与总体相一致的情况下，才能得出自变量间的真实关系以及它们对因变量的真实效应。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院12

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注来源−2−1012−2−1120x1x2图

2:变量间散点图李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院13

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注来源对模型或者研究总体的约束可能导致多重共线性。比如，

研究人的身高、体重对其血压的影响时，

一般来讲身高越高，

人体重的取值也会越大，

这是变量间自然存在的关系，只要引入这两项变量，无论使用什么抽样方法都不能避免多重共线性。特别是在一些带有滞后变量的时间序列数据、或者关系密切的经济类截面数据中，这种现象更为普遍。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院14

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响多重共线性的存在使得系数的估计量的方差急剧增大，有效性降低。记λ1

≥λ2

≥·

·

·≥λp

>0

为矩阵X

⊤X

的特征根，则有当存在多重共线性时，必有某些特征根λi

很接近于0，从而使1

变得非常大。此时如果继续使用最小二乘法估计回归系λi数，容易造成系数的估计量的方差之和急剧增大。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院15

/

57

诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院16

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院17

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响由此可得，ˆ1var

(β

)

=σ2(1

−

r

)L12

11ˆ2var

(β

)

=σ2(1

−

r

)L12

22即随着两个自变量间的相关性增强，系数估计量βˆ1与βˆ2的方差将逐渐增大。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院18

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响多重共线性容易导致系数的估计量的符号与现实相悖。假定有四个自变量X1、X2、X3、X4，研究者试图建立因变量Y

与这四个自变量间的线性回归模型，估计方程为Yˆ

=

βˆ1X1

+

βˆ2X2

+

βˆ3X3

+

βˆ4X4.不失一般性，不妨令βˆi

>0,i

=1,2,3,4，如果X2、X3两个自变量间存在完全多重共线性，有等式X2

=−3X3

成立，则在利用最小二乘法对系数进行估计时，有李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院19

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响Yˆ

=

βˆ1X1

+

βˆ2X2

+

βˆ3X3

+

βˆ4X4=

βˆ1X1

+

(βˆ3

−

3βˆ2)X3

+

βˆ4X4=

βˆ1X1

+

(βˆ2

−

1/3βˆ3)X2

+

βˆ4X4.显然X2、X3对应系数估计量的符号可能发生变化，与实际情况不符。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院20

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响多重共线性容易使回归系数难以通过t检验。对系数的估计量进行显著性检验时，检验统计量具有如下形式：多重共线性的存在导致检验统计量中分母较大，容易使得系数难以通过显著性检验。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院21

/

57

诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对预测的影响李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院22

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对预测的影响分别在R2取值(0.1,0.9)时按照ρ

=0.2、ρ

=0.5生成数据，样本量为n=1000，其中70%的样本作为训练集，30%

的样本作为测试集。在训练集上建立回归模型，测试集上按照公式（3）计算平均预测误差。重复该过程200次。(3)李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院23

/

57

诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对预测的影响比较在变量间相关性较弱（ρ

=0.2）与相关性较强（ρ

= 0.5）的情况下，如果保持变量间相关性不变，预测效果的 差异；当变量间相关性较强（ρ

=0.5）时，令测试集数据n0

=300， 改变X1、X2相关性为0.7，比较其预测结果与相关性保持不 变时有何不同。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院24

/

57诊断方法处理方法

岭估计小结与评注多重共线性

来源与影响对预测的影响01020300.250.750.50SNRPEmethodrho=0.2rho=0.5rho=0.7图

3:预测误差图李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院25

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对预测的影响与X1、X2相关性较弱（ρ

=0.2）时相比，即使X1、X2相关 性为ρ

=0.5的情况下，只要保证预测时变量间相关性与建模 时期一致，就可以利用该模型进行预测，但是预测效果会受 到一定程度的影响；同样的，如果在预测时，变量X1、X2相关性由建模时期的0.5转 变为0.7（或者相关类型发生变化），预测误差也会因此有所 上升；随着拟合优度R2的提升，这种预测效果的差异会逐渐减小。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院26

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院27

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注诊断方法以下几类方法可以用来对多重共线性进行诊断：方差膨胀因子诊断法特征根诊断法其他诊断法李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院28

/

57处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法诊断方法：方差膨胀因子诊断法该诊断方法的主要思想是，

当回归系数估计量的方差“膨胀”的幅度较大时，模型中就可能存在多重共线性。所谓方差膨胀因子，是指用来度量由于自变量间高度相关导致的βˆ方差增加幅度的一种工具。假定现对自变量X

进行标准化得到X∗，则R

=X∗⊤X∗表示自变量的协方差矩阵（也是相关阵）。令L

=

(lij

)

=

(X∗⊤X∗)−1那么矩阵L主对角线上的元素就被称为各个自变量的方差膨胀因子（Variance

Inflation

Factor，VIF）。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院29

/

57处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法诊断方法：方差膨胀因子诊断法根据上述公式，有Var

(βˆi

)

=

lii

σ2,i

=

1,

2,

·

·

·,

p第i

个自变量Xi

的方差膨胀因子为iil

=11

−

R2i2i式中R

表示自变量iX

对其余p

−1

个自变量的复决定系数，反映了第i

个自变量对其余p

−1个自变量的线性相关程度。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院30

/

57处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法诊断方法：方差膨胀因子诊断法经验表明，当某个自变量的VIF超过5

或10时，可认为与其他自变量间存在多重共线性。此外，当p个自变量的VIF

远远大于1时，也可以说明存在严重的多重共线性。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院31

/

57

处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法诊断方法：方差膨胀因子诊断法以例5.1为例，分别计算四个自变量的方差膨胀因子VIF，见表表

3:方差膨胀因子变量名称

X1

X2

X3

X4

X5VIF

250.000

434.783

232.558

4.941

40.984四个自变量方差膨胀因子的平均值VIF

≈192.653。由此可以作出判断，模型中确实存在多重共线性。该模型的多重共线性可能是由X1，X2，X3，X5这几个自变量引起的。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院32

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：特征根诊断法李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院33

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：特征根诊断法但是在什么情况下可以认为特征值近似为0

呢？为此，首先引入条件数的概念。令λm表示矩阵X⊤X的最大特征值，则

一般地，ki

小于100时，认为X没有明显的多重共线性；当ki

在100到时，认为X

具有较强的多重共线性；而当ki

超过1000时，说明存在严重的多重共线性。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院34

/

57

诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：特征根诊断法但是需要注意的是，与方差膨胀因子不同，仅仅根据条件数 无法确定在哪几个变量间存在多重共线性。令c

=(c1,c2,·

·

·

,cp

)表示矩阵X⊤X

特征值，对应的特征向

量可以用λ

=(λ1,λ2,·

·

·

,λp

)表示，在多重共线性下有X⊤Xc

= λc

≈0（或者=0），进而可以得出Xc≈0（或者=0），故根 据特征向量研究者可以判断多重共线性发生在哪些变量。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院35

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：特征根诊断法•⊤i将p维特征向量c,i

=1,2,·

·

·

,p按照特征值大小排列成一个p

×p的矩阵，矩阵中每一个元素平方后除以其对应的特征值，然后按照列进行归一化可得每个特征值下，各个自变量对应的方差比例。若有几个自变量的方差比例值在某一行同时较大，则可以认为这几个自变量存在多重共线性。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院36

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：其他自变量的协方差矩阵中包含较大元素时需要警惕多重共线性 问题。但是协方差矩阵只是用来初步探测两两自变量间的相 关程度，元素取值较小并不意味着多重共线性一定不存在。 详见书中举例。回归系数估计量的正负号以及意义解释。当方程中某些系数 估计量的符号、意义解释与实际相违背时，警惕多重共线性 问题。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院37

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：其他系数估计量的标准误差与t检验。当系数估计量的标准误差 较大时，或者一些在实际意义中重要的自变量在方程中却并 不显著，可能存在多重共线性。回归系数的估计量对数据的敏感程度。比如，当在方程中增 加、剔除自变量或者改变观测值时，回归系数估计量的取值 发生较大变化，也需要注意回归方程的多重共线性问题。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院38

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院39

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注处理方法以下三类方法有助于处理回归分析中的多重共线性问题：重新设定模型。由于模型引入的自变量间本身可能就具有相关性，对模型进行重设可以降低其带来的影响。重新定义回归变量。比如在例5.1

中，可以设法找到一个关于X1，

X2，

X3这三个变量的函数，

如X

=X1

×X2

×X3、X

=(X1

+X2)/X3

等，使得既能保留变量原有的大部分信息，又能降低多重共线性的影响。进行变量剔除。可以根据方差膨胀因子VIF大小依次对变量进行剔除，直到消除多重共线性为止。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院40

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注处理方法增加样本数量。当多重共线性是由抽样方法使用不当引起时 ，通过增大样本数量更加容易避免只在总体的某个子空间中 抽样，从而获取到与总体分布相一致的样本，消除多重共线 性。使用回归系数的有偏估计。这类方法是以牺牲估计量的无偏 性为代价来达到提高其有效性的目的，常见的方法有主成分 法、偏最小二乘法、岭回归法等。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院41

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院42

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计岭估计最早由霍尔（A.E.Hoerl）在1962年提出，是一种对普通最小二乘法的改进。其解决多重共线性问题的思路是，

既然多重共线性带来的 估计问题源于|X⊤X|

=0

（或者|X⊤X|≈0），

那么给矩 阵X⊤X添加一项正常数矩阵，kI(k>0)，使得|X⊤X

+kI| 接近0的程度与|X⊤X|相比更小。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院43

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计此时，得到的估计βˆ(k)

=

(X⊤X

+

kI)−1X⊤Y就是回归系数β的岭回归估计，这显然是个有偏估计。并且参数k决定了其偏差的大小，研究者称其为岭参数。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院44

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院45

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计为什么使用有偏估计？令Y

、X1、X2、X3、X4分别表示因变量和四个自变量，X1从 均值为1，方差为2的正态分布中生成，X2

从(−0.5,0.5)的均 匀分布中生成，其余两个变量X3

=0.9X1

+0.3X2

+e1、X4

=

0.5X2

+e2因变量Y

=X1

+X2

+X3

+X4

+e3,其中e1、e2是两个与X1同分布的随机干扰项，e3服从均值为2，方差为4的正态分布。然后分别利用最小二乘法、岭回归法对生成的模拟数据拟合 回归模型。重复上述过程1000次，观察自变量X2对应系数的 最小二乘估计、岭回归估计的近似抽样分布。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院46

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计为什么使用有偏估计？图

4:岭回归估计与最小二乘估计抽样分布图李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院47

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注性质李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院48

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注性质性质3：当k>0时，随着k增加，βˆ(k)的偏差会增加，但是

方差会随之减小。并且当β⊤β有界时，存在非零的k值使得岭 回归估计量βˆ(k)的均方误差MSE小于最小二乘估计的MSE。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院49

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响岭参数的选择原则上希望k可以使估计量的均方误差达到最小，但这种最 优的k值往往依赖于未知参数β和σ2，

并且这种依赖关系具 体有怎样的函数形式还尚未清楚。常用的有以下三种方法：岭迹法方差膨胀因子法残差平方和法李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院50

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响岭参数的选择:岭迹法岭回归估计随着岭参数的变化而变化的曲线，称为岭迹。当模型中存在着严重的多重共线性时，回归系数的不稳定性 将通过岭迹明显表现出来。研究者的目的就是找到一个合理 的较小k值，在该取值处，岭回归估计量βˆ(k)是稳定的。同 时，也可以结合系数估计量的符号、解释、残差平方和的变 化等信息进行选择。通过审