《回归分析》 课件 第5-7章 多重共线性、模型选择、广义线性回归

多重共线性来源与影响诊断方法处理方法岭估计小结与评注回归分析之绪论应用回归分析李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院1

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注目录多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院2

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院3

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性在回归分析中，

由变量间强相关性引发的问题被称为多重共线性，

该问题用数学语言也可以表示为，

存在一组不全为零的常数a0,a1,·

·

·

,ap

，使得a0

+

a1xi

1

+

a2xi

2

+

·

·

·

+

apxip

≈

0, i

=

1,

2,

·

·

·

,

n成立，或者有a0

+

a1xi

1

+

a2xi

2

+

·

·

·

+

apxip

=

0, i

=

1,

2,

·

·

·

,

n李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院4

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性例5.1：

美国新客车出售量的相关数据下表。试建立新客车出售量（Y，单位：十万辆）与新车消费价格指数（X1，未经季节调整，1967年为100%）、消费者价格指数（X2，全部项目，1967年为100%）、个人可支配收入（X3，单位：百亿美元）、利率（X4）和民间就业劳动人数（X5，单位：百万人）的线性回归方程，并简要分析结果。（数据来源于Gujarati（2009））李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院5

/

57年份YX1X2X3X4X51971102.27112.0121.377.684.8979.3671972108.72111.0125.383.964.5582.1531973113.50111.1133.194.987.3885.064197487.75117.5147.7103.848.6186.794197585.39127.6161.2114.286.1685.846197699.94135.7170.5125.265.2288.7521977110.46142.9181.5137.935.5092.0171978111.64153.8195.3155.127.7896.0481979105.59166.0217.7172.9310.2598.824198089.79179.3247.0191.8011.2899.303198185.35190.2272.3212.7613.73100.397198279.80197.6286.6226.1411.2099.526198391.79202.6297.4242.818.69100.8341984103.94208.5307.6267.069.65105.0051985110.39215.2318.5284.117.75107.1501986114.50224.4323.4302.216.31109.597诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性表

1:新车销量数据李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院6

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性图

1:各变量矩阵散点图李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院7

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性在此基础上，利用软件R建立回归方程，得到：Yˆ

=

26.526

+

0.482X1

−

1.012X2

+

0.603X3

−

1.090X4

+

1.288X5.表

2:系数检验a变量名称系数的估计量标准误差t

值P

值截距x1

x2

x326.5260.482-1.0120.60383.6320.7070.5200.3750.3170.681-1.9601.6070.7580.5110.0780.139x4

x5-1.0901.2881.5331.265-0.7121.0190.4930.332n=16R2=0.755R2=0.632F

=

6.161P=0.007李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院8

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响多重共线性模型整体通过了F检验，但是五个自变量的系数却未通过t检验（α

=0.05）。从解释的角度看，新车消费者价格指数（X1）系数为0.482， 意味着当其他三个自变量不变时，

新车消费者价格指数每 增加1单位，新客车销售量Y

会平均增加0.482个单位。这似乎 与散点图显示的内容并不相符，与经济学解释也存在着矛盾。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院9

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院10

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注来源抽样方法使用不当可能引起多重共线性。比如，在研究变量X1、X2对Y的影响时，图2中显示两个自变量间存在较强的正相关关系。但是假如由于抽样方法使用不当，获取的样本只是来自总体中满足公式（1）或者（2）的一个子空间，该图左上、右下部分对应的样本有可能未被抽到，

即数据缺少了X1较低X2较高（或X1较高X2较低）

的信息，才导致两者间呈现出这样的关系。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院11

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注来源a0

+

a1xi

1

+

a2xi

2

+

·

·

·

+

apxip

≈

0,a0

+

a1xi

1

+

a2xi

2

+

·

·

·

+

apxip

=

0,i

=

1,

2,

·

·

·

,

n

(1)i

=

1,

2,

·

·

·

,

n

(2)但是事实上，只有信息完整、样本分布与总体相一致的情况下，才能得出自变量间的真实关系以及它们对因变量的真实效应。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院12

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注来源−2−1012−2−1120x1x2图

2:变量间散点图李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院13

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注来源对模型或者研究总体的约束可能导致多重共线性。比如，

研究人的身高、体重对其血压的影响时，

一般来讲身高越高，

人体重的取值也会越大，

这是变量间自然存在的关系，只要引入这两项变量，无论使用什么抽样方法都不能避免多重共线性。特别是在一些带有滞后变量的时间序列数据、或者关系密切的经济类截面数据中，这种现象更为普遍。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院14

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响多重共线性的存在使得系数的估计量的方差急剧增大，有效性降低。记λ1

≥λ2

≥·

·

·≥λp

>0

为矩阵X

⊤X

的特征根，则有当存在多重共线性时，必有某些特征根λi

很接近于0，从而使1

变得非常大。此时如果继续使用最小二乘法估计回归系λi数，容易造成系数的估计量的方差之和急剧增大。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院15

/

57

诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院16

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院17

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响由此可得，ˆ1var

(β

)

=σ2(1

−

r

)L12

11ˆ2var

(β

)

=σ2(1

−

r

)L12

22即随着两个自变量间的相关性增强，系数估计量βˆ1与βˆ2的方差将逐渐增大。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院18

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响多重共线性容易导致系数的估计量的符号与现实相悖。假定有四个自变量X1、X2、X3、X4，研究者试图建立因变量Y

与这四个自变量间的线性回归模型，估计方程为Yˆ

=

βˆ1X1

+

βˆ2X2

+

βˆ3X3

+

βˆ4X4.不失一般性，不妨令βˆi

>0,i

=1,2,3,4，如果X2、X3两个自变量间存在完全多重共线性，有等式X2

=−3X3

成立，则在利用最小二乘法对系数进行估计时，有李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院19

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响Yˆ

=

βˆ1X1

+

βˆ2X2

+

βˆ3X3

+

βˆ4X4=

βˆ1X1

+

(βˆ3

−

3βˆ2)X3

+

βˆ4X4=

βˆ1X1

+

(βˆ2

−

1/3βˆ3)X2

+

βˆ4X4.显然X2、X3对应系数估计量的符号可能发生变化，与实际情况不符。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院20

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对估计的影响多重共线性容易使回归系数难以通过t检验。对系数的估计量进行显著性检验时，检验统计量具有如下形式：多重共线性的存在导致检验统计量中分母较大，容易使得系数难以通过显著性检验。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院21

/

57

诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对预测的影响李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院22

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对预测的影响分别在R2取值(0.1,0.9)时按照ρ

=0.2、ρ

=0.5生成数据，样本量为n=1000，其中70%的样本作为训练集，30%

的样本作为测试集。在训练集上建立回归模型，测试集上按照公式（3）计算平均预测误差。重复该过程200次。(3)李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院23

/

57

诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对预测的影响比较在变量间相关性较弱（ρ

=0.2）与相关性较强（ρ

= 0.5）的情况下，如果保持变量间相关性不变，预测效果的 差异；当变量间相关性较强（ρ

=0.5）时，令测试集数据n0

=300， 改变X1、X2相关性为0.7，比较其预测结果与相关性保持不 变时有何不同。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院24

/

57诊断方法处理方法

岭估计小结与评注多重共线性

来源与影响对预测的影响01020300.250.750.50SNRPEmethodrho=0.2rho=0.5rho=0.7图

3:预测误差图李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院25

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响对预测的影响与X1、X2相关性较弱（ρ

=0.2）时相比，即使X1、X2相关 性为ρ

=0.5的情况下，只要保证预测时变量间相关性与建模 时期一致，就可以利用该模型进行预测，但是预测效果会受 到一定程度的影响；同样的，如果在预测时，变量X1、X2相关性由建模时期的0.5转 变为0.7（或者相关类型发生变化），预测误差也会因此有所 上升；随着拟合优度R2的提升，这种预测效果的差异会逐渐减小。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院26

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院27

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注诊断方法以下几类方法可以用来对多重共线性进行诊断：方差膨胀因子诊断法特征根诊断法其他诊断法李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院28

/

57处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法诊断方法：方差膨胀因子诊断法该诊断方法的主要思想是，

当回归系数估计量的方差“膨胀”的幅度较大时，模型中就可能存在多重共线性。所谓方差膨胀因子，是指用来度量由于自变量间高度相关导致的βˆ方差增加幅度的一种工具。假定现对自变量X

进行标准化得到X∗，则R

=X∗⊤X∗表示自变量的协方差矩阵（也是相关阵）。令L

=

(lij

)

=

(X∗⊤X∗)−1那么矩阵L主对角线上的元素就被称为各个自变量的方差膨胀因子（Variance

Inflation

Factor，VIF）。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院29

/

57处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法诊断方法：方差膨胀因子诊断法根据上述公式，有Var

(βˆi

)

=

lii

σ2,i

=

1,

2,

·

·

·,

p第i

个自变量Xi

的方差膨胀因子为iil

=11

−

R2i2i式中R

表示自变量iX

对其余p

−1

个自变量的复决定系数，反映了第i

个自变量对其余p

−1个自变量的线性相关程度。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院30

/

57处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法诊断方法：方差膨胀因子诊断法经验表明，当某个自变量的VIF超过5

或10时，可认为与其他自变量间存在多重共线性。此外，当p个自变量的VIF

远远大于1时，也可以说明存在严重的多重共线性。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院31

/

57

处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法诊断方法：方差膨胀因子诊断法以例5.1为例，分别计算四个自变量的方差膨胀因子VIF，见表表

3:方差膨胀因子变量名称

X1

X2

X3

X4

X5VIF

250.000

434.783

232.558

4.941

40.984四个自变量方差膨胀因子的平均值VIF

≈192.653。由此可以作出判断，模型中确实存在多重共线性。该模型的多重共线性可能是由X1，X2，X3，X5这几个自变量引起的。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院32

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：特征根诊断法李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院33

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：特征根诊断法但是在什么情况下可以认为特征值近似为0

呢？为此，首先引入条件数的概念。令λm表示矩阵X⊤X的最大特征值，则

一般地，ki

小于100时，认为X没有明显的多重共线性；当ki

在100到时，认为X

具有较强的多重共线性；而当ki

超过1000时，说明存在严重的多重共线性。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院34

/

57

诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：特征根诊断法但是需要注意的是，与方差膨胀因子不同，仅仅根据条件数 无法确定在哪几个变量间存在多重共线性。令c

=(c1,c2,·

·

·

,cp

)表示矩阵X⊤X

特征值，对应的特征向

量可以用λ

=(λ1,λ2,·

·

·

,λp

)表示，在多重共线性下有X⊤Xc

= λc

≈0（或者=0），进而可以得出Xc≈0（或者=0），故根 据特征向量研究者可以判断多重共线性发生在哪些变量。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院35

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：特征根诊断法•⊤i将p维特征向量c,i

=1,2,·

·

·

,p按照特征值大小排列成一个p

×p的矩阵，矩阵中每一个元素平方后除以其对应的特征值，然后按照列进行归一化可得每个特征值下，各个自变量对应的方差比例。若有几个自变量的方差比例值在某一行同时较大，则可以认为这几个自变量存在多重共线性。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院36

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：其他自变量的协方差矩阵中包含较大元素时需要警惕多重共线性 问题。但是协方差矩阵只是用来初步探测两两自变量间的相 关程度，元素取值较小并不意味着多重共线性一定不存在。 详见书中举例。回归系数估计量的正负号以及意义解释。当方程中某些系数 估计量的符号、意义解释与实际相违背时，警惕多重共线性 问题。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院37

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响诊断方法：其他系数估计量的标准误差与t检验。当系数估计量的标准误差 较大时，或者一些在实际意义中重要的自变量在方程中却并 不显著，可能存在多重共线性。回归系数的估计量对数据的敏感程度。比如，当在方程中增 加、剔除自变量或者改变观测值时，回归系数估计量的取值 发生较大变化，也需要注意回归方程的多重共线性问题。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院38

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院39

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注处理方法以下三类方法有助于处理回归分析中的多重共线性问题：重新设定模型。由于模型引入的自变量间本身可能就具有相关性，对模型进行重设可以降低其带来的影响。重新定义回归变量。比如在例5.1

中，可以设法找到一个关于X1，

X2，

X3这三个变量的函数，

如X

=X1

×X2

×X3、X

=(X1

+X2)/X3

等，使得既能保留变量原有的大部分信息，又能降低多重共线性的影响。进行变量剔除。可以根据方差膨胀因子VIF大小依次对变量进行剔除，直到消除多重共线性为止。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院40

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注处理方法增加样本数量。当多重共线性是由抽样方法使用不当引起时 ，通过增大样本数量更加容易避免只在总体的某个子空间中 抽样，从而获取到与总体分布相一致的样本，消除多重共线 性。使用回归系数的有偏估计。这类方法是以牺牲估计量的无偏 性为代价来达到提高其有效性的目的，常见的方法有主成分 法、偏最小二乘法、岭回归法等。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院41

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院42

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计岭估计最早由霍尔（A.E.Hoerl）在1962年提出，是一种对普通最小二乘法的改进。其解决多重共线性问题的思路是，

既然多重共线性带来的 估计问题源于|X⊤X|

=0

（或者|X⊤X|≈0），

那么给矩 阵X⊤X添加一项正常数矩阵，kI(k>0)，使得|X⊤X

+kI| 接近0的程度与|X⊤X|相比更小。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院43

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计此时，得到的估计βˆ(k)

=

(X⊤X

+

kI)−1X⊤Y就是回归系数β的岭回归估计，这显然是个有偏估计。并且参数k决定了其偏差的大小，研究者称其为岭参数。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院44

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院45

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计为什么使用有偏估计？令Y

、X1、X2、X3、X4分别表示因变量和四个自变量，X1从 均值为1，方差为2的正态分布中生成，X2

从(−0.5,0.5)的均 匀分布中生成，其余两个变量X3

=0.9X1

+0.3X2

+e1、X4

=

0.5X2

+e2因变量Y

=X1

+X2

+X3

+X4

+e3,其中e1、e2是两个与X1同分布的随机干扰项，e3服从均值为2，方差为4的正态分布。然后分别利用最小二乘法、岭回归法对生成的模拟数据拟合 回归模型。重复上述过程1000次，观察自变量X2对应系数的 最小二乘估计、岭回归估计的近似抽样分布。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院46

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注岭估计为什么使用有偏估计？图

4:岭回归估计与最小二乘估计抽样分布图李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院47

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注性质李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院48

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注性质性质3：当k>0时，随着k增加，βˆ(k)的偏差会增加，但是

方差会随之减小。并且当β⊤β有界时，存在非零的k值使得岭 回归估计量βˆ(k)的均方误差MSE小于最小二乘估计的MSE。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院49

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响岭参数的选择原则上希望k可以使估计量的均方误差达到最小，但这种最 优的k值往往依赖于未知参数β和σ2，

并且这种依赖关系具 体有怎样的函数形式还尚未清楚。常用的有以下三种方法：岭迹法方差膨胀因子法残差平方和法李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院50

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响岭参数的选择:岭迹法岭回归估计随着岭参数的变化而变化的曲线，称为岭迹。当模型中存在着严重的多重共线性时，回归系数的不稳定性 将通过岭迹明显表现出来。研究者的目的就是找到一个合理 的较小k值，在该取值处，岭回归估计量βˆ(k)是稳定的。同 时，也可以结合系数估计量的符号、解释、残差平方和的变 化等信息进行选择。通过审视岭迹来选择参数是一种主观性较强的方法，缺乏严格的理论依据。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院51

/

57处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法岭参数的选择:方差膨胀因子法该原则是选择的k值应使方差膨胀因子的最大值在1到10之间，越接近1越好。根据前文给出的岭回归估计量的协方差矩阵σ2(X⊤X+kI)−1(X⊤X)kI)−1

可以看出，当k取值越大时岭回归估计量的方差膨胀的程度越小。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院52

/

57处理方法岭估计小结与评注多重共线性

来源与影响

诊断方法岭参数的选择:残差平方和法岭回归估计量的残差平方和为SSk

=

(Y

−

Xβˆ(k))⊤(Y

−

Xβˆ(k))=

(Y

−

Xβˆ)⊤(Y

−

Xβˆ)

+

(βˆ(k)

−

βˆ)⊤(X⊤X)(βˆ(k)

−

βˆ)随着k的增加岭回归估计量的偏差也会增加，最终导致残差 平方和的增大。因此，研究者往往通过将残差平方和SSk

限 制在一定范围内来确定岭参数k。比如，给定一个大于1的常 数c，使得SSk

<

cSSE成立的最大k值。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院53

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注多重共线性来源与影响诊断方法处理方法岭估计小结与评注李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院54

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响小结与评注本章从多重共线性产生的原因出发，针对多重共线性对回归 系数的估计与回归方程的预测产生的影响进行分析，并给出 了几种相应的诊断方法与处理手段。除了正交实验设计数据外，研究者往往很难在影响因变量的 众多因素中选出一组完全不相关的变量，这也要求研究者在 选取指标变量时应当尽可能选择相关性较低的变量。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院55

/

57诊断方法处理方法岭估计小结与评注多重共线性

来源与影响小结与评注协方差矩阵判定法只是用来初步探测两两自变量间的相关程 度。当多重共线性涉及到多于两个自变量时，未必能保证协 方差矩阵中两两自变量间的协方差元素取较大的值。多重共线性的影响大小取决于研究者进行回归分析的目的。李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院56

/

57多重共线性来源与影响诊断方法处理方法岭估计小结与评注谢谢！李扬/林存洁/王菲菲/孙韬/廖军回归分析之绪论中国人民大学统计学院57

/

57全模型和选模型全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*小结与评注模型选择应用回归分析李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院58

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注NBA实例现搜集到NBA

2018-2019赛季中100个球员的球场表现，一个球员的球场表现显然会影响其综合实力.因变量为“霍林格效率值”(PER)，是前ESPN撰稿人霍林格 发明的根据当赛季所有球员表现，来综合评定某一位球员赛 季表现的进阶数据.自变量来源于该赛季的基础数据，能够直接反映球场上的表 现。包括年龄(Age)、场均上场时间(MP)、场均得分(PTS)、 场均投篮命中率(FG)、场均失误次数(TOV)、场均三分命 中率(X3P)、场均二分命中率(X2P)、场均罚球命中率(FT)、 场均篮板(TRB)、场均助攻(AST)、场均抢断(STL)、场均盖 帽(BLK)以及场均犯规次数(PF)共13个变量.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院59

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注NBA实例为反映球员的球场表现对其综合实力的影响，用13个自变量对PER建立模型.用哪些自变量建立模型.建立什么模型.线性？非线性（指数，多项式，......）？由于本课程所讨论的范围均是在线性回归模型的框架下，因 此模型形式固定，本章涉及到的模型选择仅包括自变量的选 择.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院60

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注目录全模型和选模型全子集回归逐步回归基于惩罚的模型选择模型选择的评价准则*小结与评注李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院61

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型全子集回归逐步回归基于惩罚的模型选择模型选择的评价准则*小结与评注李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院62

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注全模型

李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院63

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注选模型

李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院64

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注全模型和选模型

李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院65

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注误用选模型I其中，矩阵B的第i

列是选模型中的变量XA

对全模型中变量Xp+i

建立的回归方程的系数:若想选模型的估计是无偏的，需要选模型中的变量XA对Xp+1,...,Xm中任何一个变量建立的回归方程的系数都为0.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院66

/

69

全模型和选模型

全子集回归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注误用选模型II仅考虑第一个变量X1对应的回归系数的方差2

p其中Z

=(X

,...,X

)，而

恰是变量2X

,

.

.

.

,

X归方程的残差平方和

李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院67

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注全模型和选模型

李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院68

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注全模型和选模型若丢掉了一些对因变量有影响的自变量，选模型估计的保留 变量的回归系数的方差，要比全模型所估计的相应变量的回 归系数的方差小，但其付出的代价是估计量有偏.若在模型中多引入了一些没有影响或者影响不大的自变量， 虽然不会产生估计的偏差，但是会增大估计的方差，降低估计 的有效性.在建立模型时选择自变量的准则应该是小而精，尽可能剔除那些影响不大的可有可无的自变量.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院69

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型全子集回归逐步回归基于惩罚的模型选择模型选择的评价准则*小结与评注李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院70

/

69全模型和选模型全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全子集

归因变量Y

和m个可供选择的自变量记为X1,X2,...,Xm.对于Y

建立的回归模型有2m种可能的情况（去掉仅含常数项的情况有2m

−1种）.全子集回归是在可能的这些回归子集中，按照某种准则寻找一个最优的子集.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院71

/

69基于惩罚的模型选择

模型选择的评价准则*

小结与评注全模型和选模型

全子集

归

逐步

归关于自变量选择的几个准则

若以SSE或R2作为准则，则会一味的引入自变量无论其是否重要.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院72

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注调整的R2•2

2a调整的R

(R

)••a2

2R

≤

R

(习题6.2)，且2aR

随着自变量的增加不一定增大.所有回归子集中，2aR

最大者对应的回归方程就是“最优”的.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院73

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注σ2的无偏估计从另外一个角度考虑回归的拟合效果，回归误差项方差σ2的无偏估计不同于SSE，σˆ2随着自变量的增加不一定减小.a2

2实际上，用R

或者σˆ

作为准则是等价的（习题6.3），因为有由上述等价性可知，σˆ2最小者对应的回归方程就是“最优”的.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院74

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注AIC准则赤池信息量准则（Akaike

information

criterion,AIC）

是日 本统计学家赤池（Akaike）于1974年提出的一种模型选择准 则。AIC准则还可以用于时间序列中确定自回归模型阶数，因子分析模型中选择公共因子个数等。其发展过程可参考Burnham&

Anderson

(1998).1设模型的似然函数为L(θ,x)，θ是维数为p的参数，θˆL为θ的最大似然估计，x为随机样本，则AIC定义为1Burnham,

K.

P.

and

Anderson,

D.

R.

(1998)

Model

Selection

and

Inference:

a

Practical

Information-theoretic

Approach.

New

York:

Springer.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院75

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注AIC准则假定回归模型的随机误差项ϵ服从正态分布，即ϵ

∼N(0,σ2)，对数似然函数L

n将σˆ2

=1

SSE代入得李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院76

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注AIC准则ˆL代入公式AIC

=−2

log

L(θ

,x)+2p，似然函数的未知参数个数为p

+2，略去与p无关的常数，得到回归模型的AIC准则公式为AIC

=

n

log(SSE)

+

2p.

(3)对每一个回归子集计算AIC，其中AIC最小者所对应的模型是“最优”回归模型.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院77

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注BIC准则贝叶斯信息准则（Bayes

Information

Criterion,BIC）是Schwarz在19提出的另一种常用的模型选择准则.设模型的似然函数为L(θ,x)，θ是维数为p的参数，θˆL为θ的最大似然估计，x为随机样本，则BIC定义为BIC=

−2

log

L(θˆL,

x)

+

log(n)p.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院78

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注BIC准则在随机误差项ϵ服从正态分布时，回归模型的BIC准则公式为BIC

=

n

log(SSE)

+

log(n)p.

(4)对每一个回归子集计算BIC，

其中BIC最小者所对应的模型是“最优”回归模型.与AIC准则相比，

BIC准则的第二项也会随着样本量的增加而增加.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院79

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注Cp

准则Cp

统计量是1964年马洛斯（Mallows）从预测的角度提出的 一个可以用来选择自变量的统计量。Cp

准则不仅可以用来选 择自变量，它也是模型平均领域中选择各模型权重的一个常 用的准则.对于一个回归模型Y

=Xβ

+ϵ，考虑其偏差平方和E

(Y)

−

Yˆ

2

=

µ

−

Xβˆ

2其中µ

=E

(Y)=Xβ.Cp

准则的原理就是最小化E

(µ

−Xβˆ

2).李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院80

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注Cp

准则

Cp

统计量其中σˆ2常用全模型中σ2的无偏估计,所有回归子集中，Cp

最小者对应的回归方程就是“最优”方程.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院81

/

69

全模型和选模型全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全子集

归流程图

1:全子集回归流程图李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院82

/

69逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型

全子集

归例-全子集

归例表6.1给出了某地区2018年某种消费品销售情况资料。其中y

表示某种消费品的销售额（百万元），x1表示居民可支配收入（元），

x2表示该类消费品的价格指数（%），x3表示其他消费品平均价格指数（%）。试建立该地区该消费品销售额预测方程。李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院83

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*小结与评注例-全子集

归表

1:表6.1

某地区2018年某种消费品销售表序号x1x2x3y序号x1x2x3y181.285.087.07.810126.4101.5101.212.3282.992.094.08.411131.2102.0102.513.5383.291.595.08.712148.0105.0104.014.2485.992.995.59.013153.0106.0105.914.9588.093.096.09.614161.0109.0109.515.9699.996.097.010.315170.0112.0111.018.57102.095.097.510.616174.0112.5112.019.58105.395.697.010.917185.0113.0112.319.99117.798.998.011.318189.0114.0113.020.5李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院84

/

69逐步

归基于惩罚的模型选择

模型选择的评价准则*小结与评注全模型和选模型

全子集

归例-全子集

归表

2:表6.2

全子集回归确定回归方程自变量子集R2a

Cp

AIC

BIC0.971

6.134

43.114

45.785{x1}{x2}{x3}{x1,

x3}{x1,

x2}{x2,

x3}0.954

18.153

51.540

54.2110.948

22.453

53.799

56.4710.976

4.006

40.984

44.5460.971

6.736

43.819

47.3800.952

19.463

53.150

56.711

{x1,

x2,

x3}

0.977

4.000

40.574

45.026

李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院85

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型全子集回归逐步回归基于惩罚的模型选择模型选择的评价准则*小结与评注李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院86

/

69逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型

全子集

归逐步

归思想当可供选择的自变量个数m较大时，构造所有可能的回归方程应用全子集回归比较困难.需要较为快速的方法选择自变量子集，常用的方法有前进法后退法逐步回归法李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院87

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注偏F统计量回顾偏F检验，与t检验等价，用来检验自变量Xj

对因变量Y

的影响是否显著。偏F统计量李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院88

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注前进法前进法的思想是从一个空模型开始，将变量由少到多的引入模型当中，每次引入一个变量，直至没有可引入的变量为止.步骤1：将全部m个自变量分别对因变量Y

建立m个一元回归方程，并分别计算这m个一元回归方程的m个回归系数的F检验值，记为

给定显著性水

则首先将X

引入回归方程。为了方便，设Xj

就是X1.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院89

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注前进法步骤2：

将因变量Y

分别与(X1,X2),(X1,X3),·

·

·

,(X1,Xm)建立m−1个二元线性回归方程，对这m−1个回归方程中X2,X3,·

·

·

,X回归系数进行偏F检验，计算偏F统计量的值，记为

，则继续将Xj

引入回归方程.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院90

/

69

全模型和选模型全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注前进法步骤3：重复上个步骤，直至所有未被引入方程的自变量的 偏F统计量的值均小于Fα(1,n

−p

−1)时为止。这时得到的回归方程即为最终确定的方程.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院91

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注后退法

选择其最小者记为

，则首先将X

从回归方程中剔除，为了方便，设Xj

就是Xm.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院92

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注后退法步骤2：将其余的m

−1个自变量重新建立一个回归方程，计算m

−1个回归系数的偏F统计量，记为

则将Xj

剔除.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院93

/

69

全模型和选模型全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注后退法步骤3：重复步骤上一个步骤，直至回归方程中所剩余的p个 自变量的偏F统计量均大于临界值Fα(1,n−p−1)，没有可剔除的自变量为止。这时得到的回归方程即为最终确定的方 程.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院94

/

69逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注全模型和选模型

全子集

归逐步

归在前进法中，一个变量一旦被引入回归方程后就不会再被剔除出去.在后退法中，一个变量一旦被剔除也就再没有机会进入回归方程了.逐步回归的思想是有进有出，

将变量一个一个引入，

每引 入一个自变量后，对已选入的变量要进行逐个检验，当原引 入的变量由于后面变量的引入而变得不再显著时，就将其剔 除.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院95

/

69逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型

全子集

归逐步

归步骤1：

按照前进法选择偏F统计量最大的自变量Xj

，

若其1jαin偏F统计量F

≥

F

(1j,n

−2)，则将X

引入回归方程.步骤2：接着按照前进法引入第二个变量，然后对第一步引j入的变量X

进行偏F检验，若其偏F统计量2jαoutF

≤

F

(1,

n

−j2j3)，则将X

剔除；若F

>Fαout(1,

n

−3

)，则继续引入第三个变量.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院96

/

69逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型

全子集

归逐步

归步骤3：重复上一个步骤直到既无变量引入又无变量被剔除 为止。每次引入一个新的变量都要对回归方程中原有的变量 进行偏F检验，以确保方程中只包含显著的变量，最终得到 的回归方程即为最终确定的方程。李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院97

/

69逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型

全子集

归逐步

归引入自变量的显著性水平αin小于剔除剔除自变量的显著性水平αoutαin

<

αout.否则若αin

≥αout

，可能产生某个自变量的显著性P值在αin与αout

之间，那么这个自变量将被引入、剔除、再引入、再剔除，进入“死循环”。李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院98

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注Toy

example若αin

=0.1,αout

=0.05李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院99

/

69全模型和选模型全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注例-逐步

归例模拟生成一个服从正态分布N(0,Σ)的自变量X

=(X1,...,X10),误差项ϵ

∼

N(0,

1.5)，真实的

归系数β

=(1,2,−1,1,−1.5,−0.01,0.5,−0.5,0.01,0.0001)⊤，因变量由Yi

=

Xi

β

+

ϵi

,

i

=

1,

.

.

.

,

n

=

100生成，当自变量间不相关时，即Σ

=I时，三种方法的过程见表6.3左半边；当自变量间存在相关性，即设定X的协方差矩阵为Σ

=(σij

)10×10

=0.5|i−j|时，三种方法的过程见表6.3右半边.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院100

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注例-逐步

归表6.3

逐步回归模拟结果李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院101

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择模型选择的评价准则*小结与评注全模型和选模型全子集回归逐步回归基于惩罚的模型选择模型选择的评价准则*小结与评注李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院102

/

69全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注目标函数全子集回归和逐步回归都是分步式的过程，估计和选择是分步进行的。另一种思路是通过求解目标函数同时实现变量选择和系数估计.目标函数：损失函数

+惩罚函数(7)其中，

ρλ(β)即为惩罚函数，

调节系数λ代表惩罚力度的大小.李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人民大学统计学院103

/

69

全模型和选模型

全子集

归逐步

归基于惩罚的模型选择

模型选择的评价准则*

小结与评注LassoLasso

(Least

absolute

shrinkage

and

selection

operator)是Tibshirani (1996)首次提出的一种压缩估计，惩罚函数采用L1范数

，这里的惩罚函数等价于约束

李扬/林存洁/王菲菲/孙韬/廖军模型选择中国人