《统计学-基于R》(10)第10章-多元线性回归(R3)

数据分析

(方法与案例)

作者贾俊平版权所有违者必究StatisticswithR统计学R语言第10章多元线性回归10.1

回归模型及参数估计10.2

拟合优度和显著性检验10.3多重共线性及其处理10.4相对重要性和模型比较10.5利用回归方程进行预测10.6哑变量回归egressionR2018-9-25多元线性回归在许多实际问题中，影响因变量的因素往往有多个，这种一个因变量同多个自变量的回归就是多元回归（multipleregression）。当因变量与各自变量之间为线性关系时，称为多元线性回归（multiplelinearregression）多元线性回归分析的原理同一元线性回归基本相同，但计算和分析的内容上要复杂得多，因此需借助于统计软件来完成2018-9-25多元线性回归

10.1多元线性回归模型及其

参数估计

10.1.1回归模型与回归方程

10.1.2参数的最小二乘估计第10章多元线性回归10.1.1

回归模型与回归方程10.1多元线性回归模型及其参数估计2018-9-25多元回归模型

(multiplelinearregressionmodel)一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1

，x2

，…，

xk

和误差项

的方程，称为多元回归模型涉及k个自变量的多元线性回归模型可表示为

b0

，b1，b2

，，bk是参数

是被称为误差项的随机变量

y是x1,，x2

，

，xk

的线性函数加上误差项

包含在y里面但不能被k个自变量的线性关系所解释的变异性2018-9-25多元回归模型

(基本假定)

正态性。误差项ε是一个服从正态分布的随机变量，且期望值为0，即ε~N(0,

2)方差齐性。对于自变量x1，x2，…，xk的所有值，

的方差

2都相同独立性。对于自变量x1，x2，…，xk的一组特定值，它所对应的

与任意一组其他值所对应的不相关2018-9-25估计的多元线性回归的方程

(estimatedmultiplelinearregressionequation)

是

估计值是y

的估计值用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为10.1.2参数的最小二乘估计10.1多元线性回归模型及其参数估计2018-9-25参数的最小二乘估计求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即2018-9-25参数的最小二乘法

(例题分析)

餐馆153.2163.0168.6600456.5218.514.522.52091116.0311.388.2109.419191018.2484.7151.6277.07287710.057.379.117.453111517.5617.960.493.0610983.672.553.221.540571718.5827.3108.5114.5416134.095.948.761.321661011.61023.9142.8129.811125914.2…………………2018-9-25相关性分析

(相关图)#绘制6个变量之间的相关图#绘制6个变量之间的相关矩阵load("C:/example/ch10/example10_1.RData")library(corrgram)corrgram(example10_1[2:7],order=TRUE,lower.panel=panel.shade,upper.panel=panel.pie,text.panel=panel.txt)load("C:/example/ch10/example10_1.RData")library(car)attach(example10_1)par(cex=0.7)scatterplotMatrix(~y+x1+x2+x3+x4+x5,data=example10_1)2018-9-25#多元线性回归建模

#回归系数的置信区间

#方差分析表模型拟合

(例题10—1)load("C:/example/ch10/example10_1.RData")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)summary(model1)confint(model1,level=0.95)anova(model1)

10.2拟合优度和显著性检验

10.2.1模型的拟合优度

10.2.2模型的显著性检验10.2.3模型诊断第10章多元线性回归10.2.1模型的拟合优度10.2拟合优度和显著性检验2018-9-25多重判定系数

(multiplecoefficientofdetermination)

回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例

2018-9-25修正多重判定系数

(adjustedmultiplecoefficientofdetermination)

用样本量n和自变量的个数k去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2

2018-9-25多重相关系数

(multiplecorrelationcoefficient)

多重判定系数的平方根R反映因变量y与k个自变量之间的相关程度实际上R度量的是因变量的观测值与由多元回归方程得到的预测值之间的关系强度，即多重相关系数R等于因变量的观测值与估计值之间的简单相关系数即

(一元相关系数r也是如此，即。读者自己去验证)2018-9-25估计标准误差Se对误差项

的标准差

的一个估计值衡量多元回归方程的拟合优度计算公式为10.2.2模型的显著性检验10.2拟合优度和显著性检验2018-9-25线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系2018-9-25线性关系检验提出假设H0：

1

2

k=0线性关系不显著H1：

1，

2，

k至少有一个不等于02.计算检验统计量F

2018-9-25回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)对每一个自变量都要单独进行检验应用t检验统计量2018-9-25回归系数的检验

(步骤)提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)计算检验的统计量t

确定显著性水平

，并进行决策

t>t

，拒绝H0；t<t

，不拒绝H0

2018-9-25回归系数的推断

(置信区间)

回归系数在(1-

)%置信水平下的置信区间为

回归系数的抽样标准差10.2.3模型诊断10.2拟合优度和显著性检验2018-9-25模型诊断

(例题10—1)#绘制残差图诊断模型#去掉第2个点和第4个点后的回归

#去掉第2个点和第4个点后的回归诊断par(mfrow=c(1,2))plot(model1,which=c(1,2))newmodel1<-lm(y~x1+x2+x3+x4+x5,data=example10_1[-c(2,4),])summary(newmodel1)plot(newmodel1,which=c(1,2))

10.3多重共线性及其处理

10.3.1多重共线性及其识别

10.3.2变量选择与逐步回归第10章多元线性回归10.3.1多重共线性及其识别10.3多重共线性及其处理2018-9-25多重共线性

(multicollinearity)回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反2018-9-25多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性2018-9-25多重共线性的识别如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反容忍度(tolerance)与方差扩大因子(varianceinflationfactor，VIF)。某个自变量的容忍度等于1减去该自变量为因变量而其他k-1个自变量为预测变量时所得到的线性回归模型的判定系数，即1-Ri2。容忍度越小，多重共线性越严重。通常认为容忍度小于0.1时，存在严重的多重共线性方差扩大因子等于容忍度的倒数，即。显然，VIF越大多重共线性就越严重。一般要求VIF小于5，也可放宽到小于10。如果大于10则认为存在严重的多重共线性。2018-9-25#计算相关系数矩阵并做检验#计算容忍度和VIF相关矩阵及其检验

(例题10—1)load("C:/example/ch10/example10_1.RData")library(psych)corr.test(example10_1[3:7],use="complete")model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)library(car)vif(model1)1/vif(model1)2018-9-25多重共线性的处理将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内10.3.2变量选择与逐步回归10.3多重共线性及其处理2018-9-25变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等2018-9-25向前选择

(forwardselection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型分别拟合引入模型外的k-1个自变量的二元线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止2018-9-25向后剔除

(backwardelimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止2018-9-25逐步回归

(stepwiseregression)将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中2018-9-25逐步回归

(R的逐步回归与AIC准则)R中的逐步回归以AIC信息准则为选择标准，选择使AIC最小的变量建立模型赤池信息准则也被称为AIC准则(Akaike’sInformationCriterion)，由日本学者赤池于1973年提出除应用于线性模型的变量筛选外，还被应用于时间序列自回归模型阶数的确定AIC由两部分组成，一部分反映模型的拟合精度，一部分反映模型中参数的个数，即模型的繁简程度。AIC的值越小，说明拟合的模型精度越高而且又简洁当用最小二乘法拟合模型时，计算公式为：n为样本量p为模型中参数的个数(包括常数项)2018-9-25#逐步回归#拟合逐步回归模型

#逐步回归的方差分析表

#逐步回归模型的诊断

逐步回归

(例题10—4)load("C:/example/ch10/example10_1.RData")model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-step(model1)model2<-lm(y~x1+x2+x5,data=example10_1)summary(model2)anova(model2)plot(model2,which=1);plot(model2,which=2)2018-9-25#除逐步回归外，解决共线性的其他方法有：岭回归（ridge）——通过约束回归系数减少共线性Lasso回归——增加回归系数的惩罚项，但与岭回归的惩罚方式不同（目的也是减少回归系数）主成分回归——线求自变量的主成分，然后用主成分做回归偏最小二乘回归——在回归之前对因变量和自变量进行转换，再回归附加：解决共线性的其他方法

10.4相对重要性和模型比较10.2.2自变量的相对重要性10.2.3模型比较第10章多元线性回归2018-9-25建模关心的两个问题在实际建模时，我们总是会关心两个问题一是哪些自变量对预测更重要二是所建立的模型是否包含了建模型所必需的自变量10.4.1自变量的相对重要性10.4相对重要性和模型比较2018-9-25自变量的相对重要性哪些自变量对因变量的预测相对来说更重要，哪些相对来说不重要如果各自变量之间独立，那么根据自变量与因变量之间的相关系数大小就可以对重要性做出排序，相关系数大的显然更重要实际问题中，各自变量之间往往有一定的相关性，这就会使评价变得复杂很多评价自变量相对重要性的方法之一就是比较标准化回归系数(standardizedregressioncoefficient)2018-9-25自变量的相对重要性

2018-9-25#计算例10-1的标准化回归系数标准化回归—模型拟合

(例题10—1)load("C:/example/ch10/example10_1.RData")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)library(lm.beta)model1.beta<-lm.beta(model1)summary(model1.beta)2018-9-25相对重要性分析

标准化回归—相对重要性分析

(例题10—1)标准化回归系数相对重要性排位z1=0.336z2=0.413z3=0.113z4=-0.096z5=-0.17821453x1x2x3x4x5

10.4.2模型比较10.4相对重要性和模型比较2018-9-25模型比较

(anova方法)

2018-9-25模型比较

(anova方法)

2018-9-25模型比较

(anova方法)

2018-9-25模型比较

(anova方法：例题10—5)#逐步回归模型与含所有5个自变量的回归模型的比较

load("C:/example/ch10/example10_1.RData")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-lm(y~x1+x2+x5,data=example10_1)anova(model2,model1)2018-9-25模型比较

(AIC准则)#用AIC准则比较逐步回归模型与含所有5个自变量的回归模型用anova做模型比较时，要求模型必须是嵌套的用AIC信息准则也可以用来比较模型，而且它不要求模型必须是嵌套的AIC值越小，说明模型用较少的参数(或自变量)就获得了足够的拟合度。因而模型将被优先选择model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-lm(y~x1+x2+x5,data=example10_1)AIC(model2,model1)

10.5利用回归方程进行预测第10章多元线性回归2018-9-25#计算逐步回归的置信区间和预测区间逐步回归预测

(例题10—6)load("C:/example/ch10/example10_1.RData")model2<-lm(y~x1+x2+x5,data=example10_1)x<-example10_1[,c(3,4,7)]pre<-predict(model2)res<-residuals(model2)zre<-rstandard(model2)con_int<-predict(model2,x,interval="confidence",level=0.95)pre_int<-predict(model2,x,interval="prediction",level=0.95)mysummary<-data.frame(营业额=example10_1$y,点预测值=pre,残差=res,标准化残差=zre,置信下限=con_int[,2],置信上限=con_int[,3],预测下限=pre_int[,2],预测上限=pre_int[,3])round(mysummary,3)2018-9-25#求x1=50,x2=100,x5=10时日均营业额的点预测值、置信区间和预测区间(新值预测)逐步回归预测

(例题10—6)model2<-lm(y~x1+x2+x5,data=example10_1)x0<-data.frame(x1=50,x2=100,x5=10)predict(model2,newdata=x0)predict(model2,data.frame(x1=50,x2=100,x5=10),interval="confidence",level=0.95)predict(model2,data.frame(x1=50,x2=100,x5=10),interval="prediction",level=0.95)第10章多元线性回归

10.6哑变量回归

10.6.1在模型中引进哑变量

10.6.2含有一个哑变量的回归10.6.1在模型中引进哑变量10.6哑变量回归2018-9-25哑变量

(dummyvariable)也称虚拟变量。用数字代码表示的定性自变量哑变量可有不同的水平只有两个水平的哑变量比如，性别(男，女)有两个以上水平的哑变量贷款企业的类型(家电，医药，其他)哑变量的取值为0，12018-9-25在回归中引进哑变量回归模型中使用哑变量时，称为哑变量回归当定性变量只有两个水平时，可在回归中引入一个哑变量比如，性别(男，女)一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量10.6.2含有一个哑变量的回归10.6哑变量回归2018-9-25哑变量回归

(例题分析)【例10—8】沿用例10—1。假定在分析影响日均营业额的因素中，再考虑“交通方便程度”变量，并设其取值为“方便”和“不方便”。为便于理解，原来的5个自变量我们只保留用餐平均支出一个数值自变量。假定调查得到的数据表编号日均营业额y用餐平均支出x1方便程度x2153.2168.6方便218.522.5方便311.3109.4不方便484.7277.0方便57.317.4不方便617.993.0方便72.521.5不方便827.3114.5方便95.961.3不方便1023.9129.8方便…………2018-9-25#日均营业额与用餐平均支出的一元回归#方差分析表

#日均营业额与用餐平均支出和交通方便程度的二元回归#方差分析表

哑变量回归

(例题10—7)load("C:/example/ch10/example10_7.RData")model_s<-lm(日均营业额~用餐平均支出,data=example10_7)summary(model_s)anova(model_s)load("C:/example/ch10/example10_7.RData")model_dummy<-lm(日均营业额~用餐平均支出+交通方便程度,data=example10_7)summary(model_dummy)anova(model_dummy)2018-9-25#预测值和预测残差#用anova比较只含有用餐平均支出一个变量和增加交通方便程度哑变量的回归模型#用AIC准则比较哑变量回归

(例题10—7)pre_model_dummy<-model_dummy$fitted.valuesres_model_dummy<-model_dummy$residualsmysummary<-data.frame(example10_7,点预测值=pre_model_dummy,残差=res_model_dummy)mysummarymodel_s<-lm(日均营业额~用餐平均支出,data=example10_7)model_dummy<-lm(日均营业额~用餐平均支出+交通方便程度,data=example10_7)anova(model_s,model_dummy)AIC(model_s,model_dummy)2018-9-25#交通方