《统计学-基于R》(第4版)(10)第10章 多元性回归

第10章Statistics

with

R统计学R

语言贾俊平贾俊平

2021-06-192021-06-19统计学—基于R—贾俊平10

-2021-06-19第10章贾俊平回归模型及其参数估计拟合优度和显著性检验多重共线性及其处理相对重要性和模型比较利用回归方程进行预测哑变量回归第

10

章

多元线性回归2021-06-19统计学—基于R—贾俊平10

-2021-06-19第10章思维导图统计学—基于R—贾俊平10

-2021-06-19第10章10.1

回归模型及其参数估计多元线性回归模型及其假定统计学—基于R—贾俊平10

-2021-06-19第10章10.1

回归模型及其参数估计多元线性回归模型的估计方程统计学—基于R—贾俊平10

-2021-06-19第10章10.1回归模型及其参数估计参数的最小二乘估计统计学—基于R—贾俊平10

-2021-06-19第10章10.1

回归模型及其参数估计参数的最小二乘估计——例题分析model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)summary(model1)confint(model1,level=0.95)统计学—基于R—贾俊平10

-2021-06-19第10章10.2

拟合优度和显著性检验模型的拟合优度——多重决定系数——估计标准误差估计标准误差——对误差项 的标准差 的一个估计值,计算公式为详见R输出统计学—基于R—贾俊平10

-2021-06-19第10章10.2

拟合优度和显著性检验显著性检验——线性关系检验（F检验）检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较,应用F检验来分析二者之间的差别是否显著 如果是显著的,因变量与自变量之间存在线性关系 如果不显著,因变量与自变量之间不存在线性关系统计学—基于R—贾俊平10

-2021-06-19第10章10.2

拟合优度和显著性检验显著性检验——回归系数检验（t检验）详见R输出统计学—基于R—贾俊平10

-2021-06-19第10章10.3多重共线性及其处理多重共线性的识别#例题分析——计算VIF统计学—基于R—贾俊平10

-2021-06-19将一个或多个相关的自变量从模型中剔除,使保留的自变量尽可能不相关如果要在模型中保留所有的自变量,则应 避免根据t统计量对单个参数进行检验 对因变量值的推断(估计或预测)的限定在自变量样本值的范围内第10章10.3

多重共线性及其处理多重共线性的处理——变量选择——向前选择和向后剔除变量选择的方法主要有:向前选择、向后剔除、逐步回归等统计学—基于R—贾俊平10

-2021-06-19向前选择从模型中没有自变量开始 对k个自变量分别拟合对因变量的一元线性回归模型,共有k个,然后找出F统计量的值最高的模型及其自变量(P值最小的),并将其首先引入模型分别拟合引入模型外的k-1个自变量的二元线性回归模型如此反复进行,直至模型外的自变量均无统计显著性为止向后剔除 先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量),使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除 考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量),使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行,一直将自变量从模型中剔除,直至剔除一个自变量不会使SSE显著减小为止第10章10.3

多重共线性及其处理多重共线性的处理——变量选择——逐步回归逐步回归将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后,它会对模型中所有的变量进行考察,看看有没有可能剔除某个自变量。如果在增加了一个自变量后,前面增加的某个自变量对模型的贡献变得不显著,这个变量就会被剔除按照方法不停地增加变量并考虑剔除以前增加的变量的可能性,直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除,而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中R的逐步回归——信息最小准则（AIC）统计学—基于R—贾俊平10

-2021-06-19R中的逐步回归以AIC信息准则为选择标准,选择使AIC最小的变量建立模型赤池信息准则也被称为AIC准则(Akaike’sInformationCriterion),由日本学者赤池于1973年提出除应用于线性模型的变量筛选外,还被应用于时间序列自回归模型阶数的确定AIC由两部分组成,一部分反映模型的拟合精度,一部分反映模型中参数的个数,即模型的繁简程度。AIC的值越小,说明拟合的模型精度越高而且又简洁当用最小二乘法拟合模型时,计算公式为第10章10.3

多重共线性及其处理多重共线性的处理——变量选择——逐步回归——例题分析#逐步回归example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-step(model1)#拟合逐步回归模型model2<-lm(y~x1+x2+x5,data=example10_1)summary(model2)#模型诊断plot(model2,which=1:2)统计学—基于R—贾俊平10

-2021-06-19第10章10.4

相对重要性和模型比较自变量的相对重要性——标准化回归系数#例题分析——计算标准化回归系数model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)library(lm.beta)model1.beta<-lm.beta(model1)summary(model1.beta)统计学—基于R—贾俊平10

-2021-06-19第10章10.4

相对重要性和模型比较模型比较——全模型-简化模型-嵌套模型——比较的检验方法统计学—基于R—贾俊平10

-2021-06-19第10章10.4相对重要性和模型比较模型比较——anova方法统计学—基于R—贾俊平10

-2021-06-19第10章10.4

相对重要性和模型比较模型比较——anova方法——例题分析#例题分析——模型比较model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-lm(y~x1+x2+x5,data=example10_1)anova(model2,model1)统计学—基于R—贾俊平10

-2021-06-19第10章10.4

相对重要性和模型比较模型比较——AIC准则——例题分析用anova做模型比较时,要求模型必须是嵌套的用AIC信息准则也可以用来比较模型,而且它不要求模型必须是嵌套的AIC值越小,说明模型用较少的参数(或自变量)就获得了足够的拟合度。因而模型将被优先选择#例题分析——AIC准则-模型比较统计学—基于R—贾俊平10

-2021-06-19model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-lm(y~x1+x2+x5,data=example10_1)AIC(model2,model1)第10章10.5

回归模型的模型诊断模型诊断——残差与标准化残差残差—因变量的观测值与预测值之差,用e表示反映了用估计的回归方程去预测而引起的误差可用于确定有关误差项

的假定是否成立标准化残差—残差除以它的标准差残差图—模型诊断工具统计学—基于R—贾俊平10

-2021-06-19第10章10.5回归模型的模型诊断模型诊断——例题分析#模型诊断图example10_1<-read.csv("C:/example/chap10/example10_1.csv")model2<-lm(y~x1+x2+x5,data=example10_1)par(mfrow=c(2,2),cex=0.8,cex.main=0.7)plot(model2)#绘制模型诊断图#模型预测example10_1<-read.csv("C:/example/ch10/example10_1.csv")model2<-lm(y~x1+x2+x5,data=example10_1)x<-example10_1[,c(3,4,7)]pre<-predict(model2)res<-residuals(model2)zre<-rstandard(model2)con_int<-predict(model2,x,interval="confidence",level=0.95)pre_int<-predict(model2,x,interval="prediction",level=0.95)mysummary<-data.frame(营业额=example10_1$y,点预测值=pre,残差=res,标准化残差=zre,置信下限=con_int[,2],置信上限=con_int[,3],预测下限=pre_int[,2],预测上限=pre_int[,3])round(mysummary,3)统计学—基于R—贾俊平10

-2021-06-19第10章10

-2021-06-1910.6

哑变量回归在模型中引入哑变量——例题分析也称虚拟变量。用数字代码表示的定性自变量哑变量可有不同的水平只有两个水平的哑变量,如性别(男,女) 有两个以上水平的哑变量,如贷款企业的类型(家电,医药,其他)哑变量的取值为0,1 当定性变量只有两个水平时,可在回归中引入一个哑变量比如,性别(男,女) 一般而言,如果定性自变量有k个水平,需要在回归中模型中引进k-1个哑变量例题分析【例10-8】沿用例10-1。假定在分析影响日均营业额的因素中,再考虑“交通方便程度”变量,并设其取值为“方便”和“不方便”。为便于理解,原来的5个自变量我们只保留用餐平均支出一个数值自变量。假定调查得到的数据表编号日均营业额用餐平均支出方便程度yx1x2153.2168.6方便218.522.5方便311.3109.4不方便484.7277.0方便57.317.4不方便617.993.0方便72.521.5不方便827.3114.5方便95.961.3不方便1023.9129.8方便统计学—基…于R—贾俊平………第10章10

-统计学—基于R—贾俊平2021-06-1910.6

哑变量回归在模型中引入哑变量——例题分析#日均营业额与用餐平均支出的一元回归example10_7<-read.csv("C:/example/ch10/example10_7.csv")model_s<-lm(日均营业额~用餐平均支出,

data=example10_7)summary(model_s)#日均营业额与用餐平均支出和交通方便程度的二元回归exam