统计学课件讲多元线性回归

第11章多元线性回归11.1

多元线性回归模型11.2

回归方程的拟合优度11.3显著性检验11.4多重共线性11.5

变量选择与逐步回归11.1多元线性回归模型11.1.1多元回归模型与回归方程11.1.2估计的多元回归方程11.1.3参数的最小二乘估计多元回归模型与回归方程多元回归模型

(multipleregressionmodel)一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1

，x2

，…，

xk

和误差项

的方程，称为多元回归模型涉及k个自变量的多元回归模型可表示为

b0

，b1，b2

，，bk是参数

是被称为误差项的随机变量

y是x1,，x2

，

，xk

的线性函数加上误差项

包含在y里面但不能被k个自变量的线性关系所解释的变异性多元回归模型

(基本假定)误差项ε是一个期望值为0的随机变量，即E(

)=0对于自变量x1，x2，…，xk的所有值，

的方差

2都相同误差项ε是一个服从正态分布的随机变量，即ε~N(0,

2)，且相互独立多元线性回归模型的基本假设在多元回归中除了要求一元回归中的基本假设条件外，还需要假设自变量之间不存在完全的多重共线性，否则无法估计回归模型。完全的多重共线性：一个自变量可以表示为其他自变量和常数项的线性函数，例如x1=2x2+x3+5。完全多重共线性完全多重共线性：一个自变量可以表示为其他自变量（包括常数项）的线性函数。后果：违背基本假设，模型的参数无法估计。需要去掉一个自变量。例如：在以下回归模型中，存在完全多重共线性：因变量：消费自变量：第一产业增加值；第二产业增加值；第三产业增加值；GDP。高度多重共线性高度多重共线性：如果某两个或多个解释变量之间出现了高度的相关性，则称为高度多重共线性。例如：在以下回归模型中，应该会有高度的多重共线性：因变量：消费；自变量：收入、财富。多元回归方程

(multipleregressionequation)描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xk的方程多元线性回归方程的形式为

E(y)=

0+

1x1

+

2x2

+…+

k

xkb1，b2，，bk称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均变动值二元回归方程的直观解释二元线性回归模型(观察到的y)回归面

0

ix1yx2(x1,x2)}估计的多元回归方程估计的多元回归方程

(estimatedmultipleregressionequation)

是估计值是y

的估计值用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为参数的最小二乘估计参数的最小二乘法求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即根据数据，建立北京市城镇居民消费模型，要求以人均年消费性支出（变量Y）为因变量，以人均年可支配收入（变量X）和家庭恩格尔系数（变量Z）为自变量，建立二元线性回归模型。例SPSS回归结果结果分析二元线性回归方程为：变量X的回归系数为0.602，其统计含义：在居民家庭恩格尔系数不变的条件下，居民可支配收入每上升1个单位（千元），居民消费“平均”上升0.602个单位（千元）；变量Z的回归系数为0.097，说明在居民可支配收入不变的条件下，居民恩格尔系数每降低1个单位（即降低1%），居民消费水平就会“平均”上升0.097个单位（千元）。11.2回归方程的拟合优度11.2.1多重判定系数11.2.2估计标准误差多重判定系数多重判定系数

(multiplecoefficientofdetermination)

回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例修正多重判定系数

(adjustedmultiplecoefficientofdetermination)

用样本量n和自变量的个数k去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2估计标准误差Sy对误差项

的标准差

的一个估计值衡量多元回归方程的拟合优度计算公式为例11.3显著性检验11.3.1线性关系检验11.3.2回归系数检验和推断线性关系检验线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系线性关系检验提出假设H0：

1

2

k=0线性关系不显著H1：

1，

2，

k至少有一个不等于02.计算检验统计量F确定显著性水平

和分子自由度k、分母自由度n-k-1找出临界值F

4.作出决策：若F>F

，拒绝H0F检验：结果回归系数检验和推断回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)对每一个自变量都要单独进行检验应用t检验统计量回归系数的检验

(步骤)提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)计算检验的统计量t

确定显著性水平

，并进行决策

t>t

，拒绝H0；t<t

，不拒绝H0SPSS回归结果回归系数的推断

(置信区间)

回归系数在1-

置信水平下的置信区间为

回归系数的抽样标准差11.4多重共线性11.4.1多重共线性及其所产生的问题11.4.2多重共线性的判别11.4.3多重共线性问题的处理多重共线性及其产生的问题多重共线性

(multicollinearity)回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反多重共线性的识别多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反VIF（VarianceInflationFactor）方差扩大因子>10严重的多重共线性多重共线性问题的处理多重共线性

(问题的处理)将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)限定在自变量样本值的范围内提示在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要在社会科学的研究中，由于所使用的大多数数据都是非试验性质的，因此，在某些情况下，得到的结果往往并不令人满意，但这不一定是选择的模型不合适，而是数据的质量不好，或者是由于引入的自变量不合适11.5变量选择与逐步回归11.5.1变量选择过程11.5.2向前选择11.5.3向后剔除11.5.4逐步回归变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：向前选择、向后剔除、逐步回归等向前选择

(ForwardSelection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量，并将其首先引入模型分别拟合引入模型外的k-1个自变量的线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止向后剔除

(BackwardElimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察个再去掉一个自变量的模型(这些模型中每一个都有k-2个的自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止逐步回归