统计学 第三章 多元回归分析

2023/2/1第三

章多元线性回归上好的模型选择可遵循一个称为奥克姆剃刀(Occam’sRazor)的基本原理：最好的科学模型往往最简单，且能解释所观察到的事实。——WilliamNavidi统计名言1第三

章多元线性回归第一节

多元线性回归模型第二节

拟合优度和显著性检验第三节

多重共线性及其处理第四节利用回归方程进行预测第五节

虚拟自变量的回归2023/2/12多元线性回归模型、回归方程与估计的回归方程回归方程的拟合优度与显著性检验多重共线性问题及其处理利用回归方程进行预测虚拟自变量的回归用Excel和SPSS进行回归分析2023/2/13学习目标42023/2/1身高受那些因素影响？决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用2004年12月，中国人民大学国民经济管理系02级的两位学生，对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回调查的样本量为98人，男性55人，女性43人。调查内容包括被调查者的身高(单位：cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据如下页的表所示(1代表男性，0代表女性)父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？这就是本章将要讨论的多元线性回归问题子女身高父亲身高母亲身高子女性别子女身高父亲身高母亲身高子女性别171166158115516515701741711581161182165017717916811661661560178174160117017816001801731621158173160018117016011601701650159168153116017115001691681531162167158017017016711651751600170170160116817216202023/2/15调查数据单位：cm0：女1：男第一节多元线性回归模型

一、回归模型与回归方程二、参数的最小二乘估计2023/2/16一、回归模型与回归方程2023/2/17一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1

，x2

，…，

xk

和误差项

的方程，称为多元回归模型涉及k个自变量的多元线性回归模型可表示为2023/2/18多元回归模型

(multiplelinearregressionmodel)

b0

，b1，b2

，，bk是参数

是被称为误差项的随机变量

y是x1，x2

，，xk

的线性函数加上误差项

包含在y里面但不能被k个自变量的线性关系所解

释的变异性正态性。误差项ε是一个服从正态分布的随机变量，且期望值为0，即ε~N(0,2)方差齐性。对于自变量x1，x2，…，xk的所有值，的方差2都相同独立性。对于自变量x1，x2，…，xk的一组特定值，它所对应的与任意一组其他值所对应的不相关2023/2/19多元回归模型的基本假定

1.描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xk的方程2.多元线性回归方程的形式为

E(y)=0+1x1

+2x2

+…+

k

xk2023/2/110多元线性回归方程(multiplelinearregressionequation)

b1，b2，，bk称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位

时，y的平均变动值用样本统计量

估计回归方程中的参数时得到的方程由最小二乘法求得一般形式为2023/2/111估计的多元线性回归方程

(estimatedmultiplelinearregressionequation)

是估计值是y

的估计值二、

参数的最小二乘估计2023/2/1122023/2/113参数的最小二乘估计求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即2023/2/114参数的最小二乘法(例题分析)【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义

用Excel进行回归2023/2/115数据表2023/2/116参数的最小二乘估计

(例题分析)F检验t检验偏回归系数第二节

拟合优度和显著性检验一、回归方程的拟合二、显著性检验2023/2/117一、回归方程的拟合优度2023/2/1182023/2/119变差分解xy}}来自回归（系统影响）来自残差（随机影响）2023/2/120变差平方和关系平方和关系：SST=SSR+SSE自由度关系：n-1=k+(n-k-1)总平方和(SST)自由度：n-1{回归平方(SSR)自由度：k残差平方和(SSE)自由度：n-k-1{{回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例2023/2/121多重判定系数(multiplecoefficientofdetermination)

用样本量n和自变量的个数k去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R22023/2/122修正多重判定系数(adjustedmultiplecoefficientofdetermination)

用Excel进行回归2023/2/123多重相关系数

(multiplecorrelationcoefficient)

多重判定系数的平方根R反映因变量y与k个自变量之间的相关程度实际上R度量的是因变量的观测值与由多元回归方程得到的预测值之间的关系强度，即多重相关系数R等于因变量的观测值与估计值之间的简单相关系数即：

(一元相关系数r也是如此，

即。读者自己去验证)对误差项的标准差的一个估计值衡量多元回归方程的拟合优度计算公式为2023/2/124估计标准误差Se

用Excel进行回归二、显著性检验2023/2/125检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，运用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系2023/2/126线性关系检验1.提出假设H0：12k=0线性关系不显著H1：1，2，k至少有一个不等于02023/2/127线性关系检验2.计算检验统计量F3.确定显著性水平和分子自由度k、分母自由度n-k-1找出临

界值F

4.作出决策：若F>F

，拒绝H0线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)对每一个自变量都要单独进行检验应用t检验统计量2023/2/128回归系数的检验1.提出假设H0：

(自变量xi

与

因变量y没有线性关系)H1：

(自变量xi

与

因变量y有线性关系)2.计算检验的统计量t2023/2/129回归系数的检验(步骤)3.确定显著性水平，并进行决策t>t，拒绝H0；

t<t，不拒绝H0回归系数在(1-)%置信水平下的置信区间为

2023/2/130回归系数的推断(置信区间)回归系数的抽样标准差自由度第三节

多重共线性及其处理一、多重共线性及其识别二、变量选择与逐步回归2023/2/131一、多重共线性及其识别2023/2/1321.回归模型中两个或两个以上的自变量彼此相关2.多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途，F检验显著，t检验不显著可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反参数估计量的方差变大，参数检验有可能失效，有些回归系数通不过显著性检验2023/2/133多重共线性(multicollinearity)1.检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性2.如果出现下列情况，暗示存在多重共线性（经验判断）模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反2023/2/134多重共线性的识别1.将一个或多个相关的自变量从模型中剔除，使保

留的自变量尽可能不相关2.如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)限定在自变量样本值的范围内2023/2/135多重共线性的处理1.在建立多元线性回归模型时，不要试图引入

更多的自变量，除非确实有必要2.在社会科学的研究中，由于所使用的大多数

数据都是非试验性质的，因此，在某些情况

下，得到的结果往往并不令人满意，但这不

一定是选择的模型不合适，而是数据的质量

不好，或者是由于引入的自变量不合适2023/2/136提示1.模型选择可遵循奥克姆剃刀的基本原理最好的科学模型往往最简单，且能解释所观察到的事实2.对于线性模型来说，奥克姆剃刀可表示成简约原

则一个模型应包括拟合数据所必需的最少变量3.如果一个模型只包含数据拟合所必需的变量，这

个模型就称为简约模型(parsimoniousmodel)实际中的许多多元回归模型都是对简约模型的扩展2023/2/137奥克姆剃刀(Occam’sRazor)二、变量选择与逐步回归2023/2/138在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：向前选择、向后剔除、逐步回归等2023/2/139变量选择过程从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型分别拟合引入模型外的k-1个自变量的线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止特点：引入模型中的变量肯定会被保留2023/2/140向前选择

(forwardselection)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中的每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个的自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止2023/2/141向后剔除

(backwardelimination)YX1X2X3sse=40YX2X3sse=30YX1X3sse=20YX1X2sse=10向后剔除(backwardelimination)回归变量（解释变量）选择X1X2X3特点：被剔除的变量将不再进入模型将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除按此方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中2023/2/143逐步回归

(stepwiseregression)2023/2/144参数的最小二乘法(逐步回归)【例】根据例3.1的数据，用逐步回归方法建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并求出不良贷款的置信区间和预测区间

第1步：选择【Analyze】下拉菜单，并选择

【Regression-linear】选项进入主对话框第2步：在主对话框中将因变量选入【Dependent】，将所有自变量选入【Independent(s)】，并在

【Method】下选择【Stepwise】第3步：点击【Options】，并在【SteppingMethodCriteria】下选中【UseProbabilityofF】，并在

【Entry】框中输入增加变量所要求的显著性水平

(隐含值为0.05，一般不用改变)；在

【Removal】输入剔除变量所要求的显著性水平

(隐含值为0.10，一般不用改变)。点击

【Continue】回到主对话框2023/2/145用SPSS进行逐步回归

(stepwiseregression)第4步：(需要预测时)点击【Save】：在【PredictedValues】下选中

【Unstandardized】(输出点预测值)

在【Predictioninterval】下选中【Mean】和

【Individual】(输出置信区间和预测区间)

在【ConfidenceInterval】中选择所要求的置信水平(隐含值为95%，一般不用改变)(需要残差分析时)在【Residuals】下选中所需的残差，点击【Continue】回到主对话框。点击【OK】2023/2/146用SPSS进行逐步回归

(stepwiseregression)2023/2/1逐步回归

(例题分析—SPSS输出结果)变量的进入和移出标准2023/2/1逐步回归

(例题分析—SPSS输出结果)两个模型的主要统计量2023/2/1逐步回归

(例题分析—SPSS输出结果)两个模型的方差分析表2023/2/150逐步回归

(例题分析—SPSS输出结果)两个模型的参数估计和检验

第四节利用回归方程进行预测2023/2/1512023/2/152置信区间和预测区间(例题分析)2023/2/1置信区间和预测区间(例题分析)不良贷款的置信面和预测面二元回归面置信面预测面回归面第五节

虚拟自变量的回归一、在模型中引进虚拟变量二、含有一个虚拟自变量的回归2023/2/154一、在模型中引进虚拟变量2023/2/155也称哑变量。用数字代码表示的定性自变量虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如，性别(男，女)有两个以上水平的虚拟自变量贷款企业的类型(家电，医药，其他)虚拟变量的取值为0，12023/2/156虚拟自变量(dummyvariable)回归模型中使用虚拟自变量时，称为虚拟自变量的回归当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量比如，性别(男，女)一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个虚拟变量2023/2/157在回归中引进虚拟变量考试成绩性别X75男096女168男051男078女181女172男069男088女193男062男076女145男075女165女195女12023/2/158在回归中引进虚拟变量(例题分析)【例】为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如右表二、含有一个虚拟自变量的回归2023/2/159考试成绩性别X75男096女168男051男078女181女172男069男088女193男062男076女145男075女165女195女12023/2/160在回归中引进虚拟变量

(例题分析)【例】建立考试分数与性别之间的线性回归方程，并解释回归系数的含义

引进虚拟变量时，回归方程表示为E(y)=0+1x男(x=0)：E(