多元线性回归分析详解演示文稿

优选多元线性回归分析详解演示文稿当前1页，总共73页。优选多元线性回归分析当前2页，总共73页。学习目标1. 回归模型、回归方程、估计的回归方程2. 回归方程的拟合优度回归方程的显著性检验多重共线性问题及其处理利用回归方程进行估计和预测虚拟自变量的回归问题非线性回归当前3页，总共73页。1多元线性回归模型1.1多元回归模型与回归方程1.2估计的多元回归方程1.3参数的最小二乘估计当前4页，总共73页。多元回归模型与回归方程当前5页，总共73页。多元回归模型

(multipleregressionmodel)一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1，x2，…，xk

和误差项

的方程，称为多元回归模型涉及k个自变量的多元回归模型可表示为

b0

，b1，b2

，，bk是参数

是被称为误差项的随机变量y是x1,，x2

，，xk

的线性函数加上误差项

包含在y里面但不能被k个自变量的线性关系所解释的变异性当前6页，总共73页。多元回归模型

(基本假定)误差项ε是一个期望值为0的随机变量，即E()=0对于自变量x1，x2，…，xk的所有值，的方差2都相同误差项ε是一个服从正态分布的随机变量，即ε~N(0,2)，且相互独立当前7页，总共73页。多元回归方程

(multipleregressionequation)描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xk的方程多元线性回归方程的形式为

E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均变动值当前8页，总共73页。二元回归方程的直观解释二元线性回归模型(观察到的y)回归面0ix1yx2(x1,x2)}当前9页，总共73页。估计的多元回归方程当前10页，总共73页。估计的多元回的方程

(estimatedmultipleregressionequation)是估计值是y的估计值用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为当前11页，总共73页。参数的最小二乘估计当前12页，总共73页。参数的最小二乘法求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即当前13页，总共73页。参数的最小二乘法

(上机作业)【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义解：由Excel给出的多元回归结果见下表.得不良贷款(y)与贷款余额(x1)、累计应收贷款(x2)、贷款项目个数(x3)和固定资产投资额(x4)的线性回归方程如下当前14页，总共73页。某商业银行2002年的有关业务数据当前15页，总共73页。用Excel进行回归分析的步骤当前16页，总共73页。Excel输出的回归分析结果当前17页，总共73页。2回归方程的拟合优度2.1多重判定系数2.2估计标准误差当前18页，总共73页。多重判定系数当前19页，总共73页。多重判定系数

(multiplecoefficientofdetermination)

回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例当前20页，总共73页。修正多重判定系数

(adjustedmultiplecoefficientofdetermination)

用样本量n和自变量的个数k去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2当前21页，总共73页。估计标准误差Sy对误差项的标准差的一个估计值衡量多元回归方程的拟合优度计算公式为当前22页，总共73页。3显著性检验3.1线性关系检验3.2回归系数检验和推断当前23页，总共73页。线性关系检验当前24页，总共73页。线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系当前25页，总共73页。线性关系检验提出假设H0：12k=0线性关系不显著H1：1，2，k至少有一个不等于02.计算检验统计量F确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F

4.作出决策：若F>F

，拒绝H0当前26页，总共73页。回归系数检验和推断当前27页，总共73页。回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)对每一个自变量都要单独进行检验应用t检验统计量当前28页，总共73页。回归系数的检验

(步骤)提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)计算检验的统计量t确定显著性水平，并进行决策t>t，拒绝H0；t<t，不拒绝H0当前29页，总共73页。回归系数的推断

(置信区间)回归系数在1-置信水平下的置信区间为

回归系数的抽样标准差当前30页，总共73页。4多重共线性4.1多重共线性及其所产生的问题4.2多重共线性的判别4.3多重共线性问题的处理当前31页，总共73页。多重共线性及其产生的问题当前32页，总共73页。多重共线性

(multicollinearity)回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反当前33页，总共73页。多重共线性的识别当前34页，总共73页。多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反当前35页，总共73页。多重共线性

(例题分析)【例】判别各自变量之间是否存在多重共线性贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵当前36页，总共73页。多重共线性

(例题分析)【例】判别各自变量之间是否存在多重共线性相关系数的检验统计量当前37页，总共73页。多重共线性

(例题分析)

t(25-2)=2.069，所有统计量t>t(25-2)=2.069，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系由表Excel输出的结果可知，回归模型的线性关系显著(Significance-F＝1.03539E-06<=0.05)。而回归系数检验时却有3个没有通过t检验(P-Value=0.074935，0.862853，0.067030>=0.05)。这也暗示了模型中存在多重共线性固定资产投资额的回归系数为负号(-0.029193)，与预期的不一致当前38页，总共73页。多重共线性问题的处理当前39页，总共73页。多重共线性

(问题的处理)将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)限定在自变量样本值的范围内当前40页，总共73页。提示在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要在社会科学的研究中，由于所使用的大多数数据都是非试验性质的，因此，在某些情况下，得到的结果往往并不令人满意，但这不一定是选择的模型不合适，而是数据的质量不好，或者是由于引入的自变量不合适当前41页，总共73页。5利用回归方程进行估计和预测软件应用当前42页，总共73页。置信区间估计

(例题分析)STATISTICA输出的不良贷款的置信区间当前43页，总共73页。预测区间估计

(例题分析)STATISTICA输出的不良贷款的预测区间当前44页，总共73页。6变量选择与逐步回归6.1变量选择过程6.2向前选择6.3向后剔除6.4逐步回归当前45页，总共73页。变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等当前46页，总共73页。向前选择

(forwardselection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量，并将其首先引入模型分别拟合引入模型外的k-1个自变量的线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止当前47页，总共73页。向后剔除

(backwardelimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察个再去掉一个自变量的模型(这些模型中每一个都有k-2个的自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止当前48页，总共73页。逐步回归

(stepwiseregression)将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除按照以上方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中当前49页，总共73页。逐步回归

(例题分析—SPSS输出结果)VariableEntered/Removeda

modelVariableEnteredVariableRemovedmethod1各项贷款余额x1Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100.2固定资产投资额x4Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100.

aDependentvariable:不良贷款y当前50页，总共73页。逐步回归

(例题分析—SPSS输出结果)Modelsummary

modelRR-SquareAdjustedR-Square

Std.ErroroftheEstimate

1.844a.712.6991.97992.872b.761.7391.8428aPredictors:(Constant),各项贷款余额x1bPredictors:(Constant),各项贷款余额x1,固定资产投资额x4当前51页，总共73页。逐步回归

(例题分析—SPSS输出结果)

ANOVAc

modelSumofSquaresdfMeanSquareFSig.1RegressResidualTotal222.48690.164312.65012324222.4863.92056.754.000a2RegressResidualTotal237.94174.709312.65022224118.9713.39635.034.000baPredictors:(Constant),各项贷款余额x1bPredictors:(Constant),各项贷款余额x1,固定资产投资额x4cDependentvariable:不良贷款y当前52页，总共73页。逐步回归

(例题分析—SPSS输出结果)ModelUnstandardizedCoefficientsUnstandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)贷款余额x1-.830.038.723.0050844-1.1477.534.263.0002(Constant)贷款余额x1固定资产投资x4-.443.050-.032.697.007.0151.120-.355-.6366.732-2.133.531.000.044aDependentvariable:不良贷款yCoefficientsa当前53页，总共73页。7虚拟自变量的回归7.1含有一个虚拟自变量的回归7.2用虚拟自变量回归解决方差分析问题当前54页，总共73页。含有一个虚拟自变量的回归当前55页，总共73页。虚拟自变量

(dummyvariable)用数字代码表示的定性自变量虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如，性别(男，女)有两个以上水平的虚拟自变量贷款企业的类型(家电，医药，其他)虚拟变量的取值为0，1当前56页，总共73页。虚拟自变量的回归回归模型中使用虚拟自变量时，称为虚拟自变量的回归当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量比如，性别(男，女)一般而言，如果定性自变量有k个水平，需要在回归模型中引进k-1个虚拟变量当前57页，总共73页。虚拟自变量的回归

(例题分析)【例】为了研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如右表当前58页，总共73页。虚拟自变量的回归

(考试成绩与性别的散点图)男女当前59页，总共73页。虚拟自变量的回归

(成绩与性别的Mean/SD/1.96*SD箱线图)y与x的回归当前60页，总共73页。虚拟自变量的回归

(例题分析)引进虚拟变量时，回归方程表示为E(y)=0+1x男(x=0)：E(y)=0—男学生考试成绩的期望值女(x=1)：E(y)=0+1—1女学生考试成绩的期望值注意：当指定虚拟变量0，1时0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值，即平均值的差值=(0+1)-0=1当前61页，总共73页。虚拟自变量的回归

(例题分析)【例】为研究工资水平与工作年限和性别之间的关系，在某行业中随机抽取10名职工，所得数据如右表y与x1的回归及分析y与x1，

x2的回归及分析当前62页，总共73页。虚拟自变量的回归

(例题分析)引进虚拟变量时，回归方程写为

E(y)=0+1x1+2x2女(

x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10表示：女性职工的期望月工资收入(0+2)表示：男性职工的期望月工资收入1表示：工作年限每增加1年，男性或女性工资的平均增加值2表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值(0+2)-0=2当前63页，总共73页。用虚拟自变量回归

解决方差分析问题当前64页，总共73页。方差分析的回归方法

(例题分析)引进虚拟变量建立回归方程：E(Y)=0+1x1+2x2+3x30—家电制造业投诉次数的平均值

(0+1)—零售业投诉次数的平均值

(0+2)—旅游业投诉次数的平均值

(0+3)—航空公司投诉次数的平均值

当前6