多元相关与回归分析

第10章多元线性回归10.1多元线性回归模型10.2回归方程的拟合优度10.3显著性检验10.4多重共线性10.5哑变量回归10.6非线性回归多元相关与回归分析共82页，您现在浏览的是第1页!学习目标1. 回归模型、回归方程、估计的回归方程2. 回归方程的拟合优度回归方程的显著性检验利用回归方程进行估计和预测非线性回归用SPSS进行回归分析多元相关与回归分析共82页，您现在浏览的是第2页!10.1多元线性回归模型10.1.1多元回归模型与回归方程10.1.2估计的多元回归方程10.1.3参数的最小二乘估计多元相关与回归分析共82页，您现在浏览的是第3页!多元回归模型

(multipleregressionmodel)一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1，x2，…，xk

和误差项

的方程，称为多元回归模型涉及k个自变量的多元回归模型可表示为

b0

，b1，b2

，，bk是参数

是被称为误差项的随机变量y是x1,，x2

，，xk

的线性函数加上误差项

包含在y里面但不能被k个自变量的线性关系所解释的变异性多元相关与回归分析共82页，您现在浏览的是第4页!多元回归方程

(multipleregressionequation)描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xk的方程多元线性回归方程的形式为E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均变动值多元相关与回归分析共82页，您现在浏览的是第5页!估计的多元回归方程多元相关与回归分析共82页，您现在浏览的是第6页!参数的最小二乘估计多元相关与回归分析共82页，您现在浏览的是第7页!参数的最小二乘法

(例题分析)【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义多元相关与回归分析共82页，您现在浏览的是第8页!多重判定系数多元相关与回归分析共82页，您现在浏览的是第9页!在样本容量一定的条件下，不断向模型中增加自变量，即使新增的变量与Y不相关，模型的R2也可能上升，至少不会下降。在实际应用中，研究人员更欢迎简单的模型，这样的模型更简单和易于解释。如果根据R2来选择模型，显然会倾向于复杂的模型。更常用的指标是“修正后的Ra2”。修正的判定系数多元相关与回归分析共82页，您现在浏览的是第10页!估计标准误差Se对误差项的标准差的一个估计值衡量多元回归方程的拟合优度计算公式为多元相关与回归分析共82页，您现在浏览的是第11页!线性关系检验多元相关与回归分析共82页，您现在浏览的是第12页!线性关系检验提出假设H0：12k=0线性关系不显著H1：1，2，k至少有一个不等于02.计算检验统计量F确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F

4.作出决策：若F>F

，拒绝H0多元相关与回归分析共82页，您现在浏览的是第13页!回归系数检验和推断回归方程显著，并不意味着每个解释变量对因变量Y的影响都重要,因此需要进行检验：回归系数检验的必要性回归方程显著每个回归系数都显著多元相关与回归分析共82页，您现在浏览的是第14页!回归系数的推断

(置信区间)回归系数在(1-)%置信水平下的置信区间为

回归系数的抽样标准差多元相关与回归分析共82页，您现在浏览的是第15页!多重共线性及其产生的问题多元相关与回归分析共82页，您现在浏览的是第16页!多重共线性的识别多元相关与回归分析共82页，您现在浏览的是第17页!多重共线性

(例题分析)【例】判别各自变量之间是否存在多重共线性贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵多元相关与回归分析共82页，您现在浏览的是第18页!多重共线性

(例题分析)

t(25-2)=2.0687，所有统计量t>t(25-2)=2.0687，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系由表中的结果可知，回归模型的线性关系显著(Significance-F＝1.03539E-06<=0.05)。而回归系数检验时却有3个没有通过t检验(P-Value=0.074935，0.862853，0.067030>=0.05)。这也暗示了模型中存在多重共线性固定资产投资额的回归系数为负号(-0.029193)，与预期的不一致多元相关与回归分析共82页，您现在浏览的是第19页!多重共线性

(问题的处理)将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内多元相关与回归分析共82页，您现在浏览的是第20页!变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著的减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：逐步回归、向前选择、向后剔除多元相关与回归分析共82页，您现在浏览的是第21页!向后剔除

(backwardelimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中每一个都有的k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察p-1个再去掉一个自变量的模型(这些模型中在每一个都有k-2个的自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止多元相关与回归分析共82页，您现在浏览的是第22页!

10.5哑变量回归10.5.1在模型中引进哑变量10.5.2含有一个哑变量的回归多元相关与回归分析共82页，您现在浏览的是第23页!哑变量

(dummyvariable)也称虚拟变量。用数字代码表示的定性自变量哑变量可有不同的水平只有两个水平的哑变量比如，性别(男，女)有两个以上水平的哑变量贷款企业的类型(家电，医药，其他)哑变量的取值为0，1多元相关与回归分析共82页，您现在浏览的是第24页!在回归中引进哑变量

(例题分析)例为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如右表多元相关与回归分析共82页，您现在浏览的是第25页!在回归中引进哑变量

(例题分析)【例】建立考试分数与性别之间的线性回归方程，并解释回归系数的含义多元相关与回归分析共82页，您现在浏览的是第26页!哑变量回归

(例题分析)考试成绩与性别的回归男学生考试分数的平均值女学生与男学生平均考试分数的差值多元相关与回归分析共82页，您现在浏览的是第27页!哑变量回归

(例题分析—只含一个哑变量)SPSS的输出结果方差分析表：F=5.326，Sig.=0.037，回归模型显著男=1，女=0。女学生考试成绩的期望值=81.75分；男学生比女学生平均低14.875分多元相关与回归分析共82页，您现在浏览的是第28页!哑变量回归

(例题分析—Excel)Excel输出的结果多元相关与回归分析共82页，您现在浏览的是第29页!哑变量回归

(例题分析—SPSS)

SPSS用工作年限和性别预测的月工资水平及其残差

多元相关与回归分析共82页，您现在浏览的是第30页!例题分析【例】某经济学家想调查文化程度对家庭储蓄的影响，在一个中等收入的样本框中，随机调查了13户高等学历家庭与14户中低学历的家庭。因变量y为上一年家庭储蓄增加额，自变量为上一年家庭总收入，自变量表示家庭学历。高学历家庭，低学历家庭，调查数据见下表。多元相关与回归分析共82页，您现在浏览的是第31页!序号(元)

(万元)161718192021222324252627326535673658458864369047798589509865986610235101404.64.23.73.54.85.04.23.94.84.64.84.2111011000000－2658－8261178－827－2521593－1082005－524243－1542047－4023－2416－692891－1505453200239471924257822944157多元相关与回归分析共82页，您现在浏览的是第32页!两个自变量与的系数都是显著的，多重判定系数，回归方程为该结果表明，中等收入的家庭每增加1万元收入，平均拿出3826元作为储蓄。高学历家庭每年的平均储蓄额少于低学历的家庭，平均少3701元。多元相关与回归分析共82页，您现在浏览的是第33页!如果不考虑家庭年收入，13户高学历家庭的平均年储蓄增加额为3008.62元，14户低学历家庭的平均年储蓄增加额为5059.36元，高学历家庭每年的储蓄额比低学历的家庭平均少5059.36－3008.62＝2050.74元，而用前面的回归法算出的值是3701元，两者并不相等。3701元是在假设两者的家庭年收入相等的基础上的储蓄差值，反映了学历高低对储蓄额的真实差异。多元相关与回归分析共82页，您现在浏览的是第34页!非线性回归1. 因变量y与x之间不是线性关系2. 可通过变量代换转换成线性关系用最小二乘法求出参数的估计值并非所有的非线性模型都可以化为线性模型多元相关与回归分析共82页，您现在浏览的是第35页!幂函数曲线基本形式：线性化方法两端取对数得：lgy=lg+lgx令：y'=lgy，x'=lgx，则y'

=lg+x‘图像0<<11=1-1<<0<-1=-1多元相关与回归分析共82页，您现在浏览的是第36页!SPSS中可以进行的曲线回归包括：多元相关与回归分析共82页，您现在浏览的是第37页!例题：我国1978—2002年人均GDP数据（1978年不变价），试建立人均GDP与时间之间的回归方程。多元相关与回归分析共82页，您现在浏览的是第38页!2、计算相关系数多元相关与回归分析共82页，您现在浏览的是第39页!3、进行回归多元相关与回归分析共82页，您现在浏览的是第40页!4、精细比较（1）二次曲线：F检验（2）三次曲线：F检验多元相关与回归分析共82页，您现在浏览的是第41页!本章小结变量间关系的度量回归模型、回归方程与估计的回归方程回归直线的拟合优度回归分析中的显著性检验用SPSS进行回归分析多元相关与回归分析共82页，您现在浏览的是第42页!多元回归模型与回归方程多元相关与回归分析共82页，您现在浏览的是第43页!多元回归模型

(基本假定)误差项ε是一个期望值为0的随机变量，即E()=0对于自变量x1，x2，…，xk的所有值，的方差2都相同误差项ε是一个服从正态分布的随机变量，即ε~N(0,2)，且相互独立多元相关与回归分析共82页，您现在浏览的是第44页!二元回归方程的直观解释二元线性回归模型(观察到的y)回归面0ix1yx2(x1,x2)}多元相关与回归分析共82页，您现在浏览的是第45页!估计的多元回归的方程

(estimatedmultipleregressionequation)用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为是的估计值

是y的估计值

多元相关与回归分析共82页，您现在浏览的是第46页!参数的最小二乘法求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即多元相关与回归分析共82页，您现在浏览的是第47页!10.2回归方程的拟合优度10.2.1多重判定系数10.2.2估计标准误差多元相关与回归分析共82页，您现在浏览的是第48页!多重判定系数

(multiplecoefficientofdetermination)回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例多元相关与回归分析共82页，您现在浏览的是第49页!修正多重判定系数

(adjustedmultiplecoefficientofdetermination)

用样本量n和自变量的个数k去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2多元相关与回归分析共82页，您现在浏览的是第50页!12.3显著性检验12.3.1线性关系检验12.3.2回归系数检验和推断多元相关与回归分析共82页，您现在浏览的是第51页!线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系多元相关与回归分析共82页，您现在浏览的是第52页!回归系数检验和推断多元相关与回归分析共82页，您现在浏览的是第53页!回归系数的检验(步骤)提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)计算检验的统计量t确定显著性水平，并进行决策t>t，拒绝H0；t<t，不拒绝H0多元相关与回归分析共82页，您现在浏览的是第54页!10.4多重共线性10.4.1多重共线性及其所产生的问题10.4.2多重共线性的判别10.4.3多重共线性问题的处理多元相关与回归分析共82页，您现在浏览的是第55页!多重共线性回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有t检验值会减小、系数的显著性下降。对于一组存在高度多重共线性的自变量，很难对单个系数进行解释。有可能导致各回归系数的符号同我们的预期相反。多元相关与回归分析共82页，您现在浏览的是第56页!多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反多元相关与回归分析共82页，您现在浏览的是第57页!多重共线性

(例题分析)【例】判别各自变量之间是否存在多重共线性相关系数的检验统计量多元相关与回归分析共82页，您现在浏览的是第58页!多重共线性问题的处理多元相关与回归分析共82页，您现在浏览的是第59页!多元回归中的变量筛选在多元回归中，预先选定的自变量不一定都对Y有显著的影响。有一些统计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。SPSS软件提供了多种筛选自变量的方法：“向前引入法（Forward）”“向后剔除法（Backward）”“逐步引入—剔除法（Stepwise）”多元相关与回归分析共82页，您现在浏览的是第60页!向前选择

(forwardselection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量，并将其首先引入模型分别拟合引入模型外的k-1个自变量的线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止多元相关与回归分析共82页，您现在浏览的是第61页!逐步回归的思想将变量逐一引入回归方程，先建立与y相关最密切的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，…。在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选变量的工作。可以设定引入和删除变量的条件。多元相关与回归分析共82页，您现在浏览的是第62页!10.5.1在模型中引进哑变量多元相关与回归分析共82页，您现在浏览的是第63页!在回归中引进哑变量回归模型中使用哑变量时，称为哑变量回归当定性变量只有两个水平时，可在回归中引入一个哑变量比如，性别(男，女)一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量多元相关与回归分析共82页，您现在浏览的是第64页!10.5.2含有一个哑变量的回归多元相关与回归分析共82页，您现在浏览的是第65页!哑变量回归

(例题分析)引进哑变量时，回归方程表示为E(y)=0+1x男(x=0)：E(y)=0—男学生考试成绩的期望值女(x=1)：E(y)=0+1—女学生考试成绩的期望值注意：当指定哑变量0，1时0总是代表与哑变量值0所对应的那个分类变量水平的平均值1总是代表与哑变量值1所对应的那个分类变量水平的平均值与哑变量值0所对应的那个分类变量水平的平均值的差值，即平均值的差值=(0+1)-0=1多元相关与回归分析共82页，您现在浏览的是第66页!用SPSS进行哑变量回归

(有一个哑变量和有一个数值变量)第1步：选择【Analyze】，并选择【GeneralLinearModel-Univaiate】进入主对话框第2步：将因变量(考试成绩)选入【DependentVariable】，将自变量(性别)选入【FixedFactor(s)】(模型中还含有一个数值自变量时，将数值自变量选入【Covariate(s)】)第3步：点击【Model】，并点击【Custom】；将性别[F]选入【Model】(若模型中还含有工作年限自变量时，将工作年限[C]也选入【Model】；在【BuildTerm(s)】下选择【Maineffects】。点击【Continue】回到主对话框。点击【Options】，在【Display】下选中【Parameterestimates】(估计模型中的参数)。点击【Continue】回到主对话框。点击【OK】SPSS多元相关与回归分析共82页，您现在浏览的是第67页!哑变量回归

(例题分析)【例】为研究工资水平与工作年限和性别之间的关系，在某行业中随机抽取10名职工，所得数据如右表多元相关与回归分析共82页，您现在浏览的是第68页!哑变量回归

(例题分析—SPSS)

SPSS多元相关与回归分析共82页，您现在浏览的是第69页!哑变量回归(例题分析)引进哑变量时，回归方程写为E(y)=0+1x1+2x2女(x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10的含义表示：女性职工的期望月工资收入(x1=0时)(0+2)的含义表示：男性职工的期望月工资收入(x1=0时)1含义表示：工作年限每增加1年，男性或女性工资的平均增加值2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值(0+2)-0=2多元相关与回归分析共82页，您现在浏览的是第70页!序号(元)(万元)12345678910111213141523534636546865886710851236123813452365236532563256