第三章 回归预测法

3回归预测法

3.1一元线性回归预测法

3.2多元线性回归预测法3.3非线性回归预测法

3.4应用回归预测时应注意的问题3.1一元线性回归预测法是指成对的两个变量数据分布大体上呈直线趋势时，运用合适的参数估计方法，求出一元线性回归模型，然后根据自变量与因变量之间的关系，预测因变量的趋势。回本章目录很多社会经济现象之间都存在相关关系，因

此，一元线性回归预测有很广泛的应用。进

行一元线性回归预测时，必须选用合适的统

计方法估计模型参数，并对模型及其参数进

行统计检验。

回本章目录一、建立模型一元线性回归模型：

其中，

是未知参数，

为剩余残差项或称随机扰动项。

，回本章目录用最小二乘法进行参数的估计时，要求满足以下基本假设条件：

二、估计参数

回本章目录用最小二乘法进行参数估计，得到的估计表达式为：回本章目录三、进行检验标准误差：估计值与因变量值间的平均平方根误差。其计算公式为：

回本章目录可决系数：衡量自变量与因变量关系密切程度的指标，表示自变量解释了因变量变动的百分比。计算公式为：

可见，可决系数取值于0与1之间，并取决于回归模型所解释的方差的百分比。回本章目录相关系数

其计算公式为：

由公式可见，可决系数是相关系数的平方。相关系数越接近+1或－1，因变量与自变量的拟合程度就越好。回本章目录相关系数测定变量之间的密切程度，可决系数测定自变量对因变量的解释程度。相关系数有正负，可决系数只有正号。正相关系数意味着因变量与自变量以相同的方向增减。

如果直线从左至右上升，则相关系数为正；如果直线从左至右下降，则相关系数为负。相关系数与可决系数的主要区别：回本章目录回归系数显著性检验检验假设：

其中，检验规则：给定显著性水平

，若则回归系数显著。

检验统计量：

回本章目录回归模型的显著性检验

检验假设：

回归方程不显著

回归方程显著

检验统计量：

~检验规则：给定显著性水平

，若

则回归方程显著。回本章目录德宾—沃森统计量（D—W）

检验

之间是否存在自相关关系。

其中，D—W的取值域在0~4之间。回本章目录

检验法则：回本章目录D—W检验表见教材附表一四、进行预测小样本情况下,预测区间的常用公式为：

回本章目录

•例1

已知身高与体重的资料如下表所示：例题分析身高（米）1.551.601.651.671.71.751.801.82体重（公斤）5052575660656270要求：（1）拟合适当的回归方程；（2）判断拟合优度情况；（3）对模型进行显著性检验；（α=0.05）（4）当体重为75公斤时，求其身高平均值的95%的置信区间。回本章目录解答：（1）n=8，经计算得：

因此：回本章目录因此，建立的一元线性回归方程为：

（2）回归直线的拟合优度不是很理想。回本章目录（3）所以拒绝原假设，认为所建立的线性回归模型是显著的。回本章目录（4）回本章目录•例2为研究销售收入与广告费用支出之间的关系，某医药管理部门随机抽取20家药品生产企业，得到它们的年销售收入和广告费用支出(万元)的数据如下。绘制散点图描述销售收入与广告费用之间的关系销售收入和广告费用的散点图用SPSS进行回归第1步：选择【Analyze】下拉菜单，并选择【Regression-linear】选项，进入主对话框第2步：在主对话框中将因变量(本例为销售收入)选入【Dependent】，将自变量(本例为广告费用)选入【Independent(s)】第3步：点击【Save】在【PredictedValues】下选中【Unstandardized】(输出点预测值)在【Predictioninterval】下选中【Mean】和【Individual】(输出置信区间和预测区间)在【ConfidenceInterval】中选择所要求的置信水平(隐含值95%，一般不用改变)在【Residuals】下选中【Unstandardized】和【standardized】(输出残差和标准化残差)点击【Continue】回到主对话框。点击【OK】SPSS进行回归参数的最小二乘估计

(SPSS输出结果)参数的最小二乘估计

(例题分析)利用回归方程进行预测对于自变量

x的一个给定值x0，根据回归方程得到因变量y的一个估计区间区间估计有两种类型1.置信区间估计(confidenceintervalestimate)2.预测区间估计(predictionintervalestimate)平均值的置信区间利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的平均值的估计区间，这一估计区间称为置信区间(confidenceinterval)

E(y0)

在1-置信水平下的置信区间为式中：se为估计标准误差个别值的预测区间利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的一个个别值的估计区间，这一区间称为预测区间(predictioninterval)

y0在1-置信水平下的预测区间为注意！置信区间和预测区间xpyxx预测上限置信上限预测下限置信下限用SPSS进行回归第1步：选择【Analyze】下拉菜单，并选择【Regression-linear】选项，进入主对话框第2步：在主对话框中将因变量(本例为销售收入)选入【Dependent】，将自变量(本例为广告费用)选入【Independent(s)】第3步：点击【Save】在【PredictedValues】下选中【Unstandardized】(输出点预测值)在【Predictioninterval】下选中【Mean】和【Individual】(输出置信区间和预测区间)在【ConfidenceInterval】中选择所要求的置信水平(隐含值95%，一般不用改变)在【Residuals】下选中【Unstandardized】和【standardized】(输出残差和标准化残差)点击【Continue】回到主对话框。点击【OK】进行回归SPSS置信区间和预测区间

(例题分析)点预测值置信线预测线置信区间和预测区间

(例题分析)用残差检验模型的假定

检验方差齐性

检验正态性残差(residual)因变量的观测值与根据估计的回归方程求出的预测值之差，用e表示反映了用估计的回归方程去预测而引起的误差可用于确定有关误差项的假定是否成立用于检测有影响的观测值残差图(residualplot)表示残差的图形关于x的残差图关于y的残差图标准化残差图用于判断误差的假定是否成立检测有影响的观测值残差齐性检验(a)满意模式残差x0(b)非常数方差残差x0(c)模型不合适残差x0残差与标准化残差图

(例题分析)点预测值残差标准残差残差图

(例题分析)销售收入与广告费用回归的残差图标准化残差

(standardizedresidual)残差除以它的标准差也称为Pearson残差或半学生化残差(semi-studentizedresiduals)计算公式为注意：Excel给出的标准残差的计算公式为这实际上是学生化删除残差(studentizeddeletedresiduals)残差正态性检验

用标准化残差图直观地判断误差项是否服从正态分布，若残差正态分布成立，标准化残差也应服从正态分布；在标准化残差图中，大约有95%的标准化残差在-2

到+2之间标准化残差图

(例题分析)销售收入与广告费用回归的标准化残差图标准化残差的直方图和正态概率图

(例题分析)销售收入与广告费用回归标准化残的直方图和正态概率图3.2多元线性回归预测法

社会经济现象的变化往往受到多个因素的影响，因此，一般要进行多元回归分析，我们把包括两个或两个以上自变量的回归称为多元回归。回本章目录

多元回归与一元回归类似，可以用最小

二乘法估计模型参数。也需对模型及模

型参数进行统计检验。

选择合适的自变量是正确进行多元回归预

测的前提之一，多元回归模型自变量的选

择可以利用变量之间的相关矩阵来解决。回本章目录一、建立模型k个自变量的多元线性回归模型可表示为：类似使用最小二乘法进行参数估计。回本章目录多元线性回归的方程的估计

是

估计值是y

的估计值用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为

二、拟合优度指标

估计标准误差：对y值与模型估计值之间的离差的一种度量。

计算公式为：

回本章目录可决系数：

意味着回归模型没有对y的变差做出任何解释；

意味着回归模型对y的全部变差做出解释。

回本章目录三、

线性关系检验回本章目录1.提出假设H0：12k=0线性关系不显著H1：1，2，k至少有一个不等于02.计算检验统计量F确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F

4.作出决策：若F>F

，拒绝H0四、

回归系数的检验提出假设H0：bi=0(自变量xi与因变量y没有线性关系)H1：bi0(自变量xi与因变量y有线性关系)计算检验的统计量t

确定显著性水平，并进行决策t>t，拒绝H0；t<t，不拒绝H0五、自相关检验其中，，与一元回归检验方法相同。回本章目录例3-3一家商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义

SPSS多元回归SPSS输出结果多重共线性

(multicollinearity)回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反任何两个自变量之间的相关系数为：

经验法则认为，相关系数的绝对值小于0.75，或者0.5,这两个自变量之间不存在多重共线性问题。

若某两个自变量之间高度相关，就有必要把其

中的一个自变量从模型中删去。回本章目录相关矩阵及其检验

(SPSS)多重共线性的处理将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关增大样本容量，使样本容量n远大于自变量个数p作回归系数的有偏估计：岭回归主成分回归偏最小二乘法变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等向前选择

(forwardselection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型分别拟合引入模型外的k-1个自变量的二元线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止向后剔除

(backwardelimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止逐步回归

(stepwiseregression)将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中用SPSS进行逐步回归

(stepwiseregression)第1步：选择【Analyze】下拉菜单，并选择【Regression-linear】选项进入主对话框第2步：在主对话框中将因变量选入【Dependent】，将所有自变量选入【Independent(s)】，并在【Method】下选择【Stepwise】第3步：点击【Options】，并在【SteppingMethodCriteria】下选中【UseProbabilityofF】，并在【Entry】框中输入增加变量所要求的显著性水平(隐含值为0.05，一般不用改变)；在【Removal】输入剔除变量所要求的显著性水平(隐含值为0.10，一般不用改变)。点击【Continue】回到主对话框用SPSS进行逐步回归

(stepwiseregression)第4步：(需要预测时)点击【Save】：在【PredictedValues】下选中【Unstandardized】(输出点预测值)在【Predictioninterval】下选中【Mean】和【Individual】(输出置信区间和预测区间)在【ConfidenceInterval】中选择所要求的置信水平(隐含值为95%，一般不用改变)(需要残差分析时)在【Residuals】下选中所需的残差，点击【Continue】回到主对话框。点击【OK】SPSS参数的最小二乘估计

(逐步回归)例3-4

根据例3-3的数据，用逐步回归方法建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并求出不良贷款的置信区间和预测区间。

SPSSSPSS逐步回归逐步回归

(例题分析—SPSS输出结果)变量的进入和移出标准逐步回归

(例题分析—SPSS输出结果)两个模型的主要统计量逐步回归

(例题分析—SPSS输出结果)两个模型的方差分析表逐步回归

(例题分析—SPSS输出结果)两个模型的参数估计和检验

利用回归方程进行预测置信区间和预测区间用SPSS做回归面图

第1步：点击【Graphs】【Interactive-Scatterplot】第2步：点击【3DCoordine】，将各坐标轴变量拖入相应坐标轴第3步：点击【Fit】，在【method】下选择【Regression】，在【PredictionLines】下选择【Mean】和【Individual】。点击【确定】SPSSSPSS作回归平面图不良贷款的置信面和预测面二元回归面置信面预测面3.3哑变量回归3.3.1在模型中引进哑变量哑变量(dummyvariable)也称虚拟变量。用数字代码表示的定性自变量哑变量可有不同的水平只有两个水平的哑变量比如，性别(男，女)有两个以上水平的哑变量贷款企业的类型(家电，医药，其他)哑变量的取值为0，1在回归中引进哑变量回归模型中使用哑变量时，称为哑变量回归当定性变量只有两个水平时，可在回归中引入一个哑变量比如，性别(男，女)一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量在回归中引进哑变量

(例题分析)【例3-5】为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如右表3.3.2含有一个哑变量的回归

引进哑变量时，回归方程表示为E(y)=0+1x男(x=0)：E(y)=0—男学生考试成绩的期望值女(x=1)：E(y)=0+1—女学生考试成绩的期望值注意：当指定哑变量0，1时0总是代表与哑变量值0所对应的那个分类变量水平的平均值1总是代表与哑变量值1所对应的那个分类变量水平的平均响应与哑变量值0所对应的那个分类变量水平的平均值的差值，即平均值的差值

=(0+1)-0=1用SPSS进行哑变量回归

(有一个哑变量和有一个数值变量)第1步：选择【Analyze】，并选择【GeneralLinearModel-Univaiate】进入主对话框第2步：将因变量(考试成绩)选入【DependentVariable】，将自变量(性别)选入【FixedFactor(s)