第三章 回归预测法

1、3 回回 归归 预预 测测 法法 3.1 一元线性回归预测法 3.2 多元线性回归预测法 3.3 非线性回归预测法 3.4 应用回归预测时应注意的问题3.1 一元线性回归预测法一元线性回归预测法 是指成对的两个变量数据分布大体上呈直线趋 势时，运用合适的参数估计方法，求出一元线 性回归模型，然后根据自变量与因变量之间的 关系，预测因变量的趋势。回本章目录 很多社会经济现象之间都存在相关关系，因 此，一元线性回归预测有很广泛的应用。进 行一元线性回归预测时，必须选用合适的统 计方法估计模型参数，并对模型及其参数进 行统计检验。 回本章目录一、建立模型 一元线性回归模型： 01iiiybb x其中

2、， 0b1b是未知参数， i为剩余残差项或称随机扰动项。 ，回本章目录 用最小二乘法进行参数的估计时，要求i满足以下基本假设条件： 二、估计参数 回本章目录 用最小二乘法进行参数估计 ，得到的估计表达式为：12xxyybxx01byb x回本章目录 三、进行检验标准误差：估计值与因变量值间的平均 平方根误差。其计算公式为： 22yySEn回本章目录可决系数：衡量自变量与因变量关系密切程度的指标，表示自变量解释了因变量变动的百分比。计算公式为： 2222221xxyyyyRyyxxyy 可见，可决系数取值于0与1之间，并取决于回归模型所解释的y方差的百分比。回本章目录相关系数 其计算公式为： 2

3、2xxyyrxxyy 由公式可见，可决系数是相关系数的平方。相关系数越接近+1或1，因变量与自变量的拟合程度就越好。回本章目录 相关系数测定变量之间的密切程度，可决系数测定自变量对因变量的解释程度。相关系数有正负，可决系数只有正号。 正相关系数意味着因变量与自变量以相同的方向增减。 如果直线从左至右上升，则相关系数为正； 如果直线从左至右下降，则相关系数为负。 相关系数与可决系数的主要区别：回本章目录回归系数显著性检验检验假设： 01:0Hb 11:0Hb 其中，2bSESxx检验规则：给定显著性水平 ，若tt则回归系数显著。 检验统计量： 12bbttnS回本章目录回归模型的显著性检验 检验

4、假设： 0:H回归方程不显著 1:H回归方程显著 检验统计量： 222yyFyyn1,2Fn检验规则：给定显著性水平 ，若 1,2FFn则回归方程显著。 回本章目录德宾沃森统计量（DW） 检验 iu之间是否存在自相关关系。 21221niiiniiDW其中，iiiyyDW的取值域在04之间。回本章目录 检验法则：回本章目录DW检验表见教材附表一 四、进行预测 小样本情况下,预测区间的常用公式为： 回本章目录niiexxxxnSnty12202011)2( 例 1 已知身高与体重的资料如下表所示：例题分析 要求：（1）拟合适当的回归方程； （2）判断拟合优度情况； （3）对模型进行显著性检验；（

5、=0.05） （4）当体重为75公斤时，求其身高平均值的95% 的置信区间。回本章目录 解答： （1）n=8，经计算得： 472x 281582x54.13y9788.222y02.803xy因此：0134. 047228158847254.1302.803822221 xxnyxxynxxyyxxb9 . 084720134. 0854.1310 xbyb回本章目录因此，建立的一元线性回归方程为： xy0134. 0898. 0（2）4815. 069. 189788.22)59828158(0134. 0)()()(22222222122212ynyxnxbyyxxbR回归直线的拟合优度不

6、是很理想 。回本章目录（3）)6 , 1 (50564815. 0164815. 01)2(05. 022FRnRF 所以拒绝原假设，认为所建立的线性回归模型是显著的。回本章目录)078. 2 ,728. 1 (8/47228158)8/47275(810734. 04476. 2750134. 0898. 0)()(1)2()(22220200 xxxxnSEntYYE（4）0734. 0602.8030134. 054.139 . 09788.222102nxybybySE回本章目录 例2 为研究销售收入与广告费用支出之间的关系，某医药管理部门随机抽取20家药品生产企业，得到它们的年销售收

7、入和广告费用支出(万元)的数据如下。绘制散点图描述销售收入与广告费用之间的关系 销售收入和广告费用的散点图第第1步：步：选择【Analyze】下拉菜单，并选择【Regression - linear】选项，进入主对话框第第2步：步：在主对话框中将因变量(本例为销售收入)选入【Dependent】，将自变量(本例为广告费用)选入【Independent(s)】第第3步：步：点击【Save】 在【Predicted Values】下选中【Unstandardized】(输出点预测值) 在【Prediction interval】下选中【Mean】和【Individual】(输出置信区间和预测区间)

8、 在【Confidence Interval】中选择所要求的置信水平(隐含值95%，一般不用改变) 在【Residuals】下选中【Unstandardized】和【standardized】(输出残差和标准化残差) 点击【Continue】回到主对话框。点击【OK】参数的最小二乘估计(SPSS输出结果)参数的最小二乘估计(例题分析)xy1309. 55502.274对于自变量 x 的一个给定值 x0，根据回归方程得到因变量 y 的一个估计区间区间估计有两种类型 1.置信区间估计(confidence interval estimate) 2.预测区间估计(prediction interva

9、l estimate)平均值的置信区间n利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值的估计区间 ，这一估计区间称为置信区间置信区间(confidence interval)n E(y0) 在1-置信水平下的置信区间为niiexxxxnsnty1220201)2(个别值的预测区间n利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的一个个别值的估计区间，这一区间称为预测区间预测区间(prediction interval) n y0在1-置信水平下的预测区间为niiexxxxnSnty12202011)2(置信区间和预测区间xy10用

10、SPSS进行回归 第第1步：步：选择【Analyze】下拉菜单，并选择【Regression - linear】选项，进入主对话框第第2步：步：在主对话框中将因变量(本例为销售收入)选入【Dependent】，将自变量(本例为广告费用)选入【Independent(s)】第第3步：步：点击【Save】 在【Predicted Values】下选中【Unstandardized】(输出点预测值) 在【Prediction interval】下选中【Mean】和【Individual】(输出置信区间和预测区间) 在【Confidence Interval】中选择所要求的置信水平(隐含值95%，一般

11、不用改变) 在【Residuals】下选中【Unstandardized】和【standardized】(输出残差和标准化残差) 点击【Continue】回到主对话框。点击【OK】置信区间和预测区间(例题分析)点点预预测测值值置置信信线线预预测测线线置信区间和预测区间(例题分析)残差(residual)因变量的观测值与根据估计的回归方程求出的预测值之差，用e表示反映了用估计的回归方程去预测而引起的误差 可用于确定有关误差项的假定是否成立 用于检测有影响的观测值iiiyye残差图(residual plot)表示残差的图形关于x的残差图关于y的残差图标准化残差图用于判断误差的假定是否成立 检测有

12、影响的观测值残差齐性检验残残差差残残差差残差与标准化残差图(例题分析)点点预预测测值值残残差差标标准准残残差差残差图(例题分析)销售收入与广告费用回归的残差图标准化残差(standardized residual)残差除以它的标准差也称为Pearson残差或半学生化残差(semi-studentized residuals) 计算公式为eiieiesyysezi22)()(11xxxxnsyyziieiiei注意：注意：Excel给出的标准残差的计算公式为 这实际上是学生化删除残差(studentized deleted residuals)残差正态性检验 用标准化残差图直观地判断误差项是否服

13、从正态分布， 若残差正态分布成立，标准化残差也应服从正态分布； 在标准化残差图中，大约有95%的标准化残差在-2 到+2之间 标准化残差图(例题分析)销售收入与广告费用回归的标准化残差图标准化残差的直方图和正态概率图(例题分析)销售收入与广告费用回归标准化残的直方图和正态概率图3.2 多多 元元 线线 性性 回回 归归 预预 测测 法法 社会经济现象的变化往往受到多个因素的影响，因此，一般要进行多元回归分析，我们把包括两个或两个以上自变量的回归称为多元回归。回本章目录 多元回归与一元回归类似，可以用最小 二乘法估计模型参数。也需对模型及模 型参数进行统计检验。 选择合适的自变量是正确进行多元回

14、归预 测的前提之一，多元回归模型自变量的选 择可以利用变量之间的相关矩阵来解决。回本章目录 一、建立模型类似使用最小二乘法进行参数估计 。回本章目录kkxxxy22110多元线性回归的方程的估计k,210k,210kkxxxy22110k,210k,210y 用样本统计量 估计回归方程中的 参数 时得到的方程由最小二乘法求得一般形式为 二、拟合优度指标 估计标准误差：对y值与模型估计值之间的离差的一种度量。 计算公式为： 回本章目录MSEknSSEknyySniiie1112可决系数： 20R 21R 意味着回归模型没有对y的变差做出任何解释； 意味着回归模型对y的全部变差做出解释。 回本章目

15、录SSTSSESSTSSRyyyyRniinii112122 三、 线性关系检验回本章目录1.提出假设H0：12k=0 线性关系不显著H1：1，2， k至少有一个不等于0)1,()1()1(1212knkFknyykyyknSSEkSSRFniinii 四、 回归系数的检验提出假设H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t) 1(kntStii五、自相关检验21221niiiniiDW其中 ， ，与一元回归检验方法相同。iiiyy回本章目录多重共线性(multicollinearity

16、)回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有 可能会使回归的结果造成混乱，甚至会把分析引入歧途 可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反 多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著 回归系数的正负号与预期的相反任何两个自变量之间的相关系数为： 22xxy

17、yrxxyy 经验法则认为，相关系数的绝对值小于0.75，或者 0.5,这两个自变量之间不存在多重共线性问题。 若某两个自变量之间高度相关，就有必要把其 中的一个自变量从模型中删去。回本章目录相关矩阵及其检验 (SPSS )多重共线性的处理将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关增大样本容量，使样本容量n远大于自变量个数p作回归系数的有偏估计： 岭回归 主成分回归 偏最小二乘法变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SS

18、E的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量n变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等 向前选择 (forward selection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型 分别拟合引入模型外的k-1个自变量的二元线性回归模型 如此反复进行，直至模型外的自变量均无统计

19、显著性为止向后剔除 (backward elimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止逐步回归 (stepwise regression)将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后，它会对模型中所有的变量

20、进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中用SPSS进行逐步回归 (stepwise regression)第第1步：步：选择【Analyze】下拉菜单，并选择 【Regression - linear】选项进入主对话框第第2步：步：在主对话框中将因变量选入【Dependent】，将 所有自变量选入【In

21、dependent(s)】，并在 【Method】下选择【Stepwise】第第3步：步：点击【Options】，并在【Stepping Method Criteria】下选中【Use Probability of F】，并在 【Entry】框中输入增加变量所要求的显著性水平 (隐含值为0.05，一般不用改变)；在 【Removal】输入剔除变量所要求的显著性水平 (隐含值为0.10，一般不用改变)。点击 【Continue】回到主对话框用SPSS进行逐步回归 (stepwise regression)第第4步：步：(需要预测时)点击【Save】： 在【Predicted Values】下选中

22、 【Unstandardized】(输出点预测值) 在【Prediction interval】下选中【Mean】和 【Individual】(输出置信区间 和预测区间) 在【Confidence Interval】中选择所要求的置 信水平(隐含值为95%，一般不用改变) (需要残差分析时)在【Residuals】下选中所 需的残差，点击【Continue】回到主对话 框。点击【OK】参数的最小二乘估计(逐步回归) 逐步回归 (例题分析SPSS输出结果)变量的进入和移出标准 逐步回归 (例题分析SPSS输出结果)两个模型的主要统计量 逐步回归 (例题分析SPSS输出结果)两个模型的方差分析表

23、逐步回归 (例题分析SPSS输出结果)两个模型的参数估计和检验 41032. 0050. 0433. 0 xxy用SPSS做回归面图 第第1步：步：点击【Graphs】【Interactive-Scatterplot】第第2步：点击【步：点击【3D Coordine】，将各坐标轴变】，将各坐标轴变量拖入相应坐标轴量拖入相应坐标轴第第3步：点击【步：点击【Fit】，在【】，在【method】下选择】下选择【Regression】，在【】，在【Prediction Lines】下选择【下选择【Mean】和【】和【Individual】。点击】。点击【确定】【确定】不良贷款的置信面和预测面不良贷款的

24、置信面和预测面41032. 0050. 0433. 0 xxy3.3 哑变量哑变量 回回 归归也称虚拟变量。用数字代码表示的定性自变量哑变量可有不同的水平只有两个水平的哑变量比如，性别(男，女) 有两个以上水平的哑变量贷款企业的类型(家电，医药，其他) 哑变量的取值为0，1女男01x在回归中引进哑变量回归模型中使用哑变量时，称为哑变量回归当定性变量只有两个水平时，可在回归中引入一个哑变量比如，性别(男，女) 一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量其他水平水平其他水平水平其他水平水平011,021,011121kxxxk在回归中引进哑变量(例题分析) 引进哑变量

25、时，回归方程表示为E(y) =0+ 1x男( x=0)：E(y) =0男学生考试成绩的期望值女(x=1)：E(y) =0+ 1女学生考试成绩的期望值注意：当指定哑变量0，1时0总是代表与哑变量值0所对应的那个分类变量水平的平均值1总是代表与哑变量值1所对应的那个分类变量水平的平均响应与哑变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值 =(0+ 1) - 0= 1用SPSS进行哑变量回归(有一个哑变量和有一个数值变量)第第1步：步：选择【Analyze】，并选择【General Linear Model-Univaiate】进入主对话框第第2步：步：将因变量(考试成绩)选入【D

26、ependent Variable】，将自变量(性别)选入【Fixed Factor(s)】(模型中还含有一个数值自变量时，将数值自变量选入【Covariate(s)】)第第3步：步：点击【Model】，并点击【Custom】；将性别F选入【Model】(若模型中还含有工作年限自变量时，将工作年限C也选入【Model】；在【Build Term(s)】下选择【Main effects】。点击【Continue】回到主对话框。点击【Options】，在【Display】下选中【Parameter estimates】(估计模型中的参数)。点击【Continue】回到主对话框。点击【OK】哑变量回

27、归 (例3.5只含一个哑变量)SPSS的输出结果 T Te es st ts s o of f B Be et tw we ee en n- -S Su ub bj je ec ct ts s E Ef ff fe ec ct ts sDependent Variable: 考试成绩885.063a1885.0635.326.03788357.563188357.563531.731.000885.0631885.0635.326.0372326.37514166.17091569.000163211.43815SourceCorrected ModelIntercept性别ErrorTotalCorrected TotalType III Sumof SquaresdfMean SquareFSig.R Squar