SPSS软件的操作与应用第6讲 回归概念、回归系数

相关分析

描述变量之间的关系二元变量分析偏相关分析距离相关分析上节回顾2相关概念

相关分析就是描述两个或两个以上变量间关系密切程度的统计方法，有效地揭示事物之间相关关系的强弱程度。二元变量相关分析(散点图——直观；相关系数——精准)偏相关分析（固定某些变量，研究其它变量之间的关系）距离相关分析上节回顾相关3第6讲

回归分析4基本概念5一、“回归”起源

“回归”一词是英国生物学家、统计学家高尔顿（F.Galton）在研究父亲身高和其成年儿子身高关系时提出的。

从大量父亲身高和其成年儿子身高数据的散点图中，Galton发现了一条贯穿其中的直线，它能描述父亲身高和其成年儿子身高的关系，并可以用于根据父亲身高预测其成年儿子身高。

6一、“回归”起源

Galton通过上述研究发现儿子的平均身高一般总是介于其父亲与其种族的平均高度之间，即儿子的身高在总体上有一种“回归”到其所属种族高度的趋势，这种现象称为回归现象，贯穿数据的直线称为回归线。回归概念产生以后，被广泛应用于各个领域之中，并成为研究随机变量与一个或多个自变量之间变动关系的一种统计分析技术。7二、回归的基本概念回归分析的概念

回归分析就是研究一个或多个变量的变动对另一个变量的变动的影响程度的方法。相关分析与回归分析的关系相关分析是根据统计数据，通过计算分析变量之间关系的方向和紧密程度，而不能说明变量之间相互关系的具体形式，无法从一个变量的变化来推测另一个变量的变化情况。回归分析能够确切说明变量之间相互关系的具体形式，可以通过一个相关的数学表达式，从一个变量的变化来推测另一个变量的变化情况，使估计和预测成为可能。

相关分析是回归分析的基础和前提，回归分析是相关分析的深入和继续。相关与回归8二、回归的基本概念回归分析的目的

根据已知的资料或数据，找出变量之间的关系表达式(找到回归线或回归方程)，用自变量的已知值去推测因变量的值或范围(进行预测)，实际上是研究因果关系。(例如：)回归分析的基本过程确定自变量、因变量确定回归模型估计模型中的参数（建立回归方程）对回归模型进行各种检验模型应用（利用回归方程预测）9二、回归的基本概念回归分析可以解决的问题确定因变量与若干个自变量之间联系的定量表达式，即回归方程或数学模型通过控制可控变量的数值，借助数学模型来预测或控制因变量的取值和精度进行因素分析，从影响因变量变化的自变量中区分出重要因素和次要因素分类根据变量之间相关关系的表现形式分为

线性回归分析：变量之间的相关关系是线性关系非线性回归分析：变量之间的相关关系是非线性关系

根据影响因变量的自变量的多少分为一元回归分析多元回归分析10二、回归的基本概念回归分析的功能

实现回归分析的功能主要在“Analyze→Regression”命令菜单中，主要分为：线性回归分析曲线估计分析二维逻辑分析多维逻辑分析顺序分析概率分析非线性回归分析加权估计分析两阶最小二乘分析

11线性回归12三、线性回归线性回归的概念

线性函数是变量之间存在的各种关系中最简单的形式，具有这种关系的回归叫做线性回归。线性回归根据自变量多少分为一元线性回归和多元线性回归13三、线性回归线性回归的模型下面以一元线性回归为例，解析线性回归模型。一元线性回归的数学模型为：在数学模型中分别称为回归常数和回归系数，称为随机误差。

从数学模型可以看出因变量y的变化由两部分组成自变量x的变化所引起的y的线性变化，即其他随机因素引起的y的变化，即如果随机误差的期望为0，那么数学模型可以转化为：称为一元线性回归方程从几何意义上讲，一元线性回归方程是一条直线，即回归线。

从一元线性回归方程可以看出，一元线性回归分析是在不考虑随机因素条件下进行分析的，所以是在比较理想状态下的分析三、线性回归的适用条件线性趋势：即自变量与因变量的关系是线性的。独立性：因变量Y的取值相互独立。反映在方程中即残差独立。正态性：即自变量的任何一个线性组合，Y应该服从正态分布。反映在方程中即残差Ei服从正态分布。方差齐性:自变量的任何一个线性组合，Y的方差相同。15三、线性回归线性回归方程的统计检验

通过样本数据建立的回归方程，不能立即用于对实际问题的分析和预测，还需要进行各项统计检验。回归方程的拟合优度检验检验样本数据点聚集在回归线周围的密集程度，从而评价回归方程对样本数据的代表程度。拟合优度检验采用判定(决定)系数（一元）和调整判定(决定)系数（多元），来检验。其中R是自变量x和因变量y之间的相关系数。和取值范围是0~1，越接近1表示拟合优度越高，反之就越低。

16三、线性回归线性回归方程的统计检验

回归方程的显著性检验

检验因变量与所有的自变量之间的线性关系是否显著

1.显著性检验H0假设是：回归系数与0无显著性差异。

2.检验采用F统计量，SPSS自动计算统计量的观测值和对应的伴随概率。3.如果伴随概率大于显著性水平ɑ=0.05，接受H0假设，回归系数与0无显著性差异。表明自变量x和因变量y之间线性关系不显著，回归方程无实际意义。如果伴随概率小于等于显著性水平ɑ=0.05，拒绝H0假设，回归系数与0有显著性差异。表明自变量x和因变量y之间有线性关系，回归方程有实际意义。17三、线性回归线性回归方程的统计检验

回归系数的显著性检验检验每个自变量与因变量之间的线性关系是否显著，能否保留在方程中

1.显著性检验H0假设是：回归系数与0无显著性差异。

2.检验t统计量，SPSS自动计算统计量的观测值和对应的伴随概率。3.如果伴随概率大于显著性水平ɑ=0.05，接受H0假设，回归系数与0无显著性差异。表明自变量x和因变量y之间线性关系不显著，回归方程无实际意义。如果伴随概率小于显著性水平ɑ=0.05，拒绝H0假设，回归系数与0有显著性差异。表明自变量x和因变量y之间有线性关系，回归方程有实际意义。18三、线性回归线性回归方程的统计检验

残差分析

残差是指由回归方程计算所得的预测值与实际样本值之间的差距。残差分析是回归方程检验的重要组成部分，如果回归方程能够较好地反映变量之间的变化规律，那么残差中不包含明显的规律性和趋势性。

残差分析的主要内容(1)残差均值为0的正态性分析对应的残差有正负，但总体上应服从以0为均值的正态分布。可以通过绘制标准化(或学生化)残差的累计概率图来分析。

(2)残差的独立性分析回归方程要求前期和后期的残差数值之间不存在相关关系，即不存在自相关。可以通过绘制残差的序列图、计算残差的自相关系数和DW(Durbin-Watson)检验来分析19三、线性回归线性回归方程的统计检验

(3)异方差分析无论变量的取值如何变化，对应的残差分析的方差都应相等(齐性)，否则认为出现了异方差现象，异方差会导致回归系数的显著性检验出现较大偏差。可以通过：绘制残差图和等级相关分析来分析。

(4)探测样本中的异常值异常值对回归方程影响较大，可以利用残差分析探测样本中的异常值，加以排除。对于探测因变量y中的异常值方法：标准化残差、学生化残差和剔除残差。对于探测自变量x中的异常值方法：杠杆值、库克距离、标准化回归系数和标准化预测值的变化。三、线性回归的步骤1.做出散点图,观察变量间的趋势；2.构建回归模型进行回归分析3.回归方程检验；4.残差分析；5.多重共线性问题的判断处理。1.求相关系数矩阵，系数在0.9以上的将会存在共线性问题，0.8以上可能会有问题；2.容忍度（Tolerance）：指标越小，共线性可能越严重。如果小于0.1，可认为共线性严重。21三、线性回归SPSS操作及案例分析例一：一元线性回归分析一家地产公司调查了某城市的房地产销售价格与房产的评估价值的数据，请用一元线性回归分析，能否用房产的评估价值来预测房地产销售的价格。分析：1.自变量：房产的评估价值；因变量：房地产销售价格2.散点图分析3.一元线性回归结果分析22三、线性回归SPSS操作及案例分析

结果分析：从建立的散点图来看，自变量x和因变量y之间存在一定的线性关系，而且相关程度较高。

23三、线性回归SPSS操作及案例分析结果分析：(1)变量进入/移出表（表1）

Enter表示选定变量全部进入模型(2)模型综述表（表2）相关系数R=0.916、判定系数R2=0.839、调整判定系数R2=0.830，说明变量之间相关程度高，回归方程的拟合优度高。表1表224三、线性回归SPSS操作及案例分析

结果分析：(3)方差分析表（表3）

F检验统计量的观测值=93.567，伴随概率=0.000<0.05，拒绝零假设，说明自变量x和因变量y之间线性关系显著，可以建立线性模型。(4)模型系数表（表4）常数项Constant=895.020，回归系数=1.351

；回归系数的伴随概率=0.000，拒绝零假设，说明自变量x和因变量y之间线性关系显著，可以建立线性模型。表3表425三、线性回归SPSS操作及案例分析

结果分析：结论：根据上述分析结果，可以得到回归方程，用该方程来进行分析和预测实际问题，结果较为准确。

举例：x278039507283y4648.026227.5210727.07实际销售值4850620011650y-实际销售值-201.9827.52-922.9326三、线性回归SPSS操作及案例分析

操作步骤：

(1)根据数据建立散点图，进行初步分析

Graphs→LegacyDialogs

→Scatter/dot...数据文件：9-linear_one.sav

27三、线性回归SPSS操作及案例分析

操作步骤：

(2)一元线性回归

Analyze→Regression→Linear…数据文件：9-linear_one.sav保存文件：9-linear_one2.spo12自变量因变量28三、线性回归SPSS操作及案例分析

例二：一元线性回归分析NambeMills公司生产5种金属餐具产品，分别是Bowl(碗)、Casserole(焙盘)、Dish(碟)、Tray(托盘)、Plate(盘子)。在生产过程中都有一个抛光的过程。为了有助于安排生产，记录了59个产品的抛光时间(time)、产品类型(type)和产品直径(diam)。用一元线性回归分析能否用产品的直径来预测产品的抛光时间。29三、线性回归SPSS操作及案例分析

结果分析（1）散点图从建立的散点图来看，自变量x和因变量y之间存在一定的线性关系，但数据分布较为分散，所以相关程度不是很高。30三、线性回归SPSS操作及案例分析

结果分析（2）一元线性回归变量进入/移出方式表表示选定变量全部进入模型模型综述表反映了因变量和自变量之间的线性相关系数R=0.700，判定系数R2=0.490，说明自变量diam可以解释因变量time49%的变异性。说明自变量与因变量之间的相关程度一般，回归方程的拟合优度不高。31三、线性回归SPSS操作及案例分析结果分析方差分析表F检验统计量的观测值为54.865，F分布的伴随概率为0.000，从而拒绝零假设，即因变量和自变量的线性关系是显著的，可以建立线性模型。模型系数表回归模型的常数项为-1.955，自变量回归系数为3.457

回归方程为：time=3.457*diam-1.955回归系数的伴随概率=0.000，应拒绝t检验的零假设，说明因变量和自变量的线性关系是显著的，可以建立线性模型四、线性回归分析SPSS操作及案例分析残差分布直方图分析：在回归分析中，总是假定残差服从正态分布从残差分布直方图与附于其上的正态分布曲线的比较，可以观察残差分布的正态性四、线性回归分析SPSS操作及案例分析观测值累计概率P-P图观测值累计概率P-P图也是用来比较残差分布与正态分布差异的图形纵坐标：期望累计概率分布横坐标：观测值累计概率分布图中的斜线对应着一个均值为0的正态分布分析：图中的散点密切分布分布在斜线附近，说明随机残差服从正态分布，从而证明样本确实是来自正态总体四、线性回归分析SPSS操作及案例分析学生化剔除残差-标准化预测值散点图纵坐标：学生化剔除残差横坐标：标准化预测值分析：图中各点在纵轴零点对应的直线上下基本均匀分布，可以认为方差齐性的假设成立四、线性回归分析SPSS操作及案例分析残差统计表分析：表中显示预测值、标准预测值、预测值标准误差、调整的预测值非标准化残差、标准化残差、学生化残差、剔除残差、标准化剔除残差马氏距离、库克距离中心杠杆值的最小值、最大值、平均值、标准差和观测量数目N根据概率原则，标准化残差或学生化剔除残差的绝对值大于3对应的观测值为异常值，从表中可以看出，该样本数据存在异常值36三、线性回归SPSS操作及案例分析

操作步骤：

(1)绘制抛光时间和产品直径的散点图(2)Analyze→Regression→Linear…

数据文件：9-polishing.sav

三、线性回归多重共线性分析38三、线性回归SPSS操作及案例分析

例三：多元线性回归分析

为了研究某公司职工当前工资水平，收集了影响职工当前工资水平的6个因素的数据。这些影响因素是：1－职工的开始工资salbegin($)、2－工种jobcat、3－来本公司前的工作经验prevexp(月)、4－来公司工作时间jobtime(月)、5－受教育时间educ(年)、6－是否为少数民族minority。

试用多元线性回归过程对该公司职工当前工资水平寻求一个恰当的回归模型。39三、线性回归SPSS操作及案例分析结果分析：(1)变量进入/移出方式表从表中可以看出依次引入的变量：salbegin、jobcat、prevexp、jobtime、educ输入顺序可以不同40三、线性回归SPSS操作及案例分析结果分析：(2)模型综述表从表中可以看出引进变量后，R2分别由0.774增加到0.805、0.826、0.835、0.839同时估计标准误差由$8,115.356减少到$6,856.79541三、线性回归SPSS操作及案例分析结果分析：(3)方差分析表：从表中可以看出，F分布的显著性概率为0.000，说明因变量和自变量的线性关系是显著的，可建立线性模型42三、线性回归SPSS操作及案例分析结果分析：(4)模型系数表表中显示回归模型中的常数项(Constant)非标准化的回归系数(UnstandardizedCoefficients)B值及其标准误差(Std.Error)标准化的回归系数(standardizedCoefficients)Beta值、t值以及显著性水平(Sig.)第5个模型43三、线性回归SPSS操作及案例分析结论：

从表中可以得到5个回归模型的方程其中，第5个回归方程为回归系数的伴随概率为0.000，调整的判定系数为0.839，说明回归方程解释了整个因变量变异程度的83.9%，说明变量之间相关程度高，回归方程的拟合优度高。对当前工资影响较大的依次为：开始工资、工种、来本公司前的工作经验、来公司工作时间和受教育时间，主要考虑的是Beta值的大小。44三、线性回归SPSS操作及案例分析操作步骤Analyze→Regression→Linear…数据文件：9-Employee.sav保存文件：9-Employee.spo变量筛选Enter：所选变量全部进入方程(一元回归)Fordward：按照所选变量对因变量影响大小顺序依次引入，每引入一个变量，建立一个方程Backward：先将所选变量一次引入，然后逐步剔除对因变量影响小的变量，每剔除一个变量，建立一个方程Stepwise：结合上述两种方法，先引入对因变量影响大的变量，然后马上剔除对因变量影响小的变量，每一步建立一个方程(多元回归)依次输入自变量Educ(受教育时间)Jobcat(工种)Salbegin(开始工资)Jobtime(工作时间)Prevexp(工作经验)Minority(少数民族)45曲线估计46四、曲线估计曲线估计的概念

现实生活中，变量之间的关系并非都是线性相关，实际上非相关关系更为常见，除了可以通过绘制散点图的方式粗略地考察这种非线性关系，还可以用曲线估计来进行拟合。曲线估计(曲线拟合、曲线回归)是指选定一种用方程表达的曲线，使得实际数据与理论数据之间的差异尽可能地小。曲线选择得好的话，那么可以揭示因变量与自变量的内在关系，并对因变量的预测有一定意义。曲线估计中需要解决的问题 一是选用哪种理论模型，即用哪种方程来拟合观测值二是当模型确定后，如何选择合适参数，使得理论数据和实际数据的差异最小47四、曲线估计曲线估计的基本研究方法

(1)做散点图来观察曲线形状

变量之间关系分线性相关和非线性相关非线性相关分为本质线性关系和本质非相关关系SPSS对本质线性关系采用曲线估计子模型；对本质非相关关系采用非线性子模型48四、曲线估计曲线估计的基本研究方法

(2)结合专业知识，或从长期积累的数据中找出变量之间的函数类型

在SPSS中提供了11中本质线性模型

应用SPSS进行曲线估计时，可以先选择几种模型，然后自动完成模型的参数估计输出回归方程显著性检验的F值和概率p值、判定系数R2等统计量以判定系数为主要依据选择其中的最优模型，进行预测分析49四、曲线估计SPSS操作及案例