清华时立文spss第7章

1、2第7章 回 归 分 析回归分析是一种应用广泛的统计分析方法，在金融、经济、医学等领域都已成功地应用。回归分析(Regression)是研究一个因变量或多个因变量(自变量)与一个自变量(因变量)之间是否存在某种线性关系或非线性关系的一种统计学分析方法。变量之间的联系可以分为两类：一类是确定性的，另一类是非确定性的。回归分析和相关分析虽然都是研究两个或两个以上变量之间的关系，但两者既有区别又有联系。区别主要是模型的假设以及研究的目的有所不同。相关分析已经在上一章中进行过详细讲解，本章主要介绍回归分析的基本原理和操作方法。在SPSS 19.0 for Win7中，相关分析通过“回归”过程来实现，该

2、模块主要包括以下几个命令：自动线性建模；线性，线性回归分析；曲线估计，曲线回归分析；二元 Logistic，二元logistic回归分析；多项Logistic 回归，多维Logistic回归分析；有序回归，有序回归分析；Probit，概率单位回归分析；非线性回归，非线性回归分析；权重估计，加权估计分析；两阶最小二乘法，二阶最小二乘回归分析；最佳尺度。37.1 回归分析的统计检验利用最小二乘法总能够计算出线性回归模型中的参数值，但由此确定的线性回归方程不能立即用于对实际问题的分析，还必须对回归方程的线性关系进行各种统计检验，包括回归方程的显著性检验、回归系数的显著性检验、残差分析等。线性回归方程

3、显著性检验的零假设为H0：b=0，即检验回归系数是否为零。如果为零，则说明被解释变量和解释变量之间不具有线性关系，此时回归方程没有意义。线性回归方程不能解释被解释变量和解释变量之间的关系。47.1.1 回归方程的显著性检验回归方程的显著性检验正是要检验被解释变量和解释变量与所有解释变量之间的线性关系是否显著，用线性回归方程来描述它们之间的关系是否恰当。回归方程显著性检验的基本出发点和拟合优度检验非常相似。回归方程显著性检验所构造的检验统计量正是基于这种思想而建立的。采用F统计量作为检验统计量，其数学定义为：多元线性回归的显著性检验采用F统计量，其数学定义为：2121()()(2)niiniii

4、yyFyyn2121() /() /(1)niiniiiyypFyynp57.1.2 回归系数的显著性检验回归系数的显著性检验是围绕回归系数(或偏回归系数)估计值的抽样分布展开的，由此构造服从某种理论分布的检验统计量，并进行检验。一元线性回归方程显著性检验的原假设为1=0，即回归系数与零无显著性差别。当回归系数为零时，不论x取值如何变化都不会引起y的变化，x无法解释y的变化，二者之间不存在线性关系。在一元线性回归模型中，回归系数估计值的抽样分布服从：于是当原假设成立时，可构造T统计量为：21121,()niiNxx21T()niixx67.1.2 回归系数的显著性检验多元线性回归方程的回归系数

5、显著性检验的原假设为i=0，即第i个偏回归系数与零无显著性差异。当回归系数为零时，不论xi取值如何变化都不会引起y的变化，xi都无法解释y的变化，二者之间不存在线性关系。在多元线性回归模型中，偏回归系数估计值的抽样分布服从：在原假设成立的前提下，可构造T检验统计量为：212,1,()injiii jNxx2,1()iinjiii jTxx77.1.3 残差分析残差分析是回归方程检验中的重要组成部分，其出发点是：如果回归方程能够较好地解释变量的特征与变化规律，那么残差序列中应不包含明显的规律性和趋势性。残差分析正是基于这种考虑并围绕对其数学定义式的检验展开的，主要任务大致可归纳为：分析残差是否服

6、从均值为零的正态分布，分析残差是否为等方差的正态分布，分析残差序列是否独立，借助残差探测样本中的异常值等。图形分析和数值分析是残差分析的有效工具。所谓残差，是指由回归方程计算所得的预测值与实际样本值之间的差距，定义为：01122()iiiippeyyyxxx87.1.3 残差分析残差图有多种形式，常用的有以方程的自变量为横坐标，以残差i为纵坐标，将每一个自变量所对应的残差都画在平面上所形成的图形。残差序列的独立性也是回归模型所要求的，残差序列的前期和后期数值之间不应存在相关关系，即不存在自相关。残差分析的独立性分析可以通过下面3种方式来实现。(1)绘制残差序列的序列图(2)计算残差的自相关系数

7、(3)DW(Durbin-Watson)检验97.2 线 性 回 归回归分析是研究一个因变量或多个因变量与一个自变量之间是否存在某种线性关系或非线性关系的一种统计学分析方法。如果参与回归分析的自变量只有一个，就是线性回归分析，也称为一元线性回归分析，得到的结果称为直线回归方程；如果参与回归分析的变量有多个，则是多元线性回归分析。107.2.1 线性回归分析的原理1简单介绍2回归分析的一般步骤(1)确定回归方程中的解释变量和被解释变量(2)确定回归模型(3)建立回归方程(4)对回归方程进行各种检验(5)利用回归方程进行预测117.2.2 线性回归模型1. 一元线性回归模型2. 多元线性回归模型1

8、27.2.3 线性回归分析的SPSS操作SPSS中一元线性回归分析和多元线性回归分析的功能是集成在一起的，都是通过“回归”子菜单中的“线性”命令来实现。下面介绍线性回归分析的SPSS基本操作步骤。建立或打开数据文件后，即可进行线性回归分析。从菜单栏中选择“分析”“回归”“线性”命令，打开图7-1所示的“线性回归”(线性回归分析)对话框。137.2.3 线性回归分析的SPSS操作如果选取了变量进入“选择变量”框内，该变量会用作指定分析个案的选择规则。此时，单击“规则”按钮，打开“线性回归：设置规则”对话框，如图7-2所示。1)统计量|(1)“回归系数回归系数”栏，可在此栏内选择回归系数。栏，可在

9、此栏内选择回归系数。|(2)“残差残差”栏，该栏用于选择分析残差的选项。栏，该栏用于选择分析残差的选项。2)绘制3)保存4)选项147.2.4 线性回归分析实例1操作步骤(1)打开数据文件7-1.sav，然后按照前面所讲的操作步骤打开主对话框。从菜单栏中选择“分析”“回归”“线性”命令，打开图7-1所示的“线性回归”主对话框。(2)将变量y(肺活量)作为因变量选入“因变量”列表框，将变量x(体重)作为自变量选入“自变量”列表框。(3)单击“统计量”按钮，打开图7-3所示的“线性回归：统计量”对话框。从中选择“置信区间”项输出回归系数B的95%置信区间，选择“描述性”项要求输出描述性统计量，选择

10、“个案诊断”项进行回归诊断，选择“所有个案”项要求输出所有个案的标准化残差、实测值和预测值、残差。(4)单击“绘制”按钮，打开“线性回归：图”对话框，如图7-4所示。选用DEPENDENT和*ZPEAD作图，并且选择“直方图”项给出正态曲线和“正态概率图”项输出标准化残差的正态概率图(P-P图)。(5)单击“确定”按钮，执行操作，进行线性回归分析。157.2.4 线性回归分析实例2结果解读执行上述操作后，可以得到如表7-1所示的结果。表7-2为描述性统计量从表7-3中可以看出，Pearson相关系数为0.749，显著系数(Sig. (1-tailed)为0.003，即两者之间显著相关。表7-4

11、为模型摘要(Model Summary)表表7-5为方差分析表。表7-6为回归系数表。表7-7为回归诊断表。在表7-8中进一步给出了所有个案的残差数据，包括最小值、最大值、平均值和标准误差。|参见教材参见教材P179167.3 曲 线 回 归曲线参数估计(Curve Estimation)过程可用于拟合许多常用的曲线，原则上只要两个变量之间存在某种可以被它所描述的数量关系，就可以用该过程来分析。但是，由于最佳化曲线拟合非常复杂，而该模块功能有限，因此在多数情况下曲线估计过程只是一个预备分析步骤，随后应将曲线相关关系通过变量转换的方式转化为线性回归的形式来分析，或者采用其他专用的模块来分析。17

12、7.3.1 曲线回归分析的原理变量之间的非线性可以划分为本质线性关系和本质非线性关系。研究两个变量之间的关系，一般可以做散点图以粗略观察曲线的形状；另外需要根据专业知识进行分析或从长期积累的数据中找出变量之间的函数类型。选用哪一种形式的回归方程才能更好地表示出一种曲线关系往往不是一个简单的问题，可以用数学方程来表示各种曲线的数目几乎是没有限量的。在可能的方程之间，以吻合度而论，也许存在着许多吻合的同样好的曲线方程。在SPSS中，系统提供了一些常见形式的本质线性模型，如表7-9所示。参见教材P184187.3.2 曲线回归分析的SPSS操作建立或打开数据文件后，即可进行曲线回归分析。曲线回归通过

13、“曲线估计”模块来实现。从菜单栏中选择“分析”“回归”“曲线估计”命令，打开“曲线估计”对话框，如图7-10所示。在主对话框中单击“保存”按钮，出现“曲线估计：保存”对话框，如图7-11所示。197.3.3 曲线回归分析实例1操作步骤 (1)打开数据文件“人均消费支出和教育. sav”，然后对数据作散点图，以观察数据的基本分布规律。从“图形”菜单下选择“旧对话框”下的“散点/点状”命令，以教育支出作为纵轴，以年人均消费性支出作为横轴，绘制散点图如图7-12所示。 (2)在数据编辑窗口中，依次执行“分析”“回归”“曲线估计”命令，打开图7-10所示的“曲线估计”对话框。 (3)选择被解释变量教育

14、支出进入“因变量”列表框。 (4)选择解释变量消费性支出进入“自变量”列表框。 (5)选择变量年份作为标记变量进入“个案标签”列表框。 (6)从“模型”栏中选择几种回归模型，本例我们选择线性、二次项、复合、立方与指数分布。 (7)单击“确定”确认操作，执行曲线回归分析。 207.3.3 曲线回归分析实例2结果解读表7-10为模型描述表，表中给出了所使用模型的基本情况。表7-11为观测个案摘要表。表7-12是曲线估计结果的综合方差表。图7-13为各模型的拟合回归线。|参见教材参见教材P187 217.4 二元逻辑回归逻辑回归(Logistic)是非常有用的，当用户知道了一系列预测变量的值，想预测

15、某一特性存在还是不存在，预测某一结果是否发生了，就需要使用逻辑回归。计量经济模型通常假定被解释变量为连续变量，并且其取值可以是实数范围内的任意值。但是，在实际中常会碰到被解释变量是离散变量的情况。最简单的离散因变量模型是二元选择模型，即被解释变量只取两个值，常用0和1来表示。而常用的二元选择模型就是二项逻辑回归模型，它类似于线性回归模型，但是它更适合于因变量的值是二值变量的情况。逻辑回归系数可用于预测模型中的自变量之间的比值。227.4.1 二元逻辑回归分析的原理1. 回归方程整体显著性检验(1)对数似然检验(2)Hosmer-Lemeshow检验2. 回归系数的显著性检验3. 模型拟合优度评

16、价237.4.2 二元逻辑回归分析的SPSS操作建立或打开数据文件后，即可进行二元逻辑回归分析。二元逻辑回归通过“回归”子菜单下的“二元逻辑”命令来实现。从数据编辑窗口的菜单栏中选择“分析”“回归”“二元逻辑”命令，打开图7-14所示的“逻辑回归”对话框。如果使用部分变量来进行分析，则可对参与回归分析变量的观测量进行选择。首先，将参与回归分析的变量选入“选择变量”文本框中。此时，“规则”按钮被激活，单击“规则”按钮，打开设置规则对话框，如图7-15所示。247.4.2 二元逻辑回归分析的SPSS操作在主对话框中，选择解释变量进入“协变量”列表框，则“分类”按钮被激活。此时，单击“分类”按钮，打

17、开：定义分类变量”对话框，如图7-16所示。设置结束后，单击“继续”按钮确认并返回主对话框。在主对话框中单击“保存”按钮，打开“逻辑回归：保存”对话框，如图7-17所示。257.4.3 二元逻辑回归分析实例下面以一个实例来讲解二元逻辑回归的SPSS操作过程以及对其分析结果的解读。1操作步骤|(1)打开数据文件打开数据文件“经济增长经济增长.sav”。其中，非国有化率定。其中，非国有化率定义为变量义为变量X1，国家财政收入占，国家财政收入占GDP的比重定义为变量的比重定义为变量X2，经济增长率定义为经济增长率定义为Y，年份定义为，年份定义为year。|(2)从数据编辑窗口的菜单栏下选择从数据编辑

18、窗口的菜单栏下选择“分析分析”“回回归归”“二元逻辑二元逻辑”命令，打开图命令，打开图7-14所示的所示的“逻辑回归逻辑回归”对话框。对话框。|(3)将变量将变量Y作为因变量选入作为因变量选入“因变量因变量”列表框中，将变量列表框中，将变量X1、X2作为解释变量选入作为解释变量选入“协变量协变量”列表框中。列表框中。|(4)单击单击“选项选项”按钮，打开图按钮，打开图7-18所示的所示的“逻辑回归：逻辑回归：选项选项”对话框。选中所有选项，然后单击对话框。选中所有选项，然后单击“继续继续”按钮确认按钮确认并返回主对话框。并返回主对话框。|(5)单击单击“确定确定”按钮确认操作，执行二元逻辑回归

19、过程。按钮确认操作，执行二元逻辑回归过程。267.4.3 二元逻辑回归分析实例2结果解读表7-13为数据汇总表，给出了所有个案数、有效个案数和缺失个案数。表7-14为因变量的编码表。因变量的原始编码为0和1。表7-15为迭代记录表，显示整个迭代过程。表7-16为包含在方程中的变量和未包含在方程中的变量表。表7-17为模型参数检验值表7-18为变量估计值及检验值。|参见教材参见教材P195277.5 非线性回归非线性回归(Nonlinear)过程用于拟合非线性回归，能够根据建构的模型表达(Model Expression)与数的起始值，利用迭代方法给出非线性回归的综合统计量、R2、参数的估计值等

20、。287.5.1 非线性回归分析的原理非线性回归是发现因变量和自变量之间的非线性关系的一种方法。非线性回归问题大多数可以化为线性回归问题来求解，也就是运用非线性回归模型进行适当的变换，使其变为线性模型来求解。一般步骤为：(1)根据经验或者绘制散点图，选择非线性回归方程。(2)运用变量代换，把非线性回归方程转化为线性回归方程。(3)运用线性回归分析中所采用的方法，确定各回归系数的值。(4)对各系数进行显著性检验。297.5.2 非线性回归分析的SPSS操作建立或打开数据文件后，即可进行非线性回归分析。和其他过程一样，从菜单栏中选择“分析”“回归”“非线性”命令，打开图7-19所示的“非线性回归”对话框。307.5.2 非线性回归分析的SPSS操作1. “参数”按钮在“非线性回归”对话框中单击“参数”按钮，打开“非线性回归：参数”对话框，如图7-20所示。2. “损失”按钮定义了参数的起始值后，“损失”按钮和“约束”按钮被激活。单击“损失”按钮，打开“非线性回归：损失函数”对话框，如图7-21所示。3. “约束”按钮在主对话框中单击“约束”按钮，打开“非线性回归：参数约束”对话框，如图7-22所示。在此对话框内设置对参数的一些限制。317.5.2 非线性回归分析的SPSS操作4.