经典实用的spss课件 十二、多重线性回归模型

1、多重线性回归模型 内容提要 模型简介 简单实例分析 逐步回归 残差分析 模型进一步诊断与修正 小结模型简介 生活中发生的许多现象都不是独立的，而是相互作用、相互影响的。一种结果的出现往往是多个因素、多个环节共同作用的结果。抛开其他因素，仅考察其中一个影响因素对结果的影响，所得出的结论是片面的，甚至可能是错误的。 本章所要讨论的问题是如何同时考虑多个因素对同一结果的影响。此时，因变量只有一个，也称反响变量，常用y表示。自变量也称解释变量，有多个。模型简介 多重线性回归模型其中，j是偏回归系数Partial regression coefficient，它表示在其它自变量固定不变的情况下，Xj每改

2、变一个测量单位时所引起的应变量Y的平均改变量，p为自变量的个数，为残差，独立服从 N0，2分布。 自变量与因变量之间存在线性关系，可以通过绘制“散点图矩阵予以考察； 各观测间相互独立； 残差服从正态分布； 方差齐性。模型简介应用条件 多重线性回归模型使用最小二乘法来解决方程的估计和检验问题。简单分析实例例1 为研究男性高血压患者血压与年龄、身高、体重等变量的关系，随机测量了32名40岁以上男性的血压y、年龄x1、体重指数x2, 试建立多重线性回归方程。数据文件见mreg2.sav。简单分析实例初步分析初步分析：与简单线性回归相类似，先绘制散点图，以便在进行回归分析之前了解各变量之间是否存在线性

3、关系。本例有两个自变量与一个反响变量，绘制散点图矩阵，如下。 绘制散点图矩阵简单分析实例初步分析简单分析实例简单分析实例简单分析实例结果分析 给出了自变量进入模型的方式，此处尚未涉及变量筛选问题，因为两个变量是被强行纳入模型的Method为Enter，当然就不存在剔除变量的事情了。简单分析实例结果分析 模型拟合优度情况的检验，结果显示，复相关系数为0.840，决定系数为0.706，调整的决定系数为0.686，还输出了剩余标准差。简单分析实例结果分析 回归模型的假设检验结果，显示F34.808，P0.001，说明所建立的回归模型是有统计学意义的，至少有一个自变量的回归系数不为0。简单分析实例结果

4、分析 给出了模型的常数项以及两个自变量的偏回归系数及其检验结果，可以写出回归方程如下：Y 54.798 +1.379x1 +4.513x2主要结果 SPSS 结果中输出偏回归系数的同时，也输出了各自的标准偏回归系数。年龄的标准化偏回归系数为0.664，体重指数的标准化偏回归系数为0.247，因此，可以认为，年龄对血压的影响比体重指数对血压的影响大。简单分析实例结果分析例2 仍以例1的资料为例，试作逐步回归分析。数据文件见mreg2.sav。逐步回归逐步回归逐步回归逐步回归 输出SPSS在逐步回归过程中拟合的步骤中，每一步引入模型的变量情况,此处只有一个变量引入。结果分析逐步回归结果分析 分别输

5、出拟合的模型中，拟合优度情况的检验结果：复相关系数、决定系数、调整的决定系数以及剩余标准差。本例只有一步，故结果很简单，仅拟合一个模型。逐步回归结果分析 给出各个拟合模型的常数项以及各自变量的偏回归系数、95可信区间及其检验结果此处为仅有一步的结果。逐步回归结果分析 给出拟合模型过程中被剔除的变量情况及其检验结果此处为仅有一步。残差分析非标准化残差原始残差标准化残差Pearson残差学生化残差剔除残差学生化剔除残差 残差种类残差分析 模型适用条件的检验因变量与自变量之间存在线性关系的检验以例1为例：年龄残差分析 模型适用条件的检验因变量与自变量之间存在线性关系的检验以例1为例：体重指数残差分析

6、 模型适用条件的检验独立性的检验通过Linear Regression过程的statistics按钮中的Durbin-Watson检验进行判断。假设自变量数少于4个，统计量接近2，根本上可以肯定残差间相互独立。仍以例1为例，结果如下 。残差分析 模型适用条件的检验方差齐性的检验残差分析 模型适用条件的检验正态性的检验绘制残差的直方图及PP图的复选框残差分析 模型适用条件的检验正态性的检验结果模型的进一步诊断与修正 强影响点的识别1.残差：以标准化残差最常用。一般地，标准化残差大于3时几乎可以肯定该条记录为强影响点。在Linear Regression过程中statistics按钮提供了Case

7、wise diagnostics复选框用于在output窗口中输出可能为强影响点的记录编号和相关统计量。模型的进一步诊断与修正仍以例2为例，没有记录标准化残差大于3，可要求输出2倍标准差以内的残差值，结果如下： 强影响点的识别模型的进一步诊断与修正2.强影响点统计量：在SPSS中，可以通过Save子对话框中的Influence Statistics复选框，提供一系列用于强影响点识别的统计量此处略。 强影响点的识别 强影响点的处理模型的进一步诊断与修正 考虑是否录入错误，如果是，予以改正；否那么予以删除； 进行稳健回归，如加权最小二乘法； 进行非参数回归等。 多重共线性的识别模型的进一步诊断与修

8、正多重共线性：是指自变量间存在相关关系，即一个自变量可以用其他一个或几个自变量的线性表达式进行表示。有以下表现形式： 整个模型的方差分析结果为P ; 专业上认为应该有统计学意义的自变量检验结果却无统计学意义； 自变量的偏回归系数取值大小甚至符号明显与实际情况违背，难以解释； 增加或删除一条记录或一个自变量，偏回归系数发生很大变化。 多重共线性的识别模型的进一步诊断与修正可以通过statistics 子对话框中的Collinearity Diagnostics 复选框予以实现。其中提供了以下统计量： 容忍度 方差膨胀因子 条件指数 变异构成 多重共线性的识别例2分析结果模型的进一步诊断与修正 多重共线性的处理模型的进一步诊断与修正 逐步回归当共线性很严重时，仍然不行 ； 岭回归为有偏估计 ； 主成分回归； 路径分析。小 结 回归模型的建立步骤回归分析已经被应用的非常广泛，作为一个严肃的统计学模型，它有着自己严格的适用条件，在拟合时需要不断进行这些适用条件的判断。但是，许多使用者往往无视了这一点，只是把模型做完就好了。这不仅浪费信息，更有可能得出错误的结论。这里给出一个比较适宜的回归分析操作步骤，供大家参考。小 结 回归模型的建