SPSS的线性回归分析

1、1统计分析与统计分析与spss的应用的应用 spss的线性回归分析的线性回归分析2回归分析概述回归分析概述(一一)回归分析理解回归分析理解(1)“回归回归”的含义的含义 galton研究研究父亲身高和儿子身高的关系时的独特发现研究研究父亲身高和儿子身高的关系时的独特发现. (2)回归线的获得方式一回归线的获得方式一:局部平均局部平均 回归曲线上的点给出了相应于每一个回归曲线上的点给出了相应于每一个x(父亲父亲)值的值的y(儿子儿子)平均数的平均数的估计估计 (3)回归线的获得方式二回归线的获得方式二:拟和函数拟和函数 使数据拟和于某条曲线使数据拟和于某条曲线; 通过若干参数描述该曲线通过若干参

2、数描述该曲线; 利用已知数据在一定的统计准则下找出参数的估计值利用已知数据在一定的统计准则下找出参数的估计值(得到回归曲得到回归曲线的近似线的近似);3回归分析概述回归分析概述(二二)回归分析的基本步骤回归分析的基本步骤(1)确定自变量和因变量确定自变量和因变量(父亲身高关于儿子身高的父亲身高关于儿子身高的回归与儿子身回归与儿子身高关于父亲身高的回归是不同的高关于父亲身高的回归是不同的).(2)从样本数据出发确定变量之间的数学关系式从样本数据出发确定变量之间的数学关系式,并对并对回归方程的各个参数进行估计回归方程的各个参数进行估计.(3)对回归方程进行各种统计检验对回归方程进行各种统计检验.(

3、4)利用回归方程进行预测利用回归方程进行预测.4线性回归分析概述线性回归分析概述(三三)参数估计的准则参数估计的准则 目标目标:回归线上的观察值与预测值之间的距离总和达到回归线上的观察值与预测值之间的距离总和达到最小最小 最小二乘法最小二乘法(利用最小二乘法拟和的回归直线与样本数利用最小二乘法拟和的回归直线与样本数据点在垂直方向上的偏离程度最低据点在垂直方向上的偏离程度最低)5一元线性回归分析一元线性回归分析(一一)一元回归方程一元回归方程: y=0+1x 0为常数项；为常数项；1为为y对对x回归系数，即回归系数，即:x每变动一个单位所引每变动一个单位所引起的起的y的平均变动的平均变动(二二)

4、一元回归分析的步骤一元回归分析的步骤 利用样本数据建立回归方程利用样本数据建立回归方程 回归方程的拟和优度检验回归方程的拟和优度检验 回归方程的显著性检验回归方程的显著性检验(t检验和检验和f检验检验) 残差分析残差分析 预测预测6一元线性回归方程的检验一元线性回归方程的检验(一一)拟和优度检验:(1)目的目的:检验样本观察点聚集在回归直线周围的密集程度，检验样本观察点聚集在回归直线周围的密集程度，评价回归方程对样本数据点的拟和程度。评价回归方程对样本数据点的拟和程度。(2)思路思路: 因为因为: 因变量取值的变化受两个因素的影响因变量取值的变化受两个因素的影响 自变量不同取值的影响自变量不同

5、取值的影响 其他因素的影响其他因素的影响 于是于是: 因变量总变差因变量总变差=自变量引起的自变量引起的+其他因素引起的其他因素引起的 即即: 因变量总变差因变量总变差=回归方程可解释的回归方程可解释的+不可解释的不可解释的 可证明可证明:因变量总离差平方和因变量总离差平方和=回归平方和回归平方和+剩余平方和剩余平方和7一元线性回归方程的检验一元线性回归方程的检验(一一)拟和优度检验: (3)统计量：判定系数统计量：判定系数 r2=ssr/sst=1-sse/sst. r2体现了回归方程所能解释的因变量变差的比例体现了回归方程所能解释的因变量变差的比例;1-r2则体则体现了因变量总变差中，回归

6、方程所无法解释的比例。现了因变量总变差中，回归方程所无法解释的比例。 r2越接近于越接近于1，则说明回归平方和占了因变量总变差平方和，则说明回归平方和占了因变量总变差平方和的绝大部分比例，因变量的变差主要由自变量的不同取值造的绝大部分比例，因变量的变差主要由自变量的不同取值造成，回归方程对样本数据点拟合得好成，回归方程对样本数据点拟合得好 在一元回归中在一元回归中r2=r2; 因此，从这个意义上讲，判定系数能够因此，从这个意义上讲，判定系数能够比较好地反映回归直线对样本数据的代表程度和线性相关性。比较好地反映回归直线对样本数据的代表程度和线性相关性。niiniiniiniiyyyyyyyyr1

7、21212122)() (1)()(8一元线性回归方程的检验一元线性回归方程的检验(二二)回归方程的显著性检验：f检验检验(1)目的目的:检验自变量与因变量之间的线性关系是否显著检验自变量与因变量之间的线性关系是否显著,是否可用是否可用线性模型来表示线性模型来表示.(2)h0: =0 即即:回归系数与回归系数与0无显著差异无显著差异(3)利用利用f检验检验,构造构造f统计量统计量: f=平均的回归平方和平均的回归平方和/平均的剩余平方和平均的剩余平方和f(1,n-1-1) 如果如果f值较大，则说明自变量造成的因变量的线性变动远大于随机因素值较大，则说明自变量造成的因变量的线性变动远大于随机因素

8、对因变量的影响对因变量的影响,自变量于因变量之间的线性关系较显著自变量于因变量之间的线性关系较显著(4)计算计算f统计量的值和统计量的值和相伴概率相伴概率p(5)判断判断 pregression-linear(2)选择一个变量为因变量进入选择一个变量为因变量进入dependent框框(3)选择一个变量为自变量进入选择一个变量为自变量进入independent框框(4)enter:所选变量全部进入回归方程所选变量全部进入回归方程(默认方法默认方法)(5)对样本进行筛选对样本进行筛选(selection variable) 利用满足一定条件的样本数据进行回归分析利用满足一定条件的样本数据进行回归分

9、析(6)指定作图时各数据点的标志变量指定作图时各数据点的标志变量(case labels)12一元线性回归分析操作一元线性回归分析操作(二二) statistics选项选项(1)基本统计量输出基本统计量输出 estimates:默认默认.显示回归系数相关统计量显示回归系数相关统计量. confidence intervals:每个非标准化的回归系数每个非标准化的回归系数95%的置信区间的置信区间. descriptive:各变量均值、标准差和相关系数单侧检各变量均值、标准差和相关系数单侧检验概率验概率. model fit:默认默认.判定系数、估计标准误差、方差分析判定系数、估计标准误差、方差

10、分析表、容忍度表、容忍度(2)residual框中的残差分析框中的残差分析 durbin-waston:d-w值值 casewise diagnostic:异常值异常值(奇异值奇异值)检测检测 (输出预测输出预测值及残差和标准化残差值及残差和标准化残差)13一元线性回归分析操作一元线性回归分析操作(三三)plot选项选项:图形分析图形分析. standardize residual plots:绘制残差序列直绘制残差序列直方图和累计概率图方图和累计概率图,检测残差的正态性检测残差的正态性 绘制指定序列的散点图绘制指定序列的散点图,检测残差的随机性、异检测残差的随机性、异方差性方差性 zpred

11、:标准化预测值标准化预测值 zresid:标准标准化残差化残差 sresid:学生学生化残差化残差 produce all partial plot:绘制因变量和所绘制因变量和所有自变量之间的散点图有自变量之间的散点图14线性回归方程的残差分析线性回归方程的残差分析(一一)残差序列的正态性检验残差序列的正态性检验: 绘制标准化残差的直方图或累计概率图绘制标准化残差的直方图或累计概率图(二二)残差序列的随机性检验残差序列的随机性检验 绘制残差和预测值的散点图绘制残差和预测值的散点图,应随机分布在经过零的一条直应随机分布在经过零的一条直线上下线上下 15( (三三) )残差序列独立性检验残差序列独

12、立性检验: :残差序列是否存在后期值与前期值相关的现象残差序列是否存在后期值与前期值相关的现象, ,利用利用d.w(durbin-watson)d.w(durbin-watson)检验检验d-w=0:d-w=0:残差残差序列存在完全正自相关序列存在完全正自相关;d-w=4:;d-w=4:残差残差序列序列存在完全负自相关存在完全负自相关;0d-w2:;0d-w2:残差残差序列存在某种程度序列存在某种程度的正自相关的正自相关;2d-w4:;2d-w4:残差残差序列存在某种程度的负自序列存在某种程度的负自相关相关;d-w=2:;d-w=2:残差残差序列不存在自相关序列不存在自相关. .残差序列不存在

13、自相关残差序列不存在自相关, ,可以认为回归方程基本概括可以认为回归方程基本概括了因变量的变化了因变量的变化; ;否则否则, ,认为可能一些与因变量相关的认为可能一些与因变量相关的因素没有引入回归方程或回归模型不合适或滞后性周因素没有引入回归方程或回归模型不合适或滞后性周期性的影响期性的影响. . 16线性回归方程的残差分析线性回归方程的残差分析(四四)异常值异常值(casewise或或outliers)诊断诊断 利用标准化残差不仅可以知道观察值比预测值大或利用标准化残差不仅可以知道观察值比预测值大或小小,并且还知道在绝对值上它比大多数残差是大还并且还知道在绝对值上它比大多数残差是大还是小是小

14、.一般标准化残差的绝对值大于一般标准化残差的绝对值大于3,则可认为对则可认为对应的样本点为奇异值应的样本点为奇异值 异常值并不总表现出上述特征异常值并不总表现出上述特征.当剔除某观察值后，当剔除某观察值后，回归方程的标准差显著减小回归方程的标准差显著减小,也可以判定该观察值也可以判定该观察值为异常值为异常值17线性回归方程的预测线性回归方程的预测(一一)点估计点估计y0(二二)区间估计区间估计 x0为xi的均值时,预测区间最小,精度最高.x0越远离均值,预测区间越大,精度越低.普通职工数(x)18001600140012001000800600400200领导(管理)人数(y)30020010

15、0018多元线性回归分析多元线性回归分析(一一)多元线性回归方程多元线性回归方程多元回归方程多元回归方程: y= 0 +1x1+2x2+.+kxk 1、2、k为偏回归系数。为偏回归系数。 1表示在其他自变量保持不变的情况下，自变量表示在其他自变量保持不变的情况下，自变量x1变动一个变动一个单位所引起的因变量单位所引起的因变量y的平均变动的平均变动(二二)多元线性回归分析的主要问题多元线性回归分析的主要问题 回归方程的检验回归方程的检验 自变量筛选自变量筛选 多重共线性问题多重共线性问题19多元线性回归方程的检验多元线性回归方程的检验(一一)拟和优度检验:(1)判定系数判定系数r2: r是是y和

16、和xi的复相关系数的复相关系数(或观察值与预测值或观察值与预测值的的相关系数相关系数),测定测定了因变量了因变量y与所有自变量全体之间线性相关程度与所有自变量全体之间线性相关程度 (2)调整的调整的r2: 考虑的是平均的剩余平方和考虑的是平均的剩余平方和,克服了因自变量增加而造成克服了因自变量增加而造成r2也也增大的弱点增大的弱点 在某个自变量引入回归方程后，如果该自变量是理想的且对在某个自变量引入回归方程后，如果该自变量是理想的且对因变量变差的解释说明是有意义的，那么必然使得均方误差因变量变差的解释说明是有意义的，那么必然使得均方误差减少，从而使调整的减少，从而使调整的r2得到提高；反之，如

17、果某个自变量对得到提高；反之，如果某个自变量对因变量的解释说明没有意义，那么引入它不会造成均方误差因变量的解释说明没有意义，那么引入它不会造成均方误差减少，从而调整的减少，从而调整的r2也不会提高。也不会提高。sstsseknnr1112因变量的样本方差均方误差12r20多元线性回归方程的检验多元线性回归方程的检验(二二)回归方程的显著性检验：(1)目的目的:检验所有自变量与因变量之间的线性关系是否显著，是检验所有自变量与因变量之间的线性关系是否显著，是否可用线性模型来表示否可用线性模型来表示.(2)h0: 1 = 2 = k =0 即即:所有回归系数同时与所有回归系数同时与0无显著差异无显著

18、差异(3)利用利用f检验检验,构造构造f统计量统计量: f=平均的回归平方和平均的回归平方和/平均的剩余平方和平均的剩余平方和f(k,n-k-1) 如果如果f值较大，则说明自变量造成的因变量的线性变动大于随机因素对值较大，则说明自变量造成的因变量的线性变动大于随机因素对因变量的影响因变量的影响,自变量于因变量之间的线性关系较显著自变量于因变量之间的线性关系较显著(4)计算计算f统计量的值和统计量的值和相伴概率相伴概率p(5)判断判断 p=a:拒绝拒绝h0,即即:所有回归系数与所有回归系数与0有显著差异，自变量与因变量之间有显著差异，自变量与因变量之间存在显著的线性关系。反之，不能拒绝存在显著的

19、线性关系。反之，不能拒绝h0) 1/()(/)(22knyykyyfiii21多元线性回归方程的检验多元线性回归方程的检验(三三)回归系数的显著性检验(1)目的目的:检验每个自变量对因变量的线性影响是否显著检验每个自变量对因变量的线性影响是否显著.(2)h0:i=0 即即:第第i个回归系数与个回归系数与0无显著差异无显著差异(3)利用利用t检验检验,构造构造t统计量：统计量： 其中其中:sy是回归方程标准误差是回归方程标准误差(standard error)的估计值，由均的估计值，由均方误差开方后得到，反映了回归方程无法解释样本数据点的程度方误差开方后得到，反映了回归方程无法解释样本数据点的程

20、度或偏离样本数据点的程度或偏离样本数据点的程度 如果某个回归系数的标准误差较小，必然得到一个相对较大的如果某个回归系数的标准误差较小，必然得到一个相对较大的t值，表明该自变量值，表明该自变量xi解释因变量线性变化的能力较强。解释因变量线性变化的能力较强。(4)逐个逐个计算计算t统计量的值和相伴概率统计量的值和相伴概率p (5)判断判断iiist22)(iiyixxss22多元线性回归方程的检验多元线性回归方程的检验(四四)t统计量与统计量与f统计量统计量 一元回归中一元回归中,f检验与检验与t检验一致检验一致,即即: f=t2,可以相互替代可以相互替代 在多元回归中，在多元回归中，f检验与检验

21、与t检验不能相互替代检验不能相互替代 fchange =ti2 从从fchange 角度上讲，如果由于某个自变量角度上讲，如果由于某个自变量xi的引入，使得的引入，使得fchange是显著的是显著的(通过观察通过观察fchange 的相伴概率值的相伴概率值)，那么就可，那么就可以认为该自变量对方程的贡献是显著的，它应保留在回归方以认为该自变量对方程的贡献是显著的，它应保留在回归方程中，起到与回归系数程中，起到与回归系数t检验同等的作用。检验同等的作用。221) 1(rknrfchchange222ichrrr23多元线性回归分析中的自变量筛选多元线性回归分析中的自变量筛选(一一)自变量筛选的目

22、的自变量筛选的目的 多元回归分析引入多个自变量多元回归分析引入多个自变量. 如果引入的自变量个数较少如果引入的自变量个数较少,则则不能很好的说明因变量的变化不能很好的说明因变量的变化; 并非自变量引入越多越好并非自变量引入越多越好.原因原因: 有些自变量可能对因变量的解释没有贡献有些自变量可能对因变量的解释没有贡献 自变量间可能存在较强的线性关系自变量间可能存在较强的线性关系,即即:多重共线性多重共线性. 因而不因而不能全部引入回归方程能全部引入回归方程.24多元线性回归分析中的自变量筛选多元线性回归分析中的自变量筛选(二二)自变量向前筛选法自变量向前筛选法(forward): 即即:自变量不

23、断进入回归方程的过程自变量不断进入回归方程的过程. 首先首先,选择与因变量具有最高相关系数的自变量进入方程选择与因变量具有最高相关系数的自变量进入方程,并进行各种检验并进行各种检验; 其次其次,在剩余的自变量中寻找在剩余的自变量中寻找偏相关系数最高偏相关系数最高的变量进入的变量进入回归方程回归方程,并进行检验并进行检验; 默认默认:回归系数检验的概率值小于回归系数检验的概率值小于pin(0.05)才可以进入方程才可以进入方程. 反复上述步骤反复上述步骤,直到没有可进入方程的自变量为止直到没有可进入方程的自变量为止.25多元线性回归分析中的自变量筛选多元线性回归分析中的自变量筛选(三三)自变量向

24、后筛选法自变量向后筛选法(backward): 即即:自变量不断剔除出回归方程的过程自变量不断剔除出回归方程的过程. 首先首先,将所有自变量全部引入回归方程；将所有自变量全部引入回归方程； 其次其次,在一个或多个在一个或多个t值不显著的自变量中将值不显著的自变量中将t值最小的值最小的那个变量剔除出去那个变量剔除出去,并重新拟和方程和进行检验并重新拟和方程和进行检验; 默认默认:回归系数检验值大于回归系数检验值大于pout(0.10),则剔除出方程则剔除出方程 如果新方程中所有变量的回归系数如果新方程中所有变量的回归系数t值都是显著的值都是显著的,则则变量筛选过程结束变量筛选过程结束. 否则否则

25、,重复上述过程重复上述过程,直到无变量可剔除为止直到无变量可剔除为止.26多元线性回归分析中的自变量筛选多元线性回归分析中的自变量筛选(四四)自变量逐步筛选法自变量逐步筛选法(stepwise): 即即:是是“向前法向前法”和和“向后法向后法”的结合。的结合。 向前法只对进入方程的变量的回归系数进行显著性检向前法只对进入方程的变量的回归系数进行显著性检验，而对已经进入方程的其他变量的回归系数不再进验，而对已经进入方程的其他变量的回归系数不再进行显著性检验，即：变量一旦进入方程就不回被剔除行显著性检验，即：变量一旦进入方程就不回被剔除 随着变量的逐个引进，由于变量之间存在着一定程度随着变量的逐个

26、引进，由于变量之间存在着一定程度的相关性，使得已经进入方程的变量其回归系数不再的相关性，使得已经进入方程的变量其回归系数不再显著，因此会造成最后的回归方程可能包含不显著的显著，因此会造成最后的回归方程可能包含不显著的变量。变量。 逐步筛选法则在变量的每一个阶段都考虑的剔除一个逐步筛选法则在变量的每一个阶段都考虑的剔除一个变量的可能性。变量的可能性。27线性回归分析中的共线性检测线性回归分析中的共线性检测(一一)共线性带来的主要问题共线性带来的主要问题 高度的多重共线会使回归系数的标准差随自变量相关性的增高度的多重共线会使回归系数的标准差随自变量相关性的增大而不断增大大而不断增大,以至使回归系数

27、的置信区间不断增大以至使回归系数的置信区间不断增大,造成估造成估计值精度减低计值精度减低.(二二)共线性诊断共线性诊断 自变量的容忍度自变量的容忍度(tolerance)和和方差膨胀因子方差膨胀因子 容忍度容忍度:toli=1-ri2. 其中其中: ri2是自变量是自变量xi与方程中其他自变与方程中其他自变量间的复相关系数的平方量间的复相关系数的平方. 容忍度越大则与方程中其他自变量的共线性越低容忍度越大则与方程中其他自变量的共线性越低,应进入方程应进入方程. (具有太小容忍度的变量不应进入方程具有太小容忍度的变量不应进入方程,spss会给出警会给出警)(t0.1一般认为具有多重共线性一般认为

28、具有多重共线性) 方差膨胀因子方差膨胀因子(vif):容忍度的倒数容忍度的倒数 spss在回归方程建立过程中不断计算待进入方程自变量的在回归方程建立过程中不断计算待进入方程自变量的容忍度容忍度,并显示目前的最小容忍度并显示目前的最小容忍度28线性回归分析中的共线性检测线性回归分析中的共线性检测(二二)共线性诊断共线性诊断 用特征根刻画自变量的方差用特征根刻画自变量的方差 如果自变量间确实存在较强的相关关系，那么它们之间必然如果自变量间确实存在较强的相关关系，那么它们之间必然存在信息重叠，于是可从这些自变量中提取出既能反映自变存在信息重叠，于是可从这些自变量中提取出既能反映自变量信息量信息(方差

29、方差)又相互独立的因素又相互独立的因素(成分成分)来来. 从自变量的相关系数矩阵出发，计算相关系数矩阵的特征根，从自变量的相关系数矩阵出发，计算相关系数矩阵的特征根，得到相应的若干成分得到相应的若干成分. 如果某个特征根既能够刻画某个自变量方差的较大部分比例如果某个特征根既能够刻画某个自变量方差的较大部分比例(如大于如大于0.7),同时又可以刻画另一个自变量方差的较大部分同时又可以刻画另一个自变量方差的较大部分比例，则表明这两个自变量间存在较强的多重共线性。比例，则表明这两个自变量间存在较强的多重共线性。 条件指标条件指标 0k10 无多重共线性无多重共线性; 10=k=100 严严重重imi

30、k29线性回归分析中的异方差问题线性回归分析中的异方差问题(一一)什么是差异方差什么是差异方差 回归模型要求残差序列服从均值为回归模型要求残差序列服从均值为0并具有相同方并具有相同方差的正态分布差的正态分布,即即:残差分布幅度不应随自变量或因残差分布幅度不应随自变量或因变量的变化而变化变量的变化而变化.否则认为出现了异方差现象否则认为出现了异方差现象(二二)差异方差诊断差异方差诊断 可以通过绘制标准化残差序列和因变量预测值可以通过绘制标准化残差序列和因变量预测值(或或每个自变量每个自变量)的散点图来识别是否存在异方差的散点图来识别是否存在异方差(三三)异方差处理异方差处理 实施方差稳定性变换实

31、施方差稳定性变换 残差与残差与yi(预测值预测值)的平方根呈正比：对的平方根呈正比：对yi开平方开平方 残差与残差与yi(预测值预测值)呈正比呈正比:对对yi取对数取对数. 残差与残差与yi(预测值预测值)的平方呈正比的平方呈正比,则则1/yi30多元线性回归分析操作多元线性回归分析操作(一一)基本操作步骤基本操作步骤(1)菜单选项菜单选项: analyze-regression-linear(2)选择一个变量为因变量进入选择一个变量为因变量进入dependent框框(3)选择一个或多个变量为自变量进入选择一个或多个变量为自变量进入independent框框(4)选择多元回归分析的自变量筛选方

32、法选择多元回归分析的自变量筛选方法: enter:所选变量全部进入回归方程所选变量全部进入回归方程(默认方法默认方法) remove:从回归方程中剔除变量从回归方程中剔除变量 stepwise:逐步筛选；逐步筛选；backward:向后筛选；向后筛选；forward:向前筛选向前筛选(5)对样本进行筛选对样本进行筛选(selection variable) 利用满足一定条件的样本数据进行回归分析利用满足一定条件的样本数据进行回归分析(6)指定作图时各数据点的标志变量指定作图时各数据点的标志变量(case labels)31多元线性回归分析操作多元线性回归分析操作(二二) statistics选

33、项选项(1)基本统计量输出基本统计量输出 part and partial correlation:与与y的简单的简单相关相关、偏、偏相关相关和部分相关和部分相关 r square change:每个自变量进入方程后每个自变量进入方程后r2及及f值的变化量值的变化量 collinearity dignostics:共线性诊断共线性诊断.32多元线性回归分析操作多元线性回归分析操作(三三)options选项选项: stepping method criteria:逐步筛选法参数设置逐步筛选法参数设置. use probability of f:以以f值相伴概率作为变量进入和值相伴概率作为变量进入

34、和剔除方程的标准剔除方程的标准.一个变量的一个变量的f值显著性水平小于值显著性水平小于entry(0.05)则进入方程则进入方程;大于大于removal(0.1)则剔除出方则剔除出方程程.因此因此:entryregression-curve estimation(3) 选择因变量到选择因变量到dependent框框(4) 选择自变量到选择自变量到independent框或选框或选time以时以时间作自变量间作自变量(5)选择模型选择模型 (r2最高拟和效果最好最高拟和效果最好)35曲线估计曲线估计(curve estimate)(四四)其他选项其他选项(1)display anova tabl

35、e:方差分析表方差分析表(2)plot models:绘制观察值和预测值的对比图绘制观察值和预测值的对比图.(3)save选项选项: predicted values:保存预测值保存预测值. residual:保存残差值保存残差值. prediction interval:保存预测值的默认保存预测值的默认95%的可置信区间的可置信区间. predict case:以以time作自变量进行预测作自变量进行预测. predict from estimation period through last case:计算保存所计算保存所有预测值有预测值. predict through :如果预测周期超

36、过了数据文件的最后一个观测期如果预测周期超过了数据文件的最后一个观测期,选择此项选择此项,并输入预测期数并输入预测期数.36 线性回归分析的内容线性回归分析的内容能否找到一个线性组合来说明一组自变量和因变量能否找到一个线性组合来说明一组自变量和因变量的关系的关系如果能的话，这种关系的强度有多大，也就是利用如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强自变量的线性组合来预测因变量的能力有多强整体解释能力是否具有统计上的显著性意义整体解释能力是否具有统计上的显著性意义在整体解释能力显著的情况下，哪些自变量有显著在整体解释能力显著的情况下，哪些自变量有显著意义意

37、义 回归分析的一般步骤回归分析的一般步骤确定回归方程中的解释变量（自变量）和被解释变确定回归方程中的解释变量（自变量）和被解释变量（因变量）量（因变量）确定回归方程确定回归方程对回归方程进行各种检验对回归方程进行各种检验利用回归方程进行预测利用回归方程进行预测9.1 线性回归分析概述线性回归分析概述378.4.2 线性回归模型线性回归模型 一元线性回归模型的数学模型：一元线性回归模型的数学模型： 其中x为自变量；y为因变量； 为截距，即常量； 为回归系数，表明自变量对因变量的影响程度。xy100138 用最小二乘法求解方程中的两个参数，用最小二乘法求解方程中的两个参数，得到：得到：21)()(

38、xxyyxxiiixby 039多元线性回归模型多元线性回归模型多元线性回归方程：多元线性回归方程： y=0+1x1+2x2+.+kxk 1、2、k为偏回归系数。为偏回归系数。 1表示在其他自变量保持不变的情况下，表示在其他自变量保持不变的情况下，自变量自变量x1变动一个单位所引起的因变量变动一个单位所引起的因变量y的的平均变动。平均变动。40 8.4.3 线性回归方程的统计检验线性回归方程的统计检验l8.4.3.1回归方程的拟合优度回归方程的拟合优度 回归直线与各观测点的接近程度称为回归方程的拟合优度，回归直线与各观测点的接近程度称为回归方程的拟合优度，也就是也就是样本观测值聚集在回归线周围

39、的紧密程度样本观测值聚集在回归线周围的紧密程度 。1、离差平方和的分解：离差平方和的分解： 建立直线回归方程可知：建立直线回归方程可知：y y的观测值的总变动的观测值的总变动可由可由 来反映，称为总变差。引起总变差的来反映，称为总变差。引起总变差的原因有两个：原因有两个：n由于由于x x的取值不同，使得与的取值不同，使得与x x有线性关系的有线性关系的y y值不同；值不同；n随机因素的影响。随机因素的影响。2)( yy41bxayxyy)(0yy )(0yy )(yy42总离差平方和可分解为总离差平方和可分解为222yyyyyy 即：总离差平方和（即：总离差平方和（sst)=sst)=剩余离差

40、平方和剩余离差平方和(sst) +(sst) +回归回归离差平方和（离差平方和（ssr)ssr) 其中；其中；ssrssr是由是由x x和和y y的直线回归关系引起的，可以由回归的直线回归关系引起的，可以由回归直线做出解释；直线做出解释；ssesse是除了是除了x x对对y y的线性影响之外的随机因素所的线性影响之外的随机因素所引起的引起的y y的变动，是回归直线所不能解释的。的变动，是回归直线所不能解释的。432、可决系数（判定系数、决定系数） 回归平方和在总离差平方和中所占的比例可以作为一个统回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量计指标，用来衡量x与与y 的关系

41、密切程度以及回归直线的代表的关系密切程度以及回归直线的代表性好坏，称为可决系数。性好坏，称为可决系数。n对于一元线性回归方程：对于一元线性回归方程：22222211yyyyyyyyrsstssesstssesstsstssrr44n对于多元线性回归方程：对于多元线性回归方程： 在多元线性回归分析中，引起判定系数增加的原因有两个：一个是方程中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。如果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高。所以在多元线性回归分析中，调整的判定系数

42、比判定系数更能准确的反映回归方程的拟合优度。1/1/1122nsstpnssersstsser45 8.4.3.2回归方程的显著性检验（方差分析回归方程的显著性检验（方差分析f检验）检验） 回归方程的显著性检验是要检验被解释变量与回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。所有的解释变量之间的线性关系是否显著。n 对于一元线性回归方程，检验统计量为：对于一元线性回归方程，检验统计量为：n 对于多元线性回归方程，检验统计量为：对于多元线性回归方程，检验统计量为：），（21)2/()(1/)()2/(1/22nfnyyyynssessrf），（1p)1/()(/)

43、()1/(/22pnfpnyypyypnssepssrf46 8.4.3.3回归系数的显著性检验（回归系数的显著性检验（t检验）检验） 回归系数的显著性检验是要检验回归方程中被回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。解释变量与每一个解释变量之间的线性关系是否显著。n 对于一元线性回归方程，检验统计量为：对于一元线性回归方程，检验统计量为： 2)()2()(221nyysntxxtiiyi其中，47n 对于多元线性回归方程，检验统计量为：对于多元线性回归方程，检验统计量为：1)()1()(22pnyyspntxxtiiyiijii其中，48 8.4

44、.3.4残差分析残差分析 残差是指由回归方程计算得到的预测值与实际样残差是指由回归方程计算得到的预测值与实际样本值之间的差距，定义为：本值之间的差距，定义为： 对于线性回归分析来讲，如果方程能够较好的对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性。残差分析包括以下内容：残差不包含明显的规律性。残差分析包括以下内容：残差服从正态分布，其平均值等于服从正态分布，其平均值等于0；残差取值与；残差取值与x的取的取值无关；残差不存在自相关；残差方差相等。值无关；残差不存在自相关；残差方差相等。 ).(

45、22110ppiiiixxxyyye491、对于残差均值和方差齐性检验可以利用残差图进行、对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值为零，残差图的点应该在纵坐标分析。如果残差均值为零，残差图的点应该在纵坐标为为0的中心的带状区域中随机散落。如果残差的方差的中心的带状区域中随机散落。如果残差的方差随着解释变量值（或被解释变量值）的增加呈有规律随着解释变量值（或被解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。的变化趋势，则出现了异方差现象。2、dw检验。检验。 dw检验用来检验残差的自相关。检验检验用来检验残差的自相关。检验统计量为：统计量为： dw=2表示无自相关

46、，在表示无自相关，在0-2之间说明存在之间说明存在正自相关，在正自相关，在2-4之间说明存在负的自相关。一般情之间说明存在负的自相关。一般情况下，况下，dw值在值在1.5-2.5之间即可说明无自相关现象。之间即可说明无自相关现象。)1(2)(22221nttnttteeedw50 8.4.3.5多重共线性分析多重共线性分析 多重共线性是指解释变量之间存在线性相关多重共线性是指解释变量之间存在线性相关关系的现象。测度多重共线性一般有以下方式：关系的现象。测度多重共线性一般有以下方式：1、容忍度：、容忍度： 其中，其中， 是第是第i个解释变量与方程中其他解释变个解释变量与方程中其他解释变量间的复相

47、关系数的平方，表示解释变量之间的线性量间的复相关系数的平方，表示解释变量之间的线性相关程度。容忍度的取值范围在相关程度。容忍度的取值范围在0-1之间，越接近之间，越接近0表示多重共线性越强，越接近表示多重共线性越强，越接近1表示多重共线性越弱。表示多重共线性越弱。2、方差膨胀因子、方差膨胀因子vif。方差膨胀因子是容忍度的倒数。方差膨胀因子是容忍度的倒数。vif越大多重共线性越强，当越大多重共线性越强，当vif大于等于大于等于10时，说时，说明存在严重的多重共线性。明存在严重的多重共线性。 21iirtol2ir513、特征根和方差比。根据解释变量的相关系数、特征根和方差比。根据解释变量的相关

48、系数矩阵求得的特征根中，如果最大的特征根远远矩阵求得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有大于其他特征根，则说明这些解释变量间具有相当多的重复信息。如果某个特征根既能够刻相当多的重复信息。如果某个特征根既能够刻画某解释变量方差的较大部分比例（画某解释变量方差的较大部分比例（0.7以以上），又能刻画另一解释变量方差的较大部分上），又能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的线比例，则表明这两个解释变量间存在较强的线性相关关系。性相关关系。4、条件指数。指最大特征根与第、条件指数。指最大特征根与第i个特征根比的个特征根比的平方根。通常，

49、当条件指数在平方根。通常，当条件指数在0-10之间时说之间时说明多重共线性较弱；当条件指数在明多重共线性较弱；当条件指数在10-100之之间说明多重共线性较强；当条件指数大于间说明多重共线性较强；当条件指数大于100时说明存在严重的多重共线性。时说明存在严重的多重共线性。 imik528.4.3 线性回归分析的基本操作线性回归分析的基本操作（1）选择菜单）选择菜单analyzeregressionlinear，出现窗口：，出现窗口：53（2）选择被解释变量进入）选择被解释变量进入dependent框。框。（3）选择一个或多个解释变量进入）选择一个或多个解释变量进入independent(s)框

50、。框。（4）在）在method框中选择回归分析中解释变框中选择回归分析中解释变量的筛选策略。其中量的筛选策略。其中enter表示所选变量强表示所选变量强行进入回归方程，是行进入回归方程，是spss默认的策略，通默认的策略，通常用在一元线性回归分析中；常用在一元线性回归分析中；remove表示表示从回归方程中剔除所选变量；从回归方程中剔除所选变量；stepwise表表示逐步筛选策略；示逐步筛选策略；backward表示向后筛选表示向后筛选策略；策略；forward表示向前筛选策略。表示向前筛选策略。54注：多元回归分析中，变量的筛选一般有向前筛选、多元回归分析中，变量的筛选一般有向前筛选、向后筛

51、选、逐步筛选三种基本策略。向后筛选、逐步筛选三种基本策略。 向前筛选（向前筛选（ forward ）策略：解释变量不断进入）策略：解释变量不断进入回归方程的过程。首先，选择与被解释变量具有最回归方程的过程。首先，选择与被解释变量具有最高线性相关系数的变量进入方程，并进行回归方程高线性相关系数的变量进入方程，并进行回归方程的各种检验；然后，在剩余的变量中寻找与被解释的各种检验；然后，在剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回归方变量偏相关系数最高且通过检验的变量进入回归方程，并对新建立的回归方程进行各种检验；这个过程，并对新建立的回归方程进行各种检验；这个过程一直重复，直

52、到再也没有可进入方程的变量为止。程一直重复，直到再也没有可进入方程的变量为止。 向后筛选（向后筛选（ backward ）策略：变量不断剔除出）策略：变量不断剔除出回归方程的过程。首先，所有变量全部引入回归方回归方程的过程。首先，所有变量全部引入回归方程，并对回归方程进行各种检验；然后，在回归系程，并对回归方程进行各种检验；然后，在回归系数显著性检验不显著的一个或多个变量中，剔除数显著性检验不显著的一个或多个变量中，剔除t检验值最小的变量，并重新建立检验值最小的变量，并重新建立55 回归方程和进行各种检验；如果新建回归方程中回归方程和进行各种检验；如果新建回归方程中所有变量的回归系数检验都显著

53、，则回归方程建立所有变量的回归系数检验都显著，则回归方程建立结束。否则按上述方法再一次剔除最不显著的变量，结束。否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的变量为止。直到再也没有可剔除的变量为止。 逐步筛选（逐步筛选（ stepwise ）策略：在向前筛选策略的）策略：在向前筛选策略的基础上结合向后筛选策略，在每个变量进入方程后基础上结合向后筛选策略，在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。因此，再次判断是否存在应该剔除出方程的变量。因此，逐步筛选策略在引入变量的每一个阶段都提供了再逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。剔除不显著变

54、量的机会。56（5）第三和第四步中确定的解释变量及变量筛选）第三和第四步中确定的解释变量及变量筛选策略可放置在不同的块（策略可放置在不同的块（block）中。通常在回归）中。通常在回归分析中不止一组待进入方程的解释变量和相应的分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单击筛选策略，可以单击next和和previous按钮设置多按钮设置多组解释变量和变量筛选策略并放置在不同的块中。组解释变量和变量筛选策略并放置在不同的块中。（6）选择一个变量作为条件变量放到）选择一个变量作为条件变量放到selection variable框中，并单击框中，并单击rule按钮给定一个判断条按钮给定一

55、个判断条件。只有变量值满足判定条件的样本才参与线性件。只有变量值满足判定条件的样本才参与线性回归分析。回归分析。（7）在）在case labels框中指定哪个变量作为样本数框中指定哪个变量作为样本数据点的标志变量，该变量的值将标在回归分析的据点的标志变量，该变量的值将标在回归分析的输出图形中。输出图形中。578.4.4 线性回归分析的其他操作线性回归分析的其他操作1、statistics按钮，出现的窗口可供用户选按钮，出现的窗口可供用户选择更多的输出统计量。择更多的输出统计量。58（1）estimates：spss默认输出项，输出默认输出项，输出与回归系数相关的统计量。包括回归系数与回归系数相

56、关的统计量。包括回归系数（偏回归系数）、回归系数标准误差、标（偏回归系数）、回归系数标准误差、标准化回归系数、回归系数显著性检验的准化回归系数、回归系数显著性检验的t统统计量和概率计量和概率p值，各解释变量的容忍度。值，各解释变量的容忍度。（2）confidence intervals：输出每个非标：输出每个非标准化回归系数准化回归系数95的置信区间。的置信区间。（3）descriptive：输出各解释变量和被解：输出各解释变量和被解释变量的均值、标准差、相关系数矩阵及释变量的均值、标准差、相关系数矩阵及单侧检验概率单侧检验概率p值。值。59（4）model fit：spss默认输出项，输出判

57、默认输出项，输出判定系数、调整的判定系数、回归方程的标定系数、调整的判定系数、回归方程的标准误差、回归方程显著准误差、回归方程显著f检验的方程分析表。检验的方程分析表。（5）r squared change：输出每个解释变量：输出每个解释变量进入方程后引起的判定系数的变化量和进入方程后引起的判定系数的变化量和f值值的变化量。的变化量。（6）part and partial correlation：输出方：输出方程中各解释变量与被解释变量之间的简单程中各解释变量与被解释变量之间的简单相关、偏相关系数。相关、偏相关系数。60（7）covariance matrix：输出方程中各解释：输出方程中各解

58、释变量间的相关系数、协方差以及各回归系数变量间的相关系数、协方差以及各回归系数的方差。的方差。（8）collinearity diagnostics：多重共线性：多重共线性分析，输出各个解释变量的容忍度、方差膨分析，输出各个解释变量的容忍度、方差膨胀因子、特征值、条件指标、方差比例等。胀因子、特征值、条件指标、方差比例等。（9）在）在residual框中：框中：durbin-waston表示输表示输出出dw检验值；检验值；casewise diagnostic表示输表示输出标准化残差绝对值大于等于出标准化残差绝对值大于等于3（spss默认默认值）的样本数据的相关信息，包括预测值、值）的样本数据

59、的相关信息，包括预测值、残差、杠杆值等。残差、杠杆值等。612、options选项，出现的窗口可供用户设置选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选的标准多元线性回归分析中解释变量筛选的标准以及缺失值的处理方式。以及缺失值的处理方式。3、plot选项，出现的窗口用于对残差序列的选项，出现的窗口用于对残差序列的分析。分析。62（1）窗口左边框中各变量名的含义是：）窗口左边框中各变量名的含义是：dependnt表示被解释变量，表示被解释变量，*zpred表示标准表示标准化预测值，化预测值，*zresid表示标准化残差，表示标准化残差，*dresid表示剔除残差，表示剔除残差，*ad

60、jpred表示调整表示调整的预测值，的预测值，*sresid表示学生化残差，表示学生化残差，*sdresid表示剔除学生化残差。表示剔除学生化残差。（2）绘制多对变量的散点图，可根据需要在）绘制多对变量的散点图，可根据需要在scatter框中定义散点图的纵坐标和横坐标变量。框中定义散点图的纵坐标和横坐标变量。（3）在）在standardized residual plots框中选择框中选择histogram选项绘制标准化残差序列的直方图；选项绘制标准化残差序列的直方图；选择选择normal probability plot绘制标准化残差序绘制标准化残差序列的正态分布累计概率图。选择列的正态分布