线性回归分析

§8.3线性回归分析一、回归分析原理回归分析实际上就是建立某种数学模型并做检验。假定：一列（或多列）数据的变化同另一列数据的变化呈某种函数关系，衡量数据联系强度的指标，并通过指标检验其符合的程度，就称为回归分析。回归分析包括：一元回归、多元回归以及线性回归和非线性回归：一元回归：Y（因变量）取值：y1y2y3…X（自变量）取值：x1x2x3…建立一元线性回归方程：Y=BX+C（方程中的B为回归系数，C为常数）或者是非线性回归方程：Y=f(X)多元回归：Y（因变量）取值：y1y2y3…X1（自变量1）取值:x11x12x13…X2（自变量2）取值:x21x22x23………Xn（自变量n）取值:

xn1xn2xn3…建立多元线性回归方程：Y=B1X1+B2X2…+BnXn+B0（方程中的Bi为回归系数）或者是非线性回归方程：Y=f（X1X2…Xn）二、回归分析的概念假定测量数据为:因变量自变量1自变量2…自变量ny1x11x21…

xn1y2x12x22…

xn2………ymx1mx2m…

xnm建立因变量与自变量的关系，回归方程：Y=B1X1+B2X2…+B0纳入前：

εj为随机因素影响，即残差。纳入后：

要求组内离差平方和最小。

纳入方程的自变量应满足：①自变量的作用显著X的变化应引起Y的显著变化。从而需要对回归方程做F检验：组间离差平方和：组内离差平方和：总离差平方和：回归均方差（组间方差）：残差均方差（组内方差）：计算F值，由F值查表，得到P。讨论显著度水平：<=α自变量作用显著P

>α自变量作用不显著将未进入方程的某自变量Xi与Y做方差分析，各水平均值差异显著，满足：F>3.84或P<=0.05则该Xi可以进入回归方程。而已进入回归方程的Xi与回归后的Y如果出现：F<2.71,P>0.1则该Xi必须从回归方程中剔除。②方程中回归系数的作用显著对已进入方程的变量的回归系数做T检验，该检验的零假设是Bi=0，即回归系数可以忽略，备择假设是Bi不为零。T值的计算为：通过查表可以得到P（即：SigT）。若P>0.1的Xi须可以考虑首先从回归方程中剔除。其中：Bi为偏回归系数SEBi为偏回归系数的标准误③欲进入方程的自变量应当与已进入的自变量相关程度足够低。引进描述相关程度的量：容忍度Tolerance，即变量之间的相关系数的显著度水平。若：Tolerance>0.0001表明欲进入方程的自变量与其它自变量的相关程度低，即：xi与xj相关程度低，则xi可以进入回归方程。三、自变量纳入回归方程的方式SPSSforWin8.0系统提供的自变量纳入方程的方式有五种，分别为：①强行介入法Enter（一次性进入）这是一种不检验F和Tolerance，一次将全部自变量无条件地纳入回归方程。②强行剔除Remove（一次性剔除）指定某些变量不能进入方程。这种方法通常同别的方法联合使用，而不能首先或单独使用，因为第一次使用或单独使用将意味着没有哪个变量进入方程。③逐步进入Stepwise每次选择符合进入条件的自变量进入方程，进入后立即检验，不合格者剔除，直到全部合格自变量进入方程。④反向剔除Backward先强行介入，再逐个剔除不合格变量，直到全合格。⑤正向进入Forward每次选择符合进入条件的自变量进入方程，逐个选择，逐个进入，直到全部合格自变量进入方程。四、操作步骤⒈回归分析命令菜单执行：[Statistics][Regression][Linear]选择因变量到：“Dependent”因变量框内选择若干个自变量移动到：“Independent(s)”自变量框内。⒉回归方法“Method”下拉菜单提供了五种回归方法供选择：强行介入法Enter正向进入Forward反向剔除Backward逐步进入Stepwise强行剔除Remove“Block1ofn”可以将回归步骤分为若干组块。在指定了一组因变量和自变量后，可以用“Next”按钮再建立另一个组块，以便再次指定一组因变量和自变量。在建立了若干组块以后，执行回归分析命令，将能够逐一组块地进行分析。例如：在研究“小麦产量”时，收集了“土壤成分”、“农家肥料”、“化肥”、“灌溉”以及“种谷物的产量”等数据。假定：“小麦产量”为因变量。要求在回归方程中先以“土壤成分”、“化肥”和“种谷物的产量”为自变量，然后剔除“种谷物的产量”，再将其它自变量根据系统的计算来确定是否纳入方程。因此可以分成三个组块来完成：①在第一组块Block1中使用强行介入法Enter，选“土壤成分”、“化肥”和“种谷物的产量”为自变量。单击“Next”按钮。②在第二组块Block2中使用强行剔除Remove，选择“种谷物的产量”。再单击“Next”按钮。③在第三组块Block3中使用正向进入Forward，选择其它自变量。在最后结果中，“土壤成分”、“化肥”将成为自变量无条件进入方程，而“种谷物的产量”将不出现在方程中，其它自变量将根据其对方程的作用显著程度决定是否进入方程。“SelectionVariable”为指定抽样变量以及抽样规则。例如：以年份year为抽样变量，并指定抽样规则为1985年以后的样本，则可以指定“SelectionVariable”为year。在定义抽样规则项“DefineSelectionrule”中定义：Greaterthan1985。⒊统计量的计算单击计算统计按钮：“Statistics”在计算统计对话窗口中，可以见到如下几方面的内容：⑴回归系数的计算RegressionCoefficients：①“Estimates”计算各个自变量的回归系数B、相关系数R、标准误SEB、标准化回归系数Beta、t检验的双侧概率以及容忍度Tolerance。②“Confidenceinterval”回归系数的95%的置信区间。③“Covariancematrix”生成协方差矩阵。⑵统计输出选项①“Modelfit”模式拟合。计算相关系数R、可决系数R2、调整相关系数AdjustedR-Square以及计算标准误Std.ErrorofEstimates。②“Rsquaredchange”可决系数的变化。当纳入的一个自变量的可决系数显著大于其它自变量的可决系数，说明该自变量能够很好地描述因变量。③“Descriptives”计算描述统计量：平均值、标准差、相关系数的显著度水平的检验矩阵。④“PartandpartialCorrelate”计算零阶以及偏相关系数。⑤“Collinearitydiagnostics”自变量线性相关检验，即容忍度检验。⑶残差及样本的检验①“Durbin-Watson”杜宾-沃特森检验对残差的系列相关检验。进一步还计算残差与自变量值的汇总统计。②“Casewisediagnostic”样本诊断对符合回归标准的样本进行检验，并产生样本诊断表。其中有两个标准可供选择：●Outliersoutside(n)Standarddeviations：奇异值(Outlier)的诊断。定义大于n个标准差的样本观测值为奇异值。系统默认n=3。●Allcases：诊断所有的样本。⒋生成回归统计图形单击统计图形按钮“Plots”可以定义作图变量以及图形类型。系统将根据所选择的变量和图形类型产生相应的图形。图形包括：①散点图(Scatterplot)在对话窗口变量列表中选择自变量X和因变量Y建立图形。图形中的每个点将是这两个变量的值决定的。用“Scatternof”的按钮“Previous”和“Next”可以定义更多的自变量X和因变量Y来产生图形。图形对话窗口允许生成最多达9个散点图。变量列表中的变量分别表示：DEPENDENT：因变量*ZPRED标准化预测值（预测值就是回归后因变量的取值，区别于回归前的观测值）*ZRESID标准化残差（预测值与观测值之差的标准化）*DRESID剔除残差*ADJPRED调整预测值*SRESID经过t值化的残差*SDRESID经过t值化的剔除残差②偏回归图复选项“Produceallpartialplot”将生成每个自变量的残差同因变量的残差图。③标准化残差图复选项“Histogram”标准化残差的直方图。复选项“Normalprobabilityplot”正态概率图，显示了标准化残差的观测积累概率同期望积累概率的关系。五、保存变量“Save”将把分析产生的结果用新变量保存起来。可以保存的新变量有：①预测值项PredictedValuesUnstandardized非标准化预测值变量Standardized标准化预测值变量Adjusted调整预测值变量S.E.ofmeanpredictions预测值的标准误变量②距离值项Distances保存有关不同距离计算的变量：Mahalanobis关于Mahalanobis距离变量Cook's关于Cook距离变量Leveragevalues关于中心点杠杆值变量预测区间项Predictionintervals保存预测区间有关的变量：Mean预测区间上下限的平均值变量Individual观测区间变量③残差项Residuals保存有关残差的变量Unstandardized非标准化残差变量Standardized标准化残差变量Studentized学生化残差变量Deleted剔除残差变量StandardizedDeleted标准化剔除残差变量④影响统计项Influencestatistics保存有关影响统计的变量DfBeta(s)产生的变量将反映：剔除一个可能是影响点的观测值所引起的回归系数的变化。当一个观测值的标准化残差的绝对值超过3，则该观测值就是奇异值，回归运算不应考虑StandardizedDfBeta(s)经标准化的DfBeta(s)值。DfFit产生的变量将反映：剔除一个可能是影响点的观测值所引起的预测值的变化。CovarianceRatio生成一个协方差率矩阵。该矩阵将是剔除一个可能是影响点的观测值后的协方差矩阵与保留全部观测值的协方差矩阵之比。⑤Savetonewfile项选项CoefficientsStatistics的作用是生成一个关于回归系数的文件。六、选项“Options”选项：⑴SteppingMethodCriteria项本选项是设置变量纳入方程或从方程中剔除的判据的。UseprobabilityofF用F检验的显著度水平SigF。默认值F的Pin<=0.05可以纳入回归方程。F的Pout>=0.1将从回归方程中剔除。UseFvalue用F检验的F值本身为判据。当Fin值>=3.84，将可以纳入回归方程。当Fout值<=2.71，将从回归方程中剔除。⑵Includeconstantinequation在回归方程中是否包含常数项。⑶Missingvalue项Excludecaseslistwise排除列表中变量含有缺失值的样本。Excludecasespariwise排除运算变量含有缺失值的样本。Replacewithmean用平均值代替缺失值参与运算。七、线性回归分析所产生的结果经过线性回归分析，可以产生的主要结果有：⒈回归方程

例如：Salnow=1.73408Salbeg+2.98048960Edle