第11章 多元线性回归与多元逐步回归

第十一章多元线性回归与多元逐步回归

(MultipleLinearRegression

andMultipleStepwiseRegression)

华中科技大学同济医学院尹平例子一个应变量与多个自变量间的关系儿童身高与年龄、性别的关系肺活量与年龄、性别、身高、体重以及胸围的呼吸差等因素的关系多元线性回归如构成线性依存关系第一节多元线性回归

第二节多元逐步回归

第三节多元线性回归的注意事项第一节多元线性回归

（multiplelinearregression

）多元线性回归的数据格式一、多元线性回归方程

(multiplelinearregressionequation)

常数项，表示当所有自变量为0时应变量Y的总体平均值的估计值

表示除以外的其它自变量固定不变的情况下，每改变一个测量单位时所引起的应变量Y的平均改变量bj为偏回归系数（partialregressioncoefficient)两个自变量与应变量的散点图两个自变量与应变量的拟合面bj为xj方向的斜率1.求偏回归系数bj及b0根据最小二乘法(methodofleastsquare)原理求出bj,即得到bj

2.例子

例11.120名糖尿病人的血糖、胰岛素及生长素的测定值列于下表中，试建立血糖对于胰岛素及生长素的二元线性回归方程。

对于本例有:采用最小二乘法即可求出常数项b0和偏回归系数b1、b2。

其中

对表11-2的数据资料由SAS统计软件可得到如下

表11-3的主要结果。

由此得到回归方程为二、回归方程的假设检验1.模型检验其中：自由度为

总＝n－1，

回归＝k，

剩余＝n－k－1

X2X1YModelSSTotalSSResidualSS

由表11-4可知，F＝21.54，P<0.05。从而，拒绝H0，可以认为β１和β２不全为0，即所求回归方程有统计学意义。对于例11.1的模型检验H0：β１＝β２＝０H1：β１和β２不全为0

＝0.05对表11-3的数据资料，由SAS统计软件可得到如下表11-4的模型检验结果。

２．偏回归系数的检验

（1）F检验j=1,2,…,k之中，U为Xj的偏回归平方和,即U=SS回归－SS回归(-j)

Fj服从F

(1,n-k-1)分布表11-5例11.1数据的偏回归系数F检验表方程内自变量平方和FPSS回归SS回归-SS回归(-j)

SS残差X1,X2116.6２６46.025X266.27550.35218.598<0.0５X1114.7031.9240.710>0.05

在

＝0.05水平上，可以认为胰岛素对血糖的线性回归关系有统计学意义，而生长素对血糖的线性回归关系无统计学意义。所以应剔除X2，只建立X1与Y的线性回归方程。

(2)t检验j=1,2,…,k，P=0.0005；

在α＝0.05水平下，认为血糖与胰岛素的线性回归关系有统计学意义，而与生长素的线性回归关系无统计学意义。

结论与F检验一致。，P=0.4110。三、标准化回归系数

（standardizedpartialregressioncoefficient)

式中，Sj及Sy分别为自变量Xj

及因变量Y的标准差。可以利用标准化偏回归系数的大小来反映各自变量的贡献大小。

１．复相关系数（multiplecorrelation

coefficient）

又称多元相关系数或全相关系数，表示回归方程中的全部自变量X共同对应变量Y的相关密切程度。复相关系数取值总为正值，在0与1之间，简记为R。如果只有一个自变量，此时

四、复相关系数与决定系数2．决定系数(coefficientofdetermination）

复相关系数的平方又称决定系数，记为，用以反映线性回归方程能在多大程度上解释应变量Y的变异性。回归方程的拟合程度越好，残差平方和就越小，决定系数越接近1，决定系数越接近1第二节多元逐步回归

（multiplestepwiseregression）

1.多元逐步回归的基本思想多元逐步回归（multiplestepwiseregression）有三种筛选自变量的方法：1．向后法（Backwardselection）先建立一个全因素的回归方程，然后每次剔除一个偏回归平方和最小且无统计学意义的自变量，直到不能剔除时为止，此法的计算量大，有时不能实现。2．向前法（forwardselection）方程由一个自变量开始，每次引入一个偏回归平方和最大，且具有统计学意义的自变量，由少到多，直到无具有统计意义的因素可以引入为止。用此法建立的方程有时不够精炼。3.逐步法（stepwiseselecfion）取上述两种方法的优点，在向前引入每一个新自变量之后都要重新对前已选入的自变量进行检查，以评价其有无继续保留在方程中的价值。为此引入和剔除交替进行，直到无具有统计学意义的新变量可以引入也无失去其统计学意义的自变量可以剔除时为止。2.多元逐步回归的基本原理

每一步只引入或剔除一个自变量。自变量是否被引入或剔除则取决于其偏回归平方和的F检验或校正决定系数。如方程中已引入了(m-1)个自变量，在此基础上考虑再引入变量Xj。记引入Xj

后方程（即含m个自变量）的回归平方和为SS回归，残差为SS残差；之前含(m-1)个自变量（不包含Xj）方程的回归平方和为SS回归(-j)，则Xj

的偏回归平方和为U