逐步回归分析

逐步回归分析字体［大］［中］［小］逐步回归是多元回归中用以选择自变量的一种常用方法。本条目重点介绍的是一种''向前法〃。此法的基本思想是：将自变量逐个地引入方程，引入的条件是该自变量的偏回归平方和在未选入的自变量（未选量）中是最大的，并经F检验是有显著性的。另一方面，每引入一个新变量，要对先前已选入方程的变量（已选量）逐个进行F检验，将偏回归平方和最小且无显著性的变量剔除出方程，直至方程外的自变量不能再引入，方程中的自变量不能再剔除为止。另一种是''向后法〃，它的基本思想是：首先建立包括全部自变量的回归方程，然后逐步地剔除变量，先对每一自变量作F（或t）检验，剔除无显著性的变量中偏回归平方和最小的自变量，重新建立方程。接着对方程外的自变量逐个进行F检验，将偏回归平方和最大且有显著性的变量引入方程。重复上述过程，直至方程中的所有自变量都有显著性而方程外的自变量都没有显著性为止（例见条目''多元线性回归〃例1、2）。此法在自变量不多，特别是无显著性的自变量不多时可以使用。与一般多元回归相比，用逐步回归法求得的回归方程有如下优点：它所含的自变量个数较少，便于应用;它的剩余标准差也较小，方程的稳定性较好；由于每步都作检验，因而保证了方程中的所有自变量都是有显著性的。逐步回归分析的主要用途是：（1）建立一个自变量个数较少的多元线性回归方程。它和一般多元回归方程的用途一

样，可用于描述某些因素与某一医学现象间的数量关系，疾病的预测预报，辅助诊断等等。（2）因素分析。它有助于从大量因素中把对某一医学现象作用显著的因素或因素组找出来，因此在病因分析、疗效分析中有着广泛的应用。但通常还须兼用''向前法〃、“向后法〃，并适当多采用几个F检验的界值水准，结合专业分析，从中选定比较正确的结果。求回归方程的方法步骤如下：设有含量为n的样本，对每个观察单位观察了m个自变量Xj（j=1,2,...m）和一个应变量Y（可记为Xm+1），得原始数据如表1。表1原始数据格式观察单位编号变量X1X2XmY=Xm+11X11X12X1mX1，m+12X21X22X2mX2，m+1nXn1Xn2XnmXn，m+11.先规定一个F*值，作为引入或剔除自变量时进行F检验的界值。对于给定的显著性水准a来说，每一步作检验时的Fa（1-m’-J值是不同的，f但由于样本含量n比引入自（1,n1变量的个数m‘大得多（一般在10倍以上），所以各步的m‘虽然不同，但Fa（1，n-m‘-1）

值都近似相等。故为方便起见，可取一个定数F*作为F检验的标准。2.计算每个变量的均数j、离均差平方和仏、ljj)，每两个变量的离均差积和j以及相关系数j并以求得的rij为元素列出原始相关矩阵R(0)(阵中甲并以求得的rij为元素列出原始相关矩阵R(0)(阵中甲0)=「詁：41.(0)、l?w-H27m+l”0m2讯+1启1mmm+l7mjMi以后每引入或剔除一个变量都计为一步运算。设R(0)经L步所得的R(L)为厂⑴1mm"⑴iH步,对于每一步，R(L)均同样按式(2)变换成R(L+1)。设引入或剔除的变量为Xg(g为该变量的下标)，按式(2)作变换Lg,则R(l)成R(L+1)时，两矩阵中的各元素rij，iH步,严1)心严1)心1)心1)Uv=吩(1H刃，选自变量。(1)引入未选量。按式(3)计算各未选量的偏回归平方和Vj(L+1)(1)引入未选量。找出其中最大者，记作Va(L+1)，就它所对应的自变量Xa按式(4)作F检验:昭切⑵-冰-2)；M+1

式中m‘为已引入变量的个数。当F1>F*时引入变量Xa，并对R(L)按式(2)作变换La,得R(L+1)；当F]<F*时挑选变量工作就此结束。(2)剔除已选量。引入新变量后，对原先引入的已选量分别计算其偏回归平方和Vj(L)：(5)(6)找出Vj(L)中最小者，记作Vb(L)。就Vb(L)所对应的自变量Xb按式(6)作F检验。w_皆冷—吸—1)(6)当F2<F*时，剔除Xb，并对R(L)按式(2)作变换Lb得R(L+1);下一步对其余已选量再按式(5)、(6)求Vj并作F检验，直到已选量中没有可剔除时为止;当F2>F*时，已选量都不能被剔除，于是再考虑从未选量中能否引入新变量。如此反复进行到第L步，若已选量都不能被剔除，未选量都不能引入时，逐步运算结束。求回归方程。由相关矩阵R(L)求得的回归方程苑曲+b；%+…+瓦蓉称为标准回归方程，式中bj是标准偏回归系数，按式(7)求得。b'j=rj.m+1(L)。(7)实用中多元线性回归方程常用变量Xj的原单位，因此须再按式(8)求化成原单位后务的偏回归系数q.m+tm+1式中lm+1,m+1=lYY，即丫的离均差平方和，jj为务的离均差平方和。回归方程的常数项按式⑼计算，-4—Yb0二-工bjj，⑼式中j为已选量的下标。于是得多元回归方程为Y=b0+》bjXj°(10)回归方程的线性假设检验。按式(11)作方差分析。(11)(11)£2总=Lyy,V^=n~1,斛=Epp•lyY=lyy盘］严+1,卩劉=£2回=SS.fe-SS^3v回=朋:”_阴回/卅_阴詁(充井'-1)。回归的剩余标准差s按式(12)计算。(12)SS剩(12)n-mf-L°其意义及用途见条目''多元线性回归〃。多元相关系数R按式(13)计算，R的意义、用途及假设检验见条目''多元线性相关〃。R二J1_心忍+1口(⑶求得多元线性回归方程后，就可利用它来进行预测，参见条目''多元线性回归〃。例某单位为了研究正常少年儿童的心象面积与性别、月龄、身高、体重、胸围的关系，调查了521名2.5〜15岁的正常少儿，资料见表2,试用逐步回归法求预测心象面积的回归方程。表2521名正常儿童各项指标的部分记录编号性别*月龄身高体重胸围实测心象面积X1(月)(cm)(kg)(cm)(cm2)X2X3X4X5Y=X6113295.514.053.549.64213392.013.052.041.61313589.012.553.535.815200176156.055.083.094.605210178163.051.079.087.42*男记作1,女记作0规定F*值。本例n=521,估计可能选入4个自变量。对于给定的a=0.05,F0-05(p516)丄3.86，故取F*=3.86。计算各变量的均数j与离均差平方和I》得：j123456j0.4875102.37124.4724.7660.2361.75Ijj130.171016518.26218849.1048820.5429980.76127402.29以及离均差积和Ijj(略)。计算相关系数「jj,并以rij为元素列矩阵R(0)(rij(0)=rij),(1-0.039603-0.041057-0.0344470.0479920.037969-0.0396031f).9657990.9216310.90S2980.S55474-0.0410570.96579910.9382340.9153320.883857-0.0344470.9216310.93S23410.9668650.S634410.0479920.90S29S0.9153320.96686510.85031Si0.0379690.8554740.8S3S570.S634410.85031S1(3)选自变量。第一步：选第一个自变量。对全部自变量按式(3)计算Vi(1)得(严y袴)=f=(0.037969)2/1=0.001442,■Yi'代y券=(0.855474)2/1=0.731836,%同理，V3(1)=0.781203,V4(1)=0.745530,V5(1)=0.723041。其中V3(1)最大即Va,按式(4)作F检验。(0.781203)(521-0-2)1-0.781203=1853.06>F(0.781203)(521-0-2)1-0.781203=1853.06>F*,故引入变量X3。对R(0)按式(2)作变换-，此时g=3,L=O。£=1/屢)=1/1=1,盘'=即/即=-0.041057/1=-0.041057,嗤=-盘仃燉=-0.965799/1=-0.965799,_(0.96579^-Q04105K00000491余类推，得疋\0.0040730.0855780.0742570.0040730.0855780.074257\0.015W0.0242700.0018440.9382340.9153320.8838570.1197150.10S0680.0341740.10S0680.1621660.0412940.0341740.0412940.218795丿(0.9983140.000049-0.0410570.0040730.0S5573、、0.0742570.0000490.0672300.9657990.0154S40.00242700.0018440.041057-0.9657991-0.9382340.915332-0.883857第二步：选第二个自变量。计算各未选量的吟2)：VJ2)=0.005523,V2(2)=0.000050,V(2)4=0.009755,V(2)5=0.010515，其中V5(2)最大，经F检验有显著性，故引入变量X5，对R(1)仍按式(2)作变换L5,这时g=5，L=1，得R(2)(略)。第三步：由于新变量X5的引入方程，对原有变量X3应重新检验，为此计算VP、。按式(5)得即6.166502再按式(6)作F检验:口^2\521-2-1)(0.068678X521-2-1)0.208279=一0.2082791=170.81故X3不能剔除。于是考虑引入第三个自变量，计算各未选量的Vj(3)：V1(3)=0.002888,V2(3)=0.000295,V4(3)=0.000928，其中V1(3)最大，经F检验有显著性，故引入X1，对R(2)作变换L1，这时g=1,L=2,得R(3)(略)。第四步：由于X1的引入，对已选量X3、X5重作检验。计算得V3(3)=0.071558,V5(3)=0.007880,对其最小者作F检验，得l用一袒一1)(0.007880)(521-3-1)0.205391傀=一k~0.205391<5+U+l=19.83故原有已选量不能剔除。考虑引入第四个自变量，计算各未选量的Vj(4)：V2(4)=0.000208,V/4)=0.002046，其中V4⑷最大，经F检验有显著性，引入X4，对R(3)作变换L4，这时g=4,L=3,得R(4)(略)。第五步：由于X4的引入，应对原有的X1、X2、X5重作检验，计算得£(4)=0.004005,V3W=0.044834,V5(4)=0.000341，其中V5(4)最小。按式(6)作F检验，砂引(521—4—1)(山叩241)(521-4一1)20-203345=0.87<F*n故剔除XS。对R(4)仍按式(2)作变换L5,此时g=5,L=4,得R(5)(略)。第六步：上步剔除了X5后，应考虑其余已选量％、X3、X4还须剔除否。为此计算得V1(5)=0.005352,V3(5)=0.046192,V4(5)=0.009584,其中V1(5)最小。作F检验，得F2=13.59>F*。故已选量都不能剔除。再考虑未选量X2、X5能否选入。由于X5刚被剔除，可不考虑，为此计算V2(6)=0.000099,作F检验，得F1=0.25<F*。故不能引入X2。至此，方程外的变量不能进入，方程内的变量不能剔除，逐步运算到此结束。共选进了三个自变量：X1、X3、X4。兹节录R(5)中的最后一列：r（5）16=0.073228,r（5）26=0.002541,r（5）36=0.621366,r（5）46=0.282975,r（5）56=0.004447,r（5）66=0.203686。据式（7）及R（5）可得标准偏回归系数为b'1=r（5）16=0.0732,b'3=r（5）36=0.6214,b'4=r⑸46=0.2830。再按式（8）换算成按原单位的偏回归系数，得=（0.0732）（127402.29=（0.0732）130.17仿此，b3=0.474，b4=0.460。按式（9）,■Yb=_b口-b口-b口0b113344=61.75-2.291x0.4875-0.474x124.47-0.460x24.76=-9.755。按式(10)，得回归方程为Y=-9.755+2.291X+0.474X+0.460X，134'即心象面积(cm)2=-9.755+2.291性别(男为1,女为0)+0.474身高(cm)+0.460体重(kg)。对此方程作线性假设检验。列方差分析表(表3)