多元线性回归与相关

多元线性回归与相关浙江大学公共卫生学院流行病与卫生统计教研室沈毅2005.6多元线性回归与相关直线回归与相关是分析一个应变量Y与一个自变量X之间的关系。但通常是一个应变量受到许多因素的影响，例如一个人的收缩压受到年龄、饮食、锻炼及遗传等许多因素的影响。因此，必须把直线回归与相关的分析方法推广为多个自变量的分析方法，从而起到更有效的预报、控制及识别影响因素的作用。第一节多元线性回归模型一、多元线性回归方程的建立多元线性回归模型为：

式中βj是Xj（j＝1，2，…，p）对Y的偏回归系数（Partialregressioncoefficient），它表示在其它自变量固定不变的情况下，Xj每改变一个测量单位时所引起的应变量Y的平均改变量，p为自变量的个数，ε为残差，独立服从N（0，σ2）分布。拟寻求参数β0，β1，…βp的适宜估计值b0，b1，bp，使观察值Yi和回归预测值

之间残差平方和最小，即

根据微积分知识，b0，b1，bp必须满足联立方程组：

该方程组也称为正规方程组。可将该正规方程化为其解即为β0，β1，…βp的最小二乘估计值。上述正规方程组可以用矩阵形式简洁地表示，令：

矩阵X含n行（p＋1）列，除第1列外其余恰好是关于X的原始数据，每一行属于一个个体，行向董Y的每一个元素属于一个个体，列向量B即为欲求的参数估计值，式（15－2）左端的系数构成的矩阵为：其中X’是X的转置矩阵，为X的行列互换所得，右端的参数项可以写成：

故正规方程组的矩阵形式为

其解可以表示为：

其中

表示系数矩阵

的逆矩阵。可见，回归参数的最小二乘估计实为系数矩阵之逆矩阵与常数项矩阵（列向量）之乘积。其计算较为复杂，可以用统计软件求得。用最小二乘法解出偏回归系数βj的估计值bj后，得到相应的多元线性回归方程为：

下面举例说明建立多元线性回归方程的过程。二、例子例15-1为研究男性高血压患者血压与年龄体重等变量的关系，随机测量了32名40岁以上男性的血压（mmHg）、年龄（岁）、身高、体重、以及吸烟史。其中体重指数Quteletindex＝100（体重/身高2）；吸烟：0为不吸，1为过去或现在吸烟。（见表15-1）由表15-2可知有关参数估计值为：b0＝44.293，b1＝1.778，b2＝9.623。b1＝1.778表示40岁以上男性吸烟状态不变的条件下，年龄每增加五岁，收缩压平均提高1.778mmHg；b2＝9.623表示年龄不变的条件下，吸烟者与不吸烟者相比，收缩压平均提高9.623mmHg。于是得到回归方程：第二节回归系数的假设检验选用多元线性回归描述一组观察资料时，不可避免地带有一定的主观性和抽样误差。因此，必须对所建立的回归方程进行拟合适度检验，以分析应变量Y与各自变量Xj之间是否存在线性关系。多元线性回归方程拟合适度检验可分为两种：一种是对整个方程的检验，另一种是对各偏回归系数的假设检验。下面分别介绍。一、多元线性回归方程的假设检验可用方差分析方法来检验应变量Y与p个自变量之间是否存在线性回归关系。检验假设为：

H0：βj均为0；H1：βj不全为0；j＝1，2，…，p.α＝0.05。

在多变量情形下，应变量总离均差平方和SS总可以分解为回归平方和SS回与残差平方和SS=两部分，它们的简便计算公式以及相应的自由度为：统计量F的计算公式为：式中MS回及MS残分别称为回归均方与残差均方。在无效假设H0：Bj均为零的条件下统计量F服从F（p，n-p-1）分布。如果F≥Fα(p，n-p-1)，则在α水准上拒绝H0，认为p个自变量X中至少有一个与应变量Y之间存在线性回归关系。否则不拒绝H0，即认为所有X与应变量Y之间无线性回归关系。

由表15-3得到对方程的检验结果为：F＝52.40，P＝0.0001，故在α＝0.05水平上拒绝H0，可认为年龄和吸烟对血压的影响总的来说具有统计学意义。在多元线性回归模型中，线性回归方程有统计学意义，并不说明所有βj均不等于零。为了检验每个自变量是否与Y都有线性回归关系，需分别对每个自变量Xj或相应的偏回归系数bj进行假设检验，以免把无统计学意义的自变量引入回归方程。所用检验方法有F检验法与t检验法，这两者的检验结果是一致的。二、偏回归系数的假设检验

1.F检验是在其它自变量存在于回归方程中的条件下考察某一自变量Xj对应变量Y的回归效应。检验假设为：H0：βj＝0；H1：βj≠0；J＝1，2，…，p。

α＝0.05。

计算检验统计量的步骤为：第一步：将所有p个自变量X1，X2，…，Xp全部引入回归方程中，得到回归平方和SS回及残差平方和SS残。第二步：将拟检验的某个自变量Xj（j＝l，2，…，p）从回归方程中取出后，重新建立含p－1个自变量X1，…Xj-1，Xj+1，…Xp的回归方程，并得到相应的回归平方和SS回（-j）。差值SS回（-j）-SS回。就是其它自变量存在于回归方程中的条件下，Xj单独引起的回归平方和改变量，称为Xj的偏回归平方和。第三步：计算F统计量：在H0为真条件下，Fj服从自由度为1及（n-p-1）的F分布。如果Fj≥Fα(1,n-p-1)，则在α水平上拒绝H0，否则不拒绝H0。

2．t检验法上面介绍的F检验法须计算一个含p个自变量的回归方程和p个含p－1个自变量的回归方程，工作量很大。但计算机统计软件中都有计算多元线性回归的偏回归系数标准误Sbj（j＝l，2，…，p）的程序，然后可用t检验法对各偏回归系数进行假设检验。只需计算一个包含p个自变量的多元线性回归方程，得到各偏回归系数的标准误，t检验的计算公式为

tj=bj/Sbj(j=1,2,…,p)v=n-p-1(15-7)

在无效假设H0：βj＝0条件下，tj服从自由度v＝n-p-1的t分布。对例15-1资料，由表15-3可知Y与X1和X2的回归方程有统计学意义。同时从表15-2各变量的回归系数的假设检验可知，X1的P＝0.0001，X2的P＝0.0005，每个变量的作用均有统计学意义。应该指出，从回归方程中剔除一个自变量，如Xj，这绝不是简单地把bjXj项从方程中剔除就完事了，而是再建立一个含有p-1个自变量的新方程，新方程中Xk的偏回归系数bk与原方程中Xk的bk是不同的，这是因为变量之间存在着相关性。当从原方程中剔除一个变量时，其它变量，特别是那些与它相关密切的一些变量的偏回归系数就会受到影响，有时影响是很大的，甚至会引起符号的变化。所以，在进行t检验或F检验时，必须特别慎重。一般对偏回归系数进行一次检验后，只能剔除其中的一个变量，这个变量是所有无统计学意义的自变量中F值或t值为最小的。重新建立新方程后，再对新的偏回归系数逐个进行检验，直到余下的偏回归系数都具有统计学意义为止。在许多情况下需要比较各自变量对应变量的相对贡献大小。但由于各自变量的测量单位不同，单从各偏回归系数的绝对值大小来评价是不妥的，必须对各偏回归系数进行标准化处理，即消除测量单位的影响后，才能进行比较。这种消除测量单位影响后的偏回归系数称为标准化偏回归系数

其计算公式为：

式中Sj及SY分别为自变量Xj及Y的标准差。bj为Xj的偏回归系数。将各变量先经标准化处理后再配合回归模型，所得的偏回归系数即为标准化偏回归系数。由表15-2的结果计算得例15-1资料中各变量Xj的标准化偏回归系数为：

。从两个标准化偏回归系数的比较可知，年龄对收缩压的影响强度约为吸烟的2.5倍。为了评价回归方程的拟会效果，应分析回归方程的残差分布，利用残差提供的信息可以检验资料的正态性与方差齐性，并可分析所建立的回归方程是否合适以及对哪些观察点的预报效果较差。残差系指观察值Yi与估计值

之差，即

。在正常情况下的残差服从均值为0，方差为σ2的正态分布，它的标准误为

。按式（15－9）去除εi的单位后的量称为学生氏残差（Studentizedresidual）记为

。其计算公式为：

第三节回归方程的评价其中hi为第i个样本点的杠杆值，是矩阵H＝X（X’X）X’中的第i对角线元素。杠杆值反映各点对回归方程的影响强度。残差分析中最简单的方法是用与作成残差图进行直观分析（见图15-1）。在图15-1中a图表示残差

与估计值之间无特殊的分布趋势，为理想的残差分布。b图表示

与

之间呈曲线趋势，这提示所建立的回归方程对资料的信息概括得尚不充分，需要增加新的非线性回归项如某自变量的平方项等。c图表示

与

之间呈扇形分布，反映方差有随估计值的增大而增大的趋势。此外，可以根据残差的P-P图检查资料的正态性。如果检查出资料缺乏正态或（和）方差齐性，可考虑拟合高阶线性回归、作变量变换、增加自变量的交互作用项、用加权最小二乘法回归等来改进拟合回归方程的效果。如果用一组资料建立起回归方程后再计算每一观察点的残差，则该远离点的残差较其它点残差的绝对值大。把预报效果较差的点称为特异点（outlier）。特异点往往对回归系数的估计有较大的影响，分析时应加以注意。用全部观察对象的资料建立起回归方程后得到的残差称为普通残差。普通残差的敏感性较差，其原因是回归方程中包含了残差所对应的观察点的信息。另一种残差称为预报残差（predictionresidual），它是用不含该观察点信息的回归方程来计算该观察点的平均预报值所得到的残差，因此能更好地反映出该观察点远离回归线的情况。如果该例的普通残差较小而预报残差很大，则表示该观察点是对回归方程影响较大的特异点，应对该资料的来源作深人的分析。

图15-2为例15-1资料的二元线性方程的残差分布图，残差的分布未见明显的异常趋势。

第四节选择回归变量的方法应用回归分析研究实际问题时，碰到的一个重要问题就是选择回归自变量，一般说来，根据问题本身的专业理论及有关经验，研究者罗列出可能与应变量（Y）有关的自变量（X）往往很多，其中有一些自变量对应变量可能根本没有影响或影响很小。如果回归模型把这样一些自变量都包含进来，不但计算量大，而且估计和预测的精度也会下降。有时，某些指标的观测数据获得代价较大，如果把这些与Y关系很小或根本就没有关系的指标选进模型，会使模型应用的费用不必要地升高。本节对自变量的选择提出一些准则（criterion），以帮助读者在使用统计软件包时，灵活、熟练地应用这些准则，选取所需要的研究变量，建立较优回归模型。一、选择变量的统计学标准

1.调整复相关系数设

为调整后的复相关系数（adjustedR2），则

的计算公式为

R2为决定系数，n为样本容量，p为自变量的个数。由上式可以看出

，而

的值随着自变量个数的增加并不一定增大。例15-1的回归方程为：

。它的调整后的复相关系数为

。再建立Y与X1、X2、X3作三元回归方程，经过计算得

，由此可见增加一个变量X3对Y的影响并不显著，可以考虑剔除。在实际问题中通常可以选择较大的

来确定该变量是否选入或不选入回归方程。

2.Cp准则近年来愈来愈得到广泛重视的一种变量选择是基于C.L.Mallows的Cp统计量（Cp-statistics），它是从预测观点出发，基于残差平方和的一个准则，Cp统计量定义如下：

式中MS残,p为p个自变量残差平方和，MS残,全部为从全部自变量作回归的残差均方，p为包括常数项在内的自变量个数，第二项为增加解释变量的折扣，在实际问题的应用研究中，可以选择Cp值最小的模型为最合适的回归模型。

3.AIC准则众所周知，极大似然原理是统计学中估计参数的一个重要方法，Aakaike把这一方法加以修正，提出了一种较为一般的模型选择准则，文献中称该准则为Aakaike信息量准则（Aakaikeinformationcriterion，简记为AIC），AIC准则应用比较广泛。例如，它可以用于时间序列分析中自回归阶数的确定等，本节讨论如何把它应用于回归自变量的选择。AIC的定义为：当模型是用最小二乘法估计时：

AIC＝nln（Q）＋2p（15-12）

式中p为模型变量中的参数个数，Q是模型的残差平方和。式（15-12）中等式右边第一项为衡量模型拟合优度的一个量，第二项为增加参数个数的折扣。在实际应用问题中，可以选择最小的AIC值来确定变量的选择，所以AIC准则也是判断回归模型拟合优劣的一种方法。(表15-5)二、变量的筛选方法在实际工作中涉及的因素很多，更需要进行筛选。筛选的方法有

1.向前筛选法（forwardselection）事先给定一个入选标准即Ⅰ类错误的概率α1，然后对自变量进行筛选，把偏回归平方和最大、其偏F检验的概率水准小于α1者逐个引入回归方程，至无显著贡献的自变量可以选入时为止。因素一旦入选便始终保留在方程中而不被剔出。

2.向后剔除法（backwardelimination）也是事先给定剔除标准α2即变量保留方程中的概率水准。首先建立一个包括全部自变量的全回归方程，然后逐个审查，把偏回归贡献最小而无统计学意义（即Ⅰ类错误的概率＞α2）的自变量从方程中逐个剔除，至方程内的所有自变量都有显著贡献为止。

3.逐步法（stepwise）给出选入方程的检验水准α1和保留在方程中的检验水准α2，每次选入一个在方程外而最具统计学意义的自变量后，对方程中的自变量作剔除检验，把偏F值最小且其P值大于α2。水平的自变量从方程中剔除。这个过程是一步一步进行的，直到没有具统计学意义的自变量可以引入，也没有无统计学意义的自变量保留在方程中为止。从理论上讲，以向后剔除法效果最好，不会选错因子，但有时难于实现，故实际工作中多采用逐步法。多元线性回归分析多用于因素筛选，因此不必对α1及α2规定得很严格，可以选择几个水平如0.05、0.10甚至0.15，以分析在不同检验水准下的自变量与应变量之间的依存关系。

第五节回归诊断

(Regressiondiagnostics)在医学研究中，通常遇到诸自变量间存在着线性关系或者接近线性关系，如果自变量之间共线性程度很高（相关系数接近于1），将使最小二乘法原理失效，使得回归方程中参数变为不确定，而无法取得参数的估计值，因此当一个或几个回归变量可以由另外的回归变量线性表示时，称为回归变量与另外的回归变量间存在有共线性（collinearity）。由于在实际研究中往往对自变量之间的关系缺乏深人的分析和认识，很可能把一些有共线性的自变量引人回归方程。因此有时在有些回归分析中用最小二乘法计算出来的回归系数符号与由专业知识预测的完全相反，有些变量从专业知识的角度看似乎是重要的，但是在回归方程中却认为是不重要的变量，一个重要的原因就是自变量之间的共线性。一、共线性的识别关于共线性的判定以及程度的度量问题，是近年来引人注目的研究课题。已经提出了一些行之有效的方法，在SAS等软件包中专门配有collinearity诊断命令，常用的一些判定方法有：

1.条件数方阵X’X的条件数（conditionnumber）定义为

其中λ1，λp分别为最大和最小特征根。直观上，条件数度量了X’X的特征根散布程度，可以用来判断共线性是否存在以及共线性的严重程度，根据应用经验，若0＜k＜10，则认为没有共线性；若10＜k＜30，则认为存在中等程度或较强的共线性；若k＞30，则认为存在严重共线性。

2．方差扩大因子共线性严重程度的另一种度量是方差扩大因子（varianceinflationfactor，VIF），

Cij＝（1-Rj）-1,j=1,2,…,p(15-14)

Tol=(1-Rj）称为容许限因子（阅值tolerance)

Rj度量了自变量Xj与其余p-1个自变量的线性相依程度。这种相依程度愈高(1-Rj）就愈接近零，Cij也就愈接近于1（注意Cij≥1）即自变量之间共线性愈严重。可见Cij的大小也可以反映出自变量之间是否存在共线性。应用经验表明，当Cij大于5或10时，就存在着严重的共线性。解决共线性的主要方法有：用主成分回归替代最小二乘估计。筛选自变量及岭回归等。

例15-1资料的分析中，如首先建立3个自变量的三元线性方程，并对该方程进行共线性诊断，表15-4是SAS的输出结果。

条件数为3.209＜10，可以认为该三元线性回归方程不存在共线性。二、例子第六节多元线性相关当应变量Y及p个自变量X1，X2，…Xp都服从正态分布的情况下，可以对p个自变量与应变量之间进行相关分析，所用的指标为复相关系数（multiplecorrelationcoefficient）与偏相关系数（partialcorrelationcoefficient）。下面分别加以介绍。一、复相关系数又称多元相关系数，用R表示。它表示p个自变量共同对应变量的相关密切程度。其计算公式为：

R的分布范围为0~1.0之间。总体复相关系数月的假设检验为无效假设H0：ρ＝0；备择假设计：H1：ρ＞0。α＝0.05。所用统计量为：

如果F≥Fα(p,n-p-1)，则在α水平上拒绝H0，而认为总体复相关系数不为0，或偏回归系数不全为0。否则不拒绝H0，认为总体复相关系数ρ＝0。对于例15-1资料，应变量Y的总离均差平方和SS总＝6341.875，建立二元线性回归方程后得到回归平方和SS回＝4967.219，用式（15-15）求得复相关系数为：

用式（15-16）计算F统计量为：

这与用式（15-5）计算的结果完全一致。查附表5，F界值表得F0.01（2,29）＝5.42，故在α＝0.05水平上拒绝无效假设H0，表明总体复相关系数ρ≠0。可以认为年龄和吸烟与高血压水平有较强的相关关系。二、偏相关系数与简单相关系数不同，偏相关系数是在其它自变量固定的条件下，某自变量与应变量之间的相关系数，从而排除了其它自变量的干扰作用。但其计算比较复杂。设有p个自变量与1个应变量，先计算出各变量两两之间的简单相关系数rjk（j，k＝1，2，…，p，Y）并排列成矩阵形式，然后对这一矩阵求逆，记这矩阵中的元素为rjk，则偏相关系数rjY·的计算公式可写为：

式中rjY·表示固定其它自变量条件下某自变量Xj与应变量Y之间的偏相关系数。其假设检验为

所用检验统计量为t统计量，tjy．的计算公式为：

tjy．服从自由度v＝n－p－l的t分布。由SAS结果可知在控制吸烟状态的条件下，血压与年龄的偏相关系数为0.877，P＝0.000，表明这两者也有一定的正相关关系。第七节应用线性回归分析时需注意的问题

1．利用实际资料所建立的经验回归方程对应变量Y作预报时，只能在X的现有取值范围内进行。这是因为对于所建立的回归方程，只概括了在自变量X的观察值范围内应变量的取值情况，不知道当X在观察范围外时Y的变化规律。例如某些疾病的发病率有随年龄增长而增加的趋势，当超过了发病年龄高峰之后，其发病率反而随年龄增长而下降，故不能用某一年龄段的发病率资料建立的回归方程来推断终生年龄跨度内的发病率。

2．对线性回归，统计学假定应变量Y的误差e是独立服从N（0，σ2）。等于说Y独立服从正态分布，而且方差一致。当实际资料明显不满足这一假定时，需要对Y作变量变换，使变换后的应变量能近似地满足这一假定。详细情况请参阅本书的有关数据转换的内容。

3．在自变量为连续变量的情况下，当X与Y不呈线性关系时，需对X作某种数据变换以期改善线性关系。某种数据变换是否为优，可用确定系数R2作为判断的尺度。一个好的数据变换可使R2明显增大。

4．注意资料的特异点。如果实际资料比较规则，回归方程也选择得当，则标准化残差εi*也近似服从N（0，1）分布。按标准正态分布的95％范围估计，每100个观察点中只有大约5个点的|εi*|≥1.96。如果有过多的点的|εi*|≥1.96，或有个别点的|ui|大大超过1.96时，除了应考虑所选用的回归模型是否恰当外，还应考虑资料的可靠性。这些大于等于|1.96|的ui可能是对回归方程有较大影响的点。如果这些点的数据从专业上考虑不合理时，可考虑删除这些特异点后重新建立回归方程，以便得到较稳定的回归系数估计值。

5．尽管用数学方法对模型的准确选择可以有一些帮助，但在处理一个具体问题时，模型的准确选择在根本上要依赖于所研究问题本身的专业知识和实践经验，这一点很重要，当应用某种准则和方法选出的一个“最优”回归模型明显与实际问题本身的专业理论不一致时，首先需要重新考虑统平崧，仔细从数据中寻找是否含有特异点、共线性、计算错误等。把变量选择方法看成僵死的“教条”机械地搬用是不可取的，只有把它作为一种辅助工具，与实际问题的专业知识和实践经验相结合，才能取得好的研究结果。next表15-132例40岁以上男性的Quetelet指数、年龄、吸烟与收缩压实测值编号(ID)收缩压(Y)年龄(X1)吸烟(X2)体重指数(X3)11354502.87621224103.25131304903.10041585203.76851465412.97961294712.79071626013.66881575413.61291444412.368101806414.637111665913.877点击此处查看续表一续表一编号(ID)收缩压(Y)年龄(X1)吸烟(X2)体重指数(X3)121385114.032131526404.116141385603.673151405413.562161345012.998171454913.360181424613.024191355703.171201425603.401211505613.628221445803.751点击此处返回上一页点击此处查看续表二续表二编号(ID)收缩压(Y)年龄(X1)吸烟(X2)体重指数(X3)231375303.296241325003.210251495413.301261324813.017271204302.789281264312.956291616303.80301706314.132311526203.962321646504.010点击此处返回上一页表15-2用SAS得到的Y与X1和X2的回归方程的回归系数与标准误自变量回归系数标准误tP标准化回归系数常数项44.29319.96334.4460.00010.0000年龄X11.77840.18079.8440.00010.8567吸烟X29.62272.45523.9190.00050.3411体重指数X35.69854.28681.3320.19450.19894表15-3用SAS得到的Y与X1和X2的回归方程的假设检验误差来源SSvMSFP回归4967.21922483.61052.3950.0001残差1374.6562947.402总6341.87531表15-4用SAS得到的Y与X1和X2的回归方程的共线性诊断特征根条件数方差比例X1X2X311.840681.000000.08650.01280.086220.980531.370120.00230.97930.006230.178793.208590.91120.00790.9076表15-5选择变量的统计学标准自变量个数R2CpAICX10.66840.65742.0000137.9293X20.05890.02752.0000171.3113X30.55190.53702.0000147.5650X1，X20.78320.76833.0000126.3271X1，X30.68410.66233.0000138.3783X2，X30.64120.61653.0000142.4523X1，X2，X30.79610.77434.000