多元线性回归分析

多元线性回归Multiplelinearregression1表127名糖尿病人的血糖及有关变量的测量结果

2人的体重与身高、胸围有关人的心率与年龄、体重、肺活量有关人的血压值与年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史等有关射频治疗仪定向治疗脑肿瘤过程中，脑皮质的毁损半径与辐射的温度、照射的时间有关

…3多元线性回归：简称为多元回归，分析一个应变量与多个自变量间的线性关系。4表2多元回归分析数据格式例号X1X2

XmY1X11X12

X1mY12X21X22

X2mY2

nXn1Xn2

XnmYn5一、多元线性回归模型一般形式为：

Y=β0＋β1X1＋β2X2＋…＋βmXm

＋εβ0

：常数项,又称为截距β1,β2,…,βm:偏回归系数(Partialregressioncoefficient)简称回归系数，在其它自变量保持不变时Xi(i=1,2,…,m)每改变一个单位时，应变量Y的平均变化量ε:去除m个自变量对Y的影响后的随机误差，又称残差6多元线性回归模型的应用条件：1.线性趋势：Y与Xi间具有线性关系2.独立性：应变量Y的取值相互独立3.正态性：对任意一组自变量取值，因变量Y服从正态分布4.方差齐性：对任意一组自变量取值，因变量y的方差相同

后两个条件等价于：残差ε服从均数为0、方差为σ2的正态分布7多元线性回归的分析步骤：1.根据样本数据求得模型参数的估计值，得到应变量与自变量数量关系的表达式：2.对回归方程及各自变量作假设检验，并对方程的拟和效果及各自变量的作用大小作出评价此公式称为多元线性回归方程8多元线性回归方程的建立：利用最小二乘法原理估计模型的参数：（使残差平方和最小）9方程的求解过程复杂，可借助于SPSS、SAS等统计软件来完成SPSS：Analyze→Regression→Linearregression→dependent：yindependent：x1-x5SAS程序：PROCREGDATA=mr15-1;

MODELy=x1-x5;

RUN;10例15.1：P210

SPSS的分析结果11二、多元回归方程的假设检验回归方程是否成立？各偏回归系数是否等于0？121.多元线性回归方程的假设检验：方差分析法：SS总=SS回+SS残13142.偏回归系数的假设检验方差分析法、t检验法方差分析法：SS(Xi)为第i个自变量的偏回归平方和15偏回归平方和:SS(Xi),表示模型中含有其它m-1个自变量的条件下该自变量对Y的回归贡献，相当于从回归方程中剔除该自变量后回归平方和的减少量，或者在m-1个自变量的基础上增加一个自变量后回归平方和的增加量。注意：m-1个自变量对y的回归平方和由m-1个自变量对y重新建立回归方程后计算得到，而不能简单的在整个方程的基础上把biliy去掉后得到。16各偏回归平方和SS（Xi）及残差的计算回归方程中包含的自变量SS回SS（Xi）X1X2X3X4X5SS总－X2X3X4X5SS-1SS总－

SS-1X1X3X4X5SS-2SS总－

SS-2X1X2X4X5SS-3SS总－

SS3X1X2X3X5SS-4SS总－

SS4X1X2X3X4SS-5SS总－

SS5172.偏回归系数的假设检验t检验法：18SPSS的结果193.标准化偏回归系数对各数据进行标准化后求得的回归方程即标准化回归方程，其相应的偏回归系数即标准化偏回归系数。标准化偏回归系数和偏回归系数的关系：在有统计学意义的前提下，标准化偏回归系数绝对值的大小可直接进行比较，以衡量自变量对应变量的作用大小例：见P213204.复相关系数复相关系数：multiplecorrelationcoefficient衡量因变量y与回归方程内所有自变量线性组合间相关关系的密切程度，也即Y与之间的相关系数。R

其值在0与1之间如果只有一个自变量，此时21

R2称为决定系数表明回归平方和在总平方和中所占的比重。R2越接近于1，说明引入方程的自变量与因变量的相关程度越高，Xi与y的回归效果越好。

R2受自变量个数的影响，由此又提出校正决定系数，既反映模型的拟和优度，又同时考虑了模型中的自变量个数。2223三、选择最优回归方程的方法1.最优回归方程

:1）对y的作用有统计学意义的自变量，全部选入回归方程

2）对y的作用没有统计学意义的自变量，一个也不引入回归方程

242.方法：1)最优子集回归法：又称全局择优法，求出所有可能的回归模型（共有2m－1个）选取最优者2)向后剔除法（backwardselection）3)向前引入法（forwardselection）4)逐步回归法（stepwiseregression）25逐步回归法自变量回归平方和最大的Xi首先进入方程，在Xi进入方程的基础上计算其余m-1个自变量分别进入回归方程时的偏回归平方和，其中最大者记为SSj，对Xj进行检验，若有意义则进入方程，并重新对Xi进行检验。若Xi退化为无意义，则剔除Xi，同时再对Xj进行检验。若Xj依然有意义则继续选择下一个偏回归平方和最大者并进行检验。重复此过程。26逐步回归法每引入或剔除一个自变量后都要重新对已进入方程中的自变量进行检验，直到方程外没有有意义的自变量可引入、方程内也没有无意义的自变量可剔除为止。27逐步回归法双向筛选；引入一个有意义变量（前进法）的同时，剔除无意义的变量（后退法）

“先剔除后选入”原则

α入和α出可等可不等

注意，引入变量的检验水准要小于或等于剔除变量的检验水准。2829303132四、多元线性回归的应用1.影响因素分析:年龄(X1)饮食习惯(X2)吸烟状况(X3)工作紧张度(X4)家族史(X5)

高血压(Y)332.估计与预测:心脏表面积(Y)=b0+b1心脏横径(X1)+b2心脏纵径(X2)+b3心脏宽径(X3)新生儿体重(Y)=b0+b1胎儿孕龄(X1)+b2胎儿头径(X2)+b3胎儿胸径(X3)+b4胎儿腹径(X4)343.统计控制:利用回归方程进行逆估计，确定Y后控制X。采用射频治疗仪治疗脑肿瘤：脑皮质毁损半径(Y)=b0+b1射频温度(X1)+b2照射时间(X2)35五、多元线性回归应用的注意事项1.指标的数量化应变量Y为连续变量自变量X可为连续、有序分类或无序分类变量

(1)连续变量：X(2)有序分类变量：

1轻

X=2中

3重36(3)无序分类变量自变量为二分类变量:自变量为多分类变量：假定有n类，则用n－1个取值为0或1的哑变量（dummyvariables)来表示这些类别。X=0男1女372.样本含量：

n至少是X个数m的5～10倍3.关于逐步回归：不要盲目信任，结合专业知识。4.多重共线性：指自变量之间存在较强的线性关系

使偏回归系数方差加大，系数估计不稳，难以有合乎专业知识的解释。38提示可能存在多重共线性的情况：整个模型的检验结果为P<α，但各自变量的偏回归系数的检验结果P>α。专业上认为应该有统计学意义的自变量检验结果却无统计学意义。自变量的偏回归系数取值大小甚至符号明显与实际情况相违背，难以解释。增加或删除一个自变量或一条记录，自变量回归系数发生较大变化。39容忍度:若某变量的容忍度≤0.1时，说明该变量与其它变量存在严重的多重共线性。方差膨胀因子（VIF）:为容忍度的倒数。VIF≥10时，存在严重的多重共线性