卫生统计学11多元回归与多元逐步回归

1、医学统计学Tel：E-Mail：医学统计学 马斌荣主编人民卫生出版社 2004年第四版 第十一章 多元回归与多元逐步回归 (Multiple Regression & Stepwise Multiple Regression)第一节 多元线性回归的一般解法第二节 二元回归方程的计算实例第三节 多元逐步回归第四节 使用多元回归的注意事项 予备知识 予备知识第一节 多元线性回归的一般解法 设与应变量Y 有关的自变量有k个，记为X1, X2, X3, ., Xk。现观察了n 例 表11.1 多元线性回归原始观察数据试作Y 与 X1, X2, X3, .,Xk 多元直线回归方程第一节 多元线性回归的一

2、般解法假设多元线性回归方程为：多元线性回归的一般步骤：1.求 系数 及2.对整个回归方程作假设检验3. 对每一个自变量 作假设检验。无统计学意义？ 如何办？ 如果某几个自变量 无统计学意义 即 较小如何办？第一节 多元线性回归的一般解法1.求 系数 及假设多元线性回归方程为：其中 ， 为待定常数。假设为已知根据观察到的n 例数据，代入上述公式可得第i例的应变量 之估计值 。建立等式： 根据最小二乘法，应该使所选定的b1, b2, ., bk 能够让上述公式的Q 值达极小。 为了使Q达极小，可将Q 对b1, b2, ., bk求一价偏导数，并使之等于0，经化简可得下列方程组：其中当i=j时，为各

3、自变量的离均差平方和；当ij时，为两两间的离均差积和为各自变量与应变量的离均差积和对于线性方程组可利用行列式，求出系数b1, b2, b3, ., bk。再用公式 求得b0，第一节 多元线性回归的一般解法二、 多元线性回归方程的假设检验用样本的测定值作多元回归分析，不可避免地存在着抽样误差。因此，在建立起多元线性回归方程后，还必须对该方程作假设检验1. H0：所有自变量对应变量都无线性回归关系。2. 计算 值SS回归=b1L1Y+b2L2Y +bkLkSS残差=SS总SS回归df总=n 1,df回归=回归变量数 = k ,df残差=nk13. 根据df1 = k, df2 = nk1 查F 值

4、表求出 0.05(k,n-k-1)及0.01(k,n-k-1), 并与F 值比较，作出结论。第一节 多元线性回归的一般解法三、偏回归系数的假设检验 为了检验每个自变量是否对 都存在线性回归关系，需分别对每个自变量(即相应的偏回归系数)进行检验，以免把作用不显著的自变量引入回归方程中。这同样可用 检验 1. 将所有k个自变量Xj (j =1,2,.,k) 都引入回归方程中， 得到回归平方和及残差平方和，记为SS回归及SS残差。 2. 将拟检验的某个自变量Xi 从回归方程中取出后，重新建立起 一个含k -1个自变量X1, X2, ., Xi-1, Xi+1, ., Xk 的 回归方程，并得到不含X

5、i作用的回归平方和SS回归(-i)。 则 SS回归SS回归(-i) 就是在其他自变量已在回归方程中的条 件下， Xi 单独引起的回归平方和的改变量， 把这个量称为Xi 的偏回归平方和。 第一节 多元线性回归的一般解法3. 用 值来检验该Xi 的回归效应是否显著， 值的计算公式为4. 根据df1 = 1, df2 = nk1 查F 值表求出 0.05(1,n-k-1)及0.01(1,n-k-1), 并与F 值比较，作出结论。第一节 多元线性回归的一般解法 应该注意： 从回归方程中剔除一个自变量，譬如Xj，这决不是简单地把bjXj 项从方程中剔除就完事，而是应从余下的k - 1个变量着手，重新建立

6、含有k - 1个自变量的新方程组，然后再解出新的 。一般来说，新的 回归系数 与原来的bi是不同的。这是因为偏回归系数之间存在着相关性，当从原方程剔除一个变量时，其他变量，特别是与它有密切关系的一些变量的偏回归系数就会受到影响，有时影响是很大的。 第一节 多元线性回归的一般解法应该注意： 在用F 检验对偏回归系数进行一次检验后，只能剔除其中一个因子，这个因子是所有不显著因子中F 值最小的。然后重新建立新的方程，再对新的偏回归系数进行逐个检验，直到余下的偏回归系数都有统计学意义时为止。 第一节 多元线性回归的一般解法 在许多情况下，需要比较各个自变量对应变量的相对贡献大小。但是，由于各自变量的测

7、量单位不同，单从各偏回归系数的绝对值大小来分析不易得出正确结论。为此，首先对各偏回归系数进行标准化处理，即消除测量单位的影响，然后比较各标准化的偏回归系数的大小以反映各自对应变量的贡献大小。 标准化偏回归系数 的计算公式为：式中Si及Sy 分别为自变量Xi 及应变量Y 的标准差，bi 为Xi 的偏回归系数应该注意：第二节 二元回归方程的计算实例例11.1 20名儿童的血红蛋白Y (g/100ml)与微量元素钙X1 g/100ml)和铁X2 (g/100ml)的测定结果如表11.2，试作多元线性回归。 表11.2 20例儿童的血红蛋白和微量元素的测定结果 第二节 二元回归方程的计算实例一、 计算

8、回归系数 L11 = 74923.12 - (1208.67)2/ 20 = 1878.9616L22 = 3519638.96 - (8353.67)2/ 20 = 30444.8366L12 = 507772.11 - (1208.67)(8353.67)/ 20 = 2930.5941L1Y = 14131.85 - (1208.67)(233.5)/ 20 = 20.6278L2Y = 98397.80 - (8353.67)(233.5)/ 20 = 868.7028LYY = 2771.88 - (233.5)2/ 20 = 45.7675建立联立方程：解此方程，可求得； b1 =

9、 -0.0394 b2 = 0.0323 b0 = 11.68 - (-0.0394) (60.43) - (0.0323) (417.68) = 0.5699最后可得方程： =0.5699 - 0.0394 X1 + 0.0323 X2第二节 二元回归方程的计算实例二、 多元线性回归方程的假设检验用样本的测定值作多元回归分析，不可避免地存在着抽样误差。因此，在建立起多元线性回归方程后，还必须对该方程作假设检验该假设检验可用方差分析，1. H0：所有自变量对应变量都无线性回归关系。2. 计算 值45.7675SS回归=b1L1Y+b2L2Y +bkLk(-0.0394)(20.6278)+(0

10、.0323)(868.7028)=27.2464SS残差=SS总SS回归45.7675-27.2464=18.5211df总=n 1 = 20-1 = 19,df回归=回归变量数 k = 2,df残差=nk1=20-2-1=17第二节 二元回归方程的计算实例3.df回归2, df残差17 查 界值表 0.05(2,17)3.59 0.01(2,17)6.114. 本例 0.01(2,17), 所以P 0.01 拒绝H0 ，故总体上认为微量元素钙和铁对血红蛋白有回归关系。第二节 二元回归方程的计算实例1. 将微量元素钙X1 和铁X2 全部纳入回归方程中，得到的 SS回归27.2464 SS残差1

11、8.5211 三、偏回归系数的假设检验2. 把X1 从回归方程中取出，而单独建立X2 与Y 的回归方程 为: = -0.2415 + 0.02853 X2，此时 SS回归( -1 )24.78423. 若把X2 从回归方程中取出， 而单独建立X1 与Y 的回归方程 为: = 11.0116 + 0.010977 X1，此时 SS回归( -2 )0.2264第二节 二元回归方程的计算实例4. 进行F 检验 查F 界值表，得 0.05(1,17)4.45 0.01(1,17)8.40 可以认为X1 (钙)对血红蛋白的线性回归无统计学意义。 但是X2(铁)对血红蛋白的线性回归有统计学意义。结论为：应

12、把X1 剔除，只建立X2 与Y 的线性回归方程，即： = -0.2415 + 0.02853 X2 第三节 多元逐步回归 一、基本思路几个自变量与一个因变量关系的回归方程中，每个自变量对因变量变化所起的作用进行假设检验结果，可能有些有统计学意义，有些无统计学意义。一个较理想的回归方程， 应包括所有对因变量有统计学意义的自变量， 而不包括作用无统计学意义的自变量。建立这样一个回归方程较理想的方法之一是 多元逐步回归分析法第三节 多元逐步回归二、基本原理：1. 按每个自变量对因变量作用大小，由大到小依次逐个引入回归方程2. 每引入一个自变量，都要对回归方程中每一个（包括刚被引入的） 自变量的作用作

13、假设检验。当发现一个或几个作用无统计学意义 变量被引入时，即行逐个剔除，3. 每剔除一个自变量后，也要对仍留在回归方程中的自变量逐个作假 设检验。如果发现方程中还存在作用无显著意义的自变量时， 也予以剔除，4. 直至没有自变量可引入，也没有自变量可从回归方程中剔除为止。第四节 使用多元回归的注意事项1. 使用多元回归时，它是将所有变量都列入回归方程中。因此，同时求出b1,b2, .,bk, 所以必须再作“回归方程的假设检验”及“偏回归系数的假设检验”，从而确定究竟哪些变量应列入回归方程。2. 不能简单的用回归系数b1, b2, ,bk的绝对值大小来确定其回归作用的大小，而要对这些系数作标准化处理后，才可作其作用大小的比较。 第四节 使用