第十二讲多重线性回归

第十二讲多重线性回归第1页，共29页，2023年，2月20日，星期二第10讲非参数检验

概述多重线性回归的应用以及注意事项多重线性回归的电脑实验2第2页，共29页，2023年，2月20日，星期二第11讲多重线性回归—引言在医药研究中，应变量的变化往往受到多个因素的影响，此时就需要用多重线性回归（MultipleLinearRegression），多重线性回归是直线回归的扩展。例如，人的体重与身高、胸围有关；人的心率与年龄、体重、肺活量有关。因此，采用两个或多个影响因素作为自变量(Xi)来解释应变量(Y)的变化，建立最优组合模型来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。3第3页，共29页，2023年，2月20日，星期二第一节多重线性回归一、多重线性回归模型

Y＝β0＋β1X1＋β2X2＋…＋βmXm＋e

二、多重线性回归的基本条件多重线性回归模型的应用条件同直线回归，即线性（linearity）、独立性（indepen-dency）、正态性和方差齐性（normaldistributionandequalvariance）等条件，简记LINE。还要注意个自变量间不能存在多重共线性。4第4页，共29页，2023年，2月20日，星期二三、多重线性回归分析的步骤5第5页，共29页，2023年，2月20日，星期二四、多重共线性问题如果一些自变量之间存在较强的线性关系，称多重共线性。判断多重共线有相关系数、容忍度、方差膨胀因子等指标。一般来说，相关系数r>0.8的变量可能存在共线问题，r>0.9的变量存在共线。容忍度=1－R2，愈小说明共线问题愈严重，如果某个自变量的容忍度<0.1，共线问题严重。方差膨胀因子=容忍度的倒数，愈大说明共线问题愈严重。消除多重共线性的方法有多种，如岭回归、主成分回归等。6第6页，共29页，2023年，2月20日，星期二五、多重回归的样本含量只要例数n多于自变量个数m即可，一般要求n为m的5倍以上。六、多重回归的检验多元线性回归方程的假设检验：①对整个方程的综合检验，即对回归方程的线性假设检验；②对每一个自变量的检验，即对每个偏回归系数的假设检验。7第7页，共29页，2023年，2月20日，星期二⑴回归方程的方差分析剩余标准差

剩余标准差的平方是残差的方差，又称均方误差，记为MSE，其值越小越好（2）偏回归系数的假设检验分别考察每一个自变量xi与应变量Y是否都有直线回归关系

8第8页，共29页，2023年，2月20日，星期二R2＝SS回

/SS总

校正决定系数是衡量方程好坏的常用指标之一

七、决定系数八、标准化偏回归系数

9第9页，共29页，2023年，2月20日，星期二九、残差分析

10第10页，共29页，2023年，2月20日，星期二11第11页，共29页，2023年，2月20日，星期二资料不满足其条件时，常用的处理方法有：修改模型或者采用曲线拟合；变量变换，常用的变量变换有对数变换、平方根变换、倒数变换等。变量变换对自变量或（和）应变量均适宜；如果方差不齐，可采用加权最小二乘法估计偏回归系数。

12第12页，共29页，2023年，2月20日，星期二（1）分析因素的相对重要性，找出对因变量最大的关键因素。（2）同时调整多个混杂因素的作用（类似多元协方差分析调整多个混杂因素的作用）。（3）估计与预测，用较易测量的多个自变量来估计难以测得应变量总体均数μY或预测个体Y值。（4）多重回归分析是进一步学习logistic回归、判别分析、主成分分析、因子分析等多元统计分析方法的基础。十一、筛选自变量方法十、多元回归分析的应用

13第13页，共29页，2023年，2月20日，星期二（1）全局择优法：m个自变量的不同组合共有2m-1种，分别建立回归方程进行比较后择优。择优的准则有多种，准则不同，筛选的结果可能不同。如果用最大校正决定系数准则，则挑选校正决定系数R2a最大者来获得“最优子集”的回归方程。SPSS为Enter法。（2）逐步选择法：备选自变量较多时，全局择优的计算量非常大，用逐步回归法选择可减少计算量。常用逐步（Stepwise）、向前（Forward）、向后（Backward）法。向后法考虑了自变量的组合作用，但变量数不能太多。3种逐步回归方法选中的自变量不一定相同。逐步回归得到只是局部最优，不一定是全局最优回归方程。14第14页，共29页，2023年，2月20日，星期二将自变量的交互项引入方程进行检验分析。

十二、自变量间交互作用的分析

【例17-1】大白鼠作受试对象，分析乌头碱不同注射速度x1、常咯啉的不同剂量x2，大鼠体重x3与应变量延缓心律失常发生的时间Y的关系。编号123456789101112131415X14.85.67.14.92.66.65.25.54.76.85.42.94.03.13.1X20.080.070.010.070.110.110.070.110.030.010.020.210.010.110.10X3230260252229220247233222206244222226234212212Y19.115.714.919.020.917.519.221.820.514.518.623.216.822.721.915第15页，共29页，2023年，2月20日，星期二

【SPSS操作】以X1、X2、X3、Y为变量名建立数据文件L17-1.SAV。DataViewVariableView16第16页，共29页，2023年，2月20日，星期二→Analyze→Regression→Linear…..Y选Dependent框、X1、X2、X3选Independent框。Method框选Stepwise。17第17页，共29页，2023年，2月20日，星期二校正决定系数R2a=0.968，拟合效果好。第2步回归的F=209.539，P=0.000，故线性回归模型有统计学意义。18第18页，共29页，2023年，2月20日，星期二共线性诊断大鼠体重和常咯啉剂量的容忍度都为0.940,方差膨胀因子都为1.064,可认为不存在共线问题。建立线性回归方程为Y=45.110+28.844×常咯啉剂量－0.123×大鼠体重大鼠体重、常咯啉剂量的标准回归系数分别为-0.682、0.564。可见对延缓心律失常时间影响的重要性大鼠体重大于常咯啉剂量。19第19页，共29页，2023年，2月20日，星期二因主要考察因素x1未进入方程，分析自变量间的交互作用，→Transform→Compute，计算X12、X13、X23。将X1,*,X2送NumericExpression,X12送TargetVariable20第20页，共29页，2023年，2月20日，星期二→Transform→Compute，计算X12、X13、X23。21第21页，共29页，2023年，2月20日，星期二用原变量连同交互作用变量建立回归方程:X12、X13、X23送IndependentMethod选EnterOK22第22页，共29页，2023年，2月20日，星期二3个变量＋3个交互作用变量共6个自变量，不同组合有26-1=63种，Method框选Ente，建立的63个回归方程中，R2a=0.980最大方差分析F值63.724,方程有统计学意义23第23页，共29页，2023年，2月20日，星期二最优方程：Y=28.793+1.795x1+130.891x2-0.048x3+3.188x12-0.009x13-0.502x23。x2标化系数=2.561最大，常咯啉剂量对延缓心律失常发生时间作用最大。x23标化偏回归系数=-2.213绝对值第二大，常咯啉剂量与大鼠体重的交互效应对延缓心律失常发生时间产生负面影响不可勿视。24第24页，共29页，2023年，2月20日，星期二（1）二分类自变量常采用0、1赋值方法。如，用X代表性别：X=0为女，X=1为男，或者用X=1为女，X=0为男。十三、分类变量赋值方法

（2）指标为无序k类，定义k-1个二分类哑变量。例如，中医治崩漏，分肾虚、肝虚、肝郁、血虚4型，只要用3个二分类变量X1，X2，X3就能标记这4个类别。崩漏分型X1X2X3肾虚型100肝虚型010肝郁型001血虚型00025第25页，共29页，2023年，2月20日，星期二，，

（3）有序分类变量数量化方法：①对等级根据级别大小进行量化后按连续变量处理。例如，用X＝1，2，3分别为表示病情轻，中，重。②用无序多分类变量设置哑变量的方法。采用哪种方法更好要视具体情况而定。

第二节多元相关分析

一、多元相关分析的统计量26第26页，共29页，2023年，2月20日，星期二1.简单相关系数

rij，简记为r

2.偏相关系数偏相关系数rij·表示其他变量固定不变条件下，变量Xi与Xj之间相关程度与方向的真实情况

3.复相关系数复相关系数R是多个自变量共同对因变量直线相关程度的统计指标，是相关与回归联系起来的统计量27第27页，共29页，2023年，2月20日，星期二二、多元相关的假设检验【例17-2】用表17-1资料计算乌头碱注射速度x1、常咯啉剂量x2、大鼠体重x3对延缓心律失常发生时间Y的影响4个变量的简单