多重线性回归

多重线性回归1第1页，共60页，2023年，2月20日，星期四主要内容1多重线性回归模型简介2回归系数的估计3多重回归的假设检验4评价回归方程的标准5自变量的筛选6多重线性回归的应用及其注意事项

2第2页，共60页，2023年，2月20日，星期四某地13岁男童身高、体重、肺活量的实测数据编号身高(cm)x1体重(kg)x2肺活量(L)y1135.132.01.753163.646.22.755156.237.12.757167.841.52.759145.033.02.5011165.549.53.0013153.341.02.7515160.547.22.2517147.640.52.0019155.144.72.7521143.031.51.7523160.840.42.7525158.237.52.0027144.534.72.2529156.532.01.753第3页，共60页，2023年，2月20日，星期四问题身高、体重与肺活量有无线性关系？用身高和体重预测肺活量有多高的精度？单独用身高、或体重是否也能达到同样效果？身高的贡献大，还是体重的贡献大？4第4页，共60页，2023年，2月20日，星期四一、多重线性回归模型多重线性回归数学模型：Y为因变量的实际观测值X1、X2、…Xm为m个自变量为常数项为总体偏回归系数为残差，Y的变化中不能用现有自变量解释的部分5第5页，共60页，2023年，2月20日，星期四多重线性回归方程

b0为截距(intercept)，又称常数(constant),

表示各自变量均为0时y的估计值

bj称为样本偏回归系数(partialregressioncoefficient)，表示在其他自变量固定不变的情况下，自变量xj每改变一个单位时单独引起因变量y的平均改变量。称为y的估计值或预测值(predictedvalue)6第6页，共60页，2023年，2月20日，星期四举例根据某地29名13岁男童的身高x1(cm)，体重x2(kg)和肺活量y(L)建立的回归方程为：当x1=150，x2=32时，

表示对所有身高为150cm，体重为32kg的13岁男童，估计平均肺活量为1.9168(L)。7第7页，共60页，2023年，2月20日，星期四二、回归系数的估计最小二乘法(leastsquare,LS)基本思想残差平方和(sumofsquaresforresiduals)最小8第8页，共60页，2023年，2月20日，星期四用偏导数方法可得出下列正规方程组9第9页，共60页，2023年，2月20日，星期四求解正规方程组得偏回归系数10第10页，共60页，2023年，2月20日，星期四标准化偏回归系数

（standardizedpartialregressioncoefficient)无量纲，越大说明相应的自变量xj

对y的贡献越大11第11页，共60页，2023年，2月20日，星期四例20-1

总胆固醇和甘油三酯对空腹血糖的影响12第12页，共60页，2023年，2月20日，星期四三、多重回归的假设检验回归方程（模型）的检验偏回归系数的检验13第13页，共60页，2023年，2月20日，星期四模型检验方差分析法确定系数法14第14页，共60页，2023年，2月20日，星期四方差分析法变异分解1.总变异：2.引进回归以后的变异(剩余):

3.回归的贡献，回归平方和：15第15页，共60页，2023年，2月20日，星期四回归方程检验的方差分析表变异来源离均差平方和SS自由度df离均差平方均方MSF回归SS回归KSS回归/KMS回归剩余SS剩余N-K-1SS剩余/(N-K-1)/MS剩余总SS总N-116第16页，共60页，2023年，2月20日，星期四检验步骤1.建立假设，确定检验水准2.计算F值3.确定P值，得出结论17第17页，共60页，2023年，2月20日，星期四确定系数法

(coefficientofdetermination)确定系数18第18页，共60页，2023年，2月20日，星期四R2可用于检验多元回归方程H0：2=0；H1：20。检验统计量为：19第19页，共60页，2023年，2月20日，星期四

偏回归系数的假设检验t检验H0：j=0；H1：j0。20第20页，共60页，2023年，2月20日，星期四偏回归平方和法偏回归平方和：是指将某自变量xj从回归方程中删除后所引起的回归平方和减少的量。21第21页，共60页，2023年，2月20日，星期四例20-1

总胆固醇和甘油三酯对空腹血糖的影响模型检验结果22第22页，共60页，2023年，2月20日，星期四偏回归系数的t检验结果23第23页，共60页，2023年，2月20日，星期四偏回归平方和法的检验结果方程内变量方程外变量SS回归偏回归平方和（xj）F(xj)x1,x24.281x2x11.5432.7389.849x1x22.9891.2924.647F0.05,(1,37)=4.1124第24页，共60页，2023年，2月20日，星期四评价回归方程的标准复相关系数校正复相关系数剩余标准差25第25页，共60页，2023年，2月20日，星期四复相关系数

(multiplecorrelationcoefficient)

0≤R≤1R反映的是因变量与所有自变量的总的相关关系,当方程中自变量个数增加时,R总是增加的。当只有一个因变量y与一个自变量x时，R就等于y与x的简单相关系数之绝对值：R=|ryx

|。根据R的大小判断方程的优劣时，结论总是自变量最多的方程最好，用R衡量方程的优劣是有缺陷的。26第26页，共60页，2023年，2月20日，星期四校正复相关系数Rad当有统计学意义的变量进入方程中，可使Rad增加，而当无统计学意义的变量增加到方程中时，Rad反而减少。Rad是衡量方程优劣的重要指标27第27页，共60页，2023年，2月20日，星期四剩余标准差剩余标准差小则估计值与实测值接近，反之则估计值与实测值相差较大，它是反映回归方程精度的指标28第28页，共60页，2023年，2月20日，星期四自变量的筛选全面分析法前进法后退法逐步回归法29第29页，共60页，2023年，2月20日，星期四全面分析法

（最优子集法）从所有可能的变量组合的回归方程中挑选最优者，即把所有包含1个、2个、…直至全部k个自变量的回归方程都计算出来（），挑选剩余标准差最小的。30第30页，共60页，2023年，2月20日，星期四前进法的基本思想选定一个标准。开始方程中没有自变量(常数项除外)按自变量对y的贡献大小由大到小依次挑选进入方程。每选入一个变量进入方程，则重新计算方程外各自变量对y的贡献。直到方程外变量均达不到入选标准，没有自变量可被引入方程为止。31第31页，共60页，2023年，2月20日，星期四图示：前进法

计算lij、方程外的变量分别进入方程，计算SS回增加量增加最大者为XKXK进入方程显著对XK进行检验不显著结束32第32页，共60页，2023年，2月20日，星期四前进法Y，X1

X2X3X4X5第一步建立5个方程

Y与x1P1=0.015

Y与x2P2=0.003Y与x3P3=0.026Y与x4P4=0.223Y与x5P5=0.665选入X2方程中有一个变量33第33页，共60页，2023年，2月20日，星期四前进法第二步建立4个方程

Y与X2，x1P1=0.023

Y与x2，x3P2=0.005Y与x2，x4P3=0.223Y与x2，x5P4=0.635选入X3方程中有二个变量

x2，x334第34页，共60页，2023年，2月20日，星期四前进法第三步建立3个方程

Y与X2，X3，x1P1=0.023

Y与X2，X3，x4P2=0.000Y与X2，X3，x5P3=0.535选入X4方程中有三个变量

X2，X3，x435第35页，共60页，2023年，2月20日，星期四前进法考虑在剩余的X1、X5选入。若P有小于0.05，继续考虑选入。依次循环，直到方程外也选不入，计算停止，此时的方程为前进法的最优方程。36第36页，共60页，2023年，2月20日，星期四后退法的基本思想选定一个标准开始所有变量均在方程中按自变量对y的贡献大小由小到大依次剔除变量。每剔除一个变量，则重新计算方程内各自变量对y的贡献。直到方程内变量均达到入选标准，没有自变量可被剔除为止。37第37页，共60页，2023年，2月20日，星期四图示：后退法

变量全部进入方程方程内的变量分别剔除，计算SS回减少量，减少量最小者为Xk剔除Xk显著对XK进行检验不显著不剔除Xk,结束38第38页，共60页，2023年，2月20日，星期四后退法Y，X1

X2X3X4X5第一步建立1个方程

Y与X1，X2，X3，X4，X5

39第39页，共60页，2023年，2月20日，星期四后退法第二步建立5个方程（考虑剔除）

Y与X1，X2，X3，X4

无X5所损失P1=0.723Y与X1，X2，X3，X5

无X4所损失P2=0.005Y与X1，X2，X4，X5

无X3所损失P3=0.123Y与X1，X3，X4，X5

无X2所损失P4=0.035Y与X2，X3，X4，X5

无X1所损失P4=0.53540第40页，共60页，2023年，2月20日，星期四后退法第三步建立4个方程（考虑剔除）

Y与X1，X2，X3

无X4所损失P1=0.003Y与X1，X2，X4

无X3所损失P2=0.005Y与X1，X3，X4

无X2所损失P4=0.035Y与X2，X3，X4

无X1所损失P4=0.53541第41页，共60页，2023年，2月20日，星期四后退法第四步建立3个方程（考虑剔除）

Y与X2，X3无X4所损失P1=0.003Y与X2，X4无X3所损失P2=0.002Y与X3，X4无X2所损失P3=0.00542第42页，共60页，2023年，2月20日，星期四后退法若P都小于0.05，不能剔除，直到方程内剔不出，计算停止，此时的方程为后退法的最优方程。43第43页，共60页，2023年，2月20日，星期四逐步回归将自变量逐个地引入方程，引入的条件是该自变量的偏回归平方和在未选入的自变量中是最大的，并F检验具有显著意义。另一方面，每引入一个新变量，要对先前选入方程的自变量逐个进行F检验，将偏回归平方和最小且无显著性的自变量剔出方程，直到方程外的自变量不能再引入，方程内的自变量不能再剔除。44第44页，共60页，2023年，2月20日，星期四图示：逐步回归过程

计算lij、方程外的变量分别进入方程，计算SS回增加量增加最大者为XKXK进入方程步数>2方程内的变量分别剔除，计算SS回减少量，减少量最小者为XS对XS检验剔除XS显著不显著显著对XK进行检验不显著结束是否45第45页，共60页，2023年，2月20日，星期四前进法逐步回归Y，X1

X2X3X4X5第一步建立5个方程

Y与x1P1=0.015

Y与x2P2=0.003Y与x3P3=0.026Y与x4P4=0.223Y与x5P5=0.665选入X2方程中有一个变量46第46页，共60页，2023年，2月20日，星期四前进法逐步回归第二步建立4个方程

Y与X2，x1P1=0.023

Y与x2，x3P2=0.005Y与x2，x4P3=0.223Y与x2，x5P4=0.635选入X3方程中有二个变量

x2，x3

47第47页，共60页，2023年，2月20日，星期四前进法逐步回归第三步建立3个方程

Y与X2，X3，x1P1=0.023

Y与X2，X3，x4p2=0.000Y与X2，X3，x5p3=0.535选入X4方程中有三个变量

X2，X3，x448第48页，共60页，2023年，2月20日，星期四前进法逐步回归第四步建立3个方程（考虑剔除）

Y与X2，X3无X4所损失P1=0.003Y与X2，X4无X3所损失P2=0.002Y与X3，X4无X2所损失P3=0.25049第49页，共60页，2023年，2月20日，星期四前进法逐步回归此时P3大于0.05,则剔除变量X2，然后考虑在剩余的X1、X5选入。若P都小于0.05,继续考虑选入。依次循环，直到方程内剔不出，方程外也选不入，计算停止，此时的方程为前进法的最优方程。50第50页，共60页，2023年，2月20日，星期四后退法逐步回归开始时全部因素都引入模型，然后分别剔除各因素，比较Ｐ值最大者，经检验，如没有显著性，首先剔除。再分别考虑剔除还在模型内的各因素，如果Ｐ值最大者经检验，没有显著性，再剔除。直到模型内的因素均不能剔除为止。再考虑模型外的各因素，分别引入模型，经检验，具有显著性者再引入。直到模型内的因素都具有显著性，都不能剔除，而模型外的因素都不具有显著性，不能引入，则得到最后的模型。51第51页，共60页，2023年，2月20日，星期四后退法逐步回归Y，X1

X2X3X4X5第一步建立1个方程

Y与X1，X2，X3，X4，X5

52第52页，共60页，2023年，2月20日，星期四后退法逐步回归第二步建立5个方程（考虑剔除）

Y与X1，X2，X3，X4

无X5所损失P1=0.723Y与X1，X2，X3，X5

无X4所损失P2=0.005Y与X1，X2，X4，X5

无X3所损失P3=0.123Y与X1，X3，X4，X5

无X2所损失P4=0.035Y与X2，X3，X4，X5

无X1所损失P4=0.53553第53页，共60页，2023年，2月20日，星期四后退法逐步回归第三步建立4个方程（考虑剔除）

Y与X1，X2，X3

无X4所损失P1=0.003Y与X1，X2，X4

无X3所损失P2=0.005Y与X1，X3，X4

无X2所损失P4=0.035Y与X2，X3，X4