《多重回归》课件讲课稿

《多重回归》PPT课件《多重回归》PPT课件1多重回归(multiplelinearregression)与多重相关(multiplecorrelation)是研究一个因变量和多个自变量之间线性关系的统计学分析方法。

多重回归(multiplelinearregressio2第一节多重线性回归的概念及其统计描述

例13-1为了研究空气中一氧化氮（NO）的浓度与汽车流量等因素的关系，有人测定了某城市交通点在单位时间内过往的汽车数、气温、空气湿度、风速以及空气中的NO的浓度，数据如表13-1所示。第一节多重线性回归的概念及其统计描述例13-1为了3《多重回归》课件讲课稿4

bj为自变量Xj

的偏回归系数（partialregressioncoefficient），是βj的估计值，表示当方程中其他自变量保持常量时，自变量Xj变化一个计量单位,反应变量Y的平均值变化的单位数。bj为自变量Xj的偏回归系数（partialreg5

标准化偏回归系数（standardizedpartialregressioncoefficient），又称为通径系数（pathcoefficient）。标准化偏回归系数b’j较大的自变量在数值上对反应变量Y的作用较大。

标准化偏回归系数（standardizedpartia6回归参数的估计：

前提条件：LINE。最小二乘法(leastsquaremethod)。基本原理是：利用观察或收集到的因变量和自变量的一组数据建立一个因变量关于自变量的线性函数模型，使得这个模型的理论值和观察值之间的残差平方和尽可能地小。回归参数的估计：前提条件：LINE。7《多重回归》课件讲课稿8第二节多重线性回归的假设检验

第二节多重线性回归的假设检验9

表13-2显示，P<0.0001,拒绝H0。说明从整体上而言，用这四个自变量构成的回归方程解释空气中NO浓度的变化是有统计学意义的。

表13-2显示，P<0.0001,拒绝H0。说明从整体10偏回归系数的t检验

偏回归系数的t检验是在回归方程具有统计学意义的情况下，检验某个总体偏回归系数等于零的假设,以判断是否相应的那个自变量对回归确有贡献。

H0:βi=0

H1:βi≠0偏回归系数的t检验偏回归系数的t检验是在回归方11《多重回归》课件讲课稿12第三节复相关系数与偏相关系数

复相关系数的平方称为确定系数（coefficientofdetermination）,或决定系数，记为R2，用以反映线性回归模型能在多大程度上解释反应变量Y的变异性。其定义为复相关系数第三节复相关系数与偏相关系数复相关系数13《多重回归》课件讲课稿14复相关系数(multiplecorrelationcoefficient)R定义为确定系数的算术平方根，表示变量Y与k个自变量（X1,X2,…Xk）线性相关的密切程度。

复相关系数(multiplecorrelati15调整的R2(AdjustedR-Square)：当回归方程中包含有很多自变量，即使其中有一些自变量（如本例中的X3）对解释反应变量变异的贡献极小，随着回归方程的自变量的增加，R2值表现为只增不减，这是复相关系数R2的缺点。调整的R2记为,定义为

调整的R2(AdjustedR-Square)：当回归方程16《多重回归》课件讲课稿17偏相关系数

暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在超级市场帮助卖冷饮，小明在游泳池收门票。每天晚上，二人闲聊。昨天大明冷饮卖得多，小明门票也收得多，今天，大明卖得少，小明门票也收得少。一个月下来，他们发现，超级市场冷饮销售量和游泳人数呈正相关。是不是爱吃冷饮的人想游泳？或爱游泳的人喜欢冷饮？

偏相关系数暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在18《多重回归》课件讲课稿19r0.05=0.602r0.05=0.60220原来冷饮销售量和气温正相关，游泳人数和气温也正相关，冷饮销售量和游泳人数的正相关是气温造成的假象，扣除气温的影响之后两者就不相关了。

一般地，扣除其他变量的影响后，变量Y与X的相关，称为Y与X的偏相关系数。原来冷饮销售量和气温正相关，一般地，扣除其他变量的影响后，变21偏相关系数

偏相关系数22第四节自变量筛选

为确保回归方程包含所有对反应变量有较大影响的自变量，而把对反应变量作用不大或可有可无的自变量排除在方程之外，这一统计过程称为自变量的选择。

第四节自变量筛选为确保回归方程包含所有对反应变量有较大23一、自变量筛选的标准与原则

1.残差平方和（SSE）缩小与确定系数（R2）增大；

一、自变量筛选的标准与原则1.残差平方和（SSE）缩小与242.残差均方（MSE）缩小与调整确定系数（Ra2）增大2.残差均方（MSE）缩小与调整确定系数（Ra2）增大253.统计量:

3.统计量:26二、自变量筛选的常用方法

1.所有可能自变量子集选择(allpossiblesubsetsselection)，又称全局择优法；2.前向选择（forwardselection）；3.后向选择（backwardselection）；4.逐步选择（stepwiseselection）。二、自变量筛选的常用方法1.所有可能自变量子集选择271.全局择优法根据某种变量的选择准则，通过比较各子集符合准则的程度，从中选择出一个或几个最优的回归，称为“最优子集回归”。1.全局择优法根据某种变量的选择准则，通过比282.前向选择（forwardselection）

2.前向选择（forwardselection）293.后向选择

(backwardselection)

3.后向选择(backwardselection)304.逐步选择（stepwiseselection）

4.逐步选择（stepwiseselection）31第五节多元线性回归的应用及其注意事项第五节多元线性回归的应用及其注意事项32一、应用影响因素分析，控制混杂因素预测：由自变量值推出应变量Y的值控制：指定应变量Y的值查看自变量的改变量一、应用影响因素分析，控制混杂因素33二、应用条件二、应用条件34应用的注意事项应用的注意事项35样本含量观察个体数n与变量个数m的比例一般至少应为：n:m＝5～10样本含量观察个体数n与变量个数m的比例一般至少应为：36统计“最优”与专业的“最优”不同准则、方法得出的“最优”方程不同；不同的引入、剔除标准获得的“最优”方程不同；方程还受数据的正确性、共线性影响统计“最优”与专业的“最优”不同准则、方法得出的“最优”方程37多重共线性自变量间存在着线性关系，使一个或几个自变量可以由另外的自变量线性表示时，称为该变量与另外的自变量间存在有共线性(collinearity)。回归系数的符号与由专业知识不符变量的重要性与专业不符多重共线性自变量间存在着线性关系，使一个或几个自变量38多重共线性的识别与解决办法整个方程决定系数R2高，但各自变量对应的回归系数均不显著。解决共线性的主要方法：筛选自变量用主成分回归岭回归。多重共线性的识别与解决办法整个方程决定系数R2高，但39交互作用

当某一自变量对应变量的作用大小与另一个自变量的取值有关时，则表示两个变量有交互作用（interaction）。检验两变量间有无交互作用，普遍的做法是在方程中加入它们的乘积项再做检验。如考察X1、X2间的交互作用，可在模型中加入X1X2项。交互作用当某一自变量对应变量的作用大小与另一个40几个相关系数的区别几个相关系数的区别41小结1.多重线性回归是简单线性回归的扩展，模型的前提假设、最小二乘原则都与简单线性回归分析相同。2.偏回归系数与标准偏回归系数；3.复相关系数、偏相关系数；4.确定系数和调整的确定系数；5.模型自变量的筛选方法和准则。小结1.多重线性回归是简单线性回归的扩展，模型的前42结束结束43《多重回归》PPT课件《多重回归》PPT课件44多重回归(multiplelinearregression)与多重相关(multiplecorrelation)是研究一个因变量和多个自变量之间线性关系的统计学分析方法。

多重回归(multiplelinearregressio45第一节多重线性回归的概念及其统计描述

例13-1为了研究空气中一氧化氮（NO）的浓度与汽车流量等因素的关系，有人测定了某城市交通点在单位时间内过往的汽车数、气温、空气湿度、风速以及空气中的NO的浓度，数据如表13-1所示。第一节多重线性回归的概念及其统计描述例13-1为了46《多重回归》课件讲课稿47

bj为自变量Xj

的偏回归系数（partialregressioncoefficient），是βj的估计值，表示当方程中其他自变量保持常量时，自变量Xj变化一个计量单位,反应变量Y的平均值变化的单位数。bj为自变量Xj的偏回归系数（partialreg48

标准化偏回归系数（standardizedpartialregressioncoefficient），又称为通径系数（pathcoefficient）。标准化偏回归系数b’j较大的自变量在数值上对反应变量Y的作用较大。

标准化偏回归系数（standardizedpartia49回归参数的估计：

前提条件：LINE。最小二乘法(leastsquaremethod)。基本原理是：利用观察或收集到的因变量和自变量的一组数据建立一个因变量关于自变量的线性函数模型，使得这个模型的理论值和观察值之间的残差平方和尽可能地小。回归参数的估计：前提条件：LINE。50《多重回归》课件讲课稿51第二节多重线性回归的假设检验

第二节多重线性回归的假设检验52

表13-2显示，P<0.0001,拒绝H0。说明从整体上而言，用这四个自变量构成的回归方程解释空气中NO浓度的变化是有统计学意义的。

表13-2显示，P<0.0001,拒绝H0。说明从整体53偏回归系数的t检验

偏回归系数的t检验是在回归方程具有统计学意义的情况下，检验某个总体偏回归系数等于零的假设,以判断是否相应的那个自变量对回归确有贡献。

H0:βi=0

H1:βi≠0偏回归系数的t检验偏回归系数的t检验是在回归方54《多重回归》课件讲课稿55第三节复相关系数与偏相关系数

复相关系数的平方称为确定系数（coefficientofdetermination）,或决定系数，记为R2，用以反映线性回归模型能在多大程度上解释反应变量Y的变异性。其定义为复相关系数第三节复相关系数与偏相关系数复相关系数56《多重回归》课件讲课稿57复相关系数(multiplecorrelationcoefficient)R定义为确定系数的算术平方根，表示变量Y与k个自变量（X1,X2,…Xk）线性相关的密切程度。

复相关系数(multiplecorrelati58调整的R2(AdjustedR-Square)：当回归方程中包含有很多自变量，即使其中有一些自变量（如本例中的X3）对解释反应变量变异的贡献极小，随着回归方程的自变量的增加，R2值表现为只增不减，这是复相关系数R2的缺点。调整的R2记为,定义为

调整的R2(AdjustedR-Square)：当回归方程59《多重回归》课件讲课稿60偏相关系数

暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在超级市场帮助卖冷饮，小明在游泳池收门票。每天晚上，二人闲聊。昨天大明冷饮卖得多，小明门票也收得多，今天，大明卖得少，小明门票也收得少。一个月下来，他们发现，超级市场冷饮销售量和游泳人数呈正相关。是不是爱吃冷饮的人想游泳？或爱游泳的人喜欢冷饮？

偏相关系数暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在61《多重回归》课件讲课稿62r0.05=0.602r0.05=0.60263原来冷饮销售量和气温正相关，游泳人数和气温也正相关，冷饮销售量和游泳人数的正相关是气温造成的假象，扣除气温的影响之后两者就不相关了。

一般地，扣除其他变量的影响后，变量Y与X的相关，称为Y与X的偏相关系数。原来冷饮销售量和气温正相关，一般地，扣除其他变量的影响后，变64偏相关系数

偏相关系数65第四节自变量筛选

为确保回归方程包含所有对反应变量有较大影响的自变量，而把对反应变量作用不大或可有可无的自变量排除在方程之外，这一统计过程称为自变量的选择。

第四节自变量筛选为确保回归方程包含所有对反应变量有较大66一、自变量筛选的标准与原则

1.残差平方和（SSE）缩小与确定系数（R2）增大；

一、自变量筛选的标准与原则1.残差平方和（SSE）缩小与672.残差均方（MSE）缩小与调整确定系数（Ra2）增大2.残差均方（MSE）缩小与调整确定系数（Ra2）增大683.统计量:

3.统计量:69二、自变量筛选的常用方法

1.所有可能自变量子集选择(allpossiblesubsetsselection)，又称全局择优法；2.前向选择（forwardselection）；3.后向选择（backwardselection）；4.逐步选择（stepwiseselection）。二、自变量筛选的常用方法1.所有可能自变量子集选择701.全局择优法根据某种变量的选择准则，通过比较各子集符合准则的程度，从中选择出一个或几个最优的回归，称为“最优子集回归”。1.全局择优法根据某种变量的选择准则，通过比712.前向选择（forwardselection）

2.前向选择（forwardselection）723.后向选择

(backwardselection)

3.后向选择(backwardselection)734.逐步选择（stepwiseselection）

4.逐步选择（stepwiseselection）74第五节多元线性回归的应用及其注意事项第五节多元线性回归的应用及其注意事项75一、应用影响因素分析，控制混杂因素预测：由自变量值推出应变量Y的值控制：指定应变量Y的值查看自变量的改变量一、应用影响因素分析，控制混杂因素76二、应用条件二、应用条件77应用的注意事项应用的注意事项78样本含量观察个体数n与变量个数m的比例一般至少应为：n:m＝5