教学第三章多元线性回归模型课件

第三章多元线性回归模型

MultipleLinearRegressionModel

第一节、多元线性回归模型的参数估计第二节、二元线性回归模型的参数估计第三节、多元线性回归模型的统计检验第四节、多元线性回归模型参数的区间估计第三章多元线性回归模型

MultipleLinearR1第一节多元线性回归模型的参数估计第一节多元线性回归模型的参数估计2一、多元线性回归模型的形式由于：在实际经济问题中，一个变量往往受到多个原因变量的影响；

所以，线性回归模型中的解释变量往往有多个，至少开始是这样。这样的模型被称为多元线性回归模型。多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。一、多元线性回归模型的形式由于：3

多元线性回归模型的一般形式为：多元线性回归模型的一般形式为：4

二、多元线性回归模型的基本假定多元线性回归模型在满足下列基本假设的情况下，可以采用普通最小二乘法（OLS）估计参数。关于多元线性回归模型的基本假定二、多元线性回归模型的基本假定多元线性回归模型在满足下列基5三、多元线性回归模型的参数估计原理三、多元线性回归模型的参数估计原理61、普通最小二乘估计1、普通最小二乘估计72.根据最小二乘原理，参数估计值应该是下列方程组的解：

其中2.根据最小二乘原理，参数估计值应该是下列方程组的解：其中8于是得到关于待估参数估计值的正规方程组：于是得到关于待估参数估计值的正规方程组：9四、OLS参数估计量的统计性质四、OLS参数估计量的统计性质10第二节二元线性回归模型的参数估计

最简单的多元线性回归模型是二元线性回归模型，即具有一个被解释变量和两个解释变量的线性回归模型：

其参数估计与多元线性回归模型参数估计的原理与步骤一样,二元线性回归模型只不过是多元线性回归模型k=2时的特例.第二节二元线性回归模型的参数估计最简单的11一、偏回归系数的估计

所谓偏回归系数，是指多元线性回归模型中解释变量前的系数。其含义是：当其他解释变量保持不变时，某一解释变量变化一个单位而使被解释变量Y平均改变的数值。

一、偏回归系数的估计所谓偏回归系数，是指多12达到最小。

要估计二元线性回归模型iiXiXiYmbbb+++=22110中的参数0b、1b、2b，常用的方法仍然是普通最小二乘法。

设根据给定一组样本数据（Yi，X1i，X2i），i=1，2，…，n，采用普通最小二乘法估计得到的样本回归模型为ieiXiXiY+++=22ˆ11ˆ0ˆbbb，则参数估计量0ˆb、1ˆb、2ˆb应该使残差平方和

达到最小。要估计二元线性回归模型iiXiXiYmbbb++13根据极值存在的必要条件，应该有

从而得到正规方程组

===ååå02010iXieiXieie根据极值存在的必要条件，应该有从而得到正规方程组===å14如果X1与X2之间不存在完全线性关系，那么，由上述正规方程组可以解出0ˆb、1ˆb、2ˆb：

如果X1与X2之间存在完全线性关系，那么，上述计算1ˆb、2ˆb的公式的分子、分母将变为0，从而无法求解。

如果X1与X2之间不存在完全线性关系，那么，由上述正规方程组15第三章多元线性回归模型课件16第三章多元线性回归模型课件17第三章多元线性回归模型课件18四、OLS参数估计量的统计性质四、OLS参数估计量的统计性质19第三节多元线性回归模型的统计检验

StatisticalTestofMultipleLinearRegressionModel

第三节多元线性回归模型的统计检验

Statistical20一、拟合优度检验

一、拟合优度检验

211、总体平方和、残差平方和和回归平方和

定义TSS为总体平方和（TotalSumofSquares），反映样本观测值总体离差的大小；ESS为回归平方和（ExplainedSumofSquares），反映由模型中解释变量所解释的那部分离差的大小；RSS为残差平方和（ResidualSumofSquares），反映样本观测值与估计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小。1、总体平方和、残差平方和和回归平方和定义TSS为总体平方22注意：对于一个拟合得好的模型，回归平方和与总体平方和应该比较接近。所以，可以选择回归平方和与总体平方和的接近程度作为评判模型拟合优度的标准。

于是可以用检验模型的拟合优度。2．2R和2R统计量

注意：对于一个拟合得好的模型，回归平方和与总体平方和应该比较23在应用过程中人们发现，如果在模型中增加一个解释变量，那么模型的回归平方和随之增大，从而R2也随之增大。

这就给人一个错觉：要使得模型拟合得好，就必须增加解释变量。

所以，用以检验拟合优度的统计量必须能够防止这种倾向。显然，如果模型与样本观测值完全拟合，即0ˆ=-iiYY（i=1,2,…,n），此时R2=1。当然，模型与样本观测值完全拟合的情况是不可能发生的。但毫无疑问的是，该统计量越接近于1，模型的拟合优度越高。。

在应用过程中人们发现，如果在模型中增加一个解释变量，那么模型24式中，（n-k-1）为残差平方和RSS的自由度，（n-1）为总体平方和TSS的自由度。由于在样本容量一定的情况下，于是，实际中应用的统计量是对R2进行调整后的可决系数2R：式中，（n-k-1）为残差平方和RSS的自由度，（n-1）为25第三章多元线性回归模型课件26二、方程显著性检验

TestingtheOverallSignificance方程的显著性检验：对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。

直观上看，拟合优度高，则解释变量对被解释变量的解释程度就高，可以推测模型总体线性关系成立；反之，就不成立。但这只是一个模糊的推测，不能给出一个在统计上严格的结论。这就要求进行方程的显著性检验。方程的显著性检验所应用的方法，是数理统计学中的假设检验。二、方程显著性检验

TestingtheOverall271、关于假设检验假设检验是统计推断的一个主要方面，它的基本任务是根据样本所提供的信息，对未知总体分布的某些方面的假设作出合理的判断。假设检验的程序是，先根据实际问题的要求提出一个论断，称为统计假设，记为H0；然后根据样本的有关信息，对H0的真伪进行判断，作出拒绝H0或接受H0的决策。1、关于假设检验假设检验是统计推断的一个主要方面，它的基本任282、方程的显著性检验

方程的显著性检验：对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。用以进行方程的显著性检验的方法应用最为普遍的是F检验。

2、方程的显著性检验方程的显著性检验：对模型中被解释变量与29方程显著性的F检验检验模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立，也就是要检验模型

（i=1,2,…,n）中的参数是否显著不为0。

（1）按照假设检验的原理与程序，可以提出假设：

显然，当H0成立时，即表示模型的线性关系不成立；当H1成立时，即表示模型的线性关系成立。方程显著性的F检验检验模型中被解释变量与解释变量之间的线性关30（2）可以证明，统计量

该统计量即为用于方程显著性检验的F统计量。

直观上看，回归平方和ESS是解释变量整体对被解释变量Y的线性作用的结果，如果ESS/RSS的比值较大，则解释变量整体对Y的解释程度高，可以认为总体存在线性关系；反之，总体可能不存在线性关系。因此,可以通过该比值的大小对总体线性关系进行推断。，，。

FESSkRSSnk=--()1（2）可以证明，统计量该统计量即为用于方程显著性检验的F31（3）给定一个显著性水平a，查F分布表，得到临界值)1,(--knkFa。F＞)1,(--knkFa为原假设H0下的一个小概率事件。

（4）如果发生了F＞)1,(--knkFa，则在(1－a)水平下拒绝原假设H0，即模型的线性关系显著成立，模型通过方程显著性检验。

如果未发生F＞)1,(--knkFa，则在(1－a)水平下不能拒绝原假设H0，即没有显著的证据表明模型的线性关系显著成立，模型未通过方程显著性检验。

（3）给定一个显著性水平a，查F分布表，得到临界值)1,(32例：中国消费函数模型根据消费模型的一般形式，选择消费总额为被解释变量，国内生产总值和前一年的消费总额为解释变量，变量之间关系为简单线性关系，选取1981年至1996年统计数据为样本观测值。

例：中国消费函数模型根据消费模型的一般形式，选择消费总额为被33中国消费数据表单位：亿元

中国消费数据表单位：亿元34模型估计结果模型估计结果35在前述消费模型中，k=2,n=16,给定α=0.01,查得Ｆ0.01（2,13)=6.70，而Ｆ=28682.51>6.70,所以拒绝原假设，接受备择假设，认为方程总体上线性显著。在前述消费模型中，k=2,n=16,给定α=0.01,查得Ｆ36⒊关于拟合优度检验与方程显著性检验关系的讨论

拟合优度检验和方程显著性检验是从不同原理出发的两类检验：前者是从已经得到估计的模型出发，检验它对样本观测值的拟合程度，后者是从样本观测值出发检验模型总体线性关系的显著性。但是二者又是关联的：模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强。这两个用作检验标准的统计量之间存在如下的数量关系：⒊关于拟合优度检验与方程显著性检验关系的讨论拟合优度检验37多大才算通过拟合优度检验？

重新回到前面的问题：这说明，在应用中不必对2R过分苛求，重要的是考察模型的经济关系是否合理。多大才算通过拟合优度检验？重新回到前面的问题：这说明，在应38三、变量显著性检验

TestingtheIndividualSignificance三、变量显著性检验

TestingtheIndividu391、什么是变量的显著性检验？

对于多元线性回归模型，方程的总体线性关系是显著的，并不能说明每个解释变量对被解释变量的影响都是显著的。因此，必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。如果某个变量对被解释变量的影响并不显著，应该将它剔除，以建立更为简单的模型。这就是变量显著性检验的任务。变量显著性检验的数理统计学基础相同于方程显著性检验，检验的思路与程序也与方程显著性检验相似

用以进行变量显著性检验的方法应用最为普遍的是t检验。

1、什么是变量的显著性检验？对于多元线性回归模型，方程的402.t检验注意，模型中包括几个解释变量，就要计算几个t的数值。

2.t检验注意，模型中包括几个解释变量，就要计算几个t的数41在前述消费模型中：

变量GDP和CONS（-1）各自的t统计量样本值分别为tgdp=22.00tcons(-1)=4.188给定α=0.01,查得t0.005(13)=3.012。

由于tgdp、tcons(-1)都大于临界值t0.005(13)，所以，变量GDP和CONS（-1）在0.99的水平下都显著。在前述消费模型中：423、在一元线性回归（k=1）中，t检验与F检验是一致的。3、在一元线性回归（k=1）中，t检验与F检验是一致的。43第四节多元线性回归模型

参数的区间估计

IntervalEstimationofMultipleLinearRegressionModel多元线性回归模型的置信区间问题,包括参数的置信区间和被解释变量预测期实际值的置信区间两个方面，在数理统计学中属于区间估计问题。第四节多元线性回归模型

参数的区间估计

Interval44线性回归模型的参数估计量是随机变量，利用一次抽样的样本观测值，估计得到的只是参数的一个点估计值。

如果用参数的一个点估计值近似代表参数值，那么，二者的接近程度如何？以多大的概率达到该接近程度？1、问题的提出线性回归模型的参数估计量是随机变量，利用一次抽样的样本观测值45为回答上面的问题，这就要构造一个以参数的点估计值为中心的区间（称为置信区间），该区间以一定的概率（称为置信水平）包含该参数。为回答上面的问题，这就要构造一个以参数的点估计值为中心的区间462、参数的区间估计2、参数的区间估计47第三章多元线性回归模型

MultipleLinearRegressionModel

第一节、多元线性回归模型的参数估计第二节、二元线性回归模型的参数估计第三节、多元线性回归模型的统计检验第四节、多元线性回归模型参数的区间估计第三章多元线性回归模型

MultipleLinearR48第一节多元线性回归模型的参数估计第一节多元线性回归模型的参数估计49一、多元线性回归模型的形式由于：在实际经济问题中，一个变量往往受到多个原因变量的影响；

所以，线性回归模型中的解释变量往往有多个，至少开始是这样。这样的模型被称为多元线性回归模型。多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。一、多元线性回归模型的形式由于：50

多元线性回归模型的一般形式为：多元线性回归模型的一般形式为：51

二、多元线性回归模型的基本假定多元线性回归模型在满足下列基本假设的情况下，可以采用普通最小二乘法（OLS）估计参数。关于多元线性回归模型的基本假定二、多元线性回归模型的基本假定多元线性回归模型在满足下列基52三、多元线性回归模型的参数估计原理三、多元线性回归模型的参数估计原理531、普通最小二乘估计1、普通最小二乘估计542.根据最小二乘原理，参数估计值应该是下列方程组的解：

其中2.根据最小二乘原理，参数估计值应该是下列方程组的解：其中55于是得到关于待估参数估计值的正规方程组：于是得到关于待估参数估计值的正规方程组：56四、OLS参数估计量的统计性质四、OLS参数估计量的统计性质57第二节二元线性回归模型的参数估计

最简单的多元线性回归模型是二元线性回归模型，即具有一个被解释变量和两个解释变量的线性回归模型：

其参数估计与多元线性回归模型参数估计的原理与步骤一样,二元线性回归模型只不过是多元线性回归模型k=2时的特例.第二节二元线性回归模型的参数估计最简单的58一、偏回归系数的估计

所谓偏回归系数，是指多元线性回归模型中解释变量前的系数。其含义是：当其他解释变量保持不变时，某一解释变量变化一个单位而使被解释变量Y平均改变的数值。

一、偏回归系数的估计所谓偏回归系数，是指多59达到最小。

要估计二元线性回归模型iiXiXiYmbbb+++=22110中的参数0b、1b、2b，常用的方法仍然是普通最小二乘法。

设根据给定一组样本数据（Yi，X1i，X2i），i=1，2，…，n，采用普通最小二乘法估计得到的样本回归模型为ieiXiXiY+++=22ˆ11ˆ0ˆbbb，则参数估计量0ˆb、1ˆb、2ˆb应该使残差平方和

达到最小。要估计二元线性回归模型iiXiXiYmbbb++60根据极值存在的必要条件，应该有

从而得到正规方程组

===ååå02010iXieiXieie根据极值存在的必要条件，应该有从而得到正规方程组===å61如果X1与X2之间不存在完全线性关系，那么，由上述正规方程组可以解出0ˆb、1ˆb、2ˆb：

如果X1与X2之间存在完全线性关系，那么，上述计算1ˆb、2ˆb的公式的分子、分母将变为0，从而无法求解。

如果X1与X2之间不存在完全线性关系，那么，由上述正规方程组62第三章多元线性回归模型课件63第三章多元线性回归模型课件64第三章多元线性回归模型课件65四、OLS参数估计量的统计性质四、OLS参数估计量的统计性质66第三节多元线性回归模型的统计检验

StatisticalTestofMultipleLinearRegressionModel

第三节多元线性回归模型的统计检验

Statistical67一、拟合优度检验

一、拟合优度检验

681、总体平方和、残差平方和和回归平方和

定义TSS为总体平方和（TotalSumofSquares），反映样本观测值总体离差的大小；ESS为回归平方和（ExplainedSumofSquares），反映由模型中解释变量所解释的那部分离差的大小；RSS为残差平方和（ResidualSumofSquares），反映样本观测值与估计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小。1、总体平方和、残差平方和和回归平方和定义TSS为总体平方69注意：对于一个拟合得好的模型，回归平方和与总体平方和应该比较接近。所以，可以选择回归平方和与总体平方和的接近程度作为评判模型拟合优度的标准。

于是可以用检验模型的拟合优度。2．2R和2R统计量

注意：对于一个拟合得好的模型，回归平方和与总体平方和应该比较70在应用过程中人们发现，如果在模型中增加一个解释变量，那么模型的回归平方和随之增大，从而R2也随之增大。

这就给人一个错觉：要使得模型拟合得好，就必须增加解释变量。

所以，用以检验拟合优度的统计量必须能够防止这种倾向。显然，如果模型与样本观测值完全拟合，即0ˆ=-iiYY（i=1,2,…,n），此时R2=1。当然，模型与样本观测值完全拟合的情况是不可能发生的。但毫无疑问的是，该统计量越接近于1，模型的拟合优度越高。。

在应用过程中人们发现，如果在模型中增加一个解释变量，那么模型71式中，（n-k-1）为残差平方和RSS的自由度，（n-1）为总体平方和TSS的自由度。由于在样本容量一定的情况下，于是，实际中应用的统计量是对R2进行调整后的可决系数2R：式中，（n-k-1）为残差平方和RSS的自由度，（n-1）为72第三章多元线性回归模型课件73二、方程显著性检验

TestingtheOverallSignificance方程的显著性检验：对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。

直观上看，拟合优度高，则解释变量对被解释变量的解释程度就高，可以推测模型总体线性关系成立；反之，就不成立。但这只是一个模糊的推测，不能给出一个在统计上严格的结论。这就要求进行方程的显著性检验。方程的显著性检验所应用的方法，是数理统计学中的假设检验。二、方程显著性检验

TestingtheOverall741、关于假设检验假设检验是统计推断的一个主要方面，它的基本任务是根据样本所提供的信息，对未知总体分布的某些方面的假设作出合理的判断。假设检验的程序是，先根据实际问题的要求提出一个论断，称为统计假设，记为H0；然后根据样本的有关信息，对H0的真伪进行判断，作出拒绝H0或接受H0的决策。1、关于假设检验假设检验是统计推断的一个主要方面，它的基本任752、方程的显著性检验

方程的显著性检验：对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。用以进行方程的显著性检验的方法应用最为普遍的是F检验。

2、方程的显著性检验方程的显著性检验：对模型中被解释变量与76方程显著性的F检验检验模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立，也就是要检验模型

（i=1,2,…,n）中的参数是否显著不为0。

（1）按照假设检验的原理与程序，可以提出假设：

显然，当H0成立时，即表示模型的线性关系不成立；当H1成立时，即表示模型的线性关系成立。方程显著性的F检验检验模型中被解释变量与解释变量之间的线性关77（2）可以证明，统计量

该统计量即为用于方程显著性检验的F统计量。

直观上看，回归平方和ESS是解释变量整体对被解释变量Y的线性作用的结果，如果ESS/RSS的比值较大，则解释变量整体对Y的解释程度高，可以认为总体存在线性关系；反之，总体可能不存在线性关系。因此,可以通过该比值的大小对总体线性关系进行推断。，，。

FESSkRSSnk=--()1（2）可以证明，统计量该统计量即为用于方程显著性检验的F78（3）给定一个显著性水平a，查F分布表，得到临界值)1,(--knkFa。F＞)1,(--knkFa为原假设H0下的一个小概率事件。

（4）如果发生了F＞)1,(--knkFa，则在(1－a)水平下拒绝原假设H0，即模型的线性关系显著成立，模型通过方程显著性检验。

如果未发生F＞)1,(--knkFa，则在(1－a)水平下不能拒绝原假设H0，即没有显著的证据表明模型的线性关系显著成立，模型未通过方程显著性检验。

（3）给定一个显著性水平a，查F分布表，得到临界值)1,(79例：中国消费函数模型根据消费模型的一般形式，选择消费总额为被解释变量，国内生产总值和前一年的消费总额为解释变量，变量之间关系为简单线性关系，选取1981年至1996年统计数据为样本观测值。

例：中国消费函数模型根据消费模型的一般形式，选择消费总额为被80中国消费数据表单位：亿元

中国消费数据表单位：亿元81模型估计结果模型估计结果82在前述消费模型中，k=2,n=16,给定α=0.01,查得Ｆ0.01（2,13)=6.70，而Ｆ=28682.51>6.70,所以拒绝原假设，接受备择假设，认为方程总体上线性显著。在前述消费模型中，k=2,n=16,给定α=0.01,查得Ｆ83⒊关于拟合优度检验与方程显著性检验关系的讨论

拟合优度检验和方程显著性检验是从不同原理出发的两类检验：前者是从已经得到估计的模型出发，检验它对样本观测值的拟合程度，后者是从样本观测值出发检验模型总体线性关系的显著性。但是二者又是关联的：模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强。这两个用作检验标准的统计量之间存在如下的数量关系：⒊关于拟合优度检验与方程显著性检验关系的讨论拟合优度检验84多大才算通过拟合优度检验？

重新回到前面的问题：这说明，在应用中不必对2R过分苛求，重要的是考察模型的经济关系是否合理。多大才算通过拟合优度检