多元线性回归模型-课件

第二章多元线性回归模型1第一节多元线性回归模型及假定第二节多元线性回归模型的参数估计第三节多元线性回归模型的检验第四节多元线性回归模型的置信区间第五节可线性化的非线性回归模型第六节受约束回归2一、多元线性回归模型其一般形式为：由于习惯上把常数项看成为一个虚变量的系数，在参数估计过程中该虚变量的样本观测值始终取1。这样，模型中解释变量的数目为（K+1）。代表众多影响变化的微小因素。

第一节多元线性回归模型及假定3

经济意义：

是的重要解释变量。可以解释为在其他因素（变量）不变的条件下，变量每变动一个单位，因变量变动个单位。4当给定一个样本时，上述模型表示为

5多元线性回归模型表示的n个随机方程的矩阵表达式为：其中，

6多元总体回归函数可用矩阵形式表示为多元线性样本回归模型的矩阵表达式为多元线性样本回归函数的矩阵表达式分别为为回归系数估计值向量为模型的残差向量7假定1：解释变量是非随机的，即在重复抽样中，解释变量取固定值，且相互之间互不相关。这表明模型中的解释变量和随机干扰项对被解释变量的影响是完全独立的。二、多元线性回归模型的若干经典假定8假定2：随机干扰项与解释变量之间不相关。这个假定说明Xji与随机干扰项ui相互独立，互不相关，它们对被解释变量Yi的影响同样也是独立的。用矩阵表示为9假定3：随机干扰项服从零均值，同方差，零协方差。用矩阵形式表示10假定3：随机干扰项服从零均值，同方差，零协方差。用矩阵形式表示随机干扰项的方差—协方差矩阵11假定4：随机干扰项服从正态分布。即用矩阵形式表示12假定5：正确设定回归模型。与一元回归模型一样，多元回归模型的正确设定也有三个方面的要求：1.选择正确的变量进入模型；2.对模型的形式进行正确的设定；3.对模型的解释变量被解释变量及随机干扰项做了正确的假定。上述假定条件称为多元线性回归模型的经典假定。13第二节多元线性回归模型的参数估计一、普通最小二乘法

(一)普通最小二乘估计对于多元线性回归模型，利用最小二乘法估计模型的参数，同样应该使残差平方和达到最小，即取最小值。根据多元函数的极值原理，分别对求一阶偏导数，并令其为零。14

即：得到下列方程组：

15可写成矩阵形式正规方程组因而，这就是向量的OLS估计16(二)

随机干扰项方差估计值的普通最小二乘估计

随机干扰项的方差的无偏估计为

这是因为在估计时，n-k-1为自由度即消耗了k+1个自由度。

必须先求出17对于多元线性回归模型于是，的概率函数为二、极大似然估计法18因为是相互独立的，所以是随机抽取的n组样本观测值的联合概率，即似然函数为:

19由于是的单调函数，使极大的参数值也将使极大，即，所以对数似然函数为：20可以求出和的估计参数21（一）线性性

参数估计量是线性估计量，即是随机变量的线性函数。由于可见，参数估计量是被解释变量的线性组合。三、参数估计量的性质22（二）无偏性

将代入，得

23（三）有效性

由于

为单位矩阵。24（四）随机干扰项方差估计量的性质

由于被解释变量的估计值与观察值之间的残差于是

随机干扰项方差的估计量为

25例2-1线性回归模型设定为用矩阵表示为2627借助于计量经济软件EViews对例2-1进行回归分析对应的回归方程为28一、模型的拟合优度检验二、回归模型的总体显著性检验三、回归系数的显著性检验第三节多元线性回归模型的检验29一、模型的拟合优度检验（一）R2检验1.总离差平方和的分解对于有k个解释变量的多元线性回归模型其对应的回归方程为：

30

将与其平均值之间的离差分解如下：

总离差平方和:

回归平方和:

残差平方和：31

总离差平方和分解为回归平方和与残差平方和两部分。322.多元样本可决系数与拟合优度检验

多元样本可决系数:

可用回归平方和占总离差平方和的比重来衡量样本回归线对样本观测值的拟合同程度。33

可用回归平方和占总离差平方和的比重来衡量样本回归线对样本观测值的拟合同程度。的数值越接近1，表明中总离差平方和中可由样本回归线解释的部分越大，残差平方和越小，样本回归线与样本观测值的拟合程度越高；反之则拟合得越差。343.修正样本可决系数

R2的大小与模型中解释变量的数目有关，解释变量的个数越多，它的值就越大，在实际运用中需要对其进行调整。

35

调整的思想是将残差平方和与总离差平方和之比的分子分母分别用各自的自由度去除，变成均方差之比，以剔除解释变量个数对拟合优度的影响。于是，修正的样本可决系数为36

调整的可决系数与未经调整的可决系数之间存在如下关系：或仅仅说明了在给定的样本条件下，估计的回归方程对于样本观测值的似合优度。37

在实际应用中，或究竟要多大才算模型通过了检验，没有绝对的标准，要视具体情况而定。

模型的拟合优度并不是评价模型优劣的唯一标准，有时为了追求模型的经济意义宁可牺牲一点拟合优度。

38在例2-1中，借助于计量经济软件EViews对样本回归模型作拟合优度检验：样本决定系数：修正样本决定系数：可见样本可决系数和修正样本可决系数都大于0.9，说明模型对数据拟合程度较好。说明消费惯性与实际可支配收入对实际居民消费的解释能力为99.92%，只有8%的其他因素影响。39（二）赤池信息准则和施瓦茨准则赤池信息准则：施瓦茨准则：这两个准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。40在例2-1中，EViews软件的估计结果显示：二元（消费惯性与实际可支配收入）模型AIC与SC的值分别为13.34和13.48分别小于只包含一个解释变量（实际可支配收入）时的相应值14.65和14.75，从这一点来看，可以说消费惯性可以作为解释变量包括在模型中。41二、回归模型的总体显著性检验（F检验）（一）回归方程的显著性检验

回归方程的显著性检验是指在一定的显著性水平下，从总体上对模型中被解释变量与解释变量之间的线性关系是否显著成立而进行的一种统计检验。42

对于多元线性回归模型：为了从总体上检验模型中被解释变量与解释变量之间的线性关系是否显著，必须对其进行显著性检验。

43检验的原假设与备择假设分别为：检验的思想来自于总离差平方和的分解式：ESS是解释变量的联合对被解释变量的线性作用的结果,可通过该比值ESS/RSS的大小对总体线性关系进行推断。

44

根据数理统计学中的定义，在成立的条件下，构造一个统计量：则该统计量服从自由度为的分布。45

根据变量的样本观测值和估计值，计算统计量的数值；给定一个显著性水平，查分布表，得到一个临界值。如果，则在显著性水平下拒绝原假设，即模型的线性关系显著成立，模型通过方程显著性检验。46在例2-1中故模型总体是显著的。47（二）拟合优度检验与方程总体线性的显著性检验之间的关系

拟合优度检验与方程总体线性的显著性检验之间有如下关系：

检验可用于度量总体回归直线的显著性，也可用于检验的显著性。亦即48在例2-1二元模型中：多大才算通过拟合优度检验49三、回归系数的显著性检验（t检验）回归系数的显著性检验，是指在一定的显著性水平下，检验模型的解释变量是否对被解释变量有显著影响的一种统计检验。

50

检验的原假设与备择假设分别为：

构造如下的t检验统计量：若,则在水平下拒绝原假设,即对应的解释变量Xj是显著的；若,则在水平下接受原假设,即对应的解释变量Xj是不显著的；51在例2-1中

构造如下的t检验统计量：说明应保留在模型中构造如下的t检验统计量：说明应保留在模型中52一、预测值的点估计值二、回归系数的置信区间三、预测值的置信区间第四节多元线性回归模型的置信区间53

点估计值就是求解释变量对应的被解释变量的估计值。预测值与实际值之间存在的误差为：

一、点估计值54二、回归系数的置信区间要判断样本参数的估计值在多大程度上可以近似地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的区间来考察它以多大的概率包含着真实的参数值。这种方法就是参数检验的置信区间估计。55

因为分布的分布曲线对称于纵坐标轴，所以在给定的置信水平下1-

，我们选取对称于原点的区间使得，

56于是得到回归系数的置信度为的置信区间为：1-57在例2-1中的95%置信区间分别为58（一）的预测区间

是服从正态分布的，将随机干扰项的方差用其无偏估计量代替，可构造如下统计量：三、预测值的置信区间59

于是，得到置信度为下的置信区间：1-60（二）的预测区间

设是实际预测值与预测值之差：

将上式中的用它的估计值代替；

61

则得到的标准差估计值，其中，62对于给定的置信度为1-，可以从t分布表中查得临界值。于是，对于给定的置信度1-，预测值的置信区间为：构造t统计量：63在例2-1中对于给定的置信度为0.95下，预测值的置信区间为64一、倒数模型二、k阶多项式模型三、半对数模型四、双对数模型（幂函数模型）第五节可线性化的非线性回归模型65一、倒数模型令已变换为线性回归模型。得66例2-267二、k阶多项式模型令已变换为线性回归模型。得68三、半对数模型半对数模型一般包含对数模型和指数模型两类，是指被解释变量和解释变量中，要么被解释变量一方为对数形式，要么解释变量一方都为对数形式。69对数模型的一般形式为令得已变换为线性回归模型。70对数函数模型的弹性系数和边际系数都不是常数。弹性系数是边际系数是71指数模型的一般形式为令得已变换为线性回归模型。72指数函数模型的弹性系数和边际系数都不是常数。弹性系数是边际系数是73回归系数是近似等于单位时间内的增长率。指数函数模型的一个重要应用是估计经济变量的增长率把中的换成时间变量t。

称为增长模型。74例2-375三、双对数模型（幂函数模型）双对数模型是指被解释变量和解释变量双方都为对数形式，与上面讨论的半对数模型相对应。双对数模型的一般形式为令得为标准的线性回归模型。76双对数模型的特点是模型弹性系数为常数，边际系数不是常数。弹性系数为边际系数为77例2-478一、模型参数的线性约束二、对回归模型增加或减少解释变量三、参数的稳定性四、三大经典的非线性约束检验第六节受约束回归79

在建立回归模型时，有时根据经济理论需要对模型中变量的参数施加一定的约束条件。模型施加约束条件后进行回归，称受约束回归，与此对应，不加任何约束的回归称为无约束回归。80

例如，在估计柯布-道格拉斯生产函数（分别为劳动和资本的产出弹性）时，如果规模报酬不变，即每一同比例的投入变化有同比例的产出变化，则函数有约束。

81一、模型参数的线性约束对模型施加约束得：或如果对式回归得出参数的估计结果则由约束条件可得：82

然而，对所考查的具体问题能否施加约束条件，需进一步进行相应的检验。

常用的检验有：检验、检验与检验，这里主要介绍检验。83在同一样本下，记无约束样本回归模型为受约束样本回归模型为于是受约束样本回归模型的残差平方和RSSR于是84由式RSSR

RSSU从而

ESSRESSU

为无约束样本回归模型的残差平方和RSSU

这意味着，通常情况下，对模型施加约束条件会降低模型的解释能力。85

但是，如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，RSSR

与

RSSU的差异变小。可用RSSR-RSSU的大小来检验约束的真实性。86

即约束条件为真即不可施加约束条件。如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，与的差异变小。87

根据数理统计学的知识：于是：88

如果约束条件无效，RSSR

与RSSU的差异较大，计算的F值也较大。

于是，可用计算的F统计量的值与所给定的显著性水平下的临界值作比较，对约束条件的真实性进行检验。

其中，kU,kR分别为无约束与受约束回归模型的解释变量的个数（不包括常数项），kU-kR恰为约束条件的个数。89例2-590二、对回归模型增加或减少解释变量考虑如下两个回归模型：91统计量的另一个等价式：

相应的F统计量为：92

如果约束条件为真，即额外的变量没有解释能力，则F统计量较小；否则，约束条件为假，意味着额外的变量对F有较强的解释能力，则F统计量较大。因此，可通过F的计算值与临界值的比较，来判断额外变量是否应包括在模型中。

93三、参数的稳定性

对于时间序列数据，因变量和解释变量之间的关系可能会发生结构变化，这可能是由经济系统的需求或供给冲击带来的，也可能是制度转变的结果。因此，建立模型时往往希望模型的参数和设定关系是稳定的，即所谓的结构不变，那么如何检验结构变化？94（一）邹氏参数稳定性检验

假设需要建立的模型为在两个连续的时间序列（1,2,…，n1）与（n1+1,…，n1+n2）中，相应的模型分别为

合并两个时间序列为(1,2,…,n1,n1+1,…,n1+n2)，则可写出如下无约束回归模型95

如果=，表示没有发生结构变化，因此可针对如下假设进行检验：H0:=

式施加上述约束后变换为受约束回归模型96

因此，检验的统计量为：

记RSS1与RSS2为在两时间段上分别回归后所得的残差平方和，容易验证，于是97参数稳定性的检验步骤：1.分别以两连续时间序列作为两个样本进行回归，得到相应的残差平方：与；2.将两序列并为一个大样本后进行回归，得到大样本下的残差平方和；3.计算统计量的值邹氏参数稳定性检验。98例2-699（二）邹氏预测检验邹氏预测检验的基本思想：先用前一时间段个样本估计原模型，再用估计出的参数进行后一时间段个样本的预测。如果预测误差较大，则说明参数发生了变化，否则说明参数是稳定的。

100分别以、表示第一与第二时间段的参数，则矩阵式为：101如果参数没有发生变化，则，矩阵式简化为

检验:102邹氏预测检验步骤：1.在两时间段的合成大样本下做OLS回归，得受约束模型的残差平方和；2.对前一时间段的个子样做回归，得残差平方和；3.计算检验的统计量，做出判断。给定显著性水平，查分布表，得临界值；如果，则拒绝原假设，认为预测期发生了结构变化。103四、三大经典的非线性约束检验估计线性模型时也可对模型参数施加非线性约束。如对模型施加非线性约束

，得到受约束回归模型：104

该模型无法运用普通最小二乘法进行估计的，必须采用非线性最小二乘法进行估计。

非线性约束检验是建立在最大似然原理基础上的，有最大似然比检验、沃尔德检验与拉格朗日乘数检验。105（一）最大似然比检验（LR）

最大似然比检验需要估计无约束回归模型与受约束回归模型，运用最大似然估计法，检验两个似然函数的值的差异是否“足够”大。

似然比：如果比值不接近于1，说明两似然函数值差距较大，则应拒绝约束条件为真的假设；如果比值接近于1，说明两似然函数值很接近，应接受约束条件为真的假设。

106具体检验时，由于大样本下：

h是约束条件的个数。因此：通过LR统计量的2分布特性来进行判断。

107例2-7108（二）沃尔德检验（WD）LR检验既要估计约束条件下的极大似然函数值，又要估计无约束下的极大似然函数值，当约束模型的估计很困难时，此方法尤为适用。沃尔德检验中，只须估计无约束模型。如对要检验约束，只须对该模型进行回归，并判断与1的差距是否足够大。109在所有古典假设都成立的条件下，容易证明

因此，在1+2=1的约束条件下

建立