计量经济学多元线性回归

第四章经典单方程计量经济学模型：多元线性回归模型

一、多元线性回归模型的概念二、多元线性回归模型的估计三、拟合优度四、非线性关系的处理五、假设检验六、预测七、参数的稳定性检验八、虚拟变量一、多元线性回归模型的概念

1、多元线性回归模型

2、多元线性回归模型的基本假定

1、多元线性回归模型

多元线性回归模型:表现在线性回归模型中的解释变量有多个。

一般表现形式：i=1,2…,n其中:k为解释变量的数目，j称为回归参数（regressioncoefficient）。也被称为总体回归函数的随机表达形式。它的非随机表达式为:表示：各变量X值固定时Y的平均响应。

习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。于是：模型中解释变量的数目为（k+1）

总体回归模型n个随机方程的矩阵表达式为:

j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;

或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。用来估计总体回归函数的样本回归函数为：其中其随机表示式:

ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项ui的近似替代。

样本回归函数的矩阵表达:

或其中：基本形式小结矩阵形式2、多元线性回归模型的基本假定

例：在一项调查大学生一学期平均成绩Y与每周在学习（X1）、睡觉（X2）、娱乐（X3）和其它活动（X4）所用时间关系的研究中，建立了如下模型：如果这些活动所用时间的总和为一周的总小时数168小时。问：保持其它变量不变，而改变其中一个变量的说法是否有意义？该模型是否有违背基本假定的情况？如何修改此模型使其更合理？二、多元线性回归模型的估计

1、普通最小二乘估计2、极大似然估计3、参数估计量的性质4、样本容量问题说明估计方法：两大类方法：OLS、ML在经典模型中多应用OLS在非经典模型中多应用ML在本节中，ML为选学内容1、普通最小二乘估计对于随机抽取的n组观测值如果样本函数的参数估计值已经得到，则有：

i=1,2…n

根据最小二乘原理，参数估计值应该是右列方程组的解

其中

于是得到关于待估参数估计值的正规方程组：

解该（k+1）

个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值$,,,,,bjj=012L。k正规方程组的矩阵形式即由于X’X满秩，故有

将上述过程用矩阵表示如下：

即求解方程组：即补充：得到：

于是：售价X销售量Q2.0412.5383.0343.5324.0294.5285.0255.5226.020例：利用下表数据，计算和正规方程组的另一种写法对于正规方程组

于是

或

(*)或（**）是多元线性回归模型正规方程组的另一种写法。

(*)(**)样本回归函数的离差形式i=1,2…n

其矩阵形式为：其中：

在离差形式下，参数的最小二乘估计结果为

随机误差项u的方差2的无偏估计

可以证明，随机误差项u的方差的无偏估计量为：

2、极大似然估计对于多元线性回归模型易知Y的随机抽取的n组样本观测值的联合概率

对数似然函数为对对数似然函数求极大值，也就是对

求极小值。即为变量Y的似然函数

因此，参数的极大似然估计为结果与参数的普通最小二乘估计相同。3、参数估计量的性质

在满足基本假设的情况下，其结构参数的普通最小二乘估计及最大或然估计仍具有：

线性性、无偏性、有效性。

同时，随着样本容量增加，参数估计量具有：一致性。

（1）线性性

其中,C=(X’X)-1X’

为一仅与固定的X有关的行向量。

（2）无偏性

U))

（3）有效性（最小方差性）

这里利用了假设:E(X’u)=0其中利用了

和4、样本容量问题

所谓“最小样本容量”，即从最小二乘原理和极大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。（1）最小样本容量

样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即

n

≥

k+1因为，无多重共线性要求：秩(X)=k+1（2）满足基本要求的样本容量

从统计检验的角度：

n30时，Z检验才能应用；

n-k≥8时,t分布较为稳定

一般经验认为:

当n≥30或者至少n≥3(k+1)时，才能说满足模型估计的基本要求。

模型的良好性质只有在大样本下才能得到理论上的证明。三、拟合优度检验1、可决系数与调整的可决系数则

总离差平方和的分解=0

可决系数该统计量越接近于1，模型的拟合优度越高。

问题：在应用过程中发现，如果在模型中增加一个解释变量，

R2往往增大（Why?)

这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。——

但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需调整。

调整的可决系数（adjustedcoefficientofdetermination）

在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响:其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。说明

例设n=20,k=3,R2=0.70求。

若n=10，则=0.55;若n=5，则=－0.20下面改变n的值，看一看的值如何变化。由本例可看出，有可能为负值。这与R2不同（）解

*2、赤池信息准则和施瓦茨准则

为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:

赤池信息准则（Akaikeinformationcriterion,AIC）施瓦茨准则（Schwarzcriterion，SC）

这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。

四、非线性关系的处理

1、模型的类型与变换

2、非线性回归在实际经济活动中，经济变量的关系是复杂的，直接表现为线性关系的情况并不多见。如著名的恩格尔曲线(Englecurves)表现为幂函数曲线形式、宏观经济学中的菲利普斯曲线（Pillipscuves）表现为双曲线形式等。但是，大部分非线性关系又可以通过一些简单的数学处理，使之化为数学上的线性关系，从而可以运用线性回归模型的理论方法。说明

（1）倒数模型、多项式模型与变量的直接置换法

例如，描述税收与税率关系的拉弗曲线：抛物线

s=a+br+cr2+uc<0s：税收；r：税率设X1=r，X2=r2，则原方程变换为

s=a+bX1+cX2+uc<0

1、模型的类型与变换（2）幂函数模型、指数函数模型与对数变换法

例如，Cobb-Dauglas生产函数：幂函数

Q=AKLeuQ：产出量，K：投入的资本；L：投入的劳动

方程两边取对数：

lnQ=lnA+lnK+lnL+u（3）复杂函数模型与级数展开法

方程两边取对数后，得到：

Q:产出量，K：资本投入，L：劳动投入

：替代参数，1、2：分配参数例如，常替代弹性CES生产函数2、非线性回归

对于不可线性化的模型，可采用非线性回归技术对参数进行估计，常用的非线性回归技术有非线性最小二乘法（NLS）,该方法的原则仍是使残差平方和达到最小。其步骤如下：（1）给出各参数的初始估计值；（2）用上述参数值及X的观测值计算Y的预测值Ŷ；（3）计算残差平方和Σe2;（4）对一个或多个参数的估计值作微小变动；（5）计算Y的新预测值Ŷ；（6）再计算残差平方和Σe2;（7）若残差平方和减小了，则说明新参数的估计值优于老的，则以它们为新的起点；（8）重复步骤（4），（5），（6），直至无法减少残差平方和为止；（9）最后的参数估计值即为非线性最小二乘估计值。

五、假设检验1、系数的显著性检验（1）单个系数显著性检验

目的是检验某个解释变量的系数βj是否为0，即该解释变量是否对被解释变量有影响。原假设：H0：

βj

=0检验统计量是自由度为n-k-1的t

统计量：

～t(n-k-1)其中，为矩阵主对角线上第j+1个元素。而例：柯布-道格拉斯生产函数用柯布和道格拉斯最初使用的数据（美国1899-1922年制造业数据）估计经过线性变换的模型得到如下结果（括号内数字为标准误差）：请检验“斜率”系数和的显著性。解：(1)检验的显著性

原假设：H0：

=0由回归结果，我们有：t＝0.23/0.06=3.83用自由度为24－3＝21，查t表，5%显著性水平下，t/2

＝2.08.∵t＝3.83t/2

＝2.08，故拒绝原假设H0。结论：显著异于0。(2)检验的显著性原假设：H0：

=0由回归结果，我们有：t＝0.81/0.15=5.4∵t＝5.4t/2

＝2.08，故拒绝原假设H0。结论：显著异于0。

有时需要同时检验若干个系数是否为0，这可以通过建立单一的原假设来进行。设要检验g个系数是否为0，即与之相对应的g个解释变量对因变量是否有影响。不失一般性，可设原假设和备择假设为：

H0:β1

=β2

=…=βg

=0H1:

H0不成立(即X1,…Xg中至少有一个变量对Y有影响)

（2）若干个系数的显著性检验（联合假设检验）分析：这实际上相当于检验g个约束条件

β1=0，β2

=0，…，βg

=0是否同时成立。若H0为真，则正确的模型是：

据此进行回归（有约束回归），得到残差平方和

SR是H0为真时的残差平方和。

若H1为真，正确的模型即原模型：

据此进行无约束回归（全回归），得到残差平方和

S是H1为真时的残差平方和。如果H0为真，则不管X1,…Xg这g个变量是否包括在模型中，所得到的结果不会有显著差别，因此应该有：

S≈SR如果H1为真，则由前面所讨论的残差平方和∑e2的特点，无约束回归增加了变量的个数，应有

S<SR

通过检验二者差异是否显著地大，就能检验原假设是否成立。所使用的检验统计量是：

～F(g,n-k-1)其中，g为分子自由度，n-k-1为分母自由度。使用的作用是消除具体问题中度量单位的影响，使计算出的F值是一个与度量单位无关的量。假设已得到下面结果：（1）全回归估计得到：S=∑e2=25

（2）有约束回归

估计得到：SR=∑e2=30例：给定20组Y,X1,X2,X3的观测值，试检验模型中X1和X3对Y是否有影响？解原假设H0:β1

=

β3

=0

备择假设H1:

H0不成立我们有：n=20,g=2,K=3

用自由度（2，16）查F分布表，5%显著性水平下，Fα=3.63∵F=1.6<Fα=3.63,故接受H0。结论：X1和X3对Y无显著影响

上一段结果的一个特例是所有斜率系数均为0的检验，即回归方程的显著性检验：

H0：

β1

=β2

=…=βk

=0

也就是说，所有解释变量对Y均无影响。注意到g=k，

则该检验的检验统计量为：

（3）全部斜率系数为0的检验（即方程的显著性检验）

分子分母均除以，有从上式不难看出，全部斜率为0的检验实际是检验R2的值是否显著异于0，如果接受原假设，则表明被解释变量的行为完全归因于随机变化。若拒绝原假设，则表明所选择模型对被解释变量的行为能够提供某种程度的解释。

2、关于拟合优度检验与方程显著性检验关系的讨论

由得你认为建立的模型质量如何？假设检验小结：模型：假设：方差分析表变差来源平方和自由度H0成立时的RSSH1为真时的RSS检验统计量：

上面所介绍的检验若干个系数显著性的方法，也可以应用于检验施加于系数的其他形式的约束条件，如

检验的方法仍是分别进行有约束回归和无约束回归，求出各自的残差平方和SR和S，然后用F统计量进行检验。当然，单个系数的假设检验，如H0：3=1.0，亦可用t检验统计量进行检验。3、检验其他形式的系数约束条件检验步骤如下：例：Cobb-Douglas生产函数Y=AKαLβu，试根据美国制造业1899-1922年数据检验规模效益不变的约束：α+β=1解：（1）全回归（2）有约束回归：将约束条件代入，得Y=AKαL1-αu，为避免回归系数的不一致问题，两边除以L，模型变换为：Y/L=A(K/L)αu

回归，得：

可得到约束回归和全回归的残差平方和为SR=0.0716，S=0.0710（3）检验原假设备择假设本例中，g=1,k=2,n=24

用自由度（1，21）查F表，5%显著性水平下，Fα=4.32∵F=0.18<Fα=4.32，故接受原假设结论：我们的数据支持规模收益不变的假设。4、参数的置信区间

参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多“近”。在变量的显著性检验中已经知道：六、多元线性回归模型的预测

1、E(Y0|X0)的置信区间

2、Y0的置信区间对于模型

给定样本以外的解释变量的观测值X0=(1,X10,X20,…,Xk0)，可以得到被解释变量的预测值：

它可以是总体均值E(Y0|X0)或个值Y0的预测。但严格地说，这只是被解释变量的预测值的估计值，而不是预测值。

为了进行科学预测，还需求出预测值的置信区间，包括E(Y0|X0)和Y0的置信区间。

1、E(Y0|X0)的置信区间易知

容易证明:

于是，得到(1-)的置信水平下E(Y0|X0)的置信区间：其中，t/2为(1-)的置信水平下的临界值。2、Y0的置信区间如果已经知道实际的预测值Y0，那么预测误差为：容易证明

e0服从正态分布，即

构造t统计量

可得给定(1-)的置信水平下Y0的置信区间：

七、参数的稳定性检验邹氏参数稳定性检验

建立模型时往往希望模型的参数是稳定的，即所谓的结构不变，这将提高模型的预测与分析功能。如何检验？

假设需要建立的模型为在两个连续的时间序列（1,2,…，n1）与（n1+1,…，n1+n2）中，相应的模型分别为：U1U2

合并两个时间序列为(1,2,…，n1

，n1+1,…，n1+n2)，则可写出如下无约束回归模型

如果=，表示没有发生结构变化，因此可针对如下假设进行检验：

H0:=(*)式施加上述约束后变换为受约束回归模型(*)（**）因此，检验的F统计量为：

记RSS1与RSS2为在两时间段上分别回归后所得的残差平方和，容易验证，于是参数稳定性的检验步骤：

（1）分别以两连续时间序列作为两个样本进行回归，得到相应的残差平方：RSS1与RSS2

（2）将两序列并为一个大样本后进行回归，得到大样本下的残差平方和RSSR

（3）计算F统计量的值，与临界值比较：若F值大于临界值，则拒绝原假设，认为发生了结构变化，参数是非稳定的。该检验也被称为邹氏参数稳定性检验（Chowtestforparameterstability）。2、邹氏预测检验

上述参数稳定性检验要求n2>k。如果出现n2<k

，则往往进行如下的邹氏预测检验（Chowtestforpredictivefailure）。

邹氏预测检验的基本思想:

先用前一时间段n1个样本估计原模型，再用估计出的参数进行后一时间段n2个样本的预测。

如果预测误差较大，则说明参数发生了变化，否则说明参数是稳定的。

分别以、表示第一与第二时间段的参数，则:其中，(*)U2U1U2U2

如果

=0，则

=，表明参数在估计期与预测期相同(*)的矩阵式：

可见，用前n1个样本估计可得前k个参数的估计，而是用后n2个样本测算的预测误差X2(-)(**)如果参数没有发生变化，则=0，矩阵式简化为(***)（***）式与（**）式这里：kU-kR=n2RSSU=RSS1

分别可看成受约束与无约束回归模型，于是有如下F检验：

第一步，在两时间段的合成大样本下做OLS回归，得受约束模型的残差平方和RSSR

；

第二步，对前一时间段的n1个子样做OLS回归，得残差平方和RSS1

；

第三步，计算检验的F统计量，做出判断：邹氏预测检验步骤：

给定显著性水平，查F分布表，得临界值F(n2,n1-k-1)，如果F>F(n2,n1-k-1)

，则拒绝原假设，认为预测期发生了结构变化。

例中国城镇居民食品人均消费需求的邹氏检验。

参数稳定性检验1981~1994：RSS1=0.003240

1995~2001：

(9.96)(7.14)(-5.13)(1.81)

1981~2001:

(14.83)(27.26)(-3.24)(-11.17)给定=5%，查表得临界值F0.05(4,13)=3.18结论：F值>临界值，拒绝参数稳定的原假设，表明中国城镇居民食品人均消费需求在1994年前后发生了显著变化。解H0:=（2）邹氏预测检验给定=5%，查表得临界值F0.05(7,10)=3.18

结论：

F值>临界值，拒绝参数稳定的原假设

在回归分析中，常常碰到这样一种情况，即被解释变量的波动不仅依赖于那种能够很容易按某种尺度定量化的变量（如收入、产出、价格、身高、体重等），而且依赖于某些定性的变量（如性别、地区、季节）。在经济系统中，许多变动是不能定量的。如经济体制的改革、固定汇率变为浮动汇率、从战时经济转为和平时期经济等。些变动都可以用大家所熟悉的0-1变量来表示，用1表示具有某一“品质”或属性，用0表示不具有该“品质”或属性。这种变量在计量经济学中称为“虚拟变量”。虚拟变量使得我们可以将那些无法定量化的变量引入回归模型中。下面给出几个可以引入虚拟变量的例子。八、虚拟变量（Dummyvariables）1、虚拟变量的概念例1：研究学历和收入之间的关系，在你的样本中，既有女性又有男性，你打算研究在此关系中，性别是否会导致差别。例2：研究某省家庭收入和支出的关系，采集的样本中既包括农村家庭，又包括城镇家庭，你打算研究二者的差别。例3：研究通货膨胀的决定因素，在你的观测期中，有些年份政府实行了一项收入政策。你想检验该政策是否对通货膨胀产生影响。上述各例都可以用两种方法来解决，一种解决方法是分别进行两类情况的回归，然后看参数是否不同。另一种方法是用全部观测值作单一回归，将定性因素的影响用虚拟变量引入模型。引入虚拟变量个数的原则：如果一个属性变量有m种类型，则只需引入m-1个虚拟变量。引入虚拟变量的形式：（1）如果斜率系数不变，只研究截距的变化，则以加法形式引入虚拟变量；（2）如果斜率系数不同，则以乘法形式引入虚拟变量；

设Y表示消费，X表示收入，我们有：

}假定β不变。对于5年战争和5年和平时期的数据，我们可分别估计上述两个模型，一般将给出的不同值。现引入虚拟变量D,将两式并为一式：

其中

2、虚拟变量的使用方法（1）截距变动

此式等价于下列两式：