第2章一般回归估计方法

1第二章一般回归方法

在所有经典假设成立的前提下，利用普通最小二乘法估计结果具有优良的线性无偏最小方差的性质。然而，当经典的假设不成立时，普通最小二乘法估计将得不到良好的估计结果，本章将介绍常见的在不符合经典假设情况时的计量经济模型估计方法。

2本章知识框架

§2.1加权最小二乘估计§2.2两阶段最小二乘法§2.3逐步筛选最小二乘估计§2.4广义最小二乘法§2.5对数极大似然估计法§2.6广义矩方法（GMM）§2.7贝叶斯估计3本章主要内容

4

线性回归模型的基本假设

i=1,2,…,N

在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设：

1．解释变量之间互不相关；

2．随机误差项具有0均值和同方差。即i=1,2,…,N

即随机误差项的方差是与观测时点i无关的常数；

3．不同时点的随机误差项互不相关（序列不相关），即s≠0,i=1,2,…,N

5

当随机误差项满足假定1~4时，将回归模型”称为“标准回归模型”，当随机误差项满足假定1~5时，将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假定，普通最小二乘法就不再适用，而要发展其他方法来估计模型。5．随机误差项服从0均值、同方差的正态分布。即~i=1,2,…,N

4．随机误差项与解释变量之间互不相关。即

j=1,2,…,k,i=1,2,…,N

§2.1

异方差性：加权最小二乘估计

671．定义

古典线性回归模型的一个重要假设是总体回归方程的随机扰动项ui同方差，即他们具有相同的方差

2。如果随机扰动项的方差随观测值不同而异，即ui的方差为i2，就是异方差。用符号表示异方差为E(ui2)

=

i2

。

§2.1.1异方差概述

8

异方差性在许多应用中都存在，但主要出现在截面数据分析中。例如我们例如我们调查城镇居民家庭人均文教娱乐支出（Cum）和城镇家庭人均可支配收入（In）之间的关系，建立如下模型：我们将发现高收入家庭人均文教娱乐支出往往会有更大的方差。这是因为低收入家庭，其收入扣除必要生活支出外，用于其他支出的数额较少，因而其波动性也就小。而高收入家庭在扣除了必要的生活支出外，还可以有很大一部分用于其他方面的消费，因而其有比较大的波动性。2．成因（1）模型中遗漏了某些解释变量模型中被省略的解释变量会随着样本的变化而变化，具有差异性，当其被归并到随机项中时，随机项将会有异方差的性质（2）变量样本数据的观测误差一方面，当解释变量取值越大时，测量误差就会变大；另一方面测量误差也跟测量技术，时间等有关9

（3）截面数据中个样本的差异一般而言，异方差在截面数据中比在时间序列中更容易出现，因为在同一时刻，不同样本之间的差异往往会比同一样本在不同时刻的差异要大（4）模型形式设定有误函数设定有误时，解释变量不能很好地解释被解释变量，随机误差项也不具有同方差的性质103.异方差后果（1）最小二乘估计量仍然是线性无偏的，但是却不再具有最小方差，即不是最为有效的估计量，即使对大样本也是如此（2）参数的显著性检验和置信区间的建立会存在问题（3）虽然最小二乘法参数的估计量是无偏的，但是这些参数方差的估计量有偏（4）预测（预测值和区间估计）的精确度降低

11§2.1.2异方差检验图示检验法White异方差检验—辅助回归检验法1213

1.图示检验法

(1)用X-Y的散点图进行判断

观察是否存在明显的散点扩大、缩小或复杂型趋势（即不在一个固定的带型域中）14

（2）X-ûi2的散点图进行判断

首先采用OLS方法估计模型，以求得随机误差项u的方差i2的估计量(注意，该估计量是不严格的)，我们称之为“近似估计量”，用ei2表示。于是有(4.1.5)即用ei2来表示随机误差项的方差。用解释变量x

和ei2的散点图进行观察是否随着x增加，出现方差的逐渐增加、下降或者不规则变化。

15162.White异方差性检验

辅助回归法有多种检验方法，包括BPG异方差检验、Harvey异方差检验、Glejser异方差检验、White检验等方法，其中最为常用的是White检验，几种方法在EViews中的操作方法类似。受篇幅限制，这里只介绍White异方差检验方法。

White(1980)提出了对最小二乘回归中残差的异方差性的检验。包括有交叉项和无交叉项两种检验。普通最小二乘估计虽然在存在异方差性时是一致的，但是通常计算的标准差不再有效。如果发现存在异方差性，利用加权最小二乘法可以获得更有效的估计。

17

检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的。例如：假设估计如下方程(2.1.4)式中b是估计系数，ûi是残差。检验统计量基于辅助回归：(2.1.5)EViews显示两个检验统计量：F统计量和Obs*R2

统计量。White检验的原假设：不存在异方差性（也就是，式（2.1.5）中除0以外的所有系数都为0成立）。18White证明出：（2.1.6）其中：N是样本容量，k为自由度，等于式（2.1.5）中解释变量个数（不包含截距项）。如果计算的2值大于给定显著性水平对应的临界值，则可以拒绝原假设，得出存在异方差的结论。也就是说，回归方程（2.1.5）的R2越大，说明残差平方受到解释变量影响越显著，也就越倾向于认为存在异方差。如果原模型中包含的解释变量较多，那么辅助回归中将包含太多的变量，这会迅速降低自由度。因此，在引入变量太多时，必须谨慎一些。White检验的另外一种形式，就是辅助回归中不包含交叉项。因此White检验有两个选项：交叉项和无交叉项。19表2.1中国2012年城镇居民家庭人均文教娱乐服务消费支出(cum)与城镇家庭人均可支配收入（In）

数据来源：中国统计局

20

例2.1：利用表2.1的数据，建立2012年城镇居民家庭人均文教娱乐服务消费支出(cum)与城镇家庭人均可支配收入（In）的回归模型，样本数为31，建立的回归方程为：

cumi=0+1ini

+ui

利用普通最小二乘法，得到如下回归模型：

用White检验方法对（2.1.7）的回归残差进行异方差检验，建立的辅助回归方程为：

在Eview上选择White，则得到的检验结果为:21

表2.2White检验结果

该结果F统计量和Obs*R2

统计量的P值均很大，表明不拒绝原假设，即残差不存在异方差性。22

异方差的存在并不破坏普通最小二乘法的无偏性，但是估计量却不是有效的，即使对大样本也是如此，因为缺乏有效性，所以通常的假设检验值不可靠。因此怀疑存在异方差或者已经检测到异方差的存在，则采取补救措施就很重要。就选用估计方法来讲，可以采用加权最小二乘法（WeightedLeastSquared,WLS）估计获得有效估计量。加权最小二乘法的原理是将权重序列分别于每个变量的观测值相乘，从而得到一个具有同方差的新模型，然后再对该新模型进行OLS估计。23§2.1.3加权最小二乘估计WLS

1．方差已知的情形考虑一个一元回归线性方程：（2.1.9）假设已知随机误差项的真实的方差，var(ui)=i2，则令

,将模型两端同乘wi，变换为（2.1.10）令ui*=wiui，则（2.1.11）

24

因此，变换后的模型（2.1.10）不再存在异方差的问题，可以用OLS估计。加权最小化残差平方和为：（2.1.11）由此获得的估计量就是权重序列为{wi}的加权最小二乘估计量。25考虑多元线性回归模型的矩阵形式：其中是（k+1）

1维向量，y和X是因变量和自变量矩阵。在矩阵概念下，令权数序列w在权数矩阵W的对角线上，其他地方是零，即W矩阵是对角矩阵，则用W左乘等式两边，得到一个新的模型为：（2.1.13）

估计协方差矩阵为：（2.1.14）

则加权最小二乘估计量为：26§2.1.3加权最小二乘估计WLS

2．方差未知的情形①误差方差与成比例可以根据图示法,把回归残差对解释变量X作图，如果与X成线性相关，即：

可将模型做如下变换：

令，则

27§2.1.3加权最小二乘估计WLS

②误差方差与成比例令

可将模型做如下变换：

令，则类似上面的方程也可以证明可以使用OLS估计。

③用随机项的近似估计值求权重序列该方法的原理是假定通过OLS估计出的残差值的平方代表随机项的方差。因此，也可以求出权重序列。具体操作方法如下：1．选择普通最小二乘法估计原模型，得到随机误差项的近似估计量ût

；

2．建立wi=1/|ût

|的权数序列；

3．选择加权最小二乘法，以wi=1/|ût

|序列作为权，进行估计得到参数估计量。实际上是以1/|ût

|乘原模型的两边，得到一个新模型，采用普通最小二乘法估计新模型。

2829

例2.2利用表2.1的数据，建立2012年城镇居民家庭人均文教娱乐服务消费支出(cum)与城镇家庭人均可支配收入（In）的回归模型为：普通最小二乘估计得出如下回归结果：

在例2.1中我们通过White异方差检验出该模型存在异方差。因此我们需要采用最小加权二乘法对其进行重新估计。30以wi=1/|ûi|为权重序列，将原回归方程的每一项乘以wi，将会消除异方差的存在，变换后的模型为：然后再进行OLS估计，结果如下：

与OLS结果比较，拟合优度与由0.86提高到0.99，说明解释变量对被解释变量的解释程度提高。F值由184.62提高到3023.01，模型的显著性明显改善，说明估计的效果更好，并且对用White异方差检验方法分析该回归方程时，可以看出来用WLS估计得到的结果消除了异方差。

31

1.White异方差检验在将方程进行OLS估计之后，如果需要进行异方差检验，则在界面中选择“View/ResidualTest/HerteroskedasticityTest”,将出现如下的界面：§2.1.4异方差检验与加权最小二乘法的EViews软件实现

32在该界面中，可以选择不同的估计方法。在这里，我们选择White检验法，将会得到结果为：33

加权最小二乘法首先需要用OLS估计模型，得到残差序列，然后构造相应的权重序列按步骤进行WLS估计。然而，EViews给我们提供了相当方便的操作，在完成OLS估计后，再选择新的OLS模型，然后选择Options出现图2.1.1所示的对话框。在Weightseries中输入权重序列w，w为残差序列的绝对值的倒数。（本题中令w=1/abs（resid）），即可：34

单击“确定”估计方程，将同时显示加权最小二乘估计结果和没有采用加权的方法的结果：35§2.2

两阶段最小二乘法TSLS

解决随机解释变量问题3638§2.2

二阶段最小二乘法

回归分析的一个基本假设是方程的解释变量与扰动项不相关。但是，由于解释变量测量误差的存在，用于估计模型参数的数据经常与它们的理论值不一致；或者由于遗漏了变量，使得随机误差项中含有可能与解释变量相关的变量，即随机解释变量问题。这些都可能导致解释变量与扰动项的相关。出现这种问题时，OLS和WLS估计量都有偏差且不一致，因而要采用其他方法估计。最常用的估计方法是二阶段最小二乘法。39

考虑多元线性回归模型的矩阵形式

其中：y和X是因变量和解释变量数据矩阵，是系数向量。

为简化起见，我们称与残差相关的变量为内生变量，与残差不相关的变量为外生变量或前定变量。解决方程右边解释变量与残差相关的方法是使用工具变量回归。就是要找到一组变量满足下面两个条件：（1）与方程解释变量相关；（2）与扰动项不相关；40

选择zi=(z1i,z2i,…,zki)作为工具变量，它与解释变量相关，但与扰动项不相关，即

这些变量就可成为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关性。41

二阶段最小二乘方法（twostageleastsquare，TSLS）本质上属于工具变量法，它包括两个阶段：第一个阶段，找到一组工具变量，模型中每个解释变量分别关于其他外生解释变量、该组工具变量作最小二乘回归，得到拟合值；第二个阶段，所有解释变量用第一个阶段回归得到的拟合值来代替，对原方程进行回归，这样求得的回归系数就是TSLS估计值。可以证明二阶段最小二乘估计量是一致估计量。42

不必担心TSLS估计中分离的阶段，因为EViews会使用工具变量技术同时估计两个阶段。令Z为工具变量矩阵，y和X是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来：

系数估计的协方差矩阵为：其中s2是回归标准差（估计残差协方差）。

43例2.3在表2-2中，给出了我国1990~2013年的国内生产总值和全国居民消费数据。其国内生产总值是通过支出法核算得到的，两组数据的单位均为亿元。以GDP代表国内生产总值，CU为消费水平。建立如下的一元回归模型：本例中可以将工具变量设定为趋势变量t和常数项c。c是对任何模型都是非常好的工具变量，在这里需要注意的是，工具变量中的变量数量一定要大于等于方程中等式右边的内生变量的数量。

44采用两阶段最小二乘法（TSLS）可以得到如下的结果：系数2.88表示了消费（cu）对国内生产总值（GDP）的增加有乘数作用，即消费每增加一单位时，国内生产总值将增加2.88单位。4546

例2.3中的模型的两阶段最小二乘法实现步骤为：第一步，本例中将工具变量设定为趋势变量t和常数项c。c是对任何模型都是一个非常好的工具变量，因此即使用户没有输入常数项c，系统也会将其加入自动加入工具变量的列表中，由于需要趋势变量t，需要在该工作文件中建立一个新序列，命名为“t”，然后输入数字“1990-2013”。第二步，选择“Quick/EstimateEquation”选项，在打开的图2.7所示的方程对话框的“Method”列表中选择“TSLS”估计方法。第三步，在图2.7中对话框列出解释变量和被解释变量，然后在工具变量列表中输入工具变量。474849

第四步，将两阶段最小二乘法的估计结果与普通最小二乘法的估计结果进行比较，图2.9为普通最小二乘法的估计结果。通过比较发现，两阶段最小二乘法消除了解释变量和随机误差项之间的相关性。502.3逐步最小二乘回归

STEPLS：筛选解释变量51522.3.1逐步最小二乘回归

建立回归模型的时候，可能会面临很多解释变量的取舍问题，这些解释变量（包括相应的滞后变量）在经济意义上可能都对因变量有影响而难以取舍，这种情形下，可以通过逐步回归分析方法（stepwiseleastsquaresregression,STEPLS）利用各种统计准则筛选解释变量。53逐步筛选最小二乘法包括两类，前向逐步筛选法（Forward）和后向逐步筛选法（Backward）两种。两种方法都是利用最大t值或者相对应的最小p值作为变量入选标准，即根据变量的显著性进行筛选。前向法是根据最小p值进行逐步回归。首先，设定变量的入选p值标准（比如0.05），即将入选变量的显著性水平设为5%；其次，选择所有变量中p值最小并且小于所设定入选p值标准的变量加入模型，接着在剩余变量中一直筛选下去；当剩余的每个变量加入模型后其p值都大于设定的p值时，或者增加回归变量的数量达到了建模者事先设定的数值时，逐步回归运算结束。逐步筛选最小二乘法实现步骤54

后向法与前向法类似，只不过这种方法一开始就将全部的备选变量加入模型，然后选择p值最大的变量，如果此变量的p值大于事先设定的数值，则将其剔除掉，然后再在剩余的变量中依次选择剔除变量，直到模型中剩余的解释变量所对应的p值都小于设定值，或者增加回归变量的个数达到设定数值时结束筛选。55本例研究的是我国全社会固定资产投资额（inv）的影响因素。采用的是1990-2012年的数据，备选的解释变量是国内生产总值（gdp）居民消费（rc）、政府消费（gc）、国民收入指数（p）以及它们滞后1期的序列。通过逐步筛选最小二乘法最终确定对投资有显著影响的解释变量。本例中，选取的显著性检验水平为0.05，使用逐步筛选最小二乘法的前向法，最终可以得到的模型为：2.3.2.逐步筛选最小二乘法的EViews软件实现56由于国内生产总值滞后项（gdp（-1））居民消费滞后项（rc（-1））全社会固定资产投资额滞后项（inv（-1））系数所对应的p值均小于所设定的检验水平0.05，故选择这3个变量作为模型的解释变量进行建模分析。57以例2.4为实现对象，在方程估计方法选择的对话框中选择“STEPLS-StepwiseLeastSquares”，EViews会显示图2.10所示的窗口，使用逐步筛选最小二乘回归法时，方程的设定只能选用列表法。在上面的对话框中输入要分析的被解释变量和必须要保留的解释变量。在下面的对话框中输入可能会在最终模型中出现的备择解释变量。58图2.10逐步最小二乘分析变量设定对话框59然后，在选项（“option”）中进行设定，“SelectionMethod”是用来设定逐步回归的方法，EViews默认为前向法（“Forward”），本例也是采用这种方法进行分析，还可以采用的方法是向后法（“Backward”）。其次，还需要设定检验的标准：EViews中允许使用p值或者t值来判断，对于本例，我们选用p值来判断，输入其标准为0.05，并且还可以控制回归变量个数，通过“Usenumberofregressors”来完成，即一旦增加或者去掉的变量个数达到这个值时，逐步筛选将会停止。通过设定最大步数（“Maximumsteps”）可以规定逐步筛选运行的最多次数，其中“Forwards”规定了最多的增加变量的次数，而“Backwards”规定了最多的减少变量的次数。60612.4广义最小二乘估计适用于估计同时存在序列相关与异方差问题的模型622.4.1广义最小二乘法概述2.4.2广义最小二乘法的EViews软件实现682.5对数极大似然估计法

极大似然估计法(maximumlikelihood,ML)，是不同于最小二乘法的另一种参数估计方法，是从极大似然原理发展起来的其他估计方法的基础。虽然其应用没有最小二乘法普遍，但在计量经济学理论上占据很重要的地位，因为极大似然原理比最小二乘原理更本质地揭示了通过样本估计母体参数的内在机理，计量经济学理论的发展更多的是以极大似然估计原理为基础的，对于一些特殊的计量经济学模型，只有极大似然方法才是很成功的估计方法。

69

考虑多元线性回归模型的一般形式

t=1,2,…,T

其中k是解释变量个数，T是观测值个数，随机扰动项

那么

yt服从如下的正态分布：

其中70

y

的随机抽取的T

个样本观测值的联合概率函数为

这就是变量y的似然函数，未知参数向量={1,2,…k,2}。对似然函数求极大值和对数似然函数求极大值是等价的，上式的对数似然函数形式为：

71

令为含有未知参数的向量，将lnL分别对求偏导数，并令其为0，即： （2.5.5）从而可以求得的值。利用对数极大似然估计法估计一个模型，主要是建立包含样本中的各个观测值的未知参数的极大似然函数。

72本例将以一元线性回归模型，详细说明对数极大似然的建立过程。例2.5一元线性回归方程的极大似然估计在表中，给出了我国1990-2012年城镇居民的人均可支配收入（inc）和城镇居民人均消费水平（cs），以城镇居民人均消费水平为被解释变量，城镇居民人均可支配收入为解释变量建立如下的凯恩斯消费方程：2.5.2对数极大似然估计法的EViews软件实现式中，α代表了自发消费，β代表边际消费倾向。观测值得个数T=23.利用前面的公式（2.5.4）我们可以写出方程对数极大似然函数：73

（2.5.7）然后对其进行极大似然求解，可以得到α和β的值，写成回归方程的形式为： (2.5.8)对数似然函数值=-154.69AIC=13.71若用最小二乘回归分析该模型，会发现结果与极大似然函数法估计的结果是一样的。7475以例2.5为实现对象，在利用极大似然函数法时，首先创建一个似然对象，选择Object/NewObject/LogL。将会弹出一个空白窗口，在这个窗口里可以输入描述统计模型的说明语句。如图2.15所示。76第一行的是似然贡献序列的说明，即序列中存储了不同时刻t的对数似然贡献，res=cs-c(1)-c(2)*inc计算了残差，参数c(1)、c(2)代表了未知参数，var是对数似然函数式中的待估参数；logl=log(@dnorm(res/@sqrt(var)))-log(var)/2语句是说明极大似然贡献的方程。@dnorm函数指的是标准正态分布。似然函数的说明语句输入完毕之后，点击Estimate，再按下“确定”按钮，即可得到极大似然函数的估计结果，如图2.16所示。77§2.6广义矩估计方法（GMM）广义矩估计GMM是基于模型满足的一些矩条件而形成的一种参数估计法，是矩估计方法的一般化。7879

广义矩估计方法（GMM）是基于模型实际参数满足一些矩条件而形成的一种参数估计方法，是矩估计方法的一般化。如果模型的设定是正确的，则总能找到该模型实际参数满足的若干矩条件而采用GMM方法。GMM估计的出发点是参数应满足的一种理论关系。其思想是选择参数估计尽可能接近理论上的关系。把理论上的关系用样本近似值代替，并且估计量的选择就是要最小化理论值和实际值之间的加权距离。80

由于传统的计量经济模型估计方法，例如普通最小二乘法、工具变量法、极大似然法等，都有它们的局限性，其参数估计量必须在模型满足某些假设时才具有良好的性质，如只有当模型的随机误差项服从正态分布或某一已知分布，极大似然法估计量才是可靠的估计量；而GMM估计是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差项存在异方差和序列相关，所得到的参数估计量比其他参数估计方法更合乎实际；而且可以证明，GMM包容了许多常用的估计方法，普通最小二乘法、工具变量法、极大似然法都是它的特例。812.6.1矩法估计量

矩估计是基于实际参数满足一些矩条件而形成的一种参数估计方法，如果随机变量Y的期望值是，即

则是满足相应的样本矩条件，即

82

现在，考虑一元古典线性回归模型中的假设条件：

其所对应的样本矩条件分别为

这就是OLS估计量的正规方程组。因此，OLS估计量是一个矩法估计量。83

再比如二阶段普通最小二乘法中，假定解释变量与随机扰动项可能相关，找到一组与扰动项不相关的工具变量Z，因而正规方程组发生变化，由矩条件：得到了如下参数估计量形式。因此许多标准估计量，包括所有EViews提供的系统估计量，都可以看作GMM估计量的特例。84

参数要满足的理论关系通常是参数函数

f()

与工具变量zt之间的正则条件：

,是被估计参数

其中m()=f()Z,

A是加权矩阵；任何对称正定矩阵A都是的一致估计。然而，可以推出要得到

的（渐近）有效估计的一个必要条件是令A等于样本矩m的协方差矩阵的逆。

GMM估计是选择最小加权距离估计量。选择参数估计量的标准是使样本距之间加权距离最小。用函数表示为：2.6.2广义矩估计85

权重矩阵也可以根据每个样本矩条件估计的准确程度来设置，可用方差度量，例如，对估计较准确的矩条件给予较大的权重，对估计较不精确的矩条件给予较小的权重。在实际应用中，可以采用已有文献推荐的权重矩阵，例如，如果随机误差项存在异方差且不存在自相关，white（1980）提出了权重矩阵的估计量为：如果随机误差项存在自相关，Newey和West(1987)提出权重矩阵的估计量为：其中，，，86

下面考虑多元线性回归模型的GMM参数估计，假设回归方程为

t=1,2,…,T其中：解释变量向量xt=(x1t，x2t，…，xkt)，参数向量

=(1，2，…，k

)，T是样本个数。对于k维单方程参数向量

的GMM估计，由于解释变量向量xt与随机扰动项ut可能相关，因此可以假设存在含有L(Lk)个分量的工具变量向量zt与随机扰动项不相关（如果假设xt与随机扰动不相关，zt就是xt），t时刻含有L个变量的向量zt与ut满足L个正交的矩条件：

其中：zt

=(z1t，z2t，…，zLt)是L维向量。87

相应的L个样本矩为

其中：Z是工具变量数据矩阵，是回归方程的残差序列。选择参数估计量b，使下式所示的加权距离最小。

样本矩的协方差矩阵为

可以使用White异方差一致协方差或Newey-WestHAC一致协方差估计矩阵，则A=-1

。88

例2.6

在表2.6中，给出了我国1978-2012年国民生产总值（gdp）和居民的最终消费值（cs）以国民生产总值（gdp）为被解释变量，城居民的最终消费值（cs）为解释变量建立如下方程：2.6.3广义矩估计法的EViews软件实现89

选取国民生产总值的一阶滞后项（gdp（-1））、居民最终消费的一阶滞后项（cs（-1））、以及年份（t）为工具变量，采用广义矩估计法进行估计，最终可得到下面的结果：J统计量是目标函数的最小值，即通过计算得到的加权距离Q的值。9091

例2.6的实现步骤为，首先，在方程估计方法选择的对话框中选择“GMM-GeneralizedMethodof”,EViews会显示图2.10所示的窗口，使用广义矩估计法时，方程的设定只能选用列表法。