第三章回归分析基础new

1、第三章 回归分析基础3.1 回归模型简介 一、数据、变量与模型 数据是进行模型分析的基础。一般地，数据可分为三类：一类为截面数据（Cross-Section Data），一类为时间序列数据(Time-Series Data), 另一类为平行数据（Panel Data）或混合数据(Mixed Data)。 截面数据研究个体在某个时点上的变化情况。例如，2001年1月末，全国各省、自治区、直辖市的国内生产总值（GDP）、财政收入、财政支出、货币发行量、固定资产投资额、进出口总额等，均为截面数据。再如，在某一时点上，某地区家庭费用开支数据，也是典型的截面数据。 时间序列数据是研究个体在一定时期内的变

2、化情况。时间序列数据在日常生活中随处可见。例如，建国以来我国历年的国内生产总值（GDP）数据、居民消费额数据、零售物价指数数据等，均为时间序列数据。 平行数据是截面数据与时间序列数据的复合体，它既研究某段时间内个体的变化情况，又研究个体在每个时点上的变化情况。 变量是构成模型的框架，是对个体不确定性的一种因素度量。一般可将它分为两类：内生变量（Endogenous Variable）和外生变量（Exogenous Variable）。 内生变量是指由经济系统本身决定的变量。外生变量则指经济系统本身无法决定、并由外部因素决定的变量。内生产变量也称联合决定变量(Jointly-Determined

3、 Variables)。外生变量也称前定变量(Predetermined Variables)。例如，在简单的原油供求模型： （需求方程） （供给方程）中，原油总量和原油价格均为内生变量，而国民收入和降雨量均为外生变量。值得注意的是，内生变量与外生变量的认定并不是一成不变的，在一定条件下二者可以相互转换，应视研究对象和研究目的的不同而不同。此外，内生变量与外生变量的划分直接关系到模型参数的估计与推断，这是后话。模型是数据与变量的有机合成，它以一定的经济理论为指导，并与变量的结构形式有关，是对经济关系最直观的表述。按照不同的标准，可将模型分为不同的类型。从方程个数角度划分，可将模型分为三类：第一

4、类为单方程模型。例如，研究货币投放量与国内收入之间的关系，可建立方程：这是一个时间序列的单方程经济计量模型，其中，为随机误差项。第二类模型为多方程模型。例如，在研究教育消费支出与收入的关系，以及住房消费支出与收入的关系时，有如下方程组： 其中，和均为随机误差项。在此二方程间没有必然联系，可以放在一起研究，也可以拆开单独研究。放在一起研究的好处是可同时分析教育与住房消费支出的结构行为，便于更深入地发掘二者之间内在的关联性。 第三类模型为联立方程组。联立方程组模型的显著特点是：方程之间存在高度的结构依存关系。例如，下面是一个三方程的供给需求模型： （供给方程） （需求方程） （平衡方程）在此方程组

5、中，由于供给方程、需求方程和平衡条件共同决定了市场处于均衡时的价格和供给量（也即需求量），故变量、和为内生变量，它们的值由模型内的方程确定。同时，和（收入）并不由模型直接决定，是外生变量。这里，价格滞后变量虽本质上仍由模型内部来决定由价格变量的前期值确定，但通常的做法是，只要包含滞后内生变量的方程的误差项不存在序列相关，则认定该滞后内生变量为先决变量，即外生变量。显然，此供给需求模型的三个方程间存在结构依存关系，它不同于多方程模型。 二、模型的拟合建立模型的目的是通过探讨变量间的依存关系，定量、科学地反映经济问题的本质，发现规律，预测未来，把握事物的发展动向。由于变量间结构依存关系通常都很复杂

6、，因此，我们采取循序渐近的方法进行研究。也即先简单后复杂、先特殊后一般的方法。假定我们对变量和之间的关系感兴趣，并由散点图可以看出：与之间存在近似的线性关系。我们的任务是如何具体求出与之间这种近似的拟合直线，并且，在某种意义下这条拟合直线为“最佳拟合直线”。“最佳”的标准有很多，但最常用的和最基本的即为“最小二乘准则”，或称“最小二乘原理”。我们先介绍它的基本思想和基本公式。最小二乘原理是求最佳拟合直线，使各个样本点到该直线的离差平方和达到最小。最小二乘原理的研究始于十九世纪初，1806年和1809年先后由著名数学家A. M. Legendre和 C. F. Gauss独立地提出，并将它应用于

7、观测数据的误差分析。1900年，A. A. Markov证明了线性单方程模型下回归系数的最小二乘估计在线性无偏差估计类中具有最小的方差。即证明了著名的Gauss-Markov定理，从而确立了最小二乘法（或原理）在模型参数估计理论中的地位。印度统计学家C. R. Rao在二十世纪中叶系统地发展了最小二乘理论，形成所谓“最小二乘统一理论”，极大地推动了最小二乘理论的研究，为模型的广泛应用奠定了坚实基础。设有个观测点，并且，和之间存在理论方程：由于有观测误差等因素存在，我们可写出和之间如下的回归模型： 最小二乘原理是求参数和的估计和，使拟合直线与各个样本点之间的整体误差达到极小。亦即，有公式：以后，

8、称为拟合直线的截距估计值，称为拟合直线斜率的估计值，而称为第个观测的预测值。利用求导理论，不难推导出和的计算公式。事实上，为使达到最小，可对求关于和的偏导数，并令其为0，得到：化简方程得到如下正规方程组： （3.1.1） （3.1.2）用和分别乘以（3.1.1）和（3.1.2）两端后，再将二方程相减，得到： 亦即： 现举例说明最小二乘原理的应用。例2.1.1某省19781986年居民消费品购买力与居入货币收入的统计数据如下表所示（单位：10亿元）：表2.1.1购买力与货币收入数据年份19788.511.698.6134.5672.25197911.114.1156.51198.81123.21

9、8013.617.1232.56292.41184.968115.819.6309.68384.16249.648217.622.1388.96488.41309.768320.525.6524.80655.36420.258427.833.6934.081128.96772.848533.540.51356.751640.251122.258639.247.81873.762284.841536.64187.6232.05875.707207.764791.80平均20.8425.78（1）试建立对的一元线性回归模型；（2）对回归方程进行显著性检验；（3）设居民货币收入下年将增长19%，试预

10、测居民消费品购买力；（4）在置信度95%下求1987年居民消费品购买力的区间估计、斜率估计分别为：故拟合直线为：回归方程的显著性检验采用相关系数检验。由 计算得：。查水平，自由度为的相关系数临界值表，得临界值。可见，故回归方程高度显著，初步可应用于预测。（3）若居民货币收入下年增长19%，则有：代入拟合直线方程，得到：（10亿元）（亿元）（4）先求剩余平方和：于是，剩余标准差为。故置信区间的宽度为： 取显著水平，则有：从而的置信度为0.95的置信区间为：即该省1987年的居民消费品购买力将有95%的把握程度落入463.1亿元与480.9亿元之间。 下面的例子取自Econometric,mode

11、ls and Economic Forecasts (4th Edition),1998罗伯特S。平荻克（Robert S.Pindyck）丹尼尔L.鲁宾劳尔德（Daniel L .Rubinfeld）钱小军等译The McGraw-Hill Companies,lnc计量经济模型与经济预测1999.11.北京 机械工业出版社。例2.1.2平均成绩。表2.1.2 学生平均成绩与家庭收入数据平均成绩（父母的收入/1000美元）4.021.03.015.03.515.02.09.03.012.03.518.02.56.02.512.0例2.1.3 诉讼案件分析（P7）例2.1.4 公用事业公司股票

12、价格分析（P7）3.2 多元线性回归模型现在，我们将上节讨论的一元线性回归模型推广至多元线性回归模型的情形。一、 经典线性回归模型与GM假定我们讨论的经典线性回归模型如下： (3.2.1)其矩阵表达形式为： （3.2.2）其中 （3.2.3）并且，Y 响应变量（或因变量）观测值的阶列向量；X 解释变量（或自变量）观测值的阶设计矩阵； 未知参数的阶列向量，并称之为回归系数向量； 阶随机误差向量（或扰动向量）。矩阵X中的每个元素均有两个下标，第一个表示相应的列（变量），第一个表示相应的行（观测值）。X的每一列代表一个变量的N个观测值向量，截距项的所有观测值都等于1。 经典线性回归模型的假设条件可以

13、表述如下： （1）模型形式由 (2.1)线性地确定线性性假定。 （2）X的元素不是随机的，且具有有限的方差。此外，X的秩为k， rank ( X ) = k，即X为列满秩矩阵，并要求k小于观测值个数N。称此条件为无完全共线性假定。（3）满足E（）= 0，且方差-协方差矩阵为。进一步，如作假设检验，则还假定服从正态分布。其中，为N阶单位矩阵其中，而表示的转置向量。在文献中称此组条件为高斯马尔可夫（Gauss-Markov）条件，简称为GM条件或GM假定。系数矩阵X的秩为k的假设条件保证了解释变量之间不存在完全共线性，其各自包含的信息是独立的，不相互重叠。完全共线性即X的某一列是其余各列的线性组合

14、。此时，X的秩就小于k。在GM条件中，关于误差向量的假设条件是最强的，它们保证了模型参数在普通最小二乘估计过程中的统计与算术特性。条件（3）除正态性假定之外，还包含两个最重要的假定条件序列无关性和方差齐性。事实上，由于E（）= 0，即满足无偏性假定，故误差向量的方差一协方差矩阵可以表示如下：可见，误差向量的每个分量的方差为常数，, ，在文献中称此条件为误差向量满足方差齐性假定；而任意两个分量与 之间的协方差为0，即， ，从而误差分量之间两两不相关，在文献中称此条件为误差向量满足序列无关性假定。称满足上述GM假定的模型为经典线性回归计量模型。这一模型是传统经济计量模型的核心，也是在二十世纪50年

15、代中叶以前得到广泛研究、并取得理想结果的模型。有关此模型的研究及其应用，构成了传统经济计量学的主体。二、 最小二乘原理与模型参数估计 线性模型参数估计问题的研究可以追溯到十九世纪初。著名数学家勒让德（AMLegendre）和高斯（CFGauss）先后于1806年和1809年独立地把最小二乘原理应用于观测数据的误差分析。后来，前苏联数学家马尔可夫（AAMarkov）于1900年证明了最小二乘估计的方差最小性质，即著名的GaussMarkov定理，奠定了最小二乘原理在参数估计理论中的地位。数学家利用RCBose于1944年引入的可估函数概念，以及广义逆矩阵的应用，使得设计阵为列降秩时的线性模型参数

16、估计理论表述得更加严格而简洁。误差协方差降为奇异阵的线性模型研究则始于二十世纪60年代中期。Goldman和Zelen率先提出了用满秩线性变换把模型化为方差-协方差阵是且带线性约束的情形。后来，印度统计学家CRRao采用推广最小二乘法的途径，提出了 “最小二乘统一理论”（The Unified Theory of Least Squares）。这种方法既适用于设计矩阵列满秩或列降秩，又适用于方差-协方差陈奇异情形。而几乎在同一时期，CRRao还提出了另一种方法“分块逆矩阵法”。当然，还存在其它一些估计方法，如极小极大估计法等。这些结果构成了线性经济计量模型最小二乘估计理论的基本内容。本段仅讨论

17、设计矩阵具有列满秩的经典线性经济计量模型的参数估计问题。对于其它更广泛的线性经济计量模型，则由于时间关系在此省略。在最小二乘原理下，我们的目的是寻找参数向量的估计，使下式成立： （3.2.4）称满足（3.2.4）式的为的一个最小二乘解（简称LS解）。现记 则求的LS解，等价于求的最小值。利用矩阵微商理论，有：， 故成立：令，求得正规方程组： （3.2.5）在GM假定下，由于X列满秩，故的逆矩阵存在。由正规方程组（3.2.5）解得回归系数向量的LS解为： （3.2.6）此外，由于X列满秩，故的一切线性函数均为可估函数，因而也为可估函数。不难算得，故为的无偏估计。此时，我们称LS解为的最小二乘估计

18、，简称为的LS估计。亦即，只有当可估时，我们才称为的LS估计；否则，我们称为的LS解。所谓线性组合为可估函数是指：存在向量a，使成立对一切均成立。是否为可估函数，可以通过下述定理来验证和判断：定理3.2.1 为可估函数。其中，表示矩阵的列向量张成的线性子空间。此定理表明：使可估的全体向量c构成线性子空间。将（3.2.6）代入模型（3.2.2），并记，分别称和为预测值向量与残差向量。故有： （3.2.7）不难验证，为对称的幂等矩阵，从而为正交投影矩阵，并且，使Y在线性空间上的正交投影为。具体几何解释见下图。 H Y 三、最小二乘原理与模型参数估计 我们首先指出：对于任意一个可估函数，其无偏估计有

19、无穷多个。事实上，设为矩阵X的列张成的线性空间，为其正交补空间。假定为的一个无偏估计，则对任意向量，由于有：=从而也是的一个无偏估计，即有无穷多个的无偏估计。于是，对任意线性函数，它的线性无偏估计或者有无穷多个，或者一个也没有。进一步，当为可估函数时，在其无穷多个线性无偏估计中，方差最小者称为最佳线性无偏估计（Best Linear Unbiased Estimate），简记为BLU估计。定理3.2.2（GaussMarkov定理）对任意可估函数，LS估计为其惟一的BLU估计。证明：由（3.2.6）知，为的无偏估计，并且，它关于Y为线性函数。下证在线性无偏估计类中具有最小的方差。事实上，有：

20、现设为的任一个线性无偏估计，则有：即有：从而有：于是，有：并且，等号成立当且仅当，亦即，当且仅当=。 证毕。GaussMarkov定理的证明，为LS估计在线性计量模型参数估计理论中的广泛应用奠定了基础。在二十世纪50年代前，人们一直使用LS估计来对线性计量模型参数作出估计，并认为是最好的估计。直到1956年，统计学家Stein发现：在多元正态总体中，当时，均值的LS估计，在均方误差（Mean Squares Error，简记为MSE）意义下为不可容许估计，亦即，还有比LS估计更好的估计存在。这一震惊统计学界和经济计量学界的发现，导致了模型参数有偏估计的研究，并发展了著名的JamesStein理

21、论，极大地推动了模型参数估计理论的发展。直到今天，这一领域仍然是经济计量学、统计学及经济建模理论研究的热点和难点。尤其是在非传统假定下的相关理论研究。四、残差与方差估计现讨论模型（3.2.2）在GaussMarkov假定下尺度参数的估计问题。为此，先对残差向量的性质作一介绍。不难看出： （3.2.8）并称为帽子矩阵，它使得： （3.2.9）帽子矩阵H在现代经济计量建模和统计建模中起着十分重要的作用，由于涉及内容广泛，在此不作详细探讨。下面给出残差向量的基本性质：（1）（2）由此可知，残差向量不满足方差齐性条件。（3）若，则。残差向量的重要应用是改造方差的估计。我们有：定理3.2.3 为的一个无

22、偏估计。其中，k = rank (X )，并记，称之为残差平方和。证明：因为为幂等矩阵，故有： （3.2.10）利用公式： （3.2.11）其中，X为维随机向量， 而A为对称方阵，则有： （3.2.12）但由于故有 =亦即，为的无偏估计。 证毕。关于参数的估计，还有许多其它方法。例如，的最优二次无偏估计、最小范数二次无偏估计等。在此，不作进一步探讨。 五、正态线性模型若将模型（3.2.2）中的误差项进一步设定为服从正态分布的随机向量，即，则有正态线性模型： ， （3.2.13）对此，我们有： 定理3.2.4 设为任一可估函数，为的任一解，则有： （1）为的极大似然估计（ML估计），且有：（2）

23、为的ML估计，且有：（3）与相互独立。 证明：和的似然函数为： 在上式取对数，并对和分别求微商，令其等于零，得： 解此方程组，得和的ML估计分别为：又对任何函数，为其ML估计。而为的线性函数，故有：另一方面，故有： = =其中，,再由的幂等性，以及故有：最后，由于和分别为正态向量的线性型和二次型，而，故知和相互独立。六回归模型的检验、置信区间与预测控制1 一元回归模型的检验、置信区间与预测（1） 回归系数的假设检验。对于一元正态线性回归模型设和分别为和的LS估计。下面讨论对回归系数所作的假设检验：,其中为已知常数。由定理2.2.4知，在成立下，有：其中，为的无偏估计。事实上，由于，故有：，且与

24、相互独立，故知：分布。其次，当假设不成立时，亦即的真值与偏差较大时，作为的估计也将趋于偏差较大，从而趋向于偏大。综上，我们得到检验的方法：对给定显著性水平，查表求得，并计算观测值T。若有，则接受假设，认为回归系数与无显著性差异。（2）线性回归模型的显著性检验要检验一元线形回归模型中与有无线性关系，归结为检验假设，可见，在一元回归下模型的显著检验归结为对回归系数的显著性检验。于是，对给定显著性水平，检验统计量为：查自由度，水平为的七分布表，可得临量值，若，则认为线形回归模型显著，否则，认为线形回归模型不显著。（3）回归系数的置信区间。由于，故对给定显著性水平，有：从而，的置信度为的置信区间为：（

25、4）预测与控制当我们获得预测方程：后，要对预测未来的一个值预测相应的值。显然，的预测值为这个预测值的好坏与误差的大小有关，因而需要给出一个的预测区间。此模型的预测问题。反之，若将的取值限制在某个范围，应对的取值怎样控制，此即控制问题。当时，的值为：。假定与相互独立，。以下利用来求的预测区间。由于与均为正态随机变量，且有： 但由于对给定的水平，有：故的置信度为的预测区间为：其中，而在处置信度为的预测区间为：。其中，当变化时，得到两条曲线和如下图。在处的预测区间是横坐标为而平行于轴的直线夹在两条曲线之间的部分，它的长度为。当时，预测区间最小，预测最精确。2多元回归模型的假设检验区间估计与预测（1）

26、 线性回归模型的显著性检验在实际建模过程中，我们并不能预先指定响应变量与一组解释变量之间确实存在有线性关系，线性回归模型（2.2.1）只是一种假设。因此，对线性假设进行检验。于是，提出零假设：。若被否定，则表明模型（2.2.1）不适合，即认为线性回归不显著；否则，认为线性回归显著。为对建设作出检验，我们需将总平方和作如下分解： 记并称为残差平方和，它反映了随机误差对的影响；称回为回归平方和，它反映了解释变量的取值对的影响。可以证明，在假定下，有：回并且，和回相互独立。现令：，则，故得下述检验法则：对给定水平，查表得，当时，当时拒绝；否则，接收。（2） 回归系数的显著性检验。变量对的用是否显著，可归结为检验假设：。在条件下，设，其中，为矩阵的第个对角元素，