计量经济学第二章 经典线性回归模型

1、第二章第二章 经典线性回归模型经典线性回归模型 （Classical Linear Regression Model）第一节 线性回归模型的概念第二节 线性回归模型的估计第三节 拟合优度第四节 非线性关系的处理第五节 假设检验第六节 预测第七节 虚拟变量第一节 线性回归模型的概念 一. 双变量线性回归模型 我们在上一章给出的需求函数的例子 Q =+P + u （2.1）是一个双变量线性回归模型，模型中只有两个变量，一个因变量，一个解释变量，由解释变量的变动来解释因变量的变动，或者说用因变量对解释变量进行线性回归，因而称为双变量线性回归模型双变量线性回归模型，亦称简单线简单线性回归模型性回归模型

2、。让我们再看一个例子。 C =+D + u (2.2) 这是凯恩斯消费函数，其中C为消费支出，D为个人可支配收入，u为扰动项（或误差项）。4 此模型中，方程左端的消费支出（C）为因变量（或被解释变量），方程右端的个人可支配收入（D）为解释变量（或自变量）。和是未知参数，由于双变量线性回归模型的图形是一条直线，因而和习惯上又分别称为截距和斜率。这里斜率的含义是解释变量增加一个单位所引起的因变量的变动。例如在(2.2)式中，的含义是个人可支配收入增加一个单位所引起的消费的增加量，经济学中称之为边际消费倾向（MPC）。截距的含义是解释变量为0时的值。截距有时有经济含义，但大多数情况下没有，因此，在计

3、量经济分析中，通常不大关注的取值如何。5 在教学中，我们习惯上采用Y表示因变量，X表示解释变量，双变量线性回归模型的一般形式为： Y =+X + u 在实践中，此模型被应用于因变量和解释变量的一组具体观测值 和 （t=1,2,n），因而模型表示为： =+ + ut t =1,2,n (2.3) 它表明，对于n个时期t =1,2,n，该模型成立。更一般的形式为： = + + ui , i = 1, 2, .,n (2.4) 即模型对X和Y的n对观测值（i=1,2,n）成立。 (2.3)式一般用于观测值为时间序列的情形，在横截面数据的情形，通常采用(2.4) 式。tYtXtYtXiYiX6二、 多

4、元线性回归模型 在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关。因此，有必要考虑线性模型的更一般形式，即多元线性回归模型： t=1,2,n 在这个模型中，Y由X1、X2、X3、 XK所解释，有K+1个未知参数0、1、2、K 。 这里，“斜率”j的含义是其它变量不变的情况其它变量不变的情况下下，Xj改变一个单位对因变量所产生的影响。tktktttXXXYu.221107 例例2.2 2.2 食品需求方程食品需求方程 其中，Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数 用美国1959-1983年的数据，得到如下回归结果（括号中数字为标准误差）：u210PXY)1

5、14. 0()003. 0()6 . 9(99. 0739. 0112. 07 .1162RPXY），（数总消费支出价格平减指食品价格平减指数1001972100PY和X的计量单位为10亿美元 (按1972不变价格计算).8多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10亿美元（1个billion），食品消费支出增加1.12亿元（0.112个 billion）。 收入不变的情况下，价格指数每上升一个点， 食品消费支出减少7.39亿元（0.739个billion）9回到一般模型 t=1,2, ，n即对于n组观测值，有tktktttXXXY

6、u.22110nKnKnnnnKKKKuXXXXYuXXXXYuXXXXY.33221102232322212102113132121110110其矩阵形式为： 其中 nYYYY.21KnnKKXXXXXXX.1.1.11212111uXYnKuuuu.,.2121011第二节 线性回归模型的估计 一经典一经典线性回归模型的统计假设（1）E(ut)=0, t=1,2,n 即各期扰动项的均值（期望值）均为0。均值为0的假设反映了这样一个事实：扰动项被假定为对因变量的那些不能列为模型主要部分的微小影响。没有理由相信这样一些影响会以一种系统的方式使因变量增加或减小。因此扰动项均值为0的假设是合理的。

7、 12（2）E(ui uj)=0, ij 即各期扰动项互不相关。也就是假定它们之间无自相关或无序列相关。 实际上该假设等同于： cov( ui, uj) = 0, ij这是因为： cov(ui, uj) = Eui - E(ui)uj - E(uj) = E(uiuj) 根据假设（1） （3）E(ut2)=2, t=1,2,n 即各期扰动项的方差是一常数，也就是假定各扰动项具有同方差性。这是因为： Var(ut)=Eut-E(ut)2= E(ut2) 根据假设（1）13 （4）Xjt是非随机量， j=1,2, k t=1,2, n （5）（K+1） n; 即观测值的数目要大于待估计的参数的个数

8、 （要有足够数量的数据来拟合回归线）。（6）各解释变量之间不存在严格的线性关系。上述假设条件可用矩阵表示为以下四个条件：14A1. E(u)=0 A2.由于 显然， 仅当 E(ui uj)=0 , ij E(ut2) = 2, t=1,2,n 这两个条件成立时才成立，因此， 此条件相当前面条件(2), (3)两条，即各期扰动项互不相关，并具有常数方差。22122212121212121.nnnnnnnuuuuuuuuuuuuuuuuuuuuuuunIuuE2)(nIuuE2)(15A3. X 是一个非随机元素矩阵。 A4. Rank(X) = (K+1) n. -相当于前面 (5) (6) 两

9、 条 即矩阵X的秩 =（K+1)0,b0) M = a(r - 2)b这里，变量非线性和参数非线性并存。对此方程采用对数变换 logM=loga+blog(r-2) 令Y=logM, X=log(r-2), 1= loga, 2=b 则变换后的模型为： Yt=1+2Xt + ut 64 将OLS法应用于此模型，可求得1和2的估计值 ，从而可通过下列两式求出a和b估计值： 应当指出，在这种情况下，线性模型估计量的性质（如BLUE,正态性等）只适用于变换后的参数估计量 ，而不一定适用于原模型参数的估计量 和 。21,112log( )(e )aab21和a b65 例2.8 上例在确定货币需求量的

10、关系式时，我们实际上给模型加进了一个结束条件。根据理论假设，在某一利率水平上，货币需求量在理论上是无穷大。我们假定这个利率水平为2%。假如不给这一约束条件，而是从给定的数据中估计该利率水平的值，则模型变为： M = a(r - c)b 式中a,b,c均为参数。仍采用对数变换，得到 log(Mt) = loga + blog(rt - c) + ut t=1,2,n 我们无法将log(rt-c)定义为一个可观测的变量X, 因为这里有一个未知量c。也就是说，此模型无法线性化。在这种情况下，只能用估计非线性模型参数值的方法。66四非线性回归 模型 Y = a(X - c)b是一个非线性模型，a、b和

11、c是要估计的参数。此模型无法用取对数的方法线性化，只能用非线性回归技术进行估计，如非线性最小二乘法（NLS）。该方法的原则仍然是残差平方和最小。计量经济软件包通常提供这类方法，本书第五章将对非线性回归方法作较深入的介绍，这里仅给出有关非线性最小二乘法的大致步骤如下：67非线性回归方法的步骤1首先给出各参数的初始估计值（合理猜测值）;2用这些参数值和X观测值数据计算Y的各期预测 值（拟合 值） ; 3计算各期残差，然后计算残差平方和e2; 4对一个或多个参数的估计值作微小变动； 5计算新的Y预测值 、残差平方和e2； 6若新的e2小于老的e2，说明新参数估计值 优于老估计值，则以它们作为新起点；

12、 7重复步骤4，5，6，直至无法减小e2为止。 8最后的参数估计值即为最小二乘估计值。YY68第五节 假设检验 本节讨论经典线性回归模型的区间估计和假设检验问题。我们的模型是： 在第二节中我们证明了在扰动项服从正态分布的假设（A5）下， j0,1,k 其中 cjj 为矩阵 中的（j1, j1）元素（主对角线上第j1个元素）。 这一结果为基于OLS估计量的假设检验提供了坚实的基础。0112233.1,2,.,ttttKKttY X X X Xutnj2(,)jjjNc 1()X X69一、的置信区间 我们可构造一个检验统计量 该变量服从均值为0、标准差为1的标准正态分布。 与估计量相联系的概率分

13、布的标准差，通常称为标标准误差准误差（standard error），用Se表示。 的标准误差为： ()jjjjjjjjEzccj()()jjjjSeVarc70 如果为已知，则由于检验统计量z服从标准正态分布，因而我们可以立即给出总体参数 的95%的置信区间为：1.96jjjcj 但实际上，我们一般无法知道扰动项分布的方差 ，而必须根据观测值数据估计出 ，然后再来考虑 的置信区间的计算问题。22j71 1 2 的估计的估计可以证明， 2的无偏估计量是 式中 是残差平方和，分母是 的自由度，这是因为我们在估计 的过程中，失去了（K+1）个自由度。2. 的置信区间的置信区间我们重新定义 的标准误

14、差为：) 1(22Knetk,. ,102te2tej()jjjSecj72则检验统计量 不再服从标准正态分布，而是服从自由度为（n-k-1）的t分布，即()jjjjjjjjEtcc()(1)jjjjjjjjEtt nkcc这里n和k分别为观测值和解释变量的数目。故 的（1）置信区间为： 其中为显著性水平，通常取0.05。j/2(1)jtnkjjc73例2.9 回到食品需求的例子（例2.2）： 其中，Y=在食品上的总支出， X=个人可支配收入 ，P=食品价格指数 用美国1959-1983年的数据，得到如下回归结果（括号中数字为标准误差）： 求 的95置信区间。012uYXP2116.70.11

15、20.7390.99(9.6) (0.003) (0.114)YXPR174由回归结果可知， ，我们不难得到 的95置信区间为：110.112,()0.003Se11/210.025(1)()(252 1)()0.1122.074 0.0030.1120.0062jjtnkSetSe即为0.10580.1182。75二、假设检验的逻辑和步骤二、假设检验的逻辑和步骤 假设检验始于一个给定的假设，即所谓“原假设”，亦称“零假设”，然后计算检验统计量，这个检验统计量在原假设成立的假定下的概率分布是已知的。下一步是判断计算出的检验统计量的值是否不大可能来自此分布，如果判断是不大可能，则表明原假设不大可

16、能成立。 我们用一个例子来说明上述有关假设检验的思路。设有一个原假设规定 的值为 ，这里 是研究人员选择的一个值，如果这个原假设（H0： ）成立，我们知道统计量 j0j0jj0j0()jjjtSe76应服从自由度为 (n-k-1) 的t分布，即0 (1)()jjjtt nkSe如果原假设不成立，则备择假设H1： 成立。0jj 用于计算t的所有的量都是已知的，可以用估计值 及其标准误差Se( )算出t的值，因此t可作为检验统计量用于假设检验，如果算出的t值绝对值过大，落入t分布的尾部，意味着原假设不大可能成立，因为在原假设成立的情况下，得到这样一个t值的概率很小。jj77 由上面的说明不难看出，

17、假设检验可以说就是检验是否出现了小概率事件，如果出现小概率事件，则拒绝原来关于总体参数的假设；如果检验表明得到的样本值并不属于小概率事件，即若我们的假设成立，得到该样本值的概率不算小，则我们不能拒绝原来的假设，或者说，我们“接受”原假设。 问题是，我们上面提到的概率究竟应该小到什么程度才算小。一般说来，这取决于我们愿意承担的拒绝一个正确的假设和接受一个错误的假设这两方面的风险。在实践中，一般习惯于取5%作为拒绝假设的临界水平，称为5%的显著性水平。78假设检验的具体步骤是：（1）建立关于总体参数的原假设和备择假设；（2）计算检验统计量，检验原假设（是否出现小概率事件）；（3）得出关于原假设是否

18、合理的结论。例例2.10 仍用食品需求的例子（例2.2） 2116.70.1120.7390.99(9.6) (0.003) (0.114)YXPR试检验原假设： 。10.1279原假设： H0：1 = 0.12备择假设：H1：10.12我们有： 用= n-k-1 = 25-2-1 = 22查t表，截断两侧5%面积的t临界值 tc = 2.074 故拒绝原假设H0: 。111()tSe0.1120.122.670.003 2.672.074t 80三、系数的显著性检验 在假设检验中，有关斜率系数 是否为0 的假设检验特别重要。如果通过检验，接受 的原假设，则表明Xj和Y没有关系，即Xj对Y的变

19、动没有影响。在这种情况下，可考虑从模型中剔除Xj。 这类检验称为系数的显著性检验系数的显著性检验。1单个系数显著性检验 目的是检验某个解释变量的系数j是否为0，即该解释变量是否对因变量有影响。 原假设 H0： j=0 备择假设 H1： j0j0j81单个系数显著性检验的检验统计量是自由度为 n-k-1 的 t 统计量： t(n-k-1)其中， 为矩阵 主对角线上第 j+1个元素。而)()(jjjjVarSet)(jVar21)(XX1122knXYYYknet82 例例2.11 仍用食品需求的例子（例2.2），回归结果如下（括号中数字为标准误差）： 试检验价格的系数的显著性。解： 原假设 H0

20、： 备择假设 H1： 查t表， 故拒绝原假设H0。结论： 显著异于0，P对Y有影响。2116.70.1120.7390.99(9.6) (0.003) (0.114)YXPR2020222222200.7396.480.114()()()tSeSeSe 0.025(22)2.074,ctt6.482.074,t 2832若干个系数的显著性检验（联合假设检验） 有时需要同时检验若干个系数是否为0，这可以通过建立单一的原假设来进行。 设要检验g个系数是否为0，即与之相对应的g个解释变量对因变量是否有影响。不失一般性，可设原假设和备择假设为： H0: 1 =2 = =g =0 H1: H0不成立 (

21、即X1, Xg中某些变量对Y有 影响)84分析： 这实际上相当于检验g个约束条件 1= 0，2 = 0， ，g = 0 是否同时成立。若H0为真，则正确的模型是： 据此进行回归（有约束回归），得到残差平方和 SR是H0为真时的残差平方和。 tKtKtggtXXYu.1102110.KtRktgRgRtRXXYS85若H1为真，正确的模型即原模型：tKtKttXXYu.110据此进行无约束回归（全回归），得到残差平方和S是H1为真时的残差平方和。2k110.KtttXXYS86 如果H0为真，则不管X1, Xg这g个变量是否包括在模型中，所得到的结果不会有显著差别，因此应该有： S SR如果H1

22、为真，则由上一节中所讨论的残差平方和e2的特点，无约束回归增加了变量的个数，应有 S SR 通过检验二者差异是否显著地大，就能检验原假设是否成立。87所使用的检验统计量是： F(g, n-k-1)其中， g为分子自由度， n-k-1为分母自由度。使用 的作用是消除具体问题中度量单位的影响， 使计算出的 F 值是一个与度量单位无关的量。)1(KnSgSSFRSSSR88例2.12 给定20组Y, X1, X2, X3的观测值，试检验模型 中X1和X3对Y是否有影响？解：（1）全回归 估计 得到：S =e2 = 25 （2）有约束回归 估计 得到：SR =e2 = 30tttttXXXYu3322

23、110tttXYu220tttttuXXXY332211089 原假设 H0: 1 = 3 = 0 备择假设 H1: H0不成立 我们有：n=20, g=2, k=3 6.1162522530)1(KnSgSSFR用自由度（2，16）查F分布表，5%显著性水平下， F=1.6 FC =3.63, 故接受H0。 结论：X1和X3对Y无显著影响3.63cF 903全部斜率系数为0的检验 上一段结果的一个特例是所有斜率系数均为0的检验，即回归方程的显著性检验： H0： 1 =2 = = K K = 0 也就是说，所有解释变量对Y均无影响。 注意到 g=K， 则该检验的检验统计量为： 2)(YYSR)

24、1()()1()(222KneKeYYKnSKSSFR91 分子分母均除以 ，有2)(YY1)()(12222KnYYeKYYeF) 1()1 (22KnRKR 从上式不难看出，全部斜率为0的检验实际是检验R2的值是否显著异于0，如果接受原假设，则表明因变量的行为完全归因于随机变化。若拒绝原假设，则表明所选择模型对因变量的行为能够提供某种程度的解释。92四四检验其他形式的系数约束条件 上面所介绍的检验若干个系数显著性的方法，也可以应用于检验施加于系数的其他形式的约束条件，如 检验的方法仍是分别进行有约束回归和无约束回归，求出各自的残差平方和 SR 和 S，然后用 F 统计量进行检验。 当然，单

25、个系数的假设检验，如 H0： 3=1.0，亦可用t检验统计量进行检验。1,11,5 . 2, 0 . 132434293例2.13 Cobb-Douglas生产函数 Y=AKL 试根据美国制造业1899-1922年数据检验规模效益不变的约束：+=1解：（1）全回归 2log0.180.23log0.81log:(0.43)(0.06)(0.15)0.962520.0710YKLSeRFRSS94（2）有约束回归： 将约束条件代入，要回归的模型变为： Y=AKL1- 为避免回归系数的不一致问题， 两边除以L，模型变换为： Y/L=A(K/L) 回归，得：2log( / )0.020.25log(

26、/ ):(0.02)(0.04)0.6338.00.0716Y LK LSeRFRSS95 由回归结果得到的约束回归和全回归的残差平方和分别为 SR=0.0716 S=0.0710 （3）检验 原假设 H0:+1 备择假设 H1:+1 本例中，g=1, K=2, n=24 18. 0210710. 010710. 00716. 0) 1(KnSgSSFR96 用自由度（1，21）查F表，5%显著性水平下， Fc=4.32 F=0.18 Fc=4.32 故接受原假设H0:+1 （4）结论 我们的数据支持规模收益不变的假设。97五、回归结果的提供和分析五、回归结果的提供和分析1. 回归结果提供的格

27、式回归结果提供的格式 在论文、专著或报告中提供回归分析结果时一般应采用简洁而通行的格式，以便于交流。通行的格式有以下两种：（1） 这里116.7、0.112和0.739分别为常数项和两个斜率系数的估计值， 括号中提供的是 的标准误差。2116.70.1120.7390.99(9.6) (0.003) (0.114)YXPR012、 和982116.70.1120.7390.99(12.17) (37.33) ( 6.48)YXPR（2）括号中数字分别是原假设 、 和 成立时的t值。 由此可见，这两种格式的唯一区别就在于括号中数字的含义不同。正因为如此，人们在论文或著作中提供回归结果时，必须在适

28、当地方说明括号中数字是标准误差还是t值。 需要说明的是，提供回归结果的标准格式中一般还包括检验一阶自相关的DW检验值，我们将在下一章“自相关”一节中介绍。0:00H0:10H0:20H992. 回归结果的分析回归结果的分析结果的分析主要包括以下内容：（1）系数估计值。首先是分析系数的符号是否正确，系数值的大小是否恰当，是否符合理论预期和常识。上一段例中斜率系数一正一负，符合经济理论，数值大小也大致合理。（2）拟合情况。例中 很高，拟合较理想。（3）系数的显著性。例中斜率系数的t值分别为37.33和6.48，表明这些系数显著异于0，X和P对Y有影响。（4）根据DW检验值说明是否存在扰动项的自相关

29、。如何说明，将在下一章中介绍。2R100第六节 预测 我们用OLS法对多元回归模型的参数进行了估计之后，如果结果理想，则可用估计好的模型进行预测。预测指的是对诸自变量的某一组具体值 来预测与之相对应的因变量值 。当然，要进行预测，有一个假设前提应当满足，即拟合的模型在预测期也成立。 ).1 (02010kXXXC 0Y101 点预测值由与给定的诸X值对应的回归值给出，即 而预测期的实际Y值由下式给出： 其中u0是从预测期的扰动项分布中所取的值。.020210100CXXXYkk00020210100.uCuXXXYkk102预测误差可定义为：000YYe)(0Cu0)()()(00ECuEeE

30、0 CY两边取期望值，得因此，OLS预测量是一个无偏预测量。0()uC103 预测误差的方差为：)(1()()()()(1221200CXXCCXXCCVarCuVareVar)()(000eSeeEe) 1 , 0()(110NCXXCe从 e0 的定义可看出， e0 为正态变量的线性函数，因此，它本身也服从正态分布。故104由于 为未知，我们用其估计值代替它，有 则 的95%置信区间为：即 ) 1(2knet)1()(1100kntCXXCYY100.0251()YtCXXC0YCXXCtC1025.0)(1105例例2.14 用例2.4的数据，预测X2=10，X3=10的Y值。 解： 由

31、例2.4我们已得到： 14)10(5 . 1)10(5 . 240Y7 . 6101014/102/382/3110/45810/4510/267)10101 ()(1CXXC5 .106XY108YY106因此 的95%置信区间为： 或 3.66至24.34之间.75. 01255 .1061081122knXYYYknet0Y7 .6175.0303.414107 第七节 虚拟变量（Dummy variables）一虚拟变量的概念 在回归分析中，常常碰到这样一种情况，即因变量的波动不仅依赖于那种能够很容易按某种尺度定量化的变量（如收入、产出、价格、身高、体重等），而且依赖于某些定性的变量（

32、如性别、地区、季节等）。 在经济系统中，许多变动是不能定量的。如政府的更迭（工党-保守党）、经济体制的改革、固定汇率变为浮动汇率、从战时经济转为和平时期经济等。 108 这样一些变动都可以用0-1变量来表示，用1表示具有某一“品质”或属性，用0表示不具有该“品质”或属性。这种变量在计量经济学中称为“虚拟变量虚拟变量”。虚拟变量使得我们可以将那些无法定量化的变量引入回归模型中。 下面给出几个可以引入虚拟变量的例子。例1：你在研究学历和收入之间的关系，在你的样本中，既有女性又有男性，你打算研究在此关系中，性别是否会导致差别。109例2：你在研究某省家庭收入和支出的关系，采集的样本中既包括农村家庭，

33、又包括城镇家庭，你打算研究二者的差别。例3：你在研究通货膨胀的决定因素，在你的观测期中，有些年份政府实行了一项收入政策。你想检验该政策是 否对通货膨胀产生影响。 上述各例都可以用两种方法来解决，一种解决方法是分别进行两类情况的回归，然后检验参数是否不同。另一种方法是用全部观测值作单一回归，将定性因素的影响用虚拟变量引入模型。 110二虚拟变量的使用方法1 截距变动 设Y表示消费，X表示收入，我们有： 假定不变。 对于5年战争和5年和平时期的数据，我们可分别估计上述两个模型，一般将给出 的不同值。 现引入虚拟变量D, 将两式并为一式： 其中， XYuXY21和平时期：战时：uDXY210 0 战战 时时D = 1 平平 时时111 此式等价于下列两式： 截距变动，斜率不变 在包含虚拟变量的模型中，D的数据为0，0，0，0，0，1，1，1，1，1。 估计结果如下图所示： 应用t检验，2是否显著 可以表明截距项在两个时 期是否有变化。uXYuXY12010平时：战时： Y 平 时 战 时 2-1=2 1=0 X1122 斜率变动 如果我们认为战时和平时的消费函数中，截距项不变，而斜率不同，即变动，则可用下面的模型来研究两个时期边际消费倾向的差异： 其中，D= 不难看出，上式相当于下列两式： 同样，包括虚拟变量的模型中，2是否显著可以表明斜率在两个时期是否变化。uD