多元回归估计与假设检验

1、第四章 多元回归：估计与假设检验上海立信会计学院n包含多个解释变量的回归模型称为多元回归模型。多元是指由多种因素对应变量有影响。本章将以三变量线性回归模型为例来讲解多元回归模型。一旦掌握了三变量模型，就很容易将结论扩展到更多元的线性回归模型。n本章的内容如下：1.三变量线性回归模型与三变量线性回归模型的假设2.三变量线性回归模型的OLS估计量以及OLS估计量的方差与标准误3.多元回归的拟合优度：多元判定系数4.多元回归的假设检验5.其他问题一、三变量线性回归模型及古典模型的假定n三变量线性回归模型的非随机总体回归函数（PRF）一般可以表示为：n随机形式： 其中，Y为应变量；X1,X2为解释变量

2、；u为随机误差项；t表示第t期观察值。B1是截距，表示当X1,X2为零时Y的平均值。B2、B3称为偏回归系数。l三变量线性回归模型的PRF也是给出了在给定解释变量的情况下，相应的Y总体的条件均值。12233()tttEYBBXBX12233()ttttttYBBXBXuEYun偏回归系数 三变量线性回归模型中的斜率系数 称为偏回归系数(Partial regression coefficient)或偏斜率系数(partial slope coefficient)。其表示的意义为， 度量了在 保持不变的情况下， 单位变动引起 均值的改变量；同样， 度量了在 保持不变的情况下， 单位变动引起 均值

3、的改变量。 例如：n多元线性回归模型的若干假定(1)回归模型是参数线性的。(2)回归模型是正确设定的。(3)解释变量与随机误差项不相关。(4)随机误差项均值为零23,BB3B2B2X3X2X3XYY23()1 51 .20 .8tttEYXX(5)不同随机误差项的方差相同，即：(6)不同随机误差项之间不相关，或者无自相关，即：(7)解释变量 和 之间不存在完全共线性，即两个解释变量之间无确切的线性关系。n如果变量 能表示为另一变量 的线性函数，则称 和 之间是共线性的。在 和 存在共线性的情况下，不能通过一个样本估计出 和 的参数值。 注意：虽然在实际中很少遇到完全共线性的情况，但是高度共线性

4、或近似共线性的情况还是很常见的。(8)随机误差项服从均值为零，方差为 的正态分布，即：cov(,)0,iju uij2X3X2(0 ,)tuN22X3X2B3B2X3X2X3X2var()tu二、三变量线性回归模型的OLS估计量1.三变量线性回归模型的OLS估计量 设某三变量线性回归模型，其随机样本回归函数为： 其中， 、 、 分别是 、 、 的估计量， 为残差。确定样本回归函数为： 根据OLS的原理，求解 、 、 的方法是选择 、 、 使得下式中的RSS最小化，即：12233ttttYbb Xb Xete12233tttYbb Xb X1b2b3b1232212233minRSS:()ttt

5、tbbbeYbb Xb X、2b3B2B1B1b3b3b1b2b求解该最小化问题后得到如下正规方程式：将以上三个正规方程做简单代数变换，得到：12233Ybb Xb X221222323tttttYXbXbXbXX231322333ttttttY XbXbXXbX12233bYb Xb X22332322222323()()()()()()()ttttttttttty xxy xx xbxxx x23222332222323()()()()()()()ttttttttttty xxy xx xbxxx x其中，小写字母表示与其样本均值的离差，（例如： ）ttyYY2.三变量模型OLS估计量的方

6、差与标准误根据三变量线性回归模型OLS估计量的推导式可以知道， 、 、 估计量的方差与标准误为：1b2b3b22222332232321222232321var()()ttttttttXxxxX Xxxbnxxxx11()var()se bb23222222323var()()()()tttttxbxxxx22()var()se bb22232222323var()()()()tttttxbxxx x33()var()se bbn对于以上诸式中的未知量 ，可用其OLS估计量来代替，即：3.高斯-马尔柯夫定理 在满足古典线性回归模型假设的前提下，多元线性回归模型中参数的估计量依然是总体回归模型参

7、数的最优线性无偏估计量（BLUE）。223ten2例子：古董钟拍卖（第二章P32）n德国Triberg钟表公司每年都举行古董钟表拍卖会。现有一个32个钟表拍卖信息的数据（样本），这些信息包括：钟表的中标价格（单位：德国马克）、投标人数（单位：个）、古董钟的年代（单位：年）。12233iiiiYBB XB Xu其中，Y表示古董钟的价格，X2 ，X3分别表示古董钟的年代和投标人数。古董钟拍卖一例的回归结果古董钟拍卖一例的样本回归函数如下：06.11889. 0)80. 8()91. 0()27.175(7640.857413.12049.1336232FRseXXYiii 斜率系数12.74表明，

8、在其他变量不变的条件下，钟表年代每增加1年，则钟表价格平均上升12.74马克。斜率系数85.764表明，在其他变量不变的条件下，竞标人数每增加1个，则钟表价格平均上升85.76马克。判定系数0.89表明，年代和竞标人数解释了拍卖价格89%的变异。三、多元回归拟合优度的判定：多元判定系数对于多元线性回归模型来说，也有如下等式的成立： 与双变量模型相同，决定系数 定义为：2ESSRTSS2R其中，为应变量的总平方和；为回归平方和；为残差平方和。TSSESSRSSTSSESSRSS四、多元回归的假设检验在随机误差项服从正态分布以及多元回归的其他基本假定的情况下，可以证明、均服从均值分别为 、和，方差

9、分别为 、 、 的正态分布。1.回归系数的显著性检验。 例如：针对 的原假设和备择假设为： 进行假设检验的检验统计量为： 1b2b3b1B2B3B0212:0;:0.HBHB1( )Var b2()Var b3()Var b2B2232()nbBttse bn显著性检验法1.对于假设2.计算t值3.根据显著性水平 计算临界值并得到拒绝域4.比较t值和拒绝域并作出判断n置信区间法 由于多元线性回归模型截距和系数的检验统计量为t统计量，即： 所以可以得到一个该参数的置信度为 的置信区间： 满足：01:0;:0,1,2,3iiHBHBi3()iinibBttse b/ 2/ 2(3)(),(3)()

10、iiiibtnse bbtnse b/ 2/ 2(3)()(3)()1iiiiiP btnse bBbtnse b1n对比参数的置信区间和零假设值，如果置信区间包含零假设值，则不能拒绝零假设，否则，拒绝零假设。2.检验联合假设： 对于一个多元线性回归模型来说，一个或多个解释变量各自对应变量没有影响，但却有可能联合对应变量有影响。所以有必要对这些变量的系数作联合的假设检验，即检验假设： 或 以上检验称为多元回归的总体显著性检验。 如何检验呢？可以采用方差分析的公式： 20:0HR023:0HBB2023:00HBBR或T S SE S SR S Sn对于TSS、RSS、ESS来说，其自由度分别为

11、： 平方和 自由度 TSS n-1 RSS n-k(k为待估参数个数) ESS k-1 平方和 自由度 TSS n-1 RSS n-3(k为待估参数个数) ESS 2对于三变量线性回归模型来说，有下表n在满足CLRM基本假定，在零假设： 下 可以证明变量服从分子自由度为k-1，分母自由度为n-k的F分布，即：对于三变量线性回归模型来说，则有：023:0HBB23XX/./(1)/./()E S SdfE S SkFR S SdfR S Snk由和解 释 的 变 异未 解 释 的 变 异(1,)FFknk(2,3)FFn nF检验的理论原理是：如果Y由回归解释的部分（即由X2和X3解释的部分）比

12、未被回归解释的部分大，则F值将大于1。因此，随着解释变量对应变量Y变异的解释比例逐渐增大，F值也将逐渐增大。因此，F值越大，则拒绝零假设的理由越充分。 n例如：古董钟拍卖价格一例（见课本第119页） 回归结果如下： 从结果来看，获得的F值为118.06，而查表知道，在自由度是（2,29），并且显著性水平为5%的前提下，F分布的临界值（单边检验）为3.32，显然， 。所以，结论是：拒绝零假设，即钟表年代和竞标人数联合对古董钟价格有显著影响。118.063.32nF与 之间的重要关系 可以证明，判定系数 与F值之间有如下重要关系： 其中，n为观察值的个数，k为包括截距在内的解释变量的个数。n因此，

13、可以说，前面讨论过的F检验也可用于检验 的显著性。鉴于此，对于总体回归方程的显著性的F检验可以采用 的形式。方差分析表也可以等价地表示为下表：2R22/(1)(1) /()RkFRnk2R2R2R五、多元回归的其他问题1.设定误差的定义 以钟表拍卖为例，可以设立拍卖价格和钟表年代的一元线性回归模型，拍卖价格和竞标人数的一元线性回归模型，拍卖价格和钟表年代、竞标人数的三变量线性回归模型。其回归结果如下：21 9 1 .6 6 6 21 0 .4 8 5 6iiYX 38 0 7 .9 55 4 .5 7iiYX23(7 .6 2 2 6 )(1 3 .9 6 5 3 )( 9 .7 4 3 7

14、)1 3 3 6 .0 4 91 2 .7 4 18 5 .7 6 4iiitYXX t = (-0.7248) (5.8457) r2=0.5325 F=34.17 t = (3.496) (2.345) r2=0.1549 F=5.502 P = (0.0000) (0.00000) (0.00000) R2=0.89 F=118.06 n注意，在两个双变量模型中，解释变量的影响包括了该解释变量的直接影响和其他变量的间接影响；而在三变量模型中，当推导一个解释变量对应变量的影响时，则是假设另外一个解释变量保持不变，这是一种净影响或净效果。n除了以上的一点外，从以上三个回归方程式可以知道，钟表

15、年代和竞标人数无论是单独地，还是联合地都对拍卖价格有重要影响。因此，如果从模型式中省略任何一个变量，都会导致设定偏差，或设定误差。 经验告诉我们，建模过程中，要以经济理论为依据，并充分利用以往的工作经验，一旦建立起模型，就不要随意地从模型中删除某个解释变量。2.校正的判定系数 校正的判定系数的提出是因为普通的判定系数 会随着解释变量的个数的增加而变大，比如钟表拍卖价格一例。这是因为，在 的定义中，并没有考虑到不同模型自由度的差异。2R2R2R 正是基于以上不足，计量经济学者们提出了能根据模型中解释变量的个数进行调整的，经过调整的判定系数，称为校正判定系数 。其计算公式为： 校正的判定系数有如下

16、性质：(1)如果 ，则 。随着模型中解释变量个数的增加，校正判定系数越来越小于未校正判定系数。(2)虽然未校正判定系数总为正，但校正判定系数可能为负。3.什么时候增加新的解释变量？ 通常的做法是：只要校正判定系数 的值增加（即使 值小于 的值），就可以增加新的解释变量。但问题是，什么时候 值开始增加呢？理论表明：如果增加变量系数的|t|值大于1， 就会增加，这里的t值是在零假设：总体系数为零下计算得到的。（例子：p166） 2R2211(1)nRRnk1k 22RR2R2R2R2R2R4.受限最小二乘(略) 对 的F检验提供了对所有回归系数为零的原假设的检验，但是有时我们想对部分回归系数所组成的子集是否显著进行联合检验（比方说，在有四个解释变量的线性回归模型中，对其中的三个作是否共同显著的联合检验）。 考虑如下模型： 因为关于这个模型系数没有任何假设，称为非受限模型（UR）。假设我们想检验其中q个回归系数是否同时为零，为此，可以将上式分为两部分，第一部分包含k-q个变量（包括常数项），第二部分包含q个变量。 如果所有后q个系数都为零，则修正后的模型将为受限模型（R）：（原假