多元回归：估计与假设检验.ppt

第四章 多元回归：估计与假设检验,上海立信会计学院,包含多个解释变量的回归模型称为多元回归模型。多元是指由多种因素对应变量有影响。本章将以三变量线性回归模型为例来讲解多元回归模型。一旦掌握了三变量模型，就很容易将结论扩展到更多元的线性回归模型。 本章的内容如下： 1.三变量线性回归模型与三变量线性回归模型的假设 2.三变量线性回归模型的OLS估计量以及OLS估计量的方差与标准误 3.多元回归的拟合优度：多元判定系数 4.多元回归的假设检验 5.其他问题,一、三变量线性回归模型与三变量线性回归模型的假设 三变量线性回归模型的非随机总体回归函数（PRF）一般可以表示为： 随机形式： 其中，Y为应变量；X1,X2为解释变量；u为随机误差项；t表示第t期观察值。B1是截距，表示当X1,X2为零时Y的平均值。B2、B3称为偏回归系数。 三变量线性回归模型的PRF也是给出了在给定解释变量的情况下，相应的Y总体的条件均值。,偏回归系数 三变量线性回归模型中的斜率系数 称为偏回归系数(Partial regression coefficient)或偏斜率系数(partial slope coefficient)。其表示的意义为， 度量了在 保持不变的情况下， 单位变动引起 均值的改变量；同样， 度量了在 保持不变的情况下， 单位变动引起 均值的改变量。 例如： 多元线性回归模型的若干假定 (1)回归模型是参数线性的。 (2)回归模型是正确设定的。 (3)解释变量与随机误差项不相关。 (4)随机误差项均值为零,(5)不同随机误差项的方差相同，即： (6)不同随机误差项之间不相关，或者无自相关，即： (7)解释变量 和 之间不存在完全共线性，即两个解释变量之间无确切的线性关系。 如果变量 能表示为另一变量 的线性函数，则称 和 之间是共线性的。在 和 存在共线性的情况下，不能通过一个样本估计出 和 的参数值。 注意：虽然在实际中很少遇到完全共线性的情况，但是高度共线性或近似共线性的情况还是很常见的。 (8)随机误差项服从均值为零，方差为 的正态分布，即：,二、三变量线性回归模型的OLS估计量以及OLS估计量的方差与标准误,1.三变量线性回归模型的OLS估计量 假设某三变量线性回归模型，其随机样本回归函数为： 其中， 、 、 分别是 、 、 的估计量， 为残差 确定样本回归函数为： 根据OLS的原理，对于三变量线性回归模型来说，求解 、 、 的方法是选择 、 、 使得下式中的RSS最小化，即：,求解该最小化问题后得到如下正规方程式： 将以上三个正规方程做简单代数变换，得到：,其中，小写字母表示与其样本均值的离差，（例如： ）,2.三变量模型OLS估计量的方差与标准误 根据三变量线性回归模型OLS估计量的推导式可以知道， 、 、 估计量的方差与标准误为：,对于以上诸式中的未知量 ，可用其OLS估计量来代替，即： 3.高斯-马尔柯夫定理 在满足古典线性回归模型假设的前提下，多元线性回归模型中参数的估计量依然是总体回归模型参数的最优线性无偏估计量（BLUE）。,例子：古董钟拍卖,德国Triberg钟表公司每年都举行古董钟表拍卖会。现有一个32个钟表拍卖信息的数据（样本），这些信息包括：钟表的中标价格、投标人数、古董钟的年代。,三、多元回归的拟合优度：多元判定系数 对于多元线性回归模型来说，也有如下等式的成立： 与双变量模型相同，决定系数 定义为：,其中， 为应变量的总平方和； 为回归平方和； 为残差平方和。,四、多元回归的假设检验 在随机误差项服从正态分布以及多元回归的其他基本假定的情况下，可以证明 、 、 均服从均值分别为 、 和 ，方差分别为 、 、 的正态分布。 1.对零假设 进行假设检验的检验统计量分别为：,显著性检验法 1.对于假设 2.计算t值 3.根据显著性水平 计算临界值并得到拒绝域 4.比较t值和拒绝域并作出判断 置信区间法 由于多元线性回归模型截距和系数的检验统计量为t统计量，即： 所以可以得到一个该参数的置信度为 的置信区间： 满足：,对比参数的置信区间和零假设值，如果置信区间包含零假设值，则不能拒绝零假设，否则，拒绝零假设。 2.检验联合假设： 对于一个多元线性回归模型来说，一个或多个解释变量各自对应变量没有影响，但却有可能联合对应变量有影响。所以有必要对这些变量的系数作联合的假设检验，即检验假设： 或 以上检验称为多元回归的总体显著性检验。 如何检验呢？可以采用方差分析的公式：,对于TSS、RSS、ESS来说，其自由度分别为：,对于三变量线性回归模型来说，有下表,在满足CLRM基本假定，在零假设： 下 可以证明变量 服从分子自由度为k-1，分母自由度为n-k的F分布，即： 对于三变量线性回归模型来说，则有：,F检验的理论原理是：如果Y由回归解释的部分（即由X2和X3解释的部分）比未被回归解释的部分大，则F值将大于1。因此，随着解释变量对应变量Y变异的解释比例逐渐增大，F值也将逐渐增大。因此，F值越大，则拒绝零假设的理由越充分。 例如：古董钟拍卖价格一例（见课本第119页） 回归结果如下： 从结果来看，获得F值的概率几乎为0，所以，能够拒绝零假设：钟表年代和竞标人数联合对古董竞标价格没有影响。,F与 之间的重要关系 可以证明，判定系数 与F值之间有如下重要关系： 其中，n为观察值的个数，k为包括截距在内的解释变量的个数。 因此，可以说，前面讨论过的F检验也可用于检验 的显著性。鉴于此，对于总体回归方程的显著性的F检验可以采用 的形式。方差分析表也可以等价地表示为下表：,五、多元回归的其他问题 1.设定误差的定义 以钟表拍卖为例，可以设立拍卖价格和钟表年代的一元线性回归模型，拍卖价格和竞标人数的一元线性回归模型，拍卖价格和钟表年代、竞标人数的三变量线性回归模型。其回归结果如下：,t = (-0.7248) (5.8457) r2=0.5325 F=34.17,t = (3.496) (2.345) r2=0.1549 F=5.502,P = (0.0000) (0.00000) (0.00000) R2=0.89 F=118.06,注意，在两个双变量模型中，解释变量的影响包括了该解释变量的直接影响和其他变量的间接影响；而在三变量模型中，当推导一个解释变量对应变量的影响时，则是假设另外一个解释变量保持不变，这是一种净影响或净效果。 除了以上的一点外，从以上三个回归方程式可以知道，钟表年代和竞标人数无论是单独地，还是联合地都对拍卖价格有重要影响。因此，如果从模型式中省略任何一个变量，都会导致设定偏差，或设定误差。 经验告诉我们，建模过程中，要以经济理论为依据，并充分利用以往的工作经验，一旦建立起模型，就不要随意地从模型中删除某个解释变量。 2.校正的判定系数 校正的判定系数的提出是因为普通的判定系数 会随着解释变量的个数的增加而变大，比如钟表拍卖价格一例。这是因为，在 的定义中，并没有考虑到不同模型自由度的差异。,正是基于以上不足，计量经济学者们提出了能根据模型中解释变量的个数进行调整的，经过调整的判定系数，称为校正判定系数 。其计算公式为： 校正的判定系数有如下性质： (1)如果 ，则 。随着模型中解释变量个数的增加，校正判定系数越来越小于未校正判定系数。 (2)虽然未校正判定系数总为正，但校正判定系数可能为负。 3.什么时候增加新的解释变量？ 通常的做法是：只要校正判定系数 的值增加（即使 值小于 的值），就可以增加新的解释变量。但问题是，什么时候 值开始增加呢？理论表明：如果增加变量系数的|t|值大于1， 就会增加，这里的t值是在零假设：总体系数为零下计算得到的。（例子：p166）,4.受限最小二乘(略) 对 的F检验提供了对所有回归系数为零的原假设的检验，但是有时我们想对部分回归系数所组成的子集是否显著进行联合检验（比方说，在有四个解释变量的线性回归模型中，对其中的三个作是否共同显著的联合检验）。 考虑如下模型： 因为关于这个模型系数没有任何假设，称为非受限模型（UR）。假设我们想检验其中q个回归系数是否同时为零，为此，可以将上式分为