多元线性回归模型

1、统计学第4章 多元线性回归模型第1节 多元线性回归模型概述（一）多元线性回归模型形式一般来说，我们研究的变量往往受多个因素的影响，如作物的收成会受气温，施肥量，降雨量等等的影响，对某中商品的消费需求会受该商品价格，收入，其他商品价格等的影响。因此，我们要讨论一个变量对两个以上变量的统计依赖关系。1）多元线性回归模型的一般表现形式：，其中，为解释变量的数目， 习惯上，把常数项看成为取值恒为1的变量的系数，上述表达式也被称为总体回归函数的随机表达形式。其非随机形式为：表示各变量值固定时的平均响应 也称为偏回归系数，表示在其他解释变量保持不变的情况下，每变化一个单位时，的均值的变化。或者说给出了单位

2、变化对均值的“直接”或“净”（不含其它变量）影响。总体线性回归模型个随机方程的矩阵表达式为：将此方程组写成矩阵形式： 简写为： 2）样本回归函数及其矩阵表达用一定的方法对,估计后，残差： 样本回归方程的随机形式可表示为：则其矩阵表达为： 或 其中 ， ， （二） 多元线性回归模型的基本假定与之间的关系是线性的, 即是参数的线性函数。2. 是的满列秩矩阵（），即在实际中，为满足数据需要，至少要大于等于，若比较合适。上述假设表明之间不存在完全或高度共线性。零均值假设对于，任何当期不影响期望值。对于，任何前、后期也不影响期望值。所有的的观测值都不能为的期望值提供额外的信息。否则，用估计出的不会是最佳

3、无偏估计量。同方差对于任意的，有 不同观测值的误差项不相关对于任意的, ，上面4，5两条可以归纳为：正态性假设 误差项服从正态分布,即3、4、5、6可以归纳为：；是常数阵，即非随机 另外，非随机,即意味着， 与不相关。则的分布取决与的分布。未知参数的个数（）共个第2节 多元线性回归模型的参数估计参数的最小二乘估计（）同一元线性回归模型一样，估计准则仍为“最小离差平方和”。即寻找一组估计量使其满足：，即设根据正规方程得：，列满秩为满秩方阵，且对称。故正定。矩阵求导：方阵，列向量，列向量，那么有：，若为对称阵，则为注意：由正规方程可得：，因为因此，具体为：其中成立的条件为要有常数项其他等式意味着，

4、残差与各解释变量不相关。参数的最小二乘估计量的性质高斯-马尔可夫定理：在假设15成立的条件下，模型的各回归系数的估计量是最佳线性无偏估计。1线性：常数+扰动项的线性函数。2无偏性：3最小方差性：对求期望，不但求出了各参数估计值的方差，且给出了不同参数估计量之间的协方差。任取一无偏估计，其中矩阵定义，所以。值得注意：其中非负定。最小二乘解的代数特征：设：总体，样本，其中（四）的估计可以证明，的无偏估计为：证明：扰动项标准差的估计为：（五）样本容量问题1）最小样本容量：从最小二乘原理出发，欲得到参数估计量，不管其性质如何，所要求的样本容量的下限。样本最小容量必须不少于模型中结实变量的数目（包括常数

5、项），即我们来看一下正规方程组：此方程组有解，必须有存在。其中，秩，若，则，秩，则不存在。2）从统计检验的角度来看：时，正态性检验才能应用。时，分布较为稳定。一般的经验认为：当或至少时，才能满足模型估计的需要。第3节 多元线性回归模型的统计检验回归系数的显著性检验；1）已知：，其中，。2）未知：构造检验步骤：写出原假设和备择假设：；构造检验统计量：一般来说，未知，因此，我们选择构造：对于给定的显著性水平，查表求临界值计算与判断求出的样本值，若，则拒绝；反之则接受。补充资料：的分布，服从正态分布的分布与独立，因为，令，所以与独立。If x N0, I and A is idempotent, t

6、hen x_Ax has a chi-squared distribution with degrees of freedom equal to the number of unit roots of A, which is equal to the rank of A.推论If x N0, I and xAx and x_Bx are two idempotent quadratic forms in x, then xAx and xBx are independent if AB = 0.若，A is idempotent，则与相互独立。参数的置信区间同一元线性模型一样，参数的置信区间的

7、构造方法如下：构造枢轴函数：对给定的置信水平解不等式，求得的置信水平为的置信区间：注：如何才能缩小置信区间？增大样本容量，自由度越大，分布表中的临界值越小；越大，样本参数估计量的标准差越小。提高模型的拟合优度。因为样本参数估计量的标准差与残差平方和成正比，模型拟合优度越高，残差平方和就越小。提高样本观测值的分散度。一般情况下，样本观测值越分散，的分母的值越大，致使置信区间缩小。拟合优度检验离差平方和的分解：其中：；，且；因为所以即可决系数定义；表示被多元回归方程“解释”的变差占总变差的比例。它经常被非正式地拟合优度的统计量。用来比较含有不同解释变量的回归模型的显著性。注意：对模型中解释变量的个

8、数敏感。在回归模型中增加解释变量的个数，不会导致减小。因为增加新的解释变量不会改变，但可能会增加。，添加解释变量，其中，其中；，且为常数；所以调整的可决系数变差平方和除以自由度的方差的无偏估计。注意：当时，引入解释变量，可能会使例子：在中，为完全无解释能力的变量，即，此时，。此外，随着解释变量的增加，可能增加，也可能减少。回归模型对自变量个数的惩罚在于此。4）的三种计算公式与应用场合；若模型中包含常数项，三种结果一致；若模型中不包含常数项， 可能小于0，可能大于1，在01之间，但不再代表解释变差在总变差中所占比例。因此不要随便除去常数项。5）其它要注意的问题与数据类别有关，时序模型的较高，而截

9、面模型的较低。在不同模型之间比较要注意：例如：如何比较两个模型的拟合优度？有模型（2）得得调整后的才可以进行比较。6）赤池信息准则（Akaike information criterion AIC）和施瓦茨准则（Schwarz criterion SC）为比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有AIC和SC；根据这两个准则的要求，如果所增加的解释变量能够降低或的值时，该解释变量才可以加入模型。回归方程整体显著性检验：；：不全为0构造将分为1列和的矩阵，即，其中：，左乘，得到：，注意；因为，所以在没有常数项的情况下：；若成立所以令所以因为，且，其中，所以大，则的联合体对的

10、解释程度高，可以认为总体存在线性关系。当时，拒绝注意：可能会出现回归方程中每个系数检验都不显著，但检验显著的情形。当自变量高度相关时，会出现此种情形。补充材料：二次型分布假定即中个变量的每一个都服从均值为零和单位方差的独立（标准）正态分布。平方和是一个特别简单的例子，它是矩阵为的一个二次型。由变量的定义现在假定变量仍是独立的，并具有零均值，但每个都必须除以以得到具有单位方差的变量。因此：，即，或 （1）（1）式清楚地表明二次型矩阵是方差矩阵的逆。现在假定：，式中是正定矩阵。变量仍是均值为零的正态分布，但它们不再是独立分布的。和（1）式等价的表达现在是：。事实上这个结论是成立的。但是由于变量是相

11、关的，因此证明不再是直接的了。证明的方法是把变换成，这里是独立标准正态分布。我们知道一个正定矩阵能分解成为：，其中是的非奇异矩阵。于是定义一个维向量，因为每个变量是各的线性组合，所以诸变量也是多元正态分布。显然，且于是有所有都是独立标准正态变量，且，但因为，所以最后，考虑二次型，其中，是秩为的对称幂等矩阵。如果用表示特征向量的正交矩阵，则，即的主对角线上有个1和个零。定义，则，且。于是每个是独立标准正态变量。那么二次型可以表示为：，因此，第4节 标准化系数、弹性系数、偏相关系数回归系数含义：度量的是在其他解释变量不变的情况下，变化一个单位造成的的变化量。的OLS估计可由两个线性回归模型计算出来

12、：第一步：将对回归，记回归残差，代表中与不相关的部分第二步：将对回归，可以证明（具体证明见Greene中的分块回归部分）标准化系数在中，度量的是在其他解释变量不变的情况下，变化一个单位造成的的变化量；同样的道理，度量的是在其他解释变量不变的情况下，变化一个单位造成的的变化量。现在的问题是，是否可以比较、对的影响？（谁的影响更大？）回答：是可以比较的，但从、的数值上看不出来，因为系数的估计值与自变量以及因变量的度量单位有关。为此我们引进标准化系数。多元标准化回归模型：将以及标准化得到标准化模型，变量离差化后，模型中约掉了常数项。表示：其他解释变量不变的情况下，变动一个标准差，变动个标准差。其中，

13、。有了标准化系数，我们就可以比较不同变量对的重要程度了。与的关系：，改写标准化模型我们可以得到，显然可以得到一元模型中，标准化系数等于自变量与因变量的简单相关系数。弹性系数定义：弹性系数是指，自变量1%的变化所引起的因变量变动的百分比。弹性系数不是常数，随着回归直线测量点的不同而变动平均弹性：。弹性系数大意味着因变量受自变量变化的影响比较大。对数线性模型是常弹性的。偏相关系数对的偏相关系数的定义：1）对以外的解释变量回归得残差2）对以外的解释变量回归得残差3）为和的简单相关系数偏相关系数就是排除了模型中其他变量的线性作用之后，考察被解释变量与某一解释变量的相关程度。注意：一元回归模型中，可以被

14、解释为：因变量与解释变量之间的简单相关系数的平方，它代表了的方差中被回归方程解释的部分的百分比。多元回归模型中，与的偏相关系数的平方代表了的方差中不能被其他解释变量解释，但能被中与其它解释变量不相关的部分解释的百分比。偏相关系数的值在-1到1之间。与的偏相关系数为0意味着：在考虑了以外的自变量的线性作用之后，与之间没有线性关系。即模型中对没有直接影响。偏相关系数经常用来确定不同解释变量在模型中的相对重要性。若采用的解释变量有滞后期，且滞后期不同，会出现两次回归所使用的样本期是不同的。如，此时与的数据长度不同。方法：将共同采用的重新生成两个新的序列。再使用前面的方法计算偏相关系数。第5节 多元线

15、性回归模型的预测对模型，给定样本以外的解释变量的观测值，可以得到被解释变量的预测：可以是个值或总体均值的预测。为了进行科学预测，还需求出预测值的置信区间，包括和的置信区间。（一）的置信区间预测误差：预测误差均值：，预测是无偏的预测误差方差：服从正态分布：，将用代替则有：于是可以求出置信水平为的的置信区间：（二）的置信区间预测误差：预测误差均值：，因此，预测是无偏的。预测误差方差：因为所以，令所以，此外，因为与独立，与独立；所以有：将用代替有：于是可以求出置信水平为的的置信区间：（三）预测精度的度量预测精度的决定因素：的赋值，的取值为一般值而非极端值时，预测效果交好；的波动，即的大小。事前预测：

16、期的未知，事后预测：期的已知，建立模型进行外推预测时，应先用样本期去掉13个数据点来估计，再以被去掉的13期数据点做事后预测，以检验的稳定性。若稳定，可以用其对样本期处的实际值进行事前预测。评价预测的一些统计量：预测误差方差以及95%的置信区间平均绝对值误差（Mean absolute error）均方根误差（root mean square forecast error）2）和3）比较灵敏，但受到量纲的影响，若预测的量纲不同这两个指标不能比较。平均绝对百分比误差（mean absolute percentage error）不受量纲影响，可用于比较对不同问题的预测。Theil不等系数（The

17、il inequality coefficient），；说明对所有的，（预测值）和（实际值）完全拟合；模型的预测能力最差。说明：实际值的平均值，预测值的平均值，实际值的标准差，预测值的标准差，的实际值与预测值的相关系数。在Eviews中会报告（bias proportion）（Variance proportion）描述与被动的吻合程度（Covariance proportion）描述剩余的系统误差。注意到一个好的预测：；要小；。其中最重要的是，一般我们希望（最好不要超过0.2）。如果及过大，要对模型进行修正。第6节 回归模型的其他函数形式与参数约束检验（一）参数线性的其他函数在实际经济活动中

18、，经济变量的关系是复杂的，直接表现为线性的情况并不多见。但是，大部分非线性关系又可以通过一些简单的数学处理，使之化为数学上的线性关系，从而可以运用线性回归的方法进行计量经济学的处理。对数线性模型（常弹性）显然对数线性模型是关于参数线性的，通过适当的线性变换：，则转化为前面讨论的模型形式：例子：Cobb-Dauglas生产函数：，方程两边取对数：，令，加入扰动项，则转化为计量模型：注意：关于对数还是线性模型的选择：根据经济理论：比如CD生产函数的例子。对一般的双变量情形，可以根据数据的散点图来确定与的函数关系。若散点图表明变量之间的关系近似线性的，那么假定直线较为合适；若散点图表明变量之间非线性

19、，再尝试对做图考察，若对线性，则建立对数线性模型，否则可能为其它复杂形式。很多情况下我们偏爱对数线性模型，理由是：模型的残差较少异方差；是集中化趋势的适当度量，此时异常值较少出现。测定增长率的半对数模型（被解释变量为对数形式）经济学家、工商业家、政府通常对某一经济变量的增长率很感兴趣。比如，政府预算赤字就是根据预计的GNP增长率这一重要的经济活动指标而确定的。类似的，联储根据未偿付消费者信贷的增长率（自动贷款、分期偿还贷款等）这一指标来监视其货币政策的运行效果。利用回归分析可以测定这些增长率。假定是我们要测定的增长率：；复利计算公式，其中是的初始值；是第期的值是的增长率。上述公式两边取对数得：

20、，令，同时引入扰动项可得计量模型：（下标表示时间），于是可以利用OLS方法估计模型中的。其中斜率的含义：它表示解释变量的绝对变化引起的的相对变化。利用美国19731987年间未偿付消费者信贷的数据估计上述模型得（经济计量学精要P161例8.4）：斜率0.0946表示，平均而言，的年增长率为9.46%复利增长率与单利增长率：从上面的公式我们知道：因此，上述是单利增长率，可由来求得复利增长率。注意：回归模型中的常数项（截距项）。通常截距项没有特别实际的含义，它代表了解释变量取值为0时因变量的值。但是，模型不包含解释变量为0附近的样本数据时，不能过分相信此时截距的意义。一般的半对数模型：解释变量为对

21、数形式的线性对数模型（关于参数线性，可以用OLS估计）表示每变化一个百分点（相对变化量所引起的的绝对变化。利用美国GNP与货币供给（19731987）的数据，估计模型：，其中代表GNP，代表货币供给（）得到如下回归结果：，斜率2584.8表示，货币供给每增加一个百分点，GNP的绝对变化量为2584.8亿美元。双曲函数模型模型形式为：，将看成一个新的变量，则双曲函数模型（倒数）仍然是关于参数线性的，可用OLS方法估计未知参数。双曲函数模型的几种可能形状：，这个模型可以用来表示生产的平均固定成本曲线(AFC)，AFC=总固定成本/产出。（）。根据经济理论，随着产出的不断增加，AFC逐渐降低（总固定

22、成本不变），最终将接近其渐进线。（）。 ，该模型可以用来描述恩格尔曲线：价格保持不变时，需求如何随收入的变动而变动。：消费者在某一商品上的支出。：消费者的总收入。该商品有如下特征：（1）收入有个临界值（阈值），在此临界值之下，不能购买该商品（比如汽车）。（2）消费者有一个满足水平，在此水平之上，无论消费者收入多高，也不会有任何消费（如，即使是富豪，也不会拥有太多的私家车。）该模型此时一个重要用途是宏观经济学中的菲利普斯曲线。菲利普斯根据英国货币工资变化的百分比（）与失业率（）的数据，得到此形状的一条曲线：工资的变化对失业水平的反映不对称：代表自然失业率，失业率每减少一个单位，则在失业率低于水平

23、时工资上升幅度比失业率高于水平时的幅度大。菲利普斯曲线这条性质特殊的曲线可能会受到制度等因素的影响。如最低工资，失业保险，工会等的影响。具体例子见精要P166，例8.6。消费者满足水平消费者满足水平收入的临界水平自然失业率自然失业率收入水平失业率多项式回归模型仍为参数线性模型，可以用OLS估计。这类模型在生产与成本函数这个领域中被广泛应用。若以表示总成本（TC），表示产出，则总成本函数可以表示成为：，根据经济理论，可有如下先验知识：（1），所以；（2）曲线：，时，因此，（3）由MC曲线的形状，自然有。由于MC曲线最低点应大于零，即：，可有。因为MC与轴无交点，所以，于是有。根据样本估计的模型，

24、可以验证其是否符合上述理论假定。（精要P168例8.7）。小结：各种模型的斜率及弹性计算小结：各种模型斜率及弹性的计算模型形式斜率=弹性线性双对数对数线性线性对数双曲函数当然，研究人员可以将上述不同形式的模型联合起来。因而，就可以得到多元回归模型，即应变量是对数形式，有些解释变量是对数形式，有些解释变量是线性形式。在选择模型时，不应过分强调而且不要仅仅根据一个统计量，比如R2来判定。模型的建立需要正确的理论，合适有用的数据，对各种不同模型统计性质的完整的理解以及经验判断。由于理论本身并非完美的，因此也就没有完美的模型，我们只期望选择模型时能够合理地权衡上述各项标准。非线性模型及其估计方法（1）

25、非线性的定义迄今为止，我们介绍的都是可以用OLS方法估计的线性模型（对参数线性）。尽管线性模型足够灵活，可以包括许多种类的回归形式，但它仍然排除了许多有用的函数形式。下面我们将研究参数不是内在线性的模型。尽管这些模型通常是很难估计的，但随着计算软件的发展，它们已经变得十分普通了。回归模型的一般形式是：很明显，线性模型只是一种特殊情况，但上式包括了更多的可能形式。例如：，就不能通过数学变换，将其变成参数线性的模式。因此，我们需要一个可以操作的判别标准。在回归分析中，我们可以根据模型参数的最小二乘估计的一阶条件是否是参数的非线性函数来判断是否是非线性回归模型。例如对于而言，最小化残差的一阶条件为：

26、很明显这是一个非线性方程组，因此它是一个非线性回归模型。值得一提的是，通常这样的非线性方程组求解比较困难，因此，有必要讨论一下它的解法。（2）计算方法1）直接查找法(direct search)代入参数的可能值，选择使误差平方和最小的值作为系数的估计值。分析：如果要估计的参数个数很少，只有一两个，则比较有效。但是如果多个参数，比如4个，每个参数都有20个不同的值要考虑，则计算次数：次，显然直接查找法是不可取的。2）直接优化法（direct optimization）利用极值一阶必要条件求解方程组：计算这样一个非线性方程组是非常困难的，虽然有一些计算方法可以求解，但并不常用。例如，“最速下降法”

27、是沿着使最小的方向求解的。沿的方向从的一个试验数据集到另一个数据集。可以以最快的速度方向使达到最小的移动。3）线性化回归模型首先回顾一下Taylor公式：一元函数，若有直到阶的连续导数，则在点的Taylor展开形式为：对多元函数：，在处展开：那么线性化回归的具体做法是：将非线性回归模型看成是的函数。我们在参数向量的一个特定值（初始值）处对做一阶Taylor展开：，由此，我们可以得到线性化的回归方程：，将上面的方程进一步改写为：，其中，我们可以利用OLS的方法对线性化方程进行估计得到的估计将作为新的初始值，重复的步骤。得到新的线性方程：，再用OLS方法进行估计新的线性化方程得重复上述过程直到：，

28、其中是一个很小的正数（精度的要求）。这中做法的优点：（1）计算效率较高，若被估计的方程很接近于一个线性方程，则只需要几次循环。（2）为统计检验提供了思路。缺点：（1）无法确保循环过程收敛于的全局最小点。解决的办法：从系数的不同初始值开始迭代看能不能收敛到一致的结果。（2）循环可能不收敛。解决的办法通上。（3）统计检验对循环迭代过程的最终线性化方程进行统计检验。1.我们希望最后的线性化方程是非线性方程的合理近似。可以将检验用于循环过程的最后方程，这是的检验只是近似的检验。2.也可以用于非线性方程：3.预测：。若是线性方程，则预测是无偏的，且具有最小方差，然而，非线性，此结论不再成立，预测误差不再

29、服从正态分布。参数的约束检验模型参数的线性约束背景：我们拥有来自的样本数据以外的但与参数估计有关的补充信息来参与模型估计。例如：制度规定，比方下面的模型，其中为烟草消费，为立法，烟草消费税率，从而构成制度约束。再比如模型估计的需要，我们看模型，其中与存在严重的共线性。但根据先验信息，收利阶层的边际消费倾向工薪阶层消费倾向的，即，从而引入约束。我们来看下面一个例子：经济关系的检验。比方说：生产函数，服从规模报酬不变约束总之，模型中需要引入一些约束，约束的来源有：1补充信息，2所需要满足的经济关系。下面我们将介绍如何检验这些约束。2）线性约束条件的表达，约束关系：，其中，代表每个约束条件都是相互独

30、立的，每行所表示的约束条件都是线性无关的。例1：烟草消费税率， ，例2：生产函数，3）检验约束的统计量，：；：，之前我们曾经假定定义：（受随机因素的影响，即使成立，也不为零）其中，这里需要用到两个引理：12. 根据以上分析我们可以推导出，若成立：有多元线性古典回归模型的知识我们有，此外，与相互独立，因此，与独立，这样一来，我们就可以通过和来构造统计量了。实际操作中可以有一种简便的办法1.将参数的线性约束带入原始回归模型，构造约束回归模型例：消费函数，其中代表劳动收入，代表非劳动收入，现在我们要检验边际消费倾向等于1的假设。，将带入消费函数方程得：，我们将此方程称为有约束方程，而将原方程成为无约

31、束方程，为了方便起见，我们有如下记号：2用OLS方法估计有约束模型和无约束模型，记各自的残差平方和为和，我们假设约束条件中独立的约束的个数为，则：，于是可以构造统计量。对于给定的，若，拒绝，表明加入约束条件后，模型与约束不相容，反之则接受。继续上面的例子：（）；：否则，若则拒绝若检验两个边际消费倾向相等的假设：（）；：否则，若则拒绝对回归模型增加或减少解释变量考虑如下两个回归模型我们可以将（1）看成是（2）的受约束回归。约束条件为：于是有相应的统计量为讨论：如果约束为真，即额外的解释变量对没有解释能力，则与的差别不大，应有，反之则说明方程（1）遗漏了有重要解释能力的解释变量。对约束检验检验的说

32、明：增加（减少）解释变量的检验可以归结为参数约束的例子。之前我们对于回归方程整体显著性检验和单个参数显著性检验可以看作是约束检验的一个特例。回归模型结构变化的检验1）结构变化检验的必要性建立模型时往往希望模型的参数是稳定的，即所谓的结构不变，这将提高模型的预测与分析功能。但在使用时间序列数据建模时，经常要做结构变化检验。下面我们从两个角度来分析这一问题：从模型估计的需要来看：模型中所涉及到的因变量与自变量之间的关系发生结构性变化可能是由于内部因素造成的；（比如1973、1979、以及19901991年的海湾战争期间，由OPEC石油组织发起的石油禁运）；也可能是由于政策的变化；（比如1973年，由固定汇率转为浮动汇率；再比如，我国近30年的改革开放经历了由计划经济有计划的市场经济社会主义市场经济）还有可能是收集的数据本身的特征；（比如由于行政区划的变更造成相应统计数据统计口径的不一致）。总之，一个大的数据集包含了许多子集，模型中变量之间的相互联系在各个子集中是否一样？回答是未必！必须进行同质性检验。从解释经济理论的需要来看：卢卡斯批判政策制定或实施者的行为方式的变化会引起结构性计量模型深层次的参数估计的变化，若忽略这一变化，而将作为常数，会导致预测的系统性失误。比方说一个国家的货币政策，从长期来看它是紧缩政策与扩张政策交替进行