回归分析概要

1、第二章回归分析概要第五节多元线性回归分析一模型的建立与假定条件在一元线性回归模型中，我们只讨论了包含一个解释变量的一元线性回归模型，也就是 假定被解释变量只受一个因素的影响。但是在现实生活中，一个被解释变量往往受到多个因 素的影响。例如，商品的消费需求，不但受商品本身的价格影响，还受到消费者的偏好、收 入水平、替代品价格、互补品价格、对商品价格的预测以及消费者的数量等诸多因素的影响。 在分析这些问题的时候，仅利用一元线性回归模型已经不能够反映各变量间的真实关系，因 此，需要借助多元线性回归模型来进行量化分析。多元线性回归模型的基本概念如果一个被解释变量（因变量）y有k个解释变量（自变量）七，j

2、 = 1,2,3,.,k，同时，yt不仅是七的线性函数，而且是参数80和P，i = 1,2,3,.k （通常未知）的线性函数，随即误差项为，那么多元线性回归模型可以表示为： ty = g + g x +g x +. + g x + u ,（t = 1,2,., n）t 01 t12 12k tk t这里E （y ） = P +P x +P x +. + P x为总体多元线性回归方程，简称总体回归方t 01 t12 t2k tk程。其中，k表示解释变量个数，P称为截距项，PP .P是总体回归系数。 01 2 kP，i = 1,2,3,.k表示在其他自变量保持不变的情况下，自变量Xt.变动一个单位

3、所引起的因变量Y平均变动的数量，因而也称之为偏回归系数。当给定一个样本（y ,x ,x，x ）,t = 1,2,.n时，上述模型可以表示为：t t1 t2tky = P +P x +P x +. + P x + u TOC o 1-5 h z 01 112 12k 1k1y =P +P x +P x + .+p x + u01 212 22k2 k2v y = P + P x + P x +. + P x + u 01 312 32k3k3y = P + P x + P x +. + P x + u 【t 0 1 t1 2 12k tk t此时，y与x已知，P与u未知。 t tji t其相应的

4、矩阵表达式为：（、 y12r = i、yT (T x1)、1111%气j广. kr1Pp02r+ k +1。（2）满足基本要求的样本容量一般经验认为，当n 30或者至少n 3（k +1）时，才能说满足模型估计的基本要求。三、多元可决系数与调整后的多元可决系数类似于一元线性回归模型的情形，我们对估计的回归方程关于样本观测值的拟合优度进 行检验，而检验的统计量是可决系数。因是多元回归，样本可决系数R2就称为多元可决系 数。对于多元线性回归模型的情形，一元线性回归模型的总离差平方和的分解公式依然成立，即：TSS= ESS +RSS其中，TSS的自由度为n-1，n表示样本容量，ESS的自由度为k，k表

5、示自变量的个数，RSS的自由度为n-k-1。“ ESS 、 RSSR 2 = 1 一 一TSS TSS我们在模型应用中发现，如果在模型中增加一个解释变量，R2往往会增大。这是因为残差平方和往往随着解释变量个数的增加而减少，至少不会增加。这就给人一个错觉：要使 模型拟合得好，只要增加解释变量就可以了。但是，现实情况往往是，由增加解释变量个数 引起的R 2的增大与拟合好坏无关，因此，在多元线性回归模型之间比较拟合优度，R 2就不是一个合适的指标，必须加以调整。在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是将残 差平方和与总离差平方和分别处以各自的自由度，以剔除变量个数对拟

6、合优度的影响。定义调整的多元可决系数如下：R2 = 1 - RSS邸-SD =1_(1 -R2) TSS /(n -1)n - k -1当模型中增加一个自变量，如果RSS/（n-k-1）变小，因而使R2增大，便可认为这个自变 量对因变量有显著影响，应该放入模型中，否则，应予抛弃。在样本容量一定的情况下，R2具有如下性质：（1）若k 1,则R2 R2；（2）R2可能出现负值。如T = 10,k = 2,R2 = 0.1时，R2 = -0.157。显然，负的拟合优度没有任何意义，在此情况下，取R 2 = 0在实际中，R2或R2越大，模型拟合得就越好，但拟合优度不是评价模型优劣的唯一标 准。因此，我

7、们不能仅根据R2或R2的大小来选择模型。补充知识：赤池信息准则和施瓦茨信息准则为了比较所含解释变量个数不同的多元线性回归模型的拟合优度，常用的标准还有赤池 信息准则(Akaike Information Criterion，AIC)和施瓦茨信息准则(Schwarz Criterion，SC)， 其定义分别为：e, e2(k +1)AIC = In()+n nSC = In(竺)+ k In(n)nn这两个准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才能在原模型中增 加该解释变量。显然，与调整的可决系数相仿，如果增加的解释变量没有解释能力，则对残 差平方和e，e的减小没有多大帮助，但

8、增加了待估参数的个数，这时可能到时AIC或SC的 值增加。四、统计检验1. F检验为了从总体上检验模型中被解释变量与解释变量之间的线性关系是否显著成立，检验的 原假设为：H0 : P1 = P2 = . = Pk = 0 (k表示方程中回归系数的个数，也可以称为自变量 的个数)若成立，则模型中被解释变量与解释变量之间不存在显著的线性关系。备择解释为：H Pj不全为零。若原假设成立，则检验统计量：ESS / kRSS /(n - k -1)F (k, n - k -1)这是自由度为k, n - k -1的F分布，对于预先给定的显著水平a，可以从F分布表中查出相应的自由度。设检验水平为a，则检验规

9、则是：若F V F(k,n k-1)，接受原假设；若FFa(k,n k-1)，则接受备选假设。F与R2的关系：R 2 = 1 -三 n - k 1 + kF由公式，可以看出，F与R2成正比，R2越大，F值也越大。即总体的F检验越显著(F值越大)，R2的值也越大，回归方程拟合得就越好，所以，F检验可以看作是对拟合优度的 检验。2.回归系数的显著性检验一t检验对于多元线性回归模型，总体回归方程线性关系的显著性，并不意味着每个解释变量对 被解释变量的影响都是显著的。因此，有必要通过检验把那些对被解释变量影响不显著的解 释变量从模型中剔除，只保留对被解释变量影响显著的解释变量，以建立更为简单合理的多 元线性回归模型。如果一个解释变量.对被解释变量的影响不显著，则对应于该解释变量的回归系数P j