多变量回归分析计量经济学,南开大学ppt课件

1、第三章 多变量回归分析第一节 多变量线性回归模型一、多变量线性回归模型的PRF 假设假定对因变量Y 有k-1个解释变量：X2，X3，Xk，k 变量总体回归函数为：kiuXXXYPRFikikiii, 2 , 1,:33221其中1为常数项， 2 2 为解释变量X2 Xk 的系数，u为随机干扰项。 总体回归函数PRF给出的是给定解释变量X2 Xk 的值时，Y的期望值：E ( Y | X2，X3，Xk )。 假定有n组观测值，那么可写成矩阵方式：nnknkknnnuuuXXXXXXXXXYYY212121332312222121111uXY或： 为随机扰动项列向量为待估计参数列向量为数据矩阵。为因

2、变量观测值列向量uXY中，在uXY二、多 变量线性回归模型的根本假定 0uE、1随机干扰项的期望值为0。Iuu22222221222121212121210000000000002nnnnnnnuuuuuuuuuuuuuuuuuuuuuE、同方差性；无序列相关。为非随机的、 X3),(52I0uN、kr）（、X4无多重共线性，即Xi (i = 2,3, ,k )之间不存在线性关系：成立。使：数：不存在不全为零的一组0,221121kikiikXXX随机干扰项服从正态分布。三、多 变量线性回归模型的SRF列向量。估计量的列向量和残差分别为回归系数的和其中或OLSuXXXYSRFikikiiiuu

3、XY:33221 根据残差的平方和最小化的原理，解出参数的估计量。第二节 多变量回归模型的OLS估计ikikiiiuXXXYSRF:33221一、参数估计YXYYXXYXYYXYXYuuXYuuXYuu2)()( )(RSS222212iiuRSSXXYukikii残差平方和 可得到如下正规方程组：ikikikikikikiiikiikiiiiiikiikiikiiikikiYXXXXXXXYXXXXXXXYXXXXXXXYXXnki232213323223231223222221221YXXXYXXX1321321333323122322213212323223323222232)()(11

4、113即：写成矩阵形式：nknkkknnkikiikikikiiiiikiiiiiikiiiYYYYXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXnkiiYXXX0XXYXXXYXYY)(222122iiuu假设直接用矩阵微分，那么二、 的估计量 。的无偏估计量：为 2Eknknuiuu三、 的方差-协方差矩阵 uXXXuXXXuXXXXXXXuXXXXyXXX)()()()()( )()(111111112112121111111)()()()()()()( )()()()()()()(XXXXXXXXXXXXXIXXXXXXuuXXXXXXuuXXXuXXXuXXX标准

5、差为）（EEEECovVar)()(11212）（）（为的标准差）（的估计量为：XXXXXXSeCovVar，则代替未知，以如果222四、OLS估计量 的性质：最小。具有估计量、最小方差性、无偏性）（、线性)(32 11YXXXVarOLSE第三节 拟合优度检验：一、断定系数R2：22222)(YnYnYYYYYyTSSiiiiYY总平方和：222 YnYnESSTSSESSuRSSiYXyXYYYYYXYYuu回归平方和：残差平方和：平方和df均方差ESSk-1RSSn-kTSSn-1方差分析表 ANOVA)22YnuiYXYXYY)(2YYi22)(YYYnYYi)1/()(kYXYY)/

6、()(2knYnYX二、校正的R2 ： 由R2的计算式可看出， R2 随解释变量的添加而能够提高不能够降低：2222211iiyuTSSRSSYnYnTSSESSRYYyX 与解释变量X的个数无关，而 那么能够随着解释变量的添加而减少至少不会下降，因此，不同的SRF，得到的R2 就能够不同。必需消除这种要素，使R2 即能阐明被解释的离差与总离差之间的关系，又能阐明自在度的数目。定义校正的样本决议系数 ：2iy2iu2R)(11)1(1)1/()/(1222YSeknnRnTSSknESSR222YnYnTSSESSRYYyX判定系数：三、R2 与 的性质2R222222,10, 10RRkRR

7、RR时，当第四节 显著性检验 一、单参数的显著性检验：0:0:10iiHH备择假设原假设 假设接受H0 ，那么变量Xi 对因变量没有影响，而接受H1，那么阐明变量Xi 对因变量有显著影响。)()()(,(), 0(122kntSetNNiii，则统计量代替以，因此根据假定，XXIu 检验 的显著性， 即在一定显著程度下， 能否显著不为0。ii检验步骤：0,0,)()(4)(3)(205.0)1 (100222不显著异于参数接受则拒绝显著异于参数则接受，若）判断：（。分布表，找出）查（）计算统计量：（。，如选择显著水平iiiiHHHknttknttknttSet假设根据实际或常识， 非负，那么可

8、做单侧检验，比较 t 与t。i二、回归的总显著性检验： 检验回归系数全部为零的能够性。不同时为零备择假设原假设),2, 1(:0:1210kiHHik0,0,)()(100显著异于参数接受则拒绝不显著异于参数则接受，若iiHHHknttkntt平方和df均方差ESSk-1RSSn-kTSSn-1方差分析表 ANOVA)22YnuiYXYXYY)(2YYi22)(YYYnYYi)1/()(kYXYY)/()(2knYnYX),1()/()()1/()()/()1/(0221knkFknkYnknRSSkESSFkYXYYYX，则统计量如果假定：)/()1()1/(,)/()1/(222knRkR

9、FRSSESSTSSknRSSkESSFTSSESSR可得到，根据 显然，R2 越大，F越大，当R2 =1时，F无限大。显著接受则拒绝不显著则接受，若,), 1(), 1(100HHHknkFFknkFF 选择显著程度 ，计算F统计量的值，与F分布表中的临界值进展比较：第五节 解释变量的选择 在回归模型中的解释变量，除非由明确的实际指点或其他缘由，在选择上具有一定的客观性，如何正确选择解释变量是非常重要的。一、解释变量的边沿奉献分析 在建立回归模型时，假定我们顺序引入变量。在建立了Y与X2的回归模型，并进展回归分析后，再参与X2。思索参与的变量X2能否有奉献：能否再参与后显著提高回归的解释程度

10、ESS或决议系数R2。ESS提高的量称为变量X2的边沿奉献。 决议一个变量能否引入回归模型，就要先研讨它的边沿奉献，以正确地建立模型。假设变量的边沿奉献较小，阐明改动量没有必要参与模型。 分析变量的编辑奉献，可以运用方差分析表为工具，根据变量引入前、后的RSS的变化量及其显著性检验扣除原来引入模型的解释变量的奉献，确定该变量的边沿奉献能否显著。 一个简单的检验方法，就是对引入新变量后的RSS增量与新的ESS的比值做显著性检验。 可以利用方差分析表来进展分析。 设ESS为引入变量前的回归平方和，ESS 为引入m个新变量后，得到的回归平方和，RSS为引入变量后的残差平方和。 ANOVA表如下：平方

11、和自由度均方差引入变量前的ESSU1k-1U1/(k-1)引入变量后的ESSU2k+m-1U2/(k+m-1)添加变量的边际贡献(U2-U1)m(U2-U1)/m添加变量后的RSSQn-(k+m)Q/( n-k-m)TSSn-1并检验其显著性。定义统计量：)/(/ )(mknRSSmESSESSF显著则新增变量的边际贡献不显著则新增变量的边际贡献，若),(),(mknmFFmknmFF 在新引入变量的系数为0的原假设下，),()/(/ )(mknmFmknRSSmESSESSF统计量把计算出的该统计量的值与 显著程度下的临界值进展比较： 引入的新变量的边沿奉献显著，那么应该把这些变量纳入回归模

12、型，否那么这些变量不应引入回归模型做解释变量。二、逐渐回归法 假设根据实际，因变量Y与k-1个变量X2，X2，Xk 有因果关系，我们要建立的回归模型要在这些变量中选择正确的解释变量，要根据变量的边沿奉献大小，把奉献大的变量纳入回归模型。分析边沿奉献并选择变量的过程，实践上是一个逐渐回归的过程。 首先，分别建立Y与k-1个变量X2，X2，Xk 的回归模型：ikiiiiiiiiuXYuXYuXaY2132122回归后，得到各回归方程的平方和)()()()()()()()()(333222kkkXRSSXESSXTSSXRSSXESSXTSSXRSSXESSXTSS 选择其中ESS最大并经过F检验的

13、变量作为首选解释变量，假定是X2 。此时可确定一个根本的回归方程： 在此根底上进展第二次回归，在剩下的变量中寻觅最正确的变量：建立k 2 个回归方程：iiuXY221iiiiiiiiiiiiuXXYuXXYuXXaY43221432213322回归后，得到各回归方程的平方和：),(),(),(),(),(),(),(),(),(222424242323232kkkXXRSSXXESSXXTSSXXRSSXXESSXXTSSXXRSSXXESSXXTSS 同样，选择其中ESS最大并经过F检验的变量作为新增解释变量，假定是X3 。此时可确定一个根本的回归方程：iiuXXY33221 反复这一过程，直到一切变量中，边沿奉献显著的变量全部引入回归模型中为止，得到最终的回归式：imimiiiuXXXaY3322 也可以采用逐渐减少边沿奉献不显著的变量的方式，逐渐回归确定回归模型包括的变量，方法一样。第六节 利用多元回归模型进展预测 对于多元回归模型：uXY经过回归分析，得到回归方程XY后，就可根据给定的解释变量的一组值X0 =(1,X20，X30， Xk0)，对因变量Y的值进展估计。nkXXX1210302000XY一、个值预测为Y0及 的预测值。)|(00XYE二、区间预测 )(, )()|()|()(),()()()(1)()(1 , 0( )(1 )()()(