多变量回归分析计量经济学南开大学PPT学习教案

1、会计学1 多变量回归分析计量经济学南开大学多变量回归分析计量经济学南开大学 为非随机的、 X3 ),(5 2 I0uN、 kr）（、X4 无多重共线性，即Xi (i = 2,3, ,k )之间不存在线性关系： 成立。 使：数：不存在不全为零的一组 0, , 2211 21 kikii k XXX 随机干扰项服从正态分布。 三、多 变量线性回归模型的SRF 列向量。估计量的列向量和残差分别为回归系数的和其中 或 OLS uXXXYSRF ikikiii u uXY : 33221 第1页/共19页 根据残差的平方和最小化的原理，解出参数的估计量。 第二节 多变量回归模型的OLS估计 ikikii

2、i uXXXYSRF : 33221 一、参数估计 YXYYXXYXYY XYXYuu XYuuXY uu 2 ) () ( ) (RSS 2 2 221 2 i i uRSS XXYu kikii 残差平方和 可得到如下正规方程组： ikikikikikiki iikiik i iii iikiikiik i i ikiki YXXXXXXX YXXXXXXX YXXXXXXX YXXn ki 2 3221 33 2 3 223231 2232 2 2 221 221 第2页/共19页 YXXX YXXX 1 3 2 1 321 3333231 2232221 3 2 1 2 32 3 2

3、23 3 232 2 2 2 32 )( )( 1111 3 即： 写成矩阵形式： n knkkk n n k ikiiki ki kiiii i kiiii i i kiii Y Y Y Y XXXX XXXX XXXX XXXXXX XXXXXX XXXXXX XXXn ki i 第3页/共19页 YXXX 0XXYX XXYXYY )( 22 2 1 2 2 i i u u 如果直接用矩阵微分，则 二、 的估计量 。的无偏估计量：为 2 E knkn u i uu 三、 的方差-协方差矩阵 uXXX uXXX uXXXXXXX uXXXXyXXX )( )( )()( )( )()( 1

4、 1 11 11 第4页/共19页 1 12 112 121 11 11 11 )( )( )()( )()( )( )( )()( )()( ) )( () ( XX XX XXXXXX XXXIXXX XXXuuXXX XXXuuXXX uXXXuXXX 标准差为 ）（ E E E ECovVar ) ( ) ( 112 12 ）（）（为的标准差 ）（的估计量为： XXXX XX Se CovVar ，则代替未知，以如果 222 第5页/共19页 四、OLS估计量 的性质： 最小。具有估计量 、最小方差性 、无偏性 ）（ 、线性 ) ( 3 2 1 1 YXXX VarOLS E 第6页/

5、共19页 第三节 拟合优度检验： 一、判定系数R2： 2 2 2 2 2)( Yn YnYYYYYyTSS iii i YY 总平方和： 22 2 YnYn ESSTSSESS uRSS i YXyXYYYY YXYYuu 回归平方和： 残差平方和： 平方和df均方差 ESSk-1 RSSn-k TSSn-1 方差分析表（ ANOVA) 22 Ynu i YX YXYY ) ( 2 YYi 22 )(YYYnYYi )1/() (kYXYY )/() ( 2 knYnYX 第7页/共19页 二、校正的R2 ： 由R2的计算式可看出， R2 随解释变量的增加而可能提高（不可能降 低）： 2 2

6、2 2 2 11 i i y u TSS RSS Yn Yn TSS ESS R YY yX 与解释变量X的个数无关，而 则可能随着解释变量的增加 而减少（至少不会下降），因而，不同的SRF，得到的R2 就可能不同。 必须消除这种因素，使R2 即能说明被解释的离差与总离差之间的关系， 又能说明自由度的数目。定义校正的样本决定系数 ： 2 i y 2 iu 2 R ) ( 1 1 )1(1 )1/( )/( 1 2 22 YSe kn n R nTSS knESS R 2 2 2 Yn Yn TSS ESS R YY yX 判定系数： 第8页/共19页 三、R2 与 的性质 2 R 2222 2

7、2 , 10, 10 RRkRR RR 时，当 第四节 显著性检验 一、单参数的显著性检验： 0: 0: 1 0 i i H H 备择假设 原假设 如果接受H0 ，则变量Xi 对因变量没有影响，而接受H1，则说明变 量Xi 对因变量有显著影响。 )( ) ( )(,( ), 0( 122 knt Se t NN i ii ，则统计量代替以 ，因此根据假定，XXIu 检验 的显著性， 即在一定显著水平下， 是否显著不为0。 i i 第9页/共19页 检验步骤： 0, 0, )( )( 4 )(3 ) ( 2 05.0)1 ( 10 0 2 2 2 不显著异于参数接受则拒绝 显著异于参数则接受 ，

8、 ， 若 ）判断：（ 。分布表，找出）查（ ）计算统计量：（ 。，如选择显著水平 i i i i HH H kntt kntt kntt Se t 如果根据理论或常识， 非负，则可做单侧检验，比较 t 与t。 i 二、回归的总显著性检验： 检验回归系数全部为零的可能性。 不同时为零备择假设 原假设 ),2, 1(: 0: 1 210 kiH H i k 0, 0, )( )( 10 0 显著异于参数接受则拒绝 不显著异于参数则接受 ， ， 若 i i HH H kntt kntt 第10页/共19页 平方和df均方差 ESSk-1 RSSn-k TSSn-1 方差分析表（ ANOVA) 22

9、Ynu i YX YXYY ) ( 2 YYi 22 )(YYYnYYi )1/() (kYXYY )/() ( 2 knYnYX ),1( )/() ( )1/() ( )/( )1/( 0 2 21 knkF kn kYn knRSS kESS F k YXYY YX ，则统计量如果假定： )/()1( )1/( , )/( )1/( 2 2 2 knR kR F RSSESSTSS knRSS kESS F TSS ESS R 可得到 ，根据 显然，R2 越大，F越大，当R2 =1时， F无限大。 显著接受则拒绝 不显著则接受 ， ， 若 , , ), 1( ), 1( 10 0 HH

10、H knkFF knkFF 选择显著水平 ，计算F统计量的值，与F分布表中的临界值进行比 较： 第11页/共19页 第五节 解释变量的选择 在回归模型中的解释变量，除非由明确的理论指导或其他原因，在选 择上具有一定的主观性，如何正确选择解释变量是非常重要的。 一、解释变量的边际贡献分析 在建立回归模型时，假定我们顺序引入变量。在建立了Y与X2的回归 模型，并进行回归分析后，再加入X2。考虑加入的变量X2是否有贡献： 能否再加入后显著提高回归的解释程度ESS或决定系数R2。ESS提高的量 称为变量X2的边际贡献。 决定一个变量是否引入回归模型，就要先研究它的边际贡献，以正 确地建立模型。如果变量

11、的边际贡献较小，说明改变量没有必要加入模 型。 分析变量的编辑贡献，可以使用方差分析表为工具，根据变量引入 前、后的RSS的变化量及其显著性检验（扣除原来引入模型的解释变量的 贡献），确定该变量的边际贡献是否显著。 一个简单的检验方法，就是对引入新变量后的RSS增量与新的ESS的 比值做显著性检验。 第12页/共19页 可以利用方差分析表来进行分析。 设ESS为引入变量前的回归平方和，ESS 为引入m个新变量后，得到的回归平方和，RSS为引入变量后的残差平方和。 ANOVA表如下： 平方和自由度均方差 引入变量前的ESSU1k-1U1/(k-1) 引入变量后的ESSU2k+m-1U2/(k+m

12、-1) 添加变量的边际贡献(U2-U1)m(U2-U1)/m 添加变量后的RSSQn-(k+m)Q/( n-k-m) TSSn-1 并检验其显著性。 定义统计量： )/( / )( mknRSS mESSESS F 第13页/共19页 显著则新增变量的边际贡献 不显著则新增变量的边际贡献 ， ， 若 ),( ),( mknmFF mknmFF 在新引入变量的系数为0的原假设下， ),( )/( / )( mknmF mknRSS mESSESS F 统计量 把计算出的该统计量的值与 显著水平下的临界值进行比较： 引入的新变量的边际贡献显著，则应该把这些变量纳入回归模型，否则这些变量不应引入回归

13、模型做解释变量。 二、逐步回归法 如果根据理论，因变量Y与k-1个变量X2，X2，Xk 有因果关系， 我们要建立的回归模型要在这些变量中选择正确的解释变量，要根据变量 的边际贡献大小，把贡献大的变量纳入回归模型。分析边际贡献并选择变 量的过程，实际上是一个逐步回归的过程。 首先，分别建立Y与k-1个变量X2，X2，Xk 的回归模型： 第14页/共19页 ikii iii iii uXY uXY uXaY 21 321 22 回归 后， 得到 各回 归方 程的 平方 和 )()()( )()()( )()()( 333 222 kkk XRSSXESSXTSS XRSSXESSXTSS XRSS

14、XESSXTSS 选择其中ESS最大并通过F检验的变量作为首选解释变量，假定是X2 。 此时可确定一个基本的回归方程： 在此基础上进行第二次回归，在剩下的变量中寻找最佳的变量： 建立k 2 个回归方程： ii uXY 221 iiii iiii iiii uXXY uXXY uXXaY 43221 43221 3322 第15页/共19页 回归后，得到各回归方程的平方和： ),(),(),( ),(),(),( ),(),(),( 222 424242 323232 kkk XXRSSXXESSXXTSS XXRSSXXESSXXTSS XXRSSXXESSXXTSS 同样，选择其中ESS最大

15、并通过F检验的变量作为新增解释变量，假 定是X3 。此时可确定一个基本的回归方程： ii uXXY 33221 重复这一过程，直到所有变量中，边际贡献显著的变量全部引入回归 模型中为止，得到最终的回归式： imimiii uXXXaY 3322 也可以采用逐步减少边际贡献不显著的变量的方式，逐步回归确定 回归模型包括的变量，方法一样。 第16页/共19页 第六节 利用多元回归模型进行预测 对于多元回归模型： uXY 通过回归分析，得到回归方程 XY 后，就可根据给定的解释变量的一组值X0 =(1,X20，X30， Xk0)，对因 变量Y的值进行估计。 n k XXX 1 2 1 0302000 XY 一、个值预测 为Y0及 的预测值。 )|( 00 XYE 第17页/共19页 二、区间预测 )( , )( )|( )|( )( ),( )( )( )(1)( )(1 , 0( )(1 )() ( )() ( )( )( 1 2/0 1 2/00 0 02/002/00 0 0 00 1 0 0