多元回归：估计与假设检验

1、第第4章多元回归：估计与假设检验章多元回归：估计与假设检验 Essentials of Econometrics 多元回归：估计与假设检验多元回归：估计与假设检验 第4章 4-2 重点讨论重点讨论 n 如何估计多元回归模型？多元回归模型的估计如何估计多元回归模型？多元回归模型的估计 过程与双变量模型有何不同？过程与双变量模型有何不同？ n 多元回归模型的假设检验与双变量模型有何不多元回归模型的假设检验与双变量模型有何不 同？同？ n 多元回归模型有没有一些在双变量模型中未曾多元回归模型有没有一些在双变量模型中未曾 遇到的特性？遇到的特性？ n 既然一个多元回归模型能够包括任意多个解释既然一个多

2、元回归模型能够包括任意多个解释 变量，那么如何决定解释变量的个数？变量，那么如何决定解释变量的个数？ 4-3 n 4.1 三变量线性回归模型三变量线性回归模型 n 4.2 多元线性回归模型的若干假定多元线性回归模型的若干假定 n 4.3 多元回归参数的估计多元回归参数的估计 n 4.4 估计多元回归的拟合优度：多元判定系数估计多元回归的拟合优度：多元判定系数R2 n 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 n 4.6 多元回归的假设检验多元回归的假设检验 n 4.7 对偏回归系数进行假设检验对偏回归系数进行假设检验 n 4.8 检验联合假设检验联合假设 n 4.9 从多元回归模型到双变量

3、模型：设定误差从多元回归模型到双变量模型：设定误差 n 4.10 校正的判定系数校正的判定系数 n 4.11 什么时候增加新的解释变量什么时候增加新的解释变量 n 4.13 若干例子若干例子 本章主要内容本章主要内容 4-4 4.1 三变量线性回归模型三变量线性回归模型 n 三变量三变量PRFPRF的非随机形式的非随机形式 ： E E( (Y Yt t) =) =B B1 1+ +B B2 2X X2 2t t+ +B B3 3X X3 3t t (4-1)(4-1) n 其随机形式为：其随机形式为： Y Yt t= =B B1 1+ +B B2 2X X2 2t t+ +B B3 3X X3

4、 3t t+ +u ut t (4-2)(4-2) = =E E( (Y Yt t) +) +u ut t (4-3) (4-3) 式中式中Y Y应变量；应变量；X X2 2、X X3 3 解释变量；解释变量；u u随机扰动项；随机扰动项；t t第第t t个观察值。个观察值。 n 表明：任何一个表明：任何一个 值可以表示成为两部分之和：值可以表示成为两部分之和： 1.1.系统成分或确定性成分系统成分或确定性成分( )( )，也就是，也就是 的均值的均值 2.2.非系统成分或随机成分非系统成分或随机成分 ，即由除，即由除 、 以外其他因素决定以外其他因素决定 。 Y 12233tt BB XB

5、X Y ( ) t E Y t u 2 X 3 X B2、B3为为 偏回归系数偏回归系数 4-5 4.1 三变量线性回归模型三变量线性回归模型 偏回归系数的含义偏回归系数的含义 n B 2 ，B 3 称为偏回归系数称为偏回归系数( (partial regression coefficients) )或偏斜率系数或偏斜率系数( (partial slope coefficients) )。 n 其意义如下：其意义如下：B2度量了在度量了在X3保持不变的情况下，保持不变的情况下，X2 每变动一单位，每变动一单位，Y的均值的均值E( (Y) )的改变量。同样的，的改变量。同样的， B3度量了在度量

6、了在X2保持不变的情况下，保持不变的情况下，X3每变动一单位，每变动一单位， Y的均值的均值E( (Y) )的改变量。的改变量。 4-6 4.1 三变量线性回归模型三变量线性回归模型 多元线性回归模型一般形式多元线性回归模型一般形式 n 多元线性回归模型：多元线性回归模型：表现在线性回归模型中的解释变表现在线性回归模型中的解释变 量有多个。量有多个。 n 一般表现形式：一般表现形式： 其中：其中：k为解释变量的数目（包括截距项），称为为解释变量的数目（包括截距项），称为回归系回归系 数数（regression coefficient）。）。 n 习惯上：把常数项看成为一虚变量的系数，该虚变量的

7、习惯上：把常数项看成为一虚变量的系数，该虚变量的 样本观测值始终取样本观测值始终取1。这样：。这样：模型中解释变量的数目为模型中解释变量的数目为k。 12233 1,2 ittkktt YBB XB XB Xu tn 4-7 4.1 三变量线性回归模型三变量线性回归模型 也被称为总体回归函数的随机表达形式。也被称为总体回归函数的随机表达形式。 n它的非随机表达式为：它的非随机表达式为： 方程表示：各变量方程表示：各变量X X值固定时值固定时Y Y的平均响应。的平均响应。 n 被称为偏回归系数，表示在其他解释变量保持不变的情被称为偏回归系数，表示在其他解释变量保持不变的情 况下，况下，X Xt

8、t每变化每变化1 1个单位时，个单位时，Y Y的均值的均值E(Y)E(Y)的变化；或者说的变化；或者说 给出了给出了X Xt t的单位变化对的单位变化对Y Y均值的均值的“直接直接”或或“净净”（不含其他（不含其他 变量）影响。变量）影响。 12233 1,2 ittkktt YBB XB XB Xu tn 2 ,3 ,12233 ( /) tttktttkkt E Y X XXBB XB XB X t B 4-8 4.1 三变量线性回归模型三变量线性回归模型 样本回归函数：用来估计总体回归函数样本回归函数：用来估计总体回归函数 其其随机表示式随机表示式: : 称为称为残差残差或或剩余项剩余项

9、(residuals)，可看成是，可看成是 总体回归函数中随机扰动项总体回归函数中随机扰动项 的近似替代。的近似替代。 12233 tttkkt Ybb Xb Xb X 12233tttkktt Ybb Xb Xb Xe t e t u 4-9 4.2 多元线性回归模型的若干假定多元线性回归模型的若干假定 假定假定 回归模型是参数线性的，并且是正回归模型是参数线性的，并且是正 确设定的。确设定的。 假定假定 随机扰动项与解释变量不相关。随机扰动项与解释变量不相关。 (,)0(2,3;1,2,) jii Cov Xujk in 假定假定 误差项均值为零。误差项均值为零。 ( 4 7 ) 假定假定

10、 同方差假定，即同方差假定，即ui的方差为一常量：的方差为一常量： ( 4 - 8 ) 2 var( ) i u ( )0 i E u 4-10 假定假定 为了假设检验，假为了假设检验，假 定随项误差定随项误差ui服从均值为服从均值为 零，零，(同同)方差为方差为 的正态分布。即，的正态分布。即， uiN( 0 , ) 4.2 多元线性回归模型的若干假定多元线性回归模型的若干假定 假定假定 无自相关假定无自相关假定 cov(ui,uj) = 0 , ij 2 假定假定 解释变量之间不存在完全共线性。即两解释变量之间不存在完全共线性。即两 个解释变量之间无确切的线性关系。个解释变量之间无确切的线

11、性关系。 2 ( 4 - 9 ) ( 4 - 10 ) 4-11 4.2 多元线性回归模型的若干假定多元线性回归模型的若干假定 n利用普通最小二乘法（利用普通最小二乘法（OLS）进行参数估计）进行参数估计 n无共线性（无共线性（no collinearity）或无多重共线性）或无多重共线性 （no multicollinearity）假定）假定 n共线性的共线性的(collinear)或严格的线性假定或严格的线性假定 n高度共线性（高度共线性（high perfect collinearity）或近）或近 似完全共性线（似完全共性线（near perfect collinearity） 假定假

12、定 4-12 4.3 多元回归参数的估计多元回归参数的估计 n4.3.1 普通最小二乘估计量普通最小二乘估计量 n4.3.2 OLS估计量的方差与标准误估计量的方差与标准误 n4.3.3 多元回归多元回归OLS估计量的性质估计量的性质 4-13 4.3.多元回归参数的估计多元回归参数的估计 普通最小二乘估计量普通最小二乘估计量 n 对于随机抽取的对于随机抽取的n组观测值，组观测值，如果样本函数的参数估计如果样本函数的参数估计 值已经得到，则有样本回归方程：值已经得到，则有样本回归方程： n根据根据最小二乘原理最小二乘原理，参数估计值应该是下列方程组的解，参数估计值应该是下列方程组的解 2 11

13、 2 ) ( n i ii n i i YYeQ 12233 tttkkt Ybb Xb Xb X 2 12233 1 () n iiikki i Ybb Xb Xb X 1 2 3 0 0 0 0 k Qb Qb Qb Qb 4-14 4.3 多元回归参数的估计多元回归参数的估计 n于是得到关于待估参数估计值的于是得到关于待估参数估计值的正规方程组正规方程组： ikikikiikiki iikiik i iii iikiikii i i ikiki YXXbXXbXXbXb YXXXbXbXXbXb YXXXbXXbXbXb YXbXbnb ki 2 33221 33 2 3 323231

14、22323 2 2 221 221 ., 2 , 1,kjbk k j 个待估参数的估计值即可得到 方程组，个方程组成的线性代数解该 4-15 4.3 多元回归参数的估计多元回归参数的估计 4.3.2 OLS4.3.2 OLS估计量的方差与标准误估计量的方差与标准误 随机误差项随机误差项ui的方差的方差 2 2的无偏估计的无偏估计 可以证明，随机误差项可以证明，随机误差项 方差的无偏估计量为方差的无偏估计量为 i u 2 2 t e nk 2222 E为的无偏估计量：。 参数的个数。为包括截距在内的待估为样本容量个数，其中kn 4-16 4.3 多元回归参数的估计多元回归参数的估计 4.3.3

15、 4.3.3 多元回归多元回归OLSOLS估计量的性质估计量的性质 n 在满足基本假设的情况下，其结构参数在满足基本假设的情况下，其结构参数 的的普普 通最小二乘估计通最小二乘估计仍具有：仍具有： 线性性、无偏性、有效性。线性性、无偏性、有效性。 i b 4-17 4.4 估计多元回归的拟合优度：多元判定系数估计多元回归的拟合优度：多元判定系数 n 的正平方根的正平方根 称为多元相关系数称为多元相关系数 （coefficient of multiple correlation） 2 R 2 E SS R TSS 2 RR 多元判定系数多元判定系数R2 4-18 4.5 古董钟拍卖价格一例古董钟

16、拍卖价格一例 4-19 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 4-20 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 2 191.6662 10.4856 (264.4393)(1.793729) ( 0.724802)(5.845711) 0.532509 0.4742)(0.0000) . .30 i priceAge se t r p d f 值 （ 4-21 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 4-22 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 4-23 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 2 807.9501 54.57245 (231.0921)(2

17、3.26605) (3.496226)(2.345582) 0.154971 0.0015)(0.0258) . .30 i priceBidder se t r p d f 值 （ 4-24 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 4-25 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 2 Pr1336.049 12.7413885.76407 (175.2725)(0.912356)(8.801995) ( 7.622698)(13.96537)(9.743708) 0.890614 118.0585 0.0000)(0.0000). .29 i iceAgeBidder se t

18、R F pd f 值 （ 4-26 4.5 古董钟拍卖价格一例古董钟拍卖价格一例 n 拍卖价格与钟表年代和竞标人数正相关。拍卖价格与钟表年代和竞标人数正相关。 n 斜率系数表示，在其他变量保持不变的条件下，斜率系数表示，在其他变量保持不变的条件下， 如果钟表年代每增加一年，则钟表价格平均上升如果钟表年代每增加一年，则钟表价格平均上升 马克。马克。 n 负的截距项没有实际意义。负的截距项没有实际意义。 n 值相当高，约为，表示两个变量解释了拍卖价值相当高，约为，表示两个变量解释了拍卖价 格格89%的变异。的变异。 2 R 4-27 4.6 多元回归的假设检验多元回归的假设检验 n可以证明偏回归系

19、数可以证明偏回归系数 均服从均值分均服从均值分 别为别为 的正态分布的正态分布 n如用如用 代替代替 ,则则OLS估计量服从自由度估计量服从自由度 为为(n-k)的的t分布分布 321 bbb 321 BBB 2 2 )( )( )( )( )( )( 2 22 1 11 knt bse Bb t knt bse Bb t knt bse Bb t k kk 4-28 4.7 对偏回归系数进行假设检验对偏回归系数进行假设检验 4.7.1 4.7.1 变量的显著性检验（变量的显著性检验（t检验）检验） n每个解释变量对被解释变量有无影响？每个解释变量对被解释变量有无影响？ n必须对每个解释变量进

20、行显著性检验，以决定是否必须对每个解释变量进行显著性检验，以决定是否 作为解释变量被保留在模型中。作为解释变量被保留在模型中。 n这一检验是由对变量的这一检验是由对变量的t t检验完成的。检验完成的。 4-29 4.7.1 变量的显著性检验（t检验） t检验检验 n设计原假设与备择假设：设计原假设与备择假设： H1：Bt 0 n给定显著性水平给定显著性水平 ，可得到临界值，可得到临界值t /2( (n-k) )，由样本，由样本 求出统计量求出统计量t的数值，通过的数值，通过 |t|t| t /2( (n-k) ) 或或 |t|t| t /2( (n-k) ) 来拒绝或接受原假设来拒绝或接受原假

21、设H0，从而，从而判定对应的解释变量是判定对应的解释变量是 否应包括在模型中。否应包括在模型中。 H0：Bt=0 t=1,2,k 4-30 变量的显著性检验（t检验） 双边双边t检验步骤：检验步骤： 2 02 01 2 (1)0.05 2 () 3() 4 () ,0 ,0() t t t t b t Se b ttnk ttnk H HHttnk 选择显著水平，如。 （ ）计算统计量： （ ）查 分布表，找出。 （ ）判断： ， 则接受参数B 显著异于 若 则拒绝接受参数B 不显著异于， 0 1 :0 :0 t t HB HB 原 假 设 备 择 假 设 4-31 4.7.1 变量的显著性检

22、验（t检验） 在钟表价格与年代、投标人数的三变量回归模在钟表价格与年代、投标人数的三变量回归模 型例中，由软件计算出参数的型例中，由软件计算出参数的t值：值： 给定显著性水平给定显著性水平 ，查得相应临界值：，查得相应临界值： t( (29) )。 可见，计算的所有可见，计算的所有t值都大于该临界值，所以值都大于该临界值，所以 拒绝原假设。即拒绝原假设。即: 包括常数项在内的包括常数项在内的3个解释变量都在个解释变量都在95%的水的水 平下显著，都通过了变量显著性检验。平下显著，都通过了变量显著性检验。 7437. 9/ ;9653.13/ ;6226. 7/ 321 ttt 双边检验双边检验

23、 4-32 变量的显著性检验（t检验） n 单边单边t检验步骤检验步骤: 如果根据理论或常识，如果根据理论或常识， 非负，则可做单侧检验，比较非负，则可做单侧检验，比较 t 与与t。t B 0 0 (), (), t t ttnkHB ttnkHB ， 则拒绝参数显著非负； 若 ， 则不拒绝参数不显著非负。 原假设原假设 H0：Bt 0 备择假设备择假设 H1： Bt 0 (1)0.05 2 ( ) 3() 4 t t b t Se b ttnk 选择显著水平 ，如。 （ ）计算统计量： （ ）查 分布表，找出。 （ ）判断： 4-33 变量的显著性检验（t检验） n 由于先验地预期钟表年代的

24、系数为正，因此，这由于先验地预期钟表年代的系数为正，因此，这 里实际上用的是单边检验：里实际上用的是单边检验： 原假设原假设 H0：B2 0 备择假设备择假设 H1： B20 0.05 2 2 0 2 1.69 13.9653 () 0.05. .329) 0) 9 b t se b td fn H B tt 计算统计量 在显著水平下，查 分布表（ 拒绝， 钟表年代对价格有正向影响（即 右侧单边检验右侧单边检验 4-34 4.7.2 假设检验的置信区间法 参数的参数的置信区间置信区间用来考察：用来考察： 在变量的显著性检验中已经知道：在变量的显著性检验中已经知道： )( )( )( )( )(

25、 )( 2 22 2 1 11 1 knt bse Bb t knt bse Bb t knt bse Bb t k kk k 4-35 4.7.2 假设检验的置信区间法 容易推出： 其中，其中，t /2为显著性水平为为显著性水平为 、自由度为、自由度为n-k的临界值。的临界值。 22 ( ),( )1 tttt p btse bbtse b 22 (),() tttt btse bbtse b 在在100(1- )%的置信水平下的置信区间是的置信水平下的置信区间是: 4-36 4.7.2 假设检验的置信区间法 在钟表价格与年代、投标人数三变量回归模型例在钟表价格与年代、投标人数三变量回归模型

26、例 中中,给定给定 ，查表得临界值：，查表得临界值：t( (29) ) 计算得参数的计算得参数的95%置信区间：置信区间： B1 ：(977.617, 1694.481) B2： (10.876, 14.607 ) B3 ：(67.764, 103.764) 从回归计算中已得到从回归计算中已得到 古董钟拍卖价格一例 8019. 8)(,7640.85 9123. 0)(,7413.12 2725.175)(,049.1336 33 22 11 bseb bseb bseb 4-37 4.8 检验联合假设：检验联合假设： 或或 n多元回归的总体显著性检验：多元回归的总体显著性检验： n检测所观测

27、到的多元回归的总体显著性的检测所观测到的多元回归的总体显著性的 方差分析法（方差分析法（analysis of variance analysis of variance ANOVAANOVA）：）：F F检验检验 0BB 32 0R 2 023 2 0 :0 :0 HBB HR 零假设 等同于 4-38 方程的显著性检验方程的显著性检验(F检验检验) F F检验的思想检验的思想来自于总离差平方和的分解式：来自于总离差平方和的分解式： TSS=ESS+RSS 由于回归平方和 2 iyESS 是解释变量X的联合体对被解 释变量 Y 的线性作用的结果，考虑比值 22 / ii eyRSSESS 如

28、果这个比值较大，则如果这个比值较大，则X的联合体对的联合体对Y的解释程度高，可的解释程度高，可 认为总体存在线性关系，反之总体上可能不存在线性关系。认为总体存在线性关系，反之总体上可能不存在线性关系。 因此因此, ,可通过该比值的大小对总体线性关系进行推可通过该比值的大小对总体线性关系进行推断断。 4.8 检验联合假设：检验联合假设： 或或 0BB 32 0R 2 4-39 方程的显著性检验方程的显著性检验(F检验检验) 方程的显著性检验，旨在对模型中被解释变方程的显著性检验，旨在对模型中被解释变 量与解释变量之间的线性关系在总体上是否显著量与解释变量之间的线性关系在总体上是否显著 成立作出推

29、断。成立作出推断。 即检验模型即检验模型 回归系数全部为零的可能性。回归系数全部为零的可能性。 可提出如下原假设与备择假设：可提出如下原假设与备择假设： 12233 1,2 tttkktt YBB XBXB Xu tn 不同时为零备择假设 原假设 ),2, 1(: 0: 1 210 kiBH BBBH i k 4.8 检验联合假设：检验联合假设： 或或0BB 32 0R 2 4-40 方差分析表（方差分析表（ ANOVA) 平方和平方和d.f.均方差均方差 ESSk-1 RSSn-k TSSn-1 2 ) ( YYi) 1/() ( 2 kYYi ) ( 2 ii YYe i ()/() ii

30、 YYn k 2 )(YY i 4.8 检验联合假设：检验联合假设： 或或0BB 32 0R 2 4-41 ), 1( )/( ) 1/( 0 21 knkF knRSS kESS F BBB k ，则统计量如果假定： 2 2 2 /(1) , /() /(1) (1)/() ESSESSk RFTSSESSRSS TSSRSSnk Rk F Rnk 根据， 可得到 显著接受则拒绝 不显著则接受 ， ， 若 , , ), 1( ), 1( 10 0 HH H knkFF knkFF 选择显著水平选择显著水平 ，计算，计算F统计量的值，与统计量的值，与F分布表中的临界值进行比分布表中的临界值进行

31、比 较：较： 4.8 检验联合假设：检验联合假设： 或或 0BB 32 0R 2 4-42 4.8 检验联合假设：检验联合假设： 或或 0BB 32 0R 2 0BB 32 0R 2 4-43 Table 4-2 给定显著性水平给定显著性水平 ，查分布表，得到临界值：，查分布表，得到临界值： F (2(2,29)=)= 显然有显然有 F F F ( (k-1,n-k) ) 即模型的线性关系在即模型的线性关系在95%的水平下显著成立。的水平下显著成立。 4-44 F 2 R与与 之间的重要关系之间的重要关系 )/()1 ( ) 1/( 2 2 knR kR F 4.8 检验联合假设：检验联合假设

32、： 或或0BB 32 0R 2 与与R2统计量同方向变动；统计量同方向变动； 2.当当R2=0时，时，F为为0； 2越大， 越大，F值越大；值越大； 4.当当R2取极限值取极限值1时，时，F值趋于无穷大。值趋于无穷大。 4-45 4.9 从多元回归模型到双变量模型：设定误差从多元回归模型到双变量模型：设定误差 n设定偏差（设定偏差（model specification bias)或设定或设定 误差（误差（specification error） 4-46 2 Pr1336.04912.7413885.76407 (175.2725)(0.912356)(8.801995) ( 7.62269

33、8)(13.96537)(9.743708) 0.0000)(0.0000) 0.890614 118.0585 . .29 i iceAgeBidder se t p R F d f 值 （ 4.9 从多元回归模型到双变量模型：设定误差从多元回归模型到双变量模型：设定误差 4-47 判定系数判定系数 该统计量越接近于该统计量越接近于1，模型的拟合优度越高。，模型的拟合优度越高。 问题：问题： 在应用过程中发现，如果在模型中增加一个解释变量，在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大往往增大 这就给人一个错觉：要使得模型拟合得好，只要增加这就给人一个错觉：要使得模型拟合得好

34、，只要增加 解释变量即可。解释变量即可。 但是，现实情况往往是，由增加解释变量个数引起的但是，现实情况往往是，由增加解释变量个数引起的 R2的增大与拟合好坏无关的增大与拟合好坏无关，R2需调整需调整。 2 2 2 11 i i y e TSS RSS TSS ESS R 4.10 比较两个比较两个 值值 2 R 4-48 与解释变量与解释变量X的个数无关，而的个数无关，而 则可能随着解释变量的增加则可能随着解释变量的增加 而减少（至少不会上升），因而，不同的而减少（至少不会上升），因而，不同的SRF，得到的，得到的R2 就可能不同。就可能不同。 必须消除这种因素，使必须消除这种因素，使R2 即能说明被解释的离差与总离差之间的关系，即能说明被解释的离差与总离差之间的关系， 又能说明自由度的数目。定义校正的样本判定系数又能说明自由度的数目。定义校