第11章 面板数据模型（教资特选）

1、第11章 面板数据模型,一、面板数据模型简介 二、混合最小二乘回归 三、固定效应模型 四、随机效应模型 五、模型设定检验 六、动态面板数据模型,1,教学教资,一、面板数据模型简介,（一）何谓“面板数据(panel data)”？ 时间维度+截面维度 如在分析中国各省份经济增长的决定因素时，共有31个截面，每个截面都取1979-2008共30年的数据，则共有930个观察值，这就是一个典型的面板数据。 上市公司财务数据，研究一段时期内（1998-2008）20家上市公司股利的发放数额与股票账面价值之间的关系，共有20 11=220个观测值。,2,教学教资,表1 1996-2002年中国15个省的居

2、民家庭人均消费数据（不变价格）,3,教学教资,表2 上市公司的投资与股票账面价值,4,教学教资,（二）面板数据模型的优点,面板数据模型（panel data model），即研究和分析面板数据的模型。它的变量取值都带有时间序列和横截面的两重性。一般线性模型只单独处理横截面数据或时间序列数据，而不能同时分析和对比它们。面板数据模型，相对于一般的线性回归模型，其长处在于它既考虑到了横截面数据存在的共性，又能分析模型中横截面因素的个体特殊效应。 当然我们也可以将横截面数据简单堆积起来用OLS回归模型来处理，但这样做就丧失了分析个体特殊效应的机会。,5,教学教资,面板数据模型的优点,第一，Panel

3、Data Model通过对不同横截面单元不同时间观察值的结合，增加了自由度，减少了解释变量之间的共线性，从而得到更为有效的估计量； 第二，Panel Data Model是对同一截面单元集的重复观察，能更好地研究经济行为变化的动态性； 第三，Panel Data Model可以通过设置虚拟变量对个别差异（非观测效应）进行控制；即面板数据模型可以用来有效处理遗漏变量（omitted varaiable）的模型错误设定问题。,6,教学教资,遗漏变量,使用面板数据的一个主要原因是，面板数据可以用来处理某些遗漏变量问题。 例如，遗漏变量是不随时间而变化的表示个体异质性的一些变量，如国家的初始技术效率、

4、城市的历史或个人的一些特征等。这些不可观测的不随时间变化的变量往往和模型的解释变量相关，从而产生内生性，导致OLS估计量有偏且不一致。 面板数据对遗漏变量问题的解决得益于面板数据对同一个个体的重复观测。,7,教学教资,何谓“非观测效应”？,非观测效应(unobserved effect)，是指在面板数据分析中，一个不可观测的、因截面个体而异、但不随时间变化的变量。 非观测效应通常被解释为对截面个体特征的捕捉。 比如研究：“交通死亡率与酒后驾车人数的关系”（样本为一段时间内浙江省11个地级市） 非观测因素：汽车本身状况、道路质量、当地的饮酒文化、单位道路的车辆密度。 非观测效应的存在导致OLS估

5、计结果不准确，而面板数据可以控制和估计非观测效应。,8,教学教资,（三）面板数据描述的Stata操作,（1）设定截面变量和时间变量 tsset panelvar timevar （2）描述性统计 sum var1 var2 可得到变量的基本统计量 xtsum var1 var2 分组内(within)、组间(between)和样本整体(overall)计算各变量的基本统计量,9,教学教资,（四）面板数据模型的一般描述,10,教学教资,面板数据模型的一般描述(续1),11,教学教资,面板数据模型的一般描述(续2),12,教学教资,面板数据模型的一般描述(续3),13,教学教资,（五）面板数据的估

6、计方法,1、混合最小二乘回归（pooled OLS） 2、固定效应模型（fixed effects model） 3、随机效应模型（random effects model） 4、动态面板模型（dynamic panel data）,14,教学教资,二、混合普通最小二乘回归,Wooldridge第13章 使用混合横截面数据（pooled cross section，将混合在一起的数据看作是横截面数据）的一个理由是要加大样本容量，把在不同时点从同一总体中抽取的多个随机样本混合起来，可以获得更精密的估计量和更有效的检验统计量。 回归所得截距项在不同时期可以有不同的值。可以进行带有时期(年份)虚拟变

7、量多元线性回归。,15,教学教资,例1：不同时期的妇女生育率 FERTIL1.RAW 1972年和1984年社会总调查（General Social Survey）,16,教学教资,例2：教育回报和工资中性别差异的变化,跨越1978年（基年）和1985年两期的一个混合对数工资方程。 CP78-85.RAW。,17,教学教资,两时期面板数据分析,比如有关个人、企业或城市、国家的横截面，现有两年的数据，称之为t=1，t=2。 CRIME2.RAW包含1982和1987年若干城市的犯罪和失业的数据。如果用1987年为横截面数据做回归，得到 可以得出增加失业率会降低犯罪率的结论吗？,18,教学教资,两

8、时期面板数据分析(续1),上述回归很可能存在遗漏变量问题。 一个解决办法是，控制住更多的因素，如年龄、性别、教育、执法水平等。 另一种方法是，把影响因变量的观测不到的因素分为两类：一类是恒常不变的；另一类则随时间而变。 d2t表示当t=1时等于0而当t=2时等于1的一个虚拟变量，它不随i而变。ai概括了影响yit的全部观测不到的、在时间上恒定的因素，通常称作非观测效应，也称为固定效应，即ai在时间上是固定的。特质误差uit表示随时间变化的那些非观测因素。,19,教学教资,两时期面板数据分析(续2),前述1982和1987年城市犯罪率的一个非观测效应模型是： ai代表了影响城市犯罪率的、不随时间

9、而变的全部因素，诸如城市的地理位置、居民的某些人口特征（种族、教育）、城市居民对待犯罪的态度等。 给定两年的面板数据，如何估计1？,20,教学教资,两时期面板数据分析(续3),一种方法，将两年的数据混合起来，然后用OLS。为使混合OLS得到1的一致估计，就必须假定非观测效应ai与xit 不相关。 其中， 称为复合误差(composite error)。 这一结果与1987年数据的横截面OLS回归结果不一样。注意，使用混合OLS并不解决遗漏变量问题。,21,教学教资,两时期面板数据分析(续4),另一种方法，考虑了非观测效应与解释变量相关性。（面板数据模型主要就是为了考虑非观测效应与解释变量相关性

10、的情形）例如在犯罪方程中，让ai中的未测出的却影响着犯罪率的因素也与失业率相关。处理方法就是一阶差分（first-differenced）。 非观测效应被差分掉了，方程已满足OLS假定。,22,教学教资,两时期面板数据分析(续5),上述犯罪率模型用一阶差分方程估计结果： 差分后的估计结果与前面不同。,23,教学教资,三、固定效应估计法,取一阶差分仅是消除固定效应ai的许多方法之一。更好的方法是固定效应变换。考虑仅有一个解释变量的模型： 对每个i求方程在时间上的平均，得到 两式相减，得到 ( 是y的除去时间均值后的数据 ),24,教学教资,固定效应估计量,固定效应变换，又称“组内变换(withi

11、n transformation)”，非观测效应ai已随之消失，可以用混合OLS进行估计。基于除去时间均值变量的混合OLS估计量就是固定效应估计量(fixed effected estimator)或组内估计量(within estimator)。 固定效应估计量=组内估计量,25,教学教资,组间估计量,对横截面方程 使用OLS估计时，就得到了组间估计量(between estimator)。,26,教学教资,3个决定系数R2,面板数据模型回归结果可得到3个决定系数： R2(overall)，表示混合OLS (pooled OLS)回归的R2 R2(within)，表示组内估计(或固定效应变换

12、)的R2 R2(between)，表示组间估计的R2,27,教学教资,虚拟变量回归,固定效应模型也可以理解为，每一个横截面个体i都有自己不随时间变化的非观测效应ai。 在估计时，可以为每一个i安排一个虚拟变量，得到各自的截距项，这就是虚拟变量回归(dummy variable regression)。,28,教学教资,固定效应模型的虚拟变量回归,其中， i=1,2,3.N，为截面标示；t=1,2,. T，为时间标示 ；xit为k1解释变量，为k1系数列向量。 对于特定的个体i 而言， ai表示那些不随时间改变的影响因素，而这些因素在多数情况下都是无法直接观测或难以量化的，称为“个体效应”(in

13、dividual effects)。 在固定效应模型中，解释变量的参数 对各经济主体都相同，属于共同部分，所以不同经济主体的差异完全体现在常数项参数ai的取值上。,29,教学教资,图示,GDP,X(Invest、edu),北京,江苏省,山西省,基础设施更加完善，受教育程度较好、经济结构以服务业为主、法制更健全,30,教学教资,固定效应模型的虚拟变量回归,31,教学教资,1代表元素都为1的n维列向量。进一步，可以将与常数项参数ai相关的mnm维矩阵写成D，而将不包含常数项参数相关的mnk维矩阵写成X，则面板数据的固定效应模型又可以更简洁地表示为： 由于上式的矩阵D的列向量可以理解为代表第i个经济

14、主体的虚拟变量，通常也可将固定效应模型称为最小二乘虚拟变量模型(Least squares dummy variable model, LSDV)。,固定效应模型的虚拟变量回归,32,教学教资,固定效应模型的Stata操作,（1）设定截面变量和时间变量 tsset panelvar timevar （2）固定效应模型估计 xtreg y x1 x2 x3, fe （3）导出固定效应回归的个体截距项 predictv, u gen c=v+_b_cons 或者，直接进行LSDV估计 xtreg y x1 x2 x3 i.panelvar,33,教学教资,固定效应VS一阶差分,固定效应,34,教学

15、教资,固定效应VS一阶差分,一阶差分,35,教学教资,四、随机效应模型,假定一个非观测效应模型为： 固定效应法和一阶差分法的目的都是要把ai消去，因为ai被认为是与xitj中的一个或多个相关。但是，假如ai与任何一个解释变量在任何时期都不相关，那么通过变化把ai消去就会导致低效的估计量。 如果假定非观测效应ai与每一个解释变量都不相关 则上述模型就是一个随机效应(random effects)模型。,36,教学教资,如何估计,如果我们相信ai与解释变量不相关，则可用单一横截面回归(pooled OLS)得到的一致估计，根本不需要面板数据！但是使用单一横截面显然忽视了其他时期许多有用的信息。实际

16、上，混合OLS回归通常是有偏误的。 定义复合误差项 ，则有 由于ai在每个时期都是复合误差项的一部分，vit在不同时间上就应是时序相关的。,37,教学教资,如何估计(续1),因为， 所以， 必须用GLS变换以消去误差项中的时序相关。,38,教学教资,如何估计(续2),方程 定义 变换方程为： 固定效应估计量是从相应的变量减去时间平均，而随机效应变换只减去其时间平均的一个分数，这个分数依赖于 和时期的个数T。,39,教学教资,随机效应估计量的矩阵表达,复合误差项的方差协方差矩阵为 随机效应估计量为：,40,教学教资,四种估计方法之比较,这里的，即为前面的。,41,教学教资,四种估计方法之比较(续

17、),当=0，得到混合OLS估计量； 当=1，得到固定效应估计量； 如果接近于0，随机效应估计量就会接近混合OLS估计量；如果接近于1，随机效应估计量就会接近固定效应估计量。当T很大时，趋于1，随机效应估计量与固定效应估计量非常相似。,42,教学教资,求theta,43,教学教资,随机效应模型的Stata操作,（1）设定截面变量和时间变量 tsset panelvar timevar （2）随机效应模型估计 xtreg y x1 x2 x3, re （3）得到(或,theta)的值 xtreg y x1 x2 x3, re theta,44,教学教资,随机效应模型是否优于混合OLS,在STATA

18、中实施随机效应回归之后，使用xttest0，可以检验随机效应模型是否优于混合OLS 模型。 本例中，P 值为0.0000，表明RE优于混合OLS。,45,教学教资,五、模型设定检验,在实证分析中，选择固定效应模型还是随机效应模型，一般通过Hausman检验来判断。 随机效应模型把个体效应ai设定为随机扰动项的一部分，所以就要求解释变量与个体效应ai不相关，而固定效应模型并不需要这个假设条件。 因此，可以通过检验该假设条件是否满足，来选择模型。如果满足，那么就应该采用随机效应模型，反之，就需要采用固定效应模型。,46,教学教资,Hausman检验的原理,Hausman(1978)提出了一种基于随

19、机效应估计量和固定效应估计量之间差异的检验。 Hausman检验的基本思想是： 在个体效应ai和其他解释变量不相关的原假设下，二者的参数估计应该不会有系统的差异。 如果拒绝了原假设，则认为ai与解释变量出现了相关，此时固定效应模型是一致的，而随机效应模型是非一致的，我们就应该选择固定效应模型。,47,教学教资,关于Hausman检验的说明,Hausman统计量为： H=(b-B)Var(b)-Var(B)-1(b-B)x2(k) b为固定效应估计结果，B为随机效应估计结果。 Hausman统计量服从自由度为k的卡方分布。当H大于一定显著水平的临界值时，我们就认为模型中存在固定效应，从而选用固定

20、效应模型，否则选用随机效应模型。 如果Hausman检验值为负，说明的模型设定有问题，导致Hausman 检验的基本假设得不到满足，比如存在遗漏变量的问题，或者某些变量是非平稳等等。 此时应改用hausman检验的其他形式： hausman fe, sigmaless,48,教学教资,Hausman检验在Stata中的操作,第一步：估计固定效应模型，存储结果 xtreg y x1 x2 x3., fe estimates store fixed 第二步：估计随机效应模型，存储结果 xtreg y x1 x2 x3., re estimates store random 第三步：进行hausma

21、n检验 hausman fixed random,49,教学教资,面板数据的Stata操作实例,50,教学教资,(1)随机效应模型,首先采用随机效应方法来估计模型。数据集中有135个公司的3年数据，所以有405个样本观测值。但由于有缺失数据，最后得到的观测值为390个。 在STATA中输入： use JTRAIN tsset fcode year xtreg hrsemp d88 d89 grant grant_1 lemploy, re,51,教学教资,随机效应估计结果,52,教学教资,随机效应估计结果分析,职业培训补助金（grant），其估计系数为33.52，且标准差比较小，估计量在统计上

22、非常显著。因此，如果公司在当年得到补助金，与没有得到补助金相比，在其他条件不变下，公司会给其职员更多的（平均）培训时间33.52小时，这是很大的效果。 而上一年的职业培训补助金是不显著的，说明职业培训补助金没有滞后作用。 大公司是否比小公司提供更多的职业培训，从上述回归结果看：如果职员数量增加10%，每个职员的培训时间大约减少0.422小时，此结果统计上显著。,53,教学教资,随机效应还是混合OLS,在随机效应回归后，输入xttest0，可得 表明，随机效应模型优于混合OLS 模型。,54,教学教资,随机效应回归的序列相关检验,在随机效应回归后，输入xttest1，可得,检验结果表明，存在随机

23、效应和序列相关，而且，对随机效应和序列相关的联合检验也非常显著。,55,教学教资,STATA命令下载安装,在STATA中，有些命令需要下载安装后才能使用，比如本例中的xttest1。 在STATA命令栏中输入 search xttest1, net 按照提示下载并安装，然后才能使用。 该方法也适用于其他命令,如xttest2, xttest3, xtserial, 等等。,56,教学教资,(2)固定效应模型,然后采用固定效应方法来估计模型。观测值与前述相同。 在STATA中输入： use JTRAIN tsset fcode year xtreg hrsemp d88 d89 grant gr

24、ant_1 lemploy, fe,57,教学教资,固定效应估计结果,58,教学教资,固定效应估计结果分析,与随机效应估计相比，结果相差不大，仅ln(employ)的回归系数有所变化，由统计意义上的显著变为不显著。我们想了解的是大公司是否比小公司提供更多的职业培训，从上面回归结果中无法得到下面这个结论：如果职员数量增加10%，每个职员的培训时间大约减少0.176小时，因为估计结果在统计上非常不显著。,59,教学教资,固定效应回归的异方差检验,在固定效应回归之后，输入xttest3，检验截面的异方差。 本例中，检验结果意味着截面间存在异方差。,60,教学教资,固定效应回归的序列相关检验,xtse

25、rial y x1 x2 x3 本例的检验结果是 意味着，误差项不存在一阶自相关。考虑到数据仅3年，这一结果是合理的。,61,教学教资,(3)固定效应or随机效应,最后，我们在固定效应模型和随机效应模型中进行选择Hausman检验。如果检验统计量的P值不显著，用随机效应模型比较安全；而如果P值显著，则固定效应模型会更为合理。其STATA命令为： xtreg hrsemp d88 d89 grant grant_1 lemploy, fe estimates store fixed xtreg hrsemp d88 d89 grant grant_1 lemploy, fe estimates

26、store random hausman fixed random,62,教学教资,Hausman检验结果,检验结果的P值为0.6366，不显著，所以我们最后选择随机效应模型。,P值在10%以下，选择固定效应,63,教学教资,固定效应模型估计说明,固定效应模型中个体效应和随机干扰项的方差估计值分别为sigma_u 和sigma_e，二者之间的相关关系为rho。 最后一行给出了检验固定效应u_i是否显著的F统计量和相应的P值（联合显著性检验，原假设：所有u_i都等于0），本例中固定效应非常显著。,64,教学教资,六、动态面板数据模型,很多经济关系本质上具有动态性，面板数据的优势之一就是它有助于更

27、好地理解动态调整过程。 如Acemoglu等(2005)关于民主与教育之间动态关系的研究中(From Education to Democracy？)，就用到了动态面板数据模型。论文旨在反驳Lipset(1959)的现代化理论，后者认为，教育多半可以开阔人的视野，使他能理解宽容准则的必要性，阻止他皈依极端主义学说，提高他在选举时作出合理选择的能力，也就是说，教育能够促进民主。作者用1965-2000年5年间隔的面板数据回归发现，教育对民主没有显著的效应。,65,教学教资,动态面板数据模型的一般形式,动态面板数据模型的一般形式： 在(1)式中，ui为非观测截面个体效应。 模型中含有滞后被解释变量

28、，给估计带来难题。由于yit是ui的函数，显然yi,t-1也是ui的函数，因此(1)式右侧的回归解释变量yi,t-1就与误差项(ui+it)相关。 此时，采用混合OLS，估计量是有偏且不一致。 采取固定效应(FE)，组内变换后，仍无法解决内生性问题，结果同样是有偏且不一致。 采取随机效应(RE)，结果也一样。,(1),66,教学教资,1、差分GMM(DIF-GMM),Arellano和Bond(1991)提出了DIF-GMM估计方法，通过对(1)式进行差分，消除未观测到的截面个体效应ui。 由(1)式知，yit-1是it-1的函数，因此(2)式中的 与 是相关的。在估计(2)式时，就需引入 的

29、工具变量。,(2),67,教学教资,DIF-GMM估计中的工具变量,从第3期开始，需要为yit-1设定工具变量。在DIF-GMM估计中，yit-1的工具变量是这样设定的： 在第3期，yi1是yi2的工具变量，因为它与(yi2 -yi1)高度相关，而与(i3 - i2)无关； 在第4期，yi1和yi2是yi3的工具变量； 在第5期，yi1、yi2和yi3是yi4的工具变量； 依次类推。 外生解释变量同样作为工具变量。,68,教学教资,DIF-GMM在stata中的操作,1、估计。在设定面板数据完毕后，输入 xtabond y x1 x2 x3 2、检验。 （1）过度识别约束检验（检验工具变量是否

30、有效） estat sargan （2）检验误差项的序列相关(通常在做两步Arellano和Bond估计之后才能进行) estat abond,69,教学教资,2、系统GMM(SYS-GMM),DIF-GMM存在着一些缺陷。比如，差分时，不仅消除了非观测截面个体效应，而且也消除了不随时间变化的其他变量。还有，DIF-GMM没有利用所有可用的矩条件，因而这种工具变量法可以得到模型参数的一致估计量，但很多时候并非有效估计量（方差最小）。 Arellano和Bover(1995)以及Blundell和Bond(1998)在DIF-GMM估计的基础上，引入被解释变量差分的滞后项与随机误差项正交这个矩条

31、件，得到SYS-GMM（系统GMM）。 参见Baltagi-Econometric Analysis of Panel Data,70,教学教资,SYS-GMM在stata中的操作,在对面板数据进行设定之后，输入 xtdpdsys y x1 x2 x3 过度识别约束检验 estat sargan,71,教学教资,面板数据模型的Stata操作,首先对面板数据进行声明： 前面是截面单元，后面是时间标识： tsset company year tsset industry year 产生新的变量：gen newvar=human*lnrd 产生滞后变量：gen fiscal(2)=L2.fiscal

32、 产生差分变量：gen fiscal(D)=D.fiscal,72,教学教资,描述性统计,xtdes ：对Panel Data截面个数、时间跨度的整体描述 xtsum：分组内、组间和样本整体计算各个变量的基本统计量 xttab 采用列表的方式显示某个变量的分布,73,教学教资,回归xtreg,Stata中用于估计面板模型的主要命令：xtreg xtreg depvar varlist if exp , model_type level(#) 简单总结： xtreg y x1 x2 x3., fe estimates store fixed xtreg y x1 x2 x3., re estim

33、ates store random hausman fixed random,74,教学教资,模型 Model type,be Between-effects estimator fe Fixed-effects estimator re GLS Random-effects estimator pa GEE population-averaged estimator mle Maximum-likelihood Random-effects estimator,75,教学教资,主要估计方法,xtreg： Fixed-, between- and random-effects, and population-averaged linear models xtregar：Fixed- and random-effects linear models with an AR(1) disturbance xtpcse ：OLS or Prais-Winsten models with panel-corrected standard errors xtrchh ：Hildreth-Houck random coefficients models xtivreg ：Instrumental variables and two-stage