面板数据模型详解演示文稿

面板数据模型详解演示文稿第一页，共七十六页。优选面板数据模型第二页，共七十六页。3表11996-2002年中国15个省的居民家庭人均消费数据（不变价格）地区人均消费1996199719981999200020012002CP-AH（安徽）

3282.466

3646.150

3777.410

3989.581

4203.555

4495.174

4784.364CP-BJ（北京）

5133.978

6203.048

6807.451

7453.757

8206.271

8654.433

10473.12CP-FJ（福建）

4011.775

4853.441

5197.041

5314.521

5522.762

6094.336

6665.005CP-HB（河北）

3197.339

3868.319

3896.778

4104.281

4361.555

4457.463

5120.485CP-HLJ（黑龙江）

2904.687

3077.989

3289.990

3596.839

3890.580

4159.087

4493.535CP-JL（吉林）

2833.321

3286.432

3477.560

3736.408

4077.961

4281.560

4998.874CP-JS（江苏）

3712.260

4457.788

4918.944

5076.910

5317.862

5488.829

6091.331CP-JX（江西）

2714.124

3136.873

3234.465

3531.775

3612.722

3914.080

4544.775CP-LN（辽宁）

3237.275

3608.060

3918.167

4046.582

4360.420

4654.420

5402.063CP-NMG（内蒙古）

2572.342

2901.722

3127.633

3475.942

3877.345

4170.596

4850.180CP-SD（山东）

3440.684

3930.574

4168.974

4546.878

5011.976

5159.538

5635.770CP-SH（上海）

6193.333

6634.183

6866.410

8125.803

8651.893

9336.100

10411.94CP-SX（山西）

2813.336

3131.629

3314.097

3507.008

3793.908

4131.273

4787.561CP-TJ（天津）

4293.220

5047.672

5498.503

5916.613

6145.622

6904.368

7220.843CP-ZJ（浙江）

5342.234

6002.082

6236.640

6600.749

6950.713

7968.327

8792.210第三页，共七十六页。4表2上市公司的投资与股票账面价值第四页，共七十六页。5（二）面板数据模型的优点面板数据模型（paneldatamodel），即研究和分析面板数据的模型。它的变量取值都带有时间序列和横截面的两重性。一般线性模型只单独处理横截面数据或时间序列数据，而不能同时分析和对比它们。面板数据模型，相对于一般的线性回归模型，其长处在于它既考虑到了横截面数据存在的共性，又能分析模型中横截面因素的个体特殊效应。当然我们也可以将横截面数据简单堆积起来用OLS回归模型来处理，但这样做就丧失了分析个体特殊效应的机会。第五页，共七十六页。6面板数据模型的优点第一，PanelDataModel通过对不同横截面单元不同时间观察值的结合，增加了自由度，减少了解释变量之间的共线性，从而得到更为有效的估计量；第二，PanelDataModel是对同一截面单元集的重复观察，能更好地研究经济行为变化的动态性；第三，PanelDataModel可以通过设置虚拟变量对个别差异（非观测效应）进行控制；即面板数据模型可以用来有效处理遗漏变量（omittedvaraiable）的模型错误设定问题。第六页，共七十六页。遗漏变量使用面板数据的一个主要原因是，面板数据可以用来处理某些遗漏变量问题。例如，遗漏变量是不随时间而变化的表示个体异质性的一些变量，如国家的初始技术效率、城市的历史或个人的一些特征等。这些不可观测的不随时间变化的变量往往和模型的解释变量相关，从而产生内生性，导致OLS估计量有偏且不一致。面板数据对遗漏变量问题的解决得益于面板数据对同一个个体的重复观测。7第七页，共七十六页。8何谓“非观测效应”？非观测效应(unobservedeffect)，是指在面板数据分析中，一个不可观测的、因截面个体而异、但不随时间变化的变量。非观测效应通常被解释为对截面个体特征的捕捉。比如研究：“交通死亡率与酒后驾车人数的关系”（样本为一段时间内浙江省11个地级市）非观测因素：汽车本身状况、道路质量、当地的饮酒文化、单位道路的车辆密度。非观测效应的存在导致OLS估计结果不准确，而面板数据可以控制和估计非观测效应。第八页，共七十六页。9（三）面板数据描述的Stata操作（1）设定截面变量和时间变量tssetpanelvartimevar（2）描述性统计sumvar1var2

可得到变量的基本统计量xtsumvar1var2

分组内(within)、组间(between)和样本整体(overall)计算各变量的基本统计量第九页，共七十六页。10（四）面板数据模型的一般描述第十页，共七十六页。11面板数据模型的一般描述(续1)第十一页，共七十六页。12面板数据模型的一般描述(续2)第十二页，共七十六页。面板数据模型的一般描述(续3)

13第十三页，共七十六页。14（五）面板数据的估计方法1、混合最小二乘回归（pooledOLS）2、固定效应模型（fixedeffectsmodel）3、随机效应模型（randomeffectsmodel）4、动态面板模型（dynamicpaneldata）第十四页，共七十六页。15二、混合普通最小二乘回归Wooldridge第13章——使用混合横截面数据（pooledcrosssection，将混合在一起的数据看作是横截面数据）的一个理由是要加大样本容量，把在不同时点从同一总体中抽取的多个随机样本混合起来，可以获得更精密的估计量和更有效的检验统计量。回归所得截距项在不同时期可以有不同的值。可以进行带有时期(年份)虚拟变量多元线性回归。第十五页，共七十六页。16例1：不同时期的妇女生育率FERTIL1.RAW1972年和1984年社会总调查（GeneralSocialSurvey）第十六页，共七十六页。17例2：教育回报和工资中性别差异的变化跨越1978年（基年）和1985年[两期]的一个混合对数工资方程。CP78-85.RAW。第十七页，共七十六页。18两时期面板数据分析比如有关个人、企业或城市、国家的横截面，现有两年的数据，称之为t=1，t=2。CRIME2.RAW包含1982和1987年若干城市的犯罪和失业的数据。如果用1987年为横截面数据做回归，得到可以得出增加失业率会降低犯罪率的结论吗？第十八页，共七十六页。19两时期面板数据分析(续1)上述回归很可能存在遗漏变量问题。一个解决办法是，控制住更多的因素，如年龄、性别、教育、执法水平等。另一种方法是，把影响因变量的观测不到的因素分为两类：一类是恒常不变的；另一类则随时间而变。d2t表示当t=1时等于0而当t=2时等于1的一个虚拟变量，它不随i而变。ai概括了影响yit的全部观测不到的、在时间上恒定的因素，通常称作非观测效应，也称为固定效应，即ai在时间上是固定的。特质误差uit表示随时间变化的那些非观测因素。第十九页，共七十六页。20两时期面板数据分析(续2)前述1982和1987年城市犯罪率的一个非观测效应模型是：ai代表了影响城市犯罪率的、不随时间而变的全部因素，诸如城市的地理位置、居民的某些人口特征（种族、教育）、城市居民对待犯罪的态度等。给定两年的面板数据，如何估计β1？第二十页，共七十六页。21两时期面板数据分析(续3)一种方法，将两年的数据混合起来，然后用OLS。为使混合OLS得到β1的一致估计，就必须假定非观测效应ai与xit不相关。其中，称为复合误差(compositeerror)。这一结果与1987年数据的横截面OLS回归结果不一样。注意，使用混合OLS并不解决遗漏变量问题。第二十一页，共七十六页。22两时期面板数据分析(续4)另一种方法，考虑了非观测效应与解释变量相关性。（面板数据模型主要就是为了考虑非观测效应与解释变量相关性的情形）例如在犯罪方程中，让ai中的未测出的却影响着犯罪率的因素也与失业率相关。处理方法就是一阶差分（first-differenced）。非观测效应被差分掉了，方程已满足OLS假定。第二十二页，共七十六页。23两时期面板数据分析(续5)上述犯罪率模型用一阶差分方程估计结果：差分后的估计结果与前面不同。第二十三页，共七十六页。24三、固定效应估计法取一阶差分仅是消除固定效应ai的许多方法之一。更好的方法是固定效应变换。考虑仅有一个解释变量的模型：对每个i求方程在时间上的平均，得到两式相减，得到

(是y的除去时间均值后的数据)第二十四页，共七十六页。25固定效应估计量固定效应变换，又称“组内变换(withintransformation)”，非观测效应ai已随之消失，可以用混合OLS进行估计。基于除去时间均值变量的混合OLS估计量就是固定效应估计量(fixedeffectedestimator)或组内估计量(withinestimator)。固定效应估计量=组内估计量第二十五页，共七十六页。26组间估计量对横截面方程使用OLS估计时，就得到了组间估计量(betweenestimator)。第二十六页，共七十六页。273个决定系数R2面板数据模型回归结果可得到3个决定系数：R2(overall)，表示混合OLS(pooledOLS)回归的R2R2(within)，表示组内估计(或固定效应变换)的R2R2(between)，表示组间估计的R2第二十七页，共七十六页。28虚拟变量回归固定效应模型也可以理解为，每一个横截面个体i都有自己不随时间变化的非观测效应ai。在估计时，可以为每一个i安排一个虚拟变量，得到各自的截距项，这就是虚拟变量回归(dummyvariableregression)。第二十八页，共七十六页。29固定效应模型的虚拟变量回归其中，i=1,2,3...N，为截面标示；t=1,2,...T，为时间标示

；xit为k×1解释变量，β为k×1系数列向量。对于特定的个体i而言，ai表示那些不随时间改变的影响因素，而这些因素在多数情况下都是无法直接观测或难以量化的，称为“个体效应”(individualeffects)。在固定效应模型中，解释变量的参数β

对各经济主体都相同，属于共同部分，所以不同经济主体的差异完全体现在常数项参数ai的取值上。第二十九页，共七十六页。30图示GDPX(Invest、edu)北京江苏省山西省基础设施更加完善，受教育程度较好、经济结构以服务业为主、法制更健全第三十页，共七十六页。31固定效应模型的虚拟变量回归第三十一页，共七十六页。321代表元素都为1的n维列向量。进一步，可以将与常数项参数ai相关的mn×m维矩阵写成D，而将不包含常数项参数β相关的mn×k维矩阵写成X，则面板数据的固定效应模型又可以更简洁地表示为：由于上式的矩阵D的列向量可以理解为代表第i个经济主体的虚拟变量，通常也可将固定效应模型称为最小二乘虚拟变量模型(Leastsquaresdummyvariablemodel,LSDV)。固定效应模型的虚拟变量回归第三十二页，共七十六页。33固定效应模型的Stata操作（1）设定截面变量和时间变量tssetpanelvartimevar（2）固定效应模型估计xtregyx1x2x3,fe（3）导出固定效应回归的个体截距项predict

v,ugenc=v+_b[_cons]

或者，直接进行LSDV估计xtregyx1x2x3i.panelvar第三十三页，共七十六页。34固定效应VS一阶差分固定效应第三十四页，共七十六页。35固定效应VS一阶差分一阶差分第三十五页，共七十六页。36四、随机效应模型假定一个非观测效应模型为：固定效应法和一阶差分法的目的都是要把ai消去，因为ai被认为是与xitj中的一个或多个相关。但是，假如ai与任何一个解释变量在任何时期都不相关，那么通过变化把ai消去就会导致低效的估计量。如果假定非观测效应ai与每一个解释变量都不相关则上述模型就是一个随机效应(randomeffects)模型。第三十六页，共七十六页。37如何估计β如果我们相信ai与解释变量不相关，则可用单一横截面回归(pooledOLS)得到的β一致估计，根本不需要面板数据！但是使用单一横截面显然忽视了其他时期许多有用的信息。实际上，混合OLS回归通常是有偏误的。定义复合误差项，则有由于ai在每个时期都是复合误差项的一部分，vit在不同时间上就应是时序相关的。第三十七页，共七十六页。38如何估计β(续1)因为，所以，必须用GLS变换以消去误差项中的时序相关。第三十八页，共七十六页。39如何估计β(续2)方程定义变换方程为：固定效应估计量是从相应的变量减去时间平均，而随机效应变换只减去其时间平均的一个分数，这个分数依赖于和时期的个数T。第三十九页，共七十六页。40随机效应估计量的矩阵表达复合误差项的方差协方差矩阵为随机效应估计量为：第四十页，共七十六页。41四种估计方法之比较这里的θ，即为前面的λ。第四十一页，共七十六页。42四种估计方法之比较(续)当λ=0，得到混合OLS估计量；当λ=1，得到固定效应估计量；如果λ接近于0，随机效应估计量就会接近混合OLS估计量；如果λ接近于1，随机效应估计量就会接近固定效应估计量。当T很大时，λ趋于1，随机效应估计量与固定效应估计量非常相似。第四十二页，共七十六页。43求theta第四十三页，共七十六页。44随机效应模型的Stata操作（1）设定截面变量和时间变量tssetpanelvartimevar（2）随机效应模型估计xtregyx1x2x3,re（3）得到λ(或θ,theta)的值xtregyx1x2x3,retheta第四十四页，共七十六页。随机效应模型是否优于混合OLS在STATA中实施随机效应回归之后，使用xttest0，可以检验随机效应模型是否优于混合OLS模型。本例中，P值为0.0000，表明RE优于混合OLS。45第四十五页，共七十六页。46五、模型设定检验在实证分析中，选择固定效应模型还是随机效应模型，一般通过Hausman检验来判断。随机效应模型把个体效应ai设定为随机扰动项的一部分，所以就要求解释变量与个体效应ai不相关，而固定效应模型并不需要这个假设条件。因此，可以通过检验该假设条件是否满足，来选择模型。如果满足，那么就应该采用随机效应模型，反之，就需要采用固定效应模型。第四十六页，共七十六页。47Hausman检验的原理Hausman(1978)提出了一种基于随机效应估计量和固定效应估计量之间差异的检验。Hausman检验的基本思想是：在个体效应ai和其他解释变量不相关的原假设下，二者的参数估计应该不会有系统的差异。如果拒绝了原假设，则认为ai与解释变量出现了相关，此时固定效应模型是一致的，而随机效应模型是非一致的，我们就应该选择固定效应模型。第四十七页，共七十六页。48关于Hausman检验的说明Hausman统计量为：H=(b-B)´[Var(b)-Var(B)]-1(b-B)～x2(k)b为固定效应估计结果，B为随机效应估计结果。Hausman统计量服从自由度为k的卡方分布。当H大于一定显著水平的临界值时，我们就认为模型中存在固定效应，从而选用固定效应模型，否则选用随机效应模型。如果Hausman检验值为负，说明的模型设定有问题，导致Hausman检验的基本假设得不到满足，比如存在遗漏变量的问题，或者某些变量是非平稳等等。此时应改用hausman检验的其他形式：hausmanfe,sigmaless第四十八页，共七十六页。49Hausman检验在Stata中的操作第一步：估计固定效应模型，存储结果xtregyx1x2x3...,feestimatesstorefixed第二步：估计随机效应模型，存储结果xtregyx1x2x3...,reestimatesstorerandom第三步：进行hausman检验hausmanfixedrandom第四十九页，共七十六页。面板数据的Stata操作实例

50第五十页，共七十六页。(1)随机效应模型首先采用随机效应方法来估计模型。数据集中有135个公司的3年数据，所以有405个样本观测值。但由于有缺失数据，最后得到的观测值为390个。在STATA中输入：useJTRAINtssetfcodeyearxtreghrsempd88d89grantgrant_1lemploy,re51第五十一页，共七十六页。随机效应估计结果52第五十二页，共七十六页。随机效应估计结果分析职业培训补助金（grant），其估计系数为33.52，且标准差比较小，估计量在统计上非常显著。因此，如果公司在当年得到补助金，与没有得到补助金相比，在其他条件不变下，公司会给其职员更多的（平均）培训时间33.52小时，这是很大的效果。而上一年的职业培训补助金是不显著的，说明职业培训补助金没有滞后作用。大公司是否比小公司提供更多的职业培训，从上述回归结果看：如果职员数量增加10%，每个职员的培训时间大约减少0.422小时，此结果统计上显著。53第五十三页，共七十六页。随机效应还是混合OLS在随机效应回归后，输入xttest0，可得表明，随机效应模型优于混合OLS模型。54第五十四页，共七十六页。随机效应回归的序列相关检验在随机效应回归后，输入xttest1，可得55检验结果表明，存在随机效应和序列相关，而且，对随机效应和序列相关的联合检验也非常显著。第五十五页，共七十六页。STATA命令下载安装在STATA中，有些命令需要下载安装后才能使用，比如本例中的xttest1。在STATA命令栏中输入searchxttest1,net按照提示下载并安装，然后才能使用。该方法也适用于其他命令,如xttest2,xttest3,xtserial,等等。56第五十六页，共七十六页。(2)固定效应模型然后采用固定效应方法来估计模型。观测值与前述相同。在STATA中输入：useJTRAINtssetfcodeyearxtreghrsempd88d89grantgrant_1lemploy,fe57第五十七页，共七十六页。固定效应估计结果58第五十八页，共七十六页。固定效应估计结果分析与随机效应估计相比，结果相差不大，仅ln(employ)的回归系数有所变化，由统计意义上的显著变为不显著。我们想了解的是大公司是否比小公司提供更多的职业培训，从上面回归结果中无法得到下面这个结论：如果职员数量增加10%，每个职员的培训时间大约减少0.176小时，因为估计结果在统计上非常不显著。59第五十九页，共七十六页。固定效应回归的异方差检验在固定效应回归之后，输入xttest3，检验截面的异方差。本例中，检验结果意味着截面间存在异方差。60第六十页，共七十六页。固定效应回归的序列相关检验xtserialyx1x2x3本例的检验结果是意味着，误差项不存在一阶自相关。考虑到数据仅3年，这一结果是合理的。61第六十一页，共七十六页。(3)固定效应or随机效应最后，我们在固定效应模型和随机效应模型中进行选择Hausman检验。如果检验统计量的P值不显著，用随机效应模型比较安全；而如果P值显著，则固定效应模型会更为合理。其STATA命令为：xtreghrsempd88d89grantgrant_1lemploy,feestimatesstorefixedxtreghrsempd88d89grantgrant_1lemploy,feestimatesstorerandomhausmanfixedrandom62第六十二页，共七十六页。Hausman检验结果检验结果的P值为0.6366，不显著，所以我们最后选择随机效应模型。63P值在10%以下，选择固定效应第六十三页，共七十六页。64固定效应模型估计说明固定效应模型中个体效应和随机干扰项的方差估计值分别为sigma_u和sigma_e，二者之间的相关关系为rho。最后一行给出了检验固定效应u_i是否显著的F统计量和相应的P值（联合显著性检验，原假设：所有u_i都等于0），本例中固定效应非常显著。第六十四页，共七十六页。六、动态面板数据模型很多经济关系本质上具有动态性，面板数据的优势之一就是它有助于更好地理解动态调整过程。如Acemoglu等(2005)关于民主与教育之间动态关系的研究中(FromEducationtoDemocracy？)，就用到了动态面板数据模型。论文旨在反驳Lipset(1959)的现代化理论，后者认为，教育多半可以开阔人的视野，使他能理解宽容准则的必要性，阻止他皈依极端主义学说，提高他在选举时作出合理选择的能力，也就是说，教育能够促进民主。作者用1965-2000年5年间隔的面板数据回归发现，教育对民主没有显著的效应。65第六十五页，共七十六页。66动态面板数据模型的一般形式动态面板数据模型的一般形式：在(1)式中，ui为非观测截面个体效应。模型中含有滞后被解释变量，给估计带来难题。由于yit是ui的函数，显然yi,t-1也是ui的函数，因此(1)式右侧的回归解释变量yi,t-1就与误差项(ui+εit)相关。此时，采用混合OLS，估计量是有偏且不一致。采取固定效应(FE)，组内变换后，仍无法解决内生性问题，结果同样是有偏且不一致。采取随机效应(RE)，结果也一样。(1)第六十六页，共七十六页。671、差分GMM(DIF-GMM)Arellano和Bond(1991)提出了DIF-GMM估计方法，通过对(1)式进行差分，消除未观测到的截面个体效应ui。由(1)式知，yit-1是εit-1的函数，因此(2)式中的

与是相关的。在估计(2)式时，就需引入的工具变量。(2)第六十七页，共七十六页。68DIF-GMM估计中的工具变量从第3期开始，需要为Δyit-1设定工具变量。在DIF-GMM估计中，Δyit-1的工具变量是这样设定的：在第3期，yi1是Δyi2的工具变量，因为它与(yi2-yi1)高度相关，而与(εi3-εi2)无关；在第4期，yi1和yi2是Δyi3的工具变量；在第5期，yi1、yi2和yi3是Δyi4的工具变量；依次类推。外生解释变量同样作为工具变量。第六十八页，共七十六页。69DIF-GMM在stata中的操作1、估计。在设定面板数据完毕后，输入xtabondyx1x2x32、检验。（1）过度识别约束检验（检验工具变量是否有效）estatsargan（2）检验误差项的序列相关(通常在做两步Arellano和Bond估计之后才能进行)estatabond第六十九页，共七十六页。702、系统GMM(SYS-GMM)DIF-GMM存在着一些缺陷。比如，差分时，不仅消除了非观测截面个体效应，而且也消除了不随时间变化的其他变量。还有，DIF-GMM没有利用所有可用的矩条件，因而这种工具变量法可以得到模型参数的一致估计量，但很多时候并非有效估计量（方差最小）。Arellano和Bover(1995)以及Blundell和Bond(1998)在DIF-GMM估计的基础上，引入被解释变量差分的滞后项与随机误差项正交这个矩条件，得到SYS-GMM（系统GMM）。参见Baltagi--Econome