面板数据的统计方法-冯国双

1、面板数据的统计分析方法面板数据的统计分析方法冯国双冯国双主要内容主要内容p1、面板数据简介、面板数据简介p2、面板数据的固定效应模型、面板数据的固定效应模型p3、面板数据的随机效应模型、面板数据的随机效应模型p4、动态面板数据模型、动态面板数据模型p5、空间空间面板数据模型面板数据模型面板数据面板数据p横断面数据横断面数据 时间序列数据时间序列数据城市城市手足口报告发病率手足口报告发病率北京0.78上海6.82重庆2.50哈尔滨0.06郑州5.62广州14.22乌鲁木齐0.24月份月份手足口报告发病率手足口报告发病率1月0.782月0.763月6.144月24.715月53.776月67.73

2、7月47.268月19.379月15.2810月9.8811月9.1112月3.96面板数据面板数据城市城市1月月2月月3月月4月月5月月6月月7月月8月月9月月10月月11月月12月月北京北京0.780.766.1424.71 53.77 67.73 47.26 19.37 15.289.889.113.96上海上海6.823.1315.42 34.37 40.97 41.39 29.948.9210.487.117.197.20重庆重庆2.501.254.5514.24 14.21 10.505.911.242.063.865.014.52哈尔滨哈尔滨0.060.010.221.133.7

3、46.4810.123.701.630.980.520.39郑州郑州5.623.7018.55 15.01 23.17 18.10 11.416.963.893.002.321.76广州广州14.225.1918.05 51.16 64.49 50.34 33.61 17.12 24.32 25.578.766.32乌鲁木齐乌鲁木齐0.240.040.242.0513.58 27.16 22.519.016.187.325.632.44p面板数据（面板数据（panel data）面板数据面板数据p面板数据：面板数据：p同时含有横断面和时间序列的数据同时含有横断面和时间序列的数据p对一组固定个体

4、的多次观测数据对一组固定个体的多次观测数据p其它称谓：其它称谓：p重复追踪数据重复追踪数据p纵贯调查数据纵贯调查数据p面板数据面板数据p微观微观面板数据：面板数据：p主要指个体的重复调查数据，一般个体数主要指个体的重复调查数据，一般个体数N较大较大，观察时间较短，观察时间较短p宏观面板宏观面板数据数据p通常涉及一段时间内国家、省等单位的重复调查通常涉及一段时间内国家、省等单位的重复调查数据，观察时间较长数据，观察时间较长面板数据模型面板数据模型p面板数据用双下标变量面板数据用双下标变量yit表示表示p其中，其中，i=1,2,N 表示第表示第i个个体，共个个体，共N个个体个个体pt=1,2 ,T

5、表示第表示第t个观测时间，共观测个观测时间，共观测T次次pyit表示表示第第i个个个体在第个体在第t时间点的观测值时间点的观测值面板数据模型面板数据模型p面板数据模型面板数据模型的的一般一般形式形式pi是截距是截距项项pi=1,2,N（N为个体数为个体数）pt=1,2,T（T为每一个体的观察时点数为每一个体的观察时点数）pK为解释变量为解释变量个数个数puit是随机误差是随机误差项项Kkitkitkiituxy1混合混合模型模型p（一）混合模型（一）混合模型（pooled model）p表示对所有个体都有一个相同的截距项表示对所有个体都有一个相同的截距项。Kkitkitkituxy1混合模型混

6、合模型城市城市城市代码城市代码 月份月份 手足口发病率手足口发病率气温气温北京110.78-4.8北京120.76-1北京136.144.1北京1424.7111.2北京1553.7721.7北京1667.7324.7上海216.825.3上海223.137.5上海2315.429.3上海2434.3712.8上海2540.9720.8上海2641.3923.8哈尔滨310.06-17.1哈尔滨320.01-15.5哈尔滨330.22-7.2哈尔滨341.134哈尔滨353.7416哈尔滨366.4825.5乌鲁木齐410.24-10.6乌鲁木齐420.04-12.4乌鲁木齐430.24-4.

7、4乌鲁木齐442.058.7乌鲁木齐4513.5816.2乌鲁木齐4627.1622.5混合模型混合模型p混合模型混合模型混合模型混合模型p混合模型的参数估计：混合模型的参数估计：p混合模型将混合模型将所有数据混合在一起作为样本数据所有数据混合在一起作为样本数据，可可采用采用普通最小二乘法（普通最小二乘法（ordinary least square，OLS）进行参数估计。）进行参数估计。混合模型混合模型p混合模型的缺点：混合模型的缺点：p假定所有个体（如不同省、市、区县、家庭）都假定所有个体（如不同省、市、区县、家庭）都是同质的，没有区分不同个体，也无法说明是否是同质的，没有区分不同个体，也无

8、法说明是否不同个体之间存在差异。不同个体之间存在差异。p掩盖掩盖了个体间可能存在的异质性，把个体特征全了个体间可能存在的异质性，把个体特征全部放到误差项中。部放到误差项中。混合模型混合模型p针对混合模型缺点的解决方法：针对混合模型缺点的解决方法：p需要体现出个体的差异，主要基于两种方法：需要体现出个体的差异，主要基于两种方法：p1、个体固定效应模型、个体固定效应模型p2、个体随机效应模型、个体随机效应模型固定效应固定效应模型模型p（二）个体固定效应模型（二）个体固定效应模型（fixed effect model）p把各个个体的值设定为一套固定的参数，采用一把各个个体的值设定为一套固定的参数，采

9、用一定的方法估计定的方法估计出来出来p个体固定效应模型根据不同情况还可分为：个体固定效应模型根据不同情况还可分为：p1、变截距的个体固定效应模型、变截距的个体固定效应模型p2、变斜率、变斜率/系数的个体固定效应模型系数的个体固定效应模型固定效应固定效应模型模型p1、变截距的个体固定效应模型：、变截距的个体固定效应模型：pi反映反映了了个体对个体对总均值的总均值的偏离偏离，表示表示不同不同个体有个体有不同的截距不同的截距项项。Kkitkitkiituxy1固定效应模型固定效应模型p变截距的固定效应模型变截距的固定效应模型固定效应模型固定效应模型p变截距固定效应模型的参数估计：变截距固定效应模型的

10、参数估计：p最小最小二乘虚拟变量（二乘虚拟变量（least square dummy variable，LSDV）p利用虚拟变量的方式，估计出所有个体的截距值利用虚拟变量的方式，估计出所有个体的截距值p如个体固定效应模型可以表示为：如个体固定效应模型可以表示为：p共需估计共需估计N个虚拟变量系数和个虚拟变量系数和K个自变量系数个自变量系数KkitkitkNNituxDDDy12211固定效应模型固定效应模型p2、变系数的个体固定效应模型、变系数的个体固定效应模型p也称似不相关回归（也称似不相关回归（Seemingly Unrelated Regression）pi反映了个体对总均值的偏离反映了

11、个体对总均值的偏离，表示不同个体有不同的截表示不同个体有不同的截距项距项。pi反映了个体对反映了个体对总总斜率斜率的的偏离偏离，表示不同个体有不同表示不同个体有不同的的斜斜率。率。Kkitkiitkiituxy1固定效应模型固定效应模型p变系数的固定效应模型变系数的固定效应模型随机效应模型随机效应模型p（三）个体随机效应模型（三）个体随机效应模型（random effect model）p把把各个个体的值设为一套具有特定概率分布的随机变各个个体的值设为一套具有特定概率分布的随机变量，假定这些个体仅是从一个具有特定分布的总体中量，假定这些个体仅是从一个具有特定分布的总体中随机抽取出来的随机抽取出

12、来的p随机效应模型也可分为两大类：随机效应模型也可分为两大类：p1、变截距的个体随机效应模型、变截距的个体随机效应模型p2、变斜率、变斜率/系数的个体随机效应模型系数的个体随机效应模型随机效应随机效应模型模型p1、变截距的个体随机效应模型：、变截距的个体随机效应模型：p2、变、变斜率的个体随机效应模型斜率的个体随机效应模型pvi是独立于解释变量的一个具有特定概率分布的是独立于解释变量的一个具有特定概率分布的随机变量，反映了个体成员的随机影响。随机变量，反映了个体成员的随机影响。Kkitkitkiituxvy1Kkitkiitkiituxvy1随机效应模型随机效应模型p个体随机效应模型的参数估计

13、：个体随机效应模型的参数估计：p由于个体之间可能存在一定的相关，普通的最小由于个体之间可能存在一定的相关，普通的最小二乘法不再是最有效的估计二乘法不再是最有效的估计p通常采用通常采用可行可行广义最小二乘法（广义最小二乘法（feasible generalized least square，FGLS）。）。面板数据模型面板数据模型p固定效应模型与随机效应模型：固定效应模型与随机效应模型：p固定效应模型中，假定每一个体有自己（固定）的截距；固定效应模型中，假定每一个体有自己（固定）的截距；模型模型允许未被观测到的变量与任何已观测的自变量之间存允许未被观测到的变量与任何已观测的自变量之间存在相关在相

14、关。p随机效应模型中，假定这些个体是从一个更大的总体中随随机效应模型中，假定这些个体是从一个更大的总体中随机抽取的。机抽取的。未被观测到的变量与所有自变量之间不相关未被观测到的变量与所有自变量之间不相关。面板数据模型面板数据模型p如何选择混合、固定或随机效应模型如何选择混合、固定或随机效应模型p1、约束的、约束的F检验（比较混合模型和固定效应模型）检验（比较混合模型和固定效应模型）p判断：如果判断：如果P大于大于0.05，可以认为约束模型（混合模型），可以认为约束模型（混合模型）成立；否则认为应采用无约束模型（固定效应模型）成立；否则认为应采用无约束模型（固定效应模型）面板数据模型面板数据模型

15、p如何选择混合、固定或随机效应模型如何选择混合、固定或随机效应模型p2、BP检验检验（拉格朗日乘数检验，比较混合模型和随机效（拉格朗日乘数检验，比较混合模型和随机效应模型）应模型）p原假设（原假设（H0）为：接受混合模型为：接受混合模型pBP检验检验的统计量的统计量p判断：如果判断：如果P大于大于0.05，可以接受混合模型；，可以接受混合模型； P小于小于0.05，可认为应采用随机效应模型可认为应采用随机效应模型) 1 (1) 1(22222 ititititTNTLM面板数据模型面板数据模型p如何选择混合、固定或随机效应模型如何选择混合、固定或随机效应模型p3、Hausman检验检验（比较随

16、机效应模型和固定效应模型）（比较随机效应模型和固定效应模型）p原假设（原假设（H0）为：接受随机效应模型为：接受随机效应模型pHausman检验检验的统计量的统计量p判断：如果判断：如果P大于大于0.05，可以接受随机效应模型；，可以接受随机效应模型； P值值小小于于0.05，可认为应采用固定效应模型，可认为应采用固定效应模型)()(1GLSwGLSwW 面板数据模型面板数据模型p如何选择混合、固定或随机效应模型如何选择混合、固定或随机效应模型p4、更实际的考虑、更实际的考虑p流行病学中个体追踪随访数据通常考虑随机效应模型更为流行病学中个体追踪随访数据通常考虑随机效应模型更为合适合适p省、市、

17、区等的观察可考虑固定效应模型省、市、区等的观察可考虑固定效应模型p结合实际研究目的而定结合实际研究目的而定面板数据分析案例面板数据分析案例citycitymonthhfmtemperature北京北京110.78-4.8北京北京120.76-1北京北京136.144.1北京北京1424.7111.2北京北京1553.7721.7北京北京1667.7324.7上海上海216.825.3上海上海223.137.5上海上海2315.429.3上海上海2434.3712.8上海上海2540.9720.8上海上海2641.3923.8哈尔滨哈尔滨310.06-17.1哈尔滨哈尔滨320.01-15.5哈

18、尔滨哈尔滨330.22-7.2哈尔滨哈尔滨341.134哈尔滨哈尔滨353.7416哈尔滨哈尔滨366.4825.5乌鲁木齐乌鲁木齐410.24-10.6乌鲁木齐乌鲁木齐420.04-12.4乌鲁木齐乌鲁木齐430.24-4.4乌鲁木齐乌鲁木齐442.058.7乌鲁木齐乌鲁木齐4513.5816.2乌鲁木齐乌鲁木齐4627.1622.5例例1：四个城市四个城市1-6月份月份手足口病报告发病手足口病报告发病率与气温的关系率与气温的关系面板数据分析案例面板数据分析案例p首先进行因变量的变换首先进行因变量的变换 原变量原变量 对数变换对数变换面板数据分析案例面板数据分析案例p混合模型（混合模型（po

19、oled model）的最小二乘估计：）的最小二乘估计：pSAS程序：程序：pproc reg;pmodel lhfm=temp;prun;面板数据分析案例面板数据分析案例p最小二乘估计（最小二乘估计（pooled model）结果：）结果：面板数据分析案例面板数据分析案例p自相关的自相关的Durbin-Watson检验检验：pSAS程序：程序：pproc reg;pmodel lhfm=temp/dw dwprob;prun;面板数据分析案例面板数据分析案例pDurbin-Watson检验结果：检验结果：p提示：可能存在空间或时间自相关提示：可能存在空间或时间自相关面板数据分析案例面板数据分

20、析案例p残差（残差（Residual）分析：）分析：面板数据分析案例面板数据分析案例p残差残差（Residual）分析分析面板数据分析案例面板数据分析案例p各城市的变化趋势图各城市的变化趋势图面板数据分析案例面板数据分析案例p个体固定效应模型（最小二乘虚拟变量回归）个体固定效应模型（最小二乘虚拟变量回归）pSAS程序程序pproc panel printfixed;pid city month;pmodel lhfm=temp/fixone;prun;面板数据分析案例面板数据分析案例p虚拟变量及自变量的估计结果：虚拟变量及自变量的估计结果：面板数据分析案例面板数据分析案例p各城市截距：各城市截

21、距：p乌鲁木齐乌鲁木齐：-0.4091p哈尔滨：哈尔滨：-0.4091-0.67097=-1.08007p北京：北京： -0.4091+1.123651=0.714551p上海：上海： -0.4091+1.210117=0.801017面板数据分析案例面板数据分析案例p固定效应的约束固定效应的约束F检验：检验：p模型拟合效果：模型拟合效果：p与与最小二乘回归相比，最小二乘回归相比，R2增加，增加，MSE降低。降低。面板数据分析案例面板数据分析案例p固定效应模型的残差分析固定效应模型的残差分析面板数据分析案例面板数据分析案例pPooled模型预测值模型预测值p固定效应模型预测值固定效应模型预测值

22、面板数据分析案例面板数据分析案例p个体随机效应模型个体随机效应模型pSAS程序程序pproc panel;pid city month;pmodel lhfm=temp/ranone;prun;面板数据分析案例面板数据分析案例p随机效应模型估计结果：随机效应模型估计结果：p随机效应模型的拟合结果随机效应模型的拟合结果面板数据分析案例面板数据分析案例p Hausman检验和检验和BP检验结果：检验结果：pP值仅略大于值仅略大于0.05，考虑选择固定效应模型，考虑选择固定效应模型面板数据分析案例面板数据分析案例p拟合变斜率面板数据模型拟合变斜率面板数据模型固定效应模型固定效应模型p似不相关似不相关

23、回归回归（SUR）pproc syslin sur;pmodel y1=x1;pmodel y2=x2;pmodel y3=x3;pmodel y4=x4;prun;面板数据分析案例面板数据分析案例p似不相关模型（似不相关模型（SUR）面板数据分析案例面板数据分析案例p普通最小二乘回归模型（普通最小二乘回归模型（OLS）面板数据分析案例面板数据分析案例p SUR模型模型 OLS模型模型面板数据分析案例面板数据分析案例p拟合变斜率面板数据模型拟合变斜率面板数据模型随机效应模型随机效应模型pproc mixed covtest method=MIVQUE0 ;pclass city;pmodel

24、lhfm=temp/solution;prandom int temp/subject=city type=vc;prun;面板数据分析案例面板数据分析案例p随机系数分析随机系数分析p参数估计结果参数估计结果动态面板数据模型动态面板数据模型p如果现在的结果不仅受到当前因素的影响，还可如果现在的结果不仅受到当前因素的影响，还可能受到以往结果或因素的影响能受到以往结果或因素的影响，可，可考虑动态面板考虑动态面板数据模型数据模型。p动态面板数据模型的参数估计通常采用广义矩估动态面板数据模型的参数估计通常采用广义矩估计（计（GMM）1pitjitjitiitjYYX动态面板数据模型动态面板数据模型p例

25、例2：续例：续例1数据，考虑到手足口病发病有可能受数据，考虑到手足口病发病有可能受到上个月份手足口病例数的影响，采用动态面板到上个月份手足口病例数的影响，采用动态面板数据进行分析数据进行分析p分析：分析：p只只考虑前一个月手足口发病率的影响，将因变量考虑前一个月手足口发病率的影响，将因变量的一阶滞后项纳入模型的一阶滞后项纳入模型动态面板数据模型动态面板数据模型pSAS程序程序p proc panel;p id city month;p clag hfm(1) / out=hfmlag;prun;pproc panel data=hfmlag;p inst depvar;p model hfm

26、= hfm_1 temp/gmm twostep maxband=5;p id city month;prun;动态面板数据模型动态面板数据模型p主要结果：主要结果：空间面板空间面板数据模型数据模型p常见空间模型常见空间模型p1、空间、空间滞后模型（滞后模型（Spatial Lag Model，SLM）p该模型包括解释变量该模型包括解释变量X和空间滞后项和空间滞后项Wyp式中，式中，W是空间权重是空间权重矩阵。矩阵。是空间自回归系数，是空间自回归系数，反映样本数据的空间依赖性，测量反映样本数据的空间依赖性，测量y对周边或相邻对周边或相邻空间观测的影响，如果空间观测的影响，如果 0，提示存在区域

27、之间，提示存在区域之间的相互影响。的相互影响。表示随机误差。表示随机误差。XWyy空间面板数据模型空间面板数据模型p常见空间模型常见空间模型p2、空间误差模型、空间误差模型（Spatial Error Model，SEM）p该模型结合了一个标准的回归模型和该模型结合了一个标准的回归模型和一个一个随机误随机误差差的空间自回归模型。的空间自回归模型。p式中，式中，W是空间权重是空间权重矩阵，矩阵，是空间误差相关的参是空间误差相关的参数，数，表示随机误差。表示随机误差。 XyuW空间面板数据模型空间面板数据模型p两种空间模型的选择两种空间模型的选择p如果我们确信每个个体的如果我们确信每个个体的y值受到周围值的直接影值受到周围值的直接影响，可以考虑空间滞后模型。响，可以考虑空间滞后模型。p如果我们相信如果我们相信y并没有直接受到周围值的影响，而并没有直接受到周围值的影响，而是因为某些我们没有考虑到的因素而导致模型的是因为某些我们没有考虑到的因素而导致模型的误差出现空间相关，此时可以考虑空间误差模型误差出现空间相关，此时可以考虑空间误差模型。空间面板数据模型空间面板数据模型空间面板数据模型空间面板数据模型p两种空间两种空间面板数据模型面板数据模型（SPDM）p1、空间面板滞后模型、空间面板滞后模型p2、空间面板误差模型、空间面板误差模型空间空间