第7讲线性回归的后续估计命令

1、第7讲 回归诊断regress postestimation Postestimation tools for regress(回归的后续估计工具) 常用的后续估计命令：命令描述dfbetaDFBETA影响统计量estat hettest异方差检验estat imtest信息矩阵检验estat ovtest对于遗漏变量的拉姆齐回归设定误差检验 estat szroeter对于异方差的Szroeter秩检验estat vif自变量的方差膨胀因子 estat esize2和2效应大小 标准的后续估计命令：CommandDescriptioncontrast估计的对比和ANOVA-style的联合检

2、验 estat ic赤池与施瓦茨的贝叶斯信息准则(AIC and BIC) estat summarize估计样本的概要统计 estat vce估计量的方差-协方差矩阵(VCE) estat (svy)postestimation statistics for survey data estimatescataloging estimation resultsforecast动态预测和模拟hausmanHausman的设定检验lincom系数的线性组合的点估计、标准误差、检验和推断 linktest模型设定的link检验lrtest似然比检验margins边际均值、预测性边际、边际效应和平均边

3、际效应 marginsplotgraph the results from margins (profile plots, interaction plots, etc.)nlcom系数的非线性组合的点估计、标准误差、检验和推断predict预测、残差、影响统计量和其他诊断工具predictnl广义预测的点估计、标准误差、检验和推断 pwcompare估计的两两比较 suest似不相关估计 test简单和复合线性假设的Wald检验 testnl非线性假设的Wald检验 predict的命令语句predict type newvar if in , statisticpredict选项stati

4、stic 描述xb 计算线性预测值，默认选项residuals 计算残差score 计算得分，在线性回归中等于残差rstandard 计算标准化的残差rstudent 计算学生化残差(Studentized (jackknifed) cooksd 计算Cook的D影响统计量leverage 或 hat 计算杠杆(投影矩阵(帽矩阵)的对角元素) pr(a,b) 计算Pr(yj |a < yj< b)e(a,b) 计算E(yj | a < yj< b)ystar(a,b) 计算E(yj*),yj*= maxa,min(yj,b)，如果yja， yj*=a；如果yjb， yj

5、*=b。否则 yj*=xjb+uj，这意味着 yj*是截尾的。dfbeta(varname) 计算变量varname的DFBETA值，当包括和排除第j个观测值，回归系数之间的差。所说的差通过系数的估计标准误差来标度。变量varname必须包含在此前拟合模型的回归元中。 stdp 计算线性拟合(prediction)的标准误差，也称为拟合值的标准误差。可认为是针对观测值的协变量模式的预测期望值或均值的标准误差。stdf 计算预测(forecast)的标准误差，通常称为未来或预测值(forecast value)的标准误差，它是针对1个观测值的点预测的标准误差。通过构造，由stdf得到的标准误差总

6、是比由stdp得到的更大。stdr 计算残差标准误covratio 计算COVRATIO值,对于第j个观测值影响的测量。它是基于考虑对于估计的方差协方差矩阵影响。dfits 计算DFITS值，并试图得到杠杆作用对残差平方的散点图信息的概要统计。welsch 计算Welsch距离，它是dfits的一个变化。predict newvar(,xb) (预测y值)predict newvar,cooksd (Cook的D影响统计量)predict newvar,resid (残差)predict newvar,rstandard (标准化残差)predict newvar,stdf (个别值预测标准误

7、，也称为容许(最大容忍的)标准误。个别值预测的标准误比均值预测的标准误多一个(hat_sigma)predict newvar,stdp (均值预测标准误，也称为置信标准误)predict newvar,stdr (残差标准误)predict newvar,welsch (Welsch氏距离影响统计量)Terminology术语（略）拟合值与残差例1：拟合值和残差回归分析之后，命令predict可以得到拟合值、残差和其他统计量。help predict得到详细清单。继续第6讲线性回归分析的例1，拟合模型：mpg= 0+1weight+2foreign+use auto,clearregress

8、 mpg weight foreignpredict pmpg (生成拟合值)predict resid, resid (生成残差)summarize pmpg mpg residlist make mpg pmpg resid in 1/10twoway scatter resid pmpg,yline(0) (残差对拟合值的散点图，后面有专门命令rvfplot)regress mpg weight if foreignpredict pmpg1 if e(sample) (子样本拟合模型得到的拟合值)predict pmpg2 (用全部观测值得到的样本之外的拟合值)例2：Out-of-sa

9、mple predictions (forecasts) (这里是截面样本)use newautos, clearpredict pmpglist, divider 补充知识：Prediction standard errors（P18761877）stdp计算线性预测的标准误差，其平方项是varyj=s2hj ，它是由估计系数向量b的不确定性引起的预测误差根据模型，yj 的真实值由yj=Xjb+j=yj+j给定，因此varyj=varyj+varj=s2hj+s2，这是stdf的平方项。可以看到，stdf是预测误差和残差误差的总和。y的估计方差(回归的均方误)s2，s2hj+s21-hj=s

10、2分解成预测方差s2hj和残差方差s21-hj，而后者就是stdr的平方项。例3：standard error of the forecastuse newautos, clear (重复例2的操作)predict pmpg (重复例2的操作)predict se_pmpg, stdflist, separator(1)（因此，mpg大约95%的置信区间就是pmpg±2·se_pmpg）例4：投影矩阵(帽矩阵)的对角元素投影矩阵的对角元素，是解释变量空间距离的度量。用于检测单个观测值的影响。use auto, clearregress mpg weight foreignp

11、redict xdist, hatsummarize xdist, detail (大约5%的样本的xdist值超过0.08，0.08可认为是临界值)list make mpg foreign weight if xdist>.08,divider参看lvr2plot关于杠杆作用对残差平方的散点图(leverage-versus-squared-residual plot)补充知识：Standardized and Studentized residuals（P1879）例5：标准化和学生化残差(在识别异常值上，学生化残差要优于标准化残差。学生化残差可以解释为t统计量，用于检验虚拟变量的

12、显著性。虚拟变量在特定观测值等于1，其余为0。)use auto, clearregress price weight foreign#c.mpgpredict esta if e(sample), rstandardpredict estu if e(sample), rstudentlvr2plot ,mlabel(make) (我们发现，VW Diesel(大众)具有最高的杠杆，但残差却很小。进一步观察VW Diesel的标准化和学生化残差)list make price esta estu if make="VW Diesel"补充知识：DFITS, Cooks D

13、istance和Welsch Distance (P1880)DFITS，Cook的D影响统计量和Welsch距离是三个工具，试图得到杠杆作用对残差平方的散点图信息的概要统计。也就是说，目的是创建一个由残差大小异常值hi大小杠杆作用影响的指标。例6：DFITS influence measure接前面的例5，predict e if e(sample), residpredict dfits, dfits（模型有k = 5个自变量(包括常数项)，n = 74个观测值；遵循2k/n 临界值）list make price e dfits if abs(dfits) > 2*sqrt(5/7

14、4), dividerpredict cooksd if e(sample), cooksd （计算Cooks distance）list make price e cooksd if cooksd > 4/74, divider （临界值4/n）predict wd, welsch (计算Welsch distance)list make price e wd if abs(wd) > 3*sqrt(5), divider （临界值3k）补充知识：COVRATIO (P1882)COVRATIO测量第i个观测值的影响，通过考虑对于估计的方差协方差矩阵影响。它是在有和没有第i个观测

15、值的情况下，协方差矩阵的影响因素的比率。例7: COVRATIO influence measure接前面的例5，predict covr, covratiolist make price e covr if abs(covr-1) >= 3*5/74, divider （临界值3k/n）DFBETA influence statistics （略 P1883-1885）Tests for violation of assumptions我们引入了一些回归诊断命令旨在检验某些违背经典线性回归假设的情况。estat ovtest提供了遗漏变量的Ramsey检验。estat hettest提

16、供了异方差检验。estat szroeter提供了异方差秩检验，这是一种对estat hettest计算的score检验的替代。最后，estat imtest计算信息矩阵检验，包含对异方差，偏度和峰度的正交分解检验。Cameron和Trivedi (2010, 第3章)讨论了大部分检验，并提供了更多的例子。例10：estat ovtest，estat hettest，estat szroeter和estat imtestuse auto, clearregress price weight foreign#c.mpgestat ovtestestat hettestestat szroeter

17、, rhsestat imtest结论：我们发现了遗漏变量、异方差和非正态偏度(skewness)的证据。例11：estat vif 方差膨胀因子（Variance Inflation Factor，VIF）：容忍度的倒数，VIF越大，显示共线性越严重。经验判断方法表明：当0VIF10，不存在多重共线性；当10VIF100，存在较强的多重共线性；当VIF100，存在严重多重共线性。判断多重共线性的证据：1. 最大的VIF大于10 (一个更保守的阈值是30)；2. 全部VIF的均值显著大于1。use auto,clearregress price mpg rep78 trunk headroom

18、 length turn displ gear_ratioestat vif例12：estat vif, with strong evidence of multicollinearityuse bodyfat,clearregress bodyfat tricep thigh midarmestat vif例13: estat vif, with strong evidence of collinearity with the constant termuse extreme_collin,clearregress y one x zestat vifestat vif, uncentere

19、d例2：残差对拟合值(预测值)的散点图(检验异方差)use auto,clearregress price weight foreign#c.mpg (等同于 i.foreign mpg foreign#c.mpg三个变量)rvfplot,yline(0) (在一个良好拟合的模型中，残差对拟合值的散点图不应该有既定的模式。任何模式都表明违背了最小二乘法的基本假设。这张图暗示两个问题：第一，残差呈现曲线形状，表明price不是线性的；第二，异方差。例3：残差对自变量的散点图 (一个简单的方法用来查找模型是否违背了回归假设。如果假设正确，图形中就不应该出现任何带有趋势性的模式)use auto,c

20、learregress price weight foreign#c.mpgrvpplot mpg, yline(0) (任何带有趋势性的模式都表示出现了问题。这里我们发现，随着mpg的递增，残差递减)例4：杠杆作用对残差平方的散点图(查找异常值)use auto,clearregress price weight foreign#c.mpglvr2plot(水平线之上的点有高于平均水平的杠杆；垂直线右侧的点有高于平均水平的残差。在图形顶部的点具有高杠杆和低于平均水平的残差。在图形右侧的点具有低杠杆和高于平均水平的残差) (杠杆作用告诉我们，一个观测案例有多大潜力对回归造成影响。自变量的异常值

21、会导致一个观测案例具有很大的杠杆作用。残差平方较大则表明一个观测案例的因变量与回归模型预测值极为不同。)lvr2plot, mlabel(make) (给异常值加标签)例5：偏回归杠杆图(识别异常值)use auto,clearregress price weight foreign#c.mpgavplot mpg, mlabel(make) (此图表明我们的模型存在异常值)例：局部残差图(检查模型的函数形式假设，是一种非线性检验)use auto1,clearregress price mpg weight (mpg系数不显著)cprplot mpg, mspline msopts(bands(13)regress price mpg c.mpg#c.mpg weight (mpg和平方项的系数显著，这表明mpg的影响是非线性的)cprplot mpg, mspline msopts(bands(13)例：增强的局部残差图(非线性检验)use auto,clearregress price weight foreign#c.mpgacprplot mpg, mspline msopts(bands(13)例：残差的正态性检验kdensity - produces kernel density plot with normal distribution overlayed.pno