备课笔记回归检验

1、I. ttest二个样本独立T检验use ./stat/stata/webbooks/reg/elemapi2ttest apiOO, by(yr_r nd)Two-sample t test with equal varia nces2. 检查回归模型残差的正态性一般的观点是多元回归要求残差为正态分布。实际情况是，进行回归的有效性检验如t检验的P值、F检验的p值的情况下要求残差是正态性分布的，但回归系数估计的无偏性并不要求残差的正态性。OLS只要求残差项（误差项）独立同分布。此外，对X变量的正态分布假设也不是必要的，例如对虚拟变量的回归。当我们进行回归分析时，通常用p

2、redict命令提取回归的残差项，并用kdensity, qnorm, pnorm等命令检验残差是否为正态分布。use ./stat/stata/webbooks/reg/elemapi2 /apiOO :学术绩效；ell :英语学习人数； emer： 拥有证书的教师比例；regress apiOO meals ell emerSource SS df MSNumber of obs =400,F( 3, 396)二 673.00Model 6749782.753 2249927.58 Prob > F = 0.0000Residual 1323889.25 39

3、6 3343.15467 R-squared = 0.8360,Adj R-squared 二 0 8348Total 8073672 399 20234.7669 Root MSE = 57.82api00Coef. Std. Err. t P>|t|95% Con f. I nterval meals -3.159189 .1497371 -21.10 0.000 -3.453568 -2.864809ell -.9098732 .1846442 -4.93 0.000 -1.272879 -.5468678emer -1.57349 6.293112 -5.37 0.000 -2.

4、149746 -.9972456_co ns 886.7033 6.25976 141.65 0.000874.3967899.0098predict r, resid / 用 predict 命令求得残差kdensity r, normal /用kdensity命令进行核心密度估计并生成核密度图，其中normal选项要求正态密度和计算的核密度叠加。核密度图可以相像成是一系列无限小的柱状图组合而成。HD-100C1002XKeirr "IrtidtjrcslimrtirhJLNriHldmslETpnorm r / pnorm命令画岀标准正态概率图（P-P）。pnorm对数据中段的非

5、正态性非常敏感。s. o旨 GESJ悶 COJOO1 CDqnorm r / qnorm命令画岀变量r的分位数（与分位数的正态分布相反） 的非正态性比较敏感。qnorm对数据两端从上面两图可以看到，残差分布稍微偏离正态分布，接受残差分布为正态分布的假设。Lawre nee C.Stata中的帮助里查除图形检验外，还可以用数值方法检验分布的正态性。其中一个检验程序是由Hamilton编写的，可以通过findit iqr命令将其从网络中搜寻并安装，或者在找iqr，找到后击相对应的程序再点击、in stall。iqr rmea n= 7.4e-U8std.dev.=57.6(n二 400)media

6、 n二-3.657 pseudo std.dev.二 56.69(IQR二 76.47)10 trim= -1.083lowhighinner fen ces-154.7151.2# mild outliers15% mild outliers0.25%1.25%outer fen ces-269.4265.9# severe outliers0 0% severe outliers0.00%0.00%另一个可用的检验是swilk命令，是Shapiro-Wilk W 正态性检验，零假设为正态分布。swilk rShapiro-Wilk W test for nor mal dataVariab

7、leObsWVzProb>zr4000.996410.989-0.0250.51006从检验结果来看，p值非常大(p=0.51)，表明不能拒绝零假设。3. 检查残差的同方差(Cheek ing Homoseedastieity of Residuals )OLS的一个主要假设是残差方差是齐次的，即同方差。如果模型拟合较好，残差图和拟合值应该是一致的。如果残差的方差不是常数，意味着残差方差为"异方差” (heteroscedastic)。可以用图形法，或者非图形法检测异方差。较常用的图形法是画岀残差与拟合值，即rvfplot命令。RraudrseR0 :0 -0 * 0 .甕勺申

8、* : ' :V 1 1 1400500600700800900Fitted valuesrvfplot , yline(0)/ yline(0)选项指使用 y=0作为参考线。从图上可以看到数据点分布基本均匀，只是右端有点窄，这时可认为是同方差。还有两个命令可以检验同方差，estat imtest和estat hettest。第一个是 White's test，第二个是 Breusch-Pagan test。二者的零假设均为方差残差是同方差。 因此，如果p值非常小，我们拒绝零假设，接受备择假设，即存在异方差。estat imtest.estat imtestCameron &a

9、mp; Trivedi's decomposition of IM-testSourcechi2 dfpHeteroskedasticity18.3590.0313Skew ness7.7830.0507Kurtosis0.2710.6067Total26.40130.0150estat hettestBreusch-Paga n / Cook-Weisberg test for heteroskedasticityHo: Con sta nt varia neeVariables: fitted values of api00chi2（1）=8.75Prob > chi2 =

10、0.0031从上面的结果来看，拒绝了同方差的零假设。这两个检验对模型假设非常敏感，因此需要和图形诊断结合起来检验异方差，以及决定是否需要修正异方差。从前面的例子来看，图形分析结果不是很明确。如何修正异方差，则需要用GLS （广义最小二乘法）、FGLS （可行广义最小二乘法）、WLS （加权最小二乘法）估计来解决，或者使用稳健标准差进行回归（Stata的命令是在回归时加上robust参数）。使用“ OLS+稳健标准差”时对回归系数和标准差的估计都是一致的，并不需要知道条件方差函数的形式，在Stata中的操作也十分简单，在回归命令reg后加上选择项"robust”即可。从理论上来讲，GL

11、S是BLUE，但FGLS即非线性估计，也不是无偏估计，因此它不是 BLUE。FGLS必须先用用样本数据来一致地估计扰动项的协方差矩阵V（X），然后再使用 GLS，因此也被称为可行加权最小二乘法（FWLS），有|山"（疋忖-7尸*旷，其中网是v的一致估计，此时目是1-.数据集（y, x）的非线性函数，因此险是y的非线性函数，一般来说是有偏的。FWLS 般用于大样本理论中。FWLS的另一个缺点是必段估计条件方差函数也?®对，而通常情况下并不知道条件方差的具体形式，如果该函数的设定不正确，则根据FWLS计算的标准差可能失效从而导致不正确的推断。总之“OLS+稳健标准差”适用于更一

12、般的情形，而FWLS更为有效，因此我们必须在稳健性和有效性之间作岀选择。具体来说，如果对V的估计不准确，FWLS估计效果不如“ OLS+稳健标准差”。Stock and Waston（2004）建议大多数情况下应该使用后者。下面是一个完整诊断异方差和处理异方差的例子。use n erlve.dta, clearreg lntc lnq lnpl lnpk lnpf-149- 一F（矶US）=437 WHoEL269.52<l2tF0 > F-SCtMQH4AidV41IL.MaMSt«An*»<fu«r«d-O.92S0' O,

13、»39Tc.ta.12na4K«S23144Jkiob MjSE=.intcCottiP>ltll図* cent.IntflE Vai JLgo.ooo.&S64462.7SS3U9Inplh4MM4S.巧弾stt.w0.131Inpk* 315KT6W992S&-C 63a-536J5C1USInpf.42SB13?.1DO321Bd.4a.aoo.2214721-1.SM51Jl.,779M3-2.00a.M?-7.0U448Lrvfplot /画残差与拟合值的散点图rvpplot lnq /画残差与解释变量的散点图从上面两个图均可以看到残差和拟合

14、值、解释变量均存在较大的波动，很可能存在异方差。Estat imtest, white / 怀特检验test for Hd; fiMBskedfiatleity出qaknsx Hai unxestrictadi 甌t白eob辭ojei!口玄tycbiZiK亠73.S8PTOt A £tl£2 0.0000CiFieCiS El Tr ivedi 8 is ds£ IZE|ZB±i5 1.1 i&l t>£TM-LeStSourceMl?arPHeteEoaknds±tiei ty73疽期140.ooc«2>

15、;.7»4"001KurtoBia.u1$.工85Total990.0000DrejJCh-Pauan / Ci>uk Wclabeiy test for bsterosi(edti3tlciiyVariables; fitted tblu&s of Lntcchliil)-25.13prcb j ch 12 -0.ooocestat hettest, rhs iid /使用方程右边的解释变量进行检验氐:£口aPagan / Cock-Weisbeiq test foi heteroS-kdastiGity Ho: Constant variance

16、Variabless 2nq Inpl lnpk inpf3® .16Pfab > chi 2-0.0000estat hottest lnq, iid /breiisch-Paaan / C<x)k-Weliberg test ter htteroskediBLleity Ko: CanltAnl miAnceVariables：二巾珂ehi211)-32,10Preb > eh 12 SQOCX各种BP检验结果的p值都拒绝同方差的原假设在stata中实现 WLS的方法如下：reg （被解释变量）（解释变量1）（解释变量2）aweight=变量名其中，aweigh

17、t后面的变量就是权重，是我们设定的函数。一种经常的设定是假设扰动项的条件方差是所有解释变量的某个线性组合的指数函数。在stata中也可以方便地实现：首先做标准的OLS回归，并得到残差项；reg （被解释变量）（解释变量1）（解释变量2）predict r, resid生成新变量logusq，并用它对所有解释变量做回归，得到这个回归的拟合值，再对这个拟合值求指数函数；gen logusq=ln（L2）reg logusq （解释变量1）（解释变量 2）predict g, xbgen h=exp（g）最后以h作为权重做 WLS回归；reg （被解释变量）（解释变量1）（解释变量2）aweight

18、=h如果我们确切地知道扰动项的协方差矩阵的形式，那么GLS估计是最小方差线性无偏估计，是所有线性估计中最好的。显然它比OLS更有效率。虽然GLS有很多好处，但有一个致命弱点：就是一般而言我们不知道扰动项的协方差矩阵，因而无法保证结果的有效性。到现在我们已经有了两种处理异方差的方法：一是使用对异方差稳健的标准误调整t统计量,并以此作推断；另一种是设定异方差的形式，使用可行的GLS得到有效估计。下面总结一下标准的OLS估计同上述两种方法的优劣，并结合检验异方差的方法，给岀处理异方差的一般步骤。estat hettest, iid /默认设置为使用拟合值U检验，同时假定扰动项U独立同分布4. 检查多

19、重共线性( Checki ng for Multicolli nearity )多重共线性指两个以上解释变量有较强的关联性，这意味着它们之间是可以相互替代的。我们主要关心多重共线性的程度有多少？因为从OLS估计的假设来看，多重共线性会导致回归系数标准误大幅增加，使得估计的回归系数不稳定。可以使用vif命令在回归完成后检验多重共线性。vif可以替代方差波动指标，如果VIF值大于10，说明存在多重共线性。一般来说VIF值在0.1-10之间是可以接受的，即因变量可以看成是其它自变量的线性组合。regress apiOO meals ell emervif /共线性检验结果可以接受VariableVI

20、F1/VIFmeals2.730.366965ell2.510398325emer1.410.706805Mea n VIF2.2：regress apiOO acs_k3 avg_ed grad_sch col_grad some_col / 又一个例子SourceSSdf MSNumber of obs379F( 5, 373) = 143.79Model 5056268.545 1011253.71 Prob > F0.0000Residual 2623191.21 373 7032.68421Total 7679459R-squaredAdj R-squared 二 0 6538

21、75 378 20316.0311Root MSE0.658483.861api00Coef.Std. Err. tp>ltl95% Conf. In tervalacs_k311.457253.2754113.500.0015.01666917.89784avg_ed227.263837.21966.110.000154.0773300.4504grad_sch-2.0908981.352292-1.550.123-4.749969.5681735col_grad-2.9678311.017812-2.920.004-4.969199-.9664626some_col-.7604543

22、.8109676-0.940.349-2.355096.8341872_cons-82.609381.84638-1.010.313-243.547378.32904vif /共线性检验结果可以接受VariableVIF 1/VIFavg_edgrad_schcol_gradsome_colacs_k343.570.02295114.780.06766414.860.0672744.070.2459931.030.971867Mea n VIF15.66从上面VIF和1/VIF （容忍度）的结果来看，avg_ed，grad_sch和col_grad变量的结果比较糟糕，所有这些衡量父母受教育程度

23、的变量有较高的VIF值，这说明部分变量是过度加入的。例如，当得知rad_sch和col_grad的值时，能够求岀avg_ed的值。因为在模型中放入了3个同样说明父母教育程度的变量，多重共线性情况就非常严重。去掉一个解释父母受教育平均程度的解释变量avg_ed，可以看到 VIF值变得比较理想。同样，也可以看到变量grad_sch和col_grad的回归标准误较之前面一个回归模型大幅减小，因为多重共线性会导致回归标准误大幅增加。当多重共线性情况消除后，变量grad_sch从不显著变变得显著了。regress api00 acs_k3 grad_sch col_grad some_colSource

24、SSdf MSNumber of obs =398F( 4, 393)二 107.12Model 4180144.344 1045036.09 Prob > F = 0.0000Residual 383406 2.79 393 9755.88497Adj R-squaredTotal 8014207 14 397 20186.9197R-squared二 0.5167Root MSE=0.5216=98.772api00Coef.Std. Err. tp>ltl95% Conf. In tervalacs_k311.71：!63.6648723.200.0024.50739218.

25、91781grad_sch5.634762.458197912.3C0.0004.7339366.535588col_grad2.479916.33955487.300.0001.8123453.147487some_col2.158271.44388224.860.0001.285593.030952_cons283.74-£70.324754.030.000145.4848422.0044vif另一个检测多重共线性的命令为collin，它提供了几种不同的测量方法。我们可以检验上面两个回归模型中变量之间的共线性问题，可以看到，不像vif命令，collin命令不需要在回归之后进行，因

26、此只有解释变量(predictor )可以进行共线性检验。Collin命令是第三方开发的，需要用前面说过的方法(findit )安装。命令为findit collin，然后在弹岀来的帮助窗口找到如下容， 点击后安装即可。collin f res: hctp : /www. sb匸ai.ucla eau/s"ta七丿 玉七3,3.(1«5丿31313.1了每工0collin- 二口llinaarity Eiagncstics 7 Ehllip B. Ender : 3taZDTputing and suiting / UCLA Cff zee of AcadeiLJ.c Cc

27、iz.putz.ng ； ezidericLs./3TATA ado and ixlp files in "tiie package 7 distribution- date: 211L23coll in acs_k3 avg_ed grad_sch col_grad some_colColli nearity Diag nosticsSQRTR-Variable VIF VIF Tolera nee Squaredacs_k31.031.010.97190.0281avg_ed43.576.600.02300.9770grad_sch14.863.860.06730.9327col

28、_grad14.783.840.06770.9323some_col4.072.020.24600.7540Mea n VIF15.66Co ndEige nvalIndex15.01251.000020.58892.9 仃530.25264.455040.14205.940450.002842.036260.001265.8866Con ditio n Number65.8866Eige nv alues & Cond In dex computed from scaled raw sscp (w/ i ntercept)Det(correlatio n matrix) 0.0183

29、把VIF值最大的变量 avg_ed删除再检验一次，结果显示良好。colli n acs_k3 grad_sch col_grad some_colColli nearity Diag no sticsSQRTR-VariableVIFVIFToleranceSquaredacs_k31.021.010.97670.0233grad_sch1.261.120.79210.2079col_grad1.281.130.78270.2173some_eol1.031.020.96670.0333Mea n VIF1.15注：collin的帮助文件:help for colli nColli neari

30、ty Diag no sticscollin varlistif exp in range , corr rinvDescripti oncollin computes several collinearity diagnostic measures including VIF, toleranee, eigenvalues, con diti on in dex, and R-squared. It will compute the eige nvalues and con diti on in dex on either the raw SSCP with an intercept (de

31、fault) or the deviation SSCP without an intercept.Optio ncorrEige nvalues and con diti on in dex computed from correlati on matrix without a con sta nt.By default the eige nvalues and con diti on in dex are computed on the scaled raw score SSCP matrix with an in tercept.rinvdisplay in verse of corre

32、lati on matrix.Examplescollin read write mathcolli n read write math, corr rinvcollin read write math if gender=1collin read write math if e(sample)5. 线性检验(Checking Linearity )进行线性回归时，假设自变量和因变量都是线性的，这就是线性假设。如果该假设无效，回归估计将试图将自变量与因变量的关系拟合成一条直线而不是遵循线性关系。因为只有一个因变量，因此检验线性关系较为简单，只要看自变量和因变量的散点图是否存在线性关系即可。us

33、e ./stat/stata/webbooks/reg/elemapi2regress api00 en rolltwoway (scatter api00 en roll) (lfit api00 en roll) (lowess api00 en roll)8.<吕-2-1耐60D丄 WOO时 Stud 缠 nh吕pi MOOF鬥edl禺II国fiOUL用scatter命令看apiOO的拟合情况，Ifit命令是显示线性拟合，lowess则是经过平滑修饰的 拟合线，可以看到二者存在一定程度的非线性关系。对于多元回归而言，线性假设检验更复杂一些。较为直接的方法是回

34、归之后将残差与每个自 变量描绘在图上。如果能看到没有明显的线性关系，即存在非线性。此外还可以从散点图上看是否是随机分布的。仍然用elemapi2数据，用其它一些变量回归：SourceSSdf MSNumber of obs400regress api00 meals some_colF( 2397)二 877 98Model 6584905.752 3292452.87Prob > F0.0000Residual 1488766.25 397 3750.04094TotalR-squared Adj R squared 二 0 8147 8073672 399 20234.7669Roo

35、t MSE0.815661.238api00Coef.meals-3.949some_col.8476cons869.09.0984576 -40.11 0.000 -4.142563 -3.7554367 9.41773492.28 0.000850.5822887.6119549 .27714283.06 0.002. 302804 1.392506Std. Err. t P>|t|95% Con f. I ntervalpredict r, resid scatter r mealsOn2HM0-«SLaurtrseRHHU2-204060pct free meals80

36、100scatter r some colRTaurtrseRoHMU2 onY0acprplot some_col, lowess lsopts(bwidth(1)80204060pare nt some college上面两个残差与解释变量的散点图说明残差与二个变量之间存在一定的线性关系，初步可以接受线性假设。命令acprplot是另一种检验非线性关系的方法。acprplot描绘岀扩展的解释变量+残差图，可用于诊断数据的非线性关系。acprplot meals, lowess lsopts(bwidth)/ lowess lsopts(bwidth(1)参数分别指使用平滑曲线表示拟合，ls

37、opts(bwidth(1)指带宽平滑度设置为1.下面是帮助文件中具体的解释。帮助文件打开的是Postestimation tools for regress的相关容，具体解释需要自己找一下。bwidth(#) specifies the ban dwidth.Cen tered subsets of bwidth()*N observati ons are used forcalculating smoothed values for each point in the data except for end points , where smaller, uncen tered subse

38、ts are used. The greater the bwidth(), the greater the smooth ing. The default is 0.8.020406080parent some college第一图中拟合的平滑曲线比较接近原始的回归线，说明是线性的。第二图在拟合线的右侧存在非线性的问题，这也许是某个数据所造成的。总之二个变量都不存在明显的非线性问题。另外一个例子来自"Statistics with Stata 5" by Lawre nee C. Hamilton (Duxbery Press, 1997)。use .ats.ucla.e

39、du/stat/stata/examples/sws5/nations, clear describeregress birth gnpcap urban / birth 指岀生率，gnpcap指人均国民生产总值，urban 指城市人口数量。SourceSSdfMSNumber of obs =108F( 2105)=64 22Model10796,882 5398.24399Prob > F=0.0000Residual8825.5861105 84.053201R-squared=0.5502Adj R-squared二 0.5417Total19622.0741107 183.38

40、387Root MSE=9.1681birthCoef.Std. Err. t P>|t|95% Co nf. In tervalgn pcap-.000842 .0002637-3.19 0.002 -.0013649 -.0003191urba n -.2823184 .0462191-6.11 0.000-.3739624 -.1906744_cons 48.856C3 1.98690924.59 0.00044.9163552.7957acprplot gn pcap, lowess结果很明显。graph matrix birth gn pcap urba n, halfCrud

41、e birth rate/1000 people*« Per capita GNP 1985/* wYy * * 5* * * * r%populati on urba n 198520000 -10000 100 "50 -010000 20000可以看到出生率和人均GDP,城市人口与人均 GDP都存在明显的非线性关系，这时需耍把人均GDP这一变量做些处理。首先看一下变量gnpcap的分布情况，用 kdensity命令：kdensity gnpcap, normal /单变量核密度估计Kernel density estimateKernel density estima

42、teNormal densitykernel = epanechnikov, bandwidth = 1.0e+03可以看到gnpcap的分布有较大左倾，这意味着需要对变量进行处理。通常的办法是取对数。gen erate lgg np=log(g npcap)/生成新变量lgg np，值为gn pcap的以10为底的对数； label variable lggnp "log-10 of gn pcap" / 给新变量加上标签，这会显示在变量栏里； kde nsity lgg np, no rmalKernel density estimateKernel density e

43、stimateNormal densitykernel = epanechnikov, bandwidth = 0.5014经过取对数转换后好多了。用新的变量lggnp加入回归regress birth lgg np urba nSource SS df MSNumber of obs =108,F( 2, 105) = 76.20Model 11618.03952 5809.01974 Prob > F = 0.0000=0.5921=8.7309Residual 8004.0346 105 76.2289009 R-squared,Adj R-squarad 二 0 5843Tota

44、l 19622.0741 107 183.38387 Root MSEbirthCoef.Std. Err. t P>|t|95% Co nf. In tervallgg np -4.877688 1.039477 -4.69 0.000-6.93878 -2.816596urba n -.156254 .0579632 -2.70 0.008 -.2711843 -.0413237_cons 74.87778 5.43965413.77 0.00064.0919685.66361acprplot lgg np, lowess0 5678910log-10 of gn pcap可以看到，

45、尽管仍然存在非线性问题，但较之以前情况有了很大改善。6 模型设定检验(Model Specificati on )当模型忽略了重要变量，或者无关变量加入回归方程都会导致模型设定错误。前者会导致将有效变量的共同方差归到现有的变量当中，且误差项的方差包含了重要变量，因此会变得较大。后者则会导致正确变量的方差错误地归结无关变量上。模型设定错误会显著影响系数估计。下面的模型要验证班级规模对成绩有正向影响，即班级规模越大，成绩会越高。看一到模型设定。use ./stat/stata/webbooks/reg/elemapi2, clear regress api00 acs_k3

46、SourceSSdfMSNumber of obs =398F( 1, 396)二 11.93Model 234353Residual 7779853311 234353.831Prob > F = 0.00063.31 396 19646.0942R-squared = 0.0292Adj R-squared = 0 0268Total 801420714 397 20186.9197Root MSE = 140.16api00Coef.Std. Err. t P>|t|95% Con f. I ntervalacs_k3 17.75148 5.1396883.45 0.0017

47、.64699827.85597cons 308.3372 98.730853.12 0.002114.235502.4393有两种办法检验模型设定。linktest命令可以对单方程的模型设定进行检验，它的基本思想是如果模型设定正确，其它变量很少有机会被再加入进去。linktest命令建立两个新变量，一是变量的预测值_hat，另一个是变量预测值的平方_hatsq，然后用这两个新变量对被解释变量再一次进行回归。因为是预测值，_hat应该是显著的，另外，如果我们模型设定正确的话预测值的平方不会有很强的解释能力，_hatsq不会显著。也就是说，只要看 _hatsq的p值是否显著我们就能够知道模型是否正

48、确设定。lin ktestSourceSSdfMSF( 2, 3Number of obs =95) =7.09398Model2777059112 138852.955Prob > F=0.0009Residual7736501.23 395 19586.0791R-squared=0.0347Adj R-squared = 0.0298Total801420714 397 20186.9197Root MSE=139.95api00Coef.Std. Err. t P>|t|95% Conf. In terval_hat-11.05006 8.104639 -1.360.174

49、 -26.983684.883563_hatsq.009338 .00627241.490.138-.0029996.0216631_cons3884.43 2617.6951.480.139 -1261.8779030.837从linktest结果来看，_hatsq的值不显著(>0.05 ),也就是说linktest检验结果没有拒绝模型设定正确的零假设，即看来起这个模型设定是正确的。但再看看另一种检验方法ovtest。ovtest 命令执行的是回归设定误差检验( regression specification error test ， RESET)， ovtest 检验和linkte

50、st检验的思路是相类似的。ovtestRamsey KESEI test using powers of the fitted values of api00Ho: model has no omitted variablesF(3, 393) =4.13Prob > F =0.0067ovtest的结果表明存在遗漏变量。这两个检验结果有一个表明存在模型设定错误，因此需要 重新考虑在模型中加入新的变量。regress api00 acs_k3 fullli nktestSourceSSdfMSNumber of obs =398F( 2, 395)二 108.32Model 283856Residual 5175644.42 1419282.2Prob > F = 0.00002.74 395 13102.893R-squared = 0.3542Adj R-squared = 0 3509Total 801420714 397 20186.9197Root MSE = 114.47api0