多元回归分析异方差

多元回归分析异方差1第一页，共七十二页，2022年，8月28日ChapterOutline本章提要ConsequencesofHSKofOLSOLS中异方差的影响HSK-RobustInferenceafterOLSestimationOLS估计后“对异方差稳健”的统计推断TestingforHSK检验异方差WeightedLeastSquaresEstimation加权最小二乘估计2第二页，共七十二页，2022年，8月28日LectureOutline本课提要WhatisHSK什么是异方差ConsequencesofHSK异方差的影响HSK-RobustInferenceafterOLSestimationOLS估计后的“对异方差稳健”统计推断HSK-robuststandarderror HSK－异方差稳健标准差HSK-robustt,F,LMstatistics HSK－异方差稳健t,F,LM统计量3第三页，共七十二页，2022年，8月28日WhatisHeteroskedasticity(HSK)

什么是异方差

Recalltheassumptionofhomoskedasticityimpliedthatconditionalontheexplanatoryvariables,thevarianceoftheunobservederror,u,wasconstant

同方差假定意味着条件于解释变量，不可观测误差的方差为常数Ifthisisnottrue,thatisifthevarianceofuisdifferentfordifferentvaluesofthex’s,thentheerrorsareheteroskedastic

如果u的方差随x变化，那么误差是异方差的。Example:estimatingreturnstoeducationandabilityisunobservable,andthinkthevarianceinabilitydiffersbyeducationalattainment

例子：估计教育回报并且能力不可观测，认为能力的方差随教育水平变化。4第四页，共七十二页，2022年，8月28日.Educationlevelprimarysecondaryf(y|x)IllustrationofHeteroskedasticity异方差图示college..E(y|x)=b0+b1xwage5第五页，共七十二页，2022年，8月28日Aspecificexample:histogramsofwageratesforeacheducationdegree,fromonlyeducated1yearto18years.

一个具体例子：每一个教育年限（1－18年）对应人群的工资直方图6第六页，共七十二页，2022年，8月28日CheckingtheExistenceofHSK:plottingtheresidualsagainstthefittedvalues7第七页，共七十二页，2022年，8月28日Whenthereisheteroskedasticity…

当存在异方差时…

OLSisstillunbiasedandconsistent. OLS无偏且一致R-squaredoradjustedR-squaredarestillfinegoodness-of-fitmeasures. R平方和调整后的R平方仍可以很好地度量拟合优度。TheyareestimatesofthepopulationR-squared,1

–[Var(u)/Var(y)],wherethevariancesaretheunconditionalvariancesinthepopulation.

它们是对总体R平方1

–[Var(u)/Var(y)]的估计，其中的方差是总体中的“非条件”方差。TheyconsistentlyestimatethepopulationR-squared,whetherornotVar(u|x)

=Var(y|x)dependsonx.

无论Var(u|x)

=Var(y|x)是否依赖于x，它们都可以一致地估计总体R平方。8第八页，共七十二页，2022年，8月28日Whydowecare?

为何关心异方差？Thestandarderrorsoftheestimatesarebiasedifwehaveheteroskedasticity.

如果存在异方差，那么估计值的标准差是有偏的。Ifthestandarderrorsarebiased,wecannotusetheusualtstatisticsorFstatisticsorLMstatisticsfordrawinginferences. 如果标准差有偏，我们就不能应用通常的t统计量或F统计量来进行统计推断。9第九页，共七十二页，2022年，8月28日Whattodo?

怎么办？Econometricianshavelearnedhowtoadjuststandarderrors,t,F,andLMstatisticssothattheyarevalidinthepresenceofheteroskedasticityofunknownform.

计量经济学家已经知道如何调整标准差，t，F，LM量，使得它们当未知形式的异方差存在时仍然有效。White(1980)showsthatthevariances,,canbeestimatedinthepresenceofheteroskedasticity.

White（1980）指出，在存在异方差时，方差也是可以估计的。10第十页，共七十二页，2022年，8月28日VariancewithHeteroskedasticity

异方差存在时的方差11第十一页，共七十二页，2022年，8月28日VariancewithHeteroskedasticity

异方差存在时的方差12第十二页，共七十二页，2022年，8月28日VariancewithHeteroskedasticity

异方差存在时的方差13第十三页，共七十二页，2022年，8月28日VariancewithHeteroskedasticity

异方差存在时的方差Thesquarerootofiscalled:

开平方被称为Heteroskedasticity-robuststandarderror,or

对异方差稳健的标准差，或Whitestandarderror,or White标准差，或Huberstandarderror,or Huber标准差，或Eickerstandarderrors,or Eicker标准差14第十四页，共七十二页，2022年，8月28日RobustStandardErrors

稳健标准差

Nowtherobuststandarderrorscanbeusedforinference

稳健标准差可以用来进行推断。Sometimestheestimatedvarianceiscorrectedfordegreesoffreedombymultiplyingbyn/(n–k–1)

有时可以将估计的方差乘以n/(n–k–1)来修正自由度Asn→∞it’sallthesame,though.

当n→∞时，没有区别。15第十五页，共七十二页，2022年，8月28日Example:robustseversususualse

例子：稳健标准差与常规标准差16第十六页，共七十二页，2022年，8月28日Example:robustseversususualse

例子：稳健标准差与常规标准差Whatdowelearn?

我们学到了什么？Robuststandarderrorscanbeeitherlargerorsmallerthantheusualstandarderrors.

稳健标准差可能比常规标准差大，也可能小。Butempiricallytherobuststandarderrorsareoftenfoundtobelargerthanthestandarderrors.

但是实证中常常发现稳健标准差要大些。Ifthedifferencesbetweenthesetwoerrorsarelarge,thentheconclusionsforstatisticalinferencecanbeverydifferent.

如果这两种标准差的差异很大，那么统计推断的结论可能有很大差异。17第十七页，共七十二页，2022年，8月28日Now,whycareabouttheusualse?

为何要考虑常规标准差？Giventhatrobuststandarderrorsarevalidwhetherornotheteroskedasticityispresent,thenwhydowestillneedtheusualstandarderror?

如果稳健标准差无论异方差存在与否都是适用的，为什么我们还需要常规标准差？NoticethatRobuststandarderrorsarejustifiedonlywhenthesamplesizeislarge.

我们应当注意到，稳健标准差的适用性依赖于大样本。18第十八页，共七十二页，2022年，8月28日RobustStandardErrors

稳健标准差Whenthesamplesizeissmallandthehomoskedasticyassumptionactuallyholds,theusualtstatisticshaveexacttdistribution,butthiswillnotbethecaseforrobuststandarderrors,henceinferencesmaynotbecorrect

如果是小样本同方差情形，那么常规的t统计量精确地服从t

分布，但是这并不适用于稳健标准差，因此，在这种情况下使用稳健标准差就可能导致推断错误。

Whenthesamplesizeislarge,reportingrobuststandarderrors(ortogetherwiththeusualstandarderrors)arerecommended,esp.inusingcross-sectionaldata.

在大样本情形下，特别是应用截面数据的时候，我们推荐报告稳健标准差（或同时报告常规的标准差）。19第十九页，共七十二页，2022年，8月28日Heteroskedasticy(HSK)-robustInferenceafterOLSestimation

OLS估计后的HSK-稳健推断LetrsedenoteHSK-robuststandarderrors

trse=(estimate-hypothesizedvalue)/(rse)

记rse为对异方差稳健的标准差

trse=(估计值-假设值)/(异方差稳健的标准差)TheHSK-RobustFstatistic对异方差稳健F统计量WithHSKtheusualFstatisticisnolongerFdistributed.

在异方差下，常规F统计量不再服从F分布。TheHSK-RobustFstatisticisalsocalledWaldstatistic HSK－稳健F统计量也称为Wald统计量Stataautomaticallycalculateitafterrobustregression Stata在稳健回归后自动计算20第二十页，共七十二页，2022年，8月28日

Example:usebirth.dta,comparetheusualandrobustregressions:theusualregressions

例子：比较常规回归和稳健回归：常规回归21第二十一页，共七十二页，2022年，8月28日

desobs:1,388vars:143Jun199713:47size:55,520(99.5%ofmemoryfree)storagedisplayvaluevariablenametypeformatlabelvariablelabelfamincfloat%9.0g1988familyincome,$1000scigtaxfloat%9.0gcig.taxinhomestate,1988cigpricefloat%9.0gcig.priceinhomestate,1988bwghtint%8.0gbirthweight,ouncesfatheducbyte%8.0gfather'syrsofeducmotheducbyte%8.0gmother'syrsofeducparitybyte%8.0gbirthorderofchildmalebyte%8.0g=1ifmalechildwhitebyte%8.0g=1ifwhitecigsbyte%8.0gcigssmkedperdaywhilepreglbwghtfloat%9.0glogofbwghtbwghtlbsfloat%9.0gbirthweight,poundspacksfloat%9.0gpackssmkedperdaywhilepreglfamincfloat%9.0glog(faminc)22第二十二页，共七十二页，2022年，8月28日Example:usebirth.dta,comparetheusualandrobustregressions:therobustregressions

例子：比较常规回归和稳健回归：稳健回归23第二十三页，共七十二页，2022年，8月28日Example:usebirth.dta,Fstatisticfortheusualregression

例子：应用birth.dta，常规回归的F统计量24第二十四页，共七十二页，2022年，8月28日Example:usebirth.dta,Fstatisticfortherobustregression

例子：应用birth.dta,稳健回归的F统计量25第二十五页，共七十二页，2022年，8月28日ARobustLMStatistic

稳健的LM统计量

RunOLSontherestrictedmodelandsavetheresidualsŭ

在有限制模型下进行OLS，保存残差ŭRegresseachoftheexcludedvariablesonalloftheincludedvariables(qdifferentregressions)andsaveeachsetofresidualsř1,ř2,…,řq

将每一个排除变量对全部未排除变量进行回归（q个回归）并将每一组残差ř1,ř2,…,řq保存Regressavariabledefinedtobe=1

onř1ŭ,ř2ŭ,…,řqŭ,withnointercept

将1向量对ř1ŭ,ř2ŭ,…,řqŭ进行无截矩回归。TheLMstatisticisn

–SSR1,whereSSR1isthesumofsquaredresidualsfromthisfinalregression LM定义为n

–SSR1其中SSR1

为最后一次回归的残差平方和。26第二十六页，共七十二页，2022年，8月28日Examplebirth.dta:theLMfortheusualregression(1)

例子birth.dta：常规回归的LM27第二十七页，共七十二页，2022年，8月28日Examplebirth.dta:theLMfortheusualregression(2)

例子birth.dta:常规回归的LM28第二十八页，共七十二页，2022年，8月28日Examplebirth.dta:therobustLMstatistic(1)

例子birth.dta:稳健LM统计量（1）29第二十九页，共七十二页，2022年，8月28日Examplebirth.dta:therobustLMstatistic(2)

例子birth.dta:稳健LM统计量（2）30第三十页，共七十二页，2022年，8月28日Examplebirth.dta:therobustLMstatistic(3)

例子birth.dta:稳健LM统计量（3）31第三十一页，共七十二页，2022年，8月28日Examplebirth.dta:therobustLMstatistic(4)

例子birth.dta:稳健LM统计量（4）32第三十二页，共七十二页，2022年，8月28日ChapterOutline本章提要ConsequencesofHSKofOLS OLS中异方差的影响HSK-RobustInferenceafterOLSestimation OLS估计后“异方差－稳健”的统计推断TestingforHSK 检验异方差WeightedLeastSquaresEstimation 加权最小二乘估计33第三十三页，共七十二页，2022年，8月28日LectureOutline本课提要TestingforHSK检验异方差TheBreuschnTest B-P检验TheWhiteTest White检验WeightedLeastsquares 加权最小二乘法WLSwhenHSKisknownuptoamultiplicativeconstant

当在比例意义上已知异方差时的加权最小二乘法WLSwhenHSKisofunknownform:thefeasibleGLS

当异方差具有未知形式时的加权最小二乘法：可行GLS34第三十四页，共七十二页，2022年，8月28日TestingforHSK

检验异方差ThoughwehavemethodsofcomputingHSK-robustt,FandLMstatistics,therearestillreasonsforhavingsimpleteststhatcandetectthepresenceofheteroskedasticity.

虽然我们有办法计算HSK－稳健的t,F和LM统计量，我们仍然有理由去寻找可以识别异方差的简单检验。35第三十五页，共七十二页，2022年，8月28日TestingforHSK

检验异方差ReasonNo.1:WemayprefertoseetheusualOLSstandarderrorsandteststatisticsreportedunlessthereisevidenceofheteroskedasticity.

理由1：除非有证据显示异方差存在，我们仍会偏好于常规OLS的标准差及检验统计量。ReasonNo.2:Ifheteroskedasticityispresent,theOLSestimatorisnolongertheBLUE,thenitispossibletoobtainabetterestimatorthanOLS.

理由2：如果异方差存在，OLS不再是BLUE，那么就有可能得到比OLS更好的估计量。36第三十六页，共七十二页，2022年，8月28日TheBreuschnTestforHSK

用B-P检验检验异方差

EssentiallywewanttotestH0:Var(u|x1,x2,…,xk)=s2,whichisequivalenttoH0:E(u2|x1,x2,…,xk)=E(u2)=s2

本质上，我们想检验H0:Var(u|x1,x2,…,xk)=s2这等价于检验H0:E(u2|x1,x2,…,xk)=E(u2)=s2Ifweassumetherelationshipbetweenu2andxjwillbelinear,cantestitasasetoflinearrestrictions

如果我们假设u2

和xj之间具有线性关系，则可以通过一组线性约束来完成检验。So,foru2=d0+d1x1+…+dkxk+vthismeanstestingH0:d1=d2=…=dk=0

所以,对于u2=d0+d1x1+…+dkxk+v

这意味着检验H0:d1=d2=…=dk=037第三十七页，共七十二页，2022年，8月28日TheBreuschnTestforHSK

用B-P检验检验异方差Underthenullhypothesis,itisoftenreasonabletoassumethattheerrorvisindependentofx1,…,xk.

在零假设下，通常可以假定误差v与x1,…,xk独立TheneitherForLMstatisticsforoverallsignificanceoftheindependentvariablesinexplainingu2canbeusedtotestHSK.

那么，如果将u2视为被解释变量，检验全部解释变量显著性的F或LM统计量就可以用来检验异方差。Theyareasymptoticallyvalidtestsinceu2isnotnormallydistributedinthesample.

由于u2在样本中不是正态分布，这些统计量只在渐近的意义下适用。38第三十八页，共七十二页，2022年，8月28日TheBreuschnTestforHSK

用B-P检验检验异方差TheerrorcannotbeobservedbycanbeestimatedfromOLSresiduals.

不可观测的误差可以通过OLS残差进行估计。Afterregressingtheresidualssquaredonallofthex’s,canusetheR2toformanForLMtest. 将残差平方对所有的x回归之后，可以通过R2构造F或LM检验。39第三十九页，共七十二页，2022年，8月28日TheBreuschnTestforHSK

用B-P检验检验异方差40第四十页，共七十二页，2022年，8月28日TheBreuschnTestforHSK

用B-P检验检验异方差41第四十一页，共七十二页，2022年，8月28日TheBreuschnTestforHSK

用B-P检验检验异方差42第四十二页，共七十二页，2022年，8月28日TheBreuschnTestforHSK

用B-P检验检验异方差IfwesuspectthatHSKdependsonlyuponcertainregressors,wecanmodifytheBPtesttoregressresidualsfromstep1onthoseregressorsandcarryouttheappropriateForLMtest.

如果我们怀疑HSK仅依赖与某些特定的解释变量，我们可以做一些调整：将第一步的残差只对那些解释变量回归，并进行适当的F或LM检验。43第四十三页，共七十二页，2022年，8月28日TheWhiteTestforHSK

用White检验检验异方差

TheBreusch-Pagantestwilldetectanylinearformsofheteroskedasticity B-P检验可以识别任意线性形式的异方差TheWhitetestallowsfornonlinearitiesbyusingsquaresandcrossproductsofallthex’s White检验通过加入x平方项和交叉项引入了一定的非线性。StilljustusinganForLMtotestwhetherallthexj,xj2,andxjxharejointlysignificant

仍然是用F和LM检验来检验xj,xj2,xjxh是否联合显著44第四十四页，共七十二页，2022年，8月28日TheWhiteTestforHSK

用White检验检验异方差Thiscangettobeunwieldyprettyquickly.

这个办法很快就会显出其笨重之处。Forexample,ifwehavethreeexplanatoryvariables,x1,x2,and

x3thentheWhitetestwillhave9restrictions:3onlevels,3onsquares,and3oncross-products.

例如，如果我们有三个解释变量x1,x2,x3那么White检验有9个约束，三个对线性项，三个对平方项，三个对交叉项。Withsmallsamples,degreesoffreedomwillsoonberunoutwithmoreregressors.

在小样本情形，自由度将会随着解释变量数目增加而迅速减少。45第四十五页，共七十二页，2022年，8月28日AlternateformoftheWhitetest

White检验的变形

ConsiderthatthefittedvaluesfromOLS,ŷ,areafunctionofallthex’s

考虑到OLS的预测值ŷ是所有x的函数。Thus,ŷ2willbeafunctionofthesquaresandcrossproducts.Therefore,ŷandŷ2canproxyforallofthexj,xj2,andxjxh.

因此，ŷ2是平方项和交叉项的函数。ŷ

和ŷ2可以用来替代所有的xj,xj2,xjxh46第四十六页，共七十二页，2022年，8月28日AlternateformoftheWhitetest

White检验的变形Regresstheresidualssquaredonŷandŷ2andusetheR2toformanForLMstatistic,

将残差平方对ŷ

和ŷ2回归，用R2来构建F或LM统计量Nowweonlyneedtotest2restrictionsnow.

现在只需要检验两个约束47第四十七页，共七十二页，2022年，8月28日Examplebirth.dta:theBPtest48第四十八页，共七十二页，2022年，8月28日Examplebirth.dta:theBPtest(1)49第四十九页，共七十二页，2022年，8月28日Examplebirth.dta:theBPtest(2)TheFtestisjusttheoverallsignificancetest.SinceF(6,1184)=0.84,andprob>F=0.5382,theBPtestdoesnotrejectthenullofHMK. F检验就是全局显著性检验，由于F(6,1184)=0.84，且

prob>F=0.5382,B-P检验不能拒绝同方差零假设。TheLMstatisticcanbegotbytyping LM统计量可以通过“display1190*0.0042”得到“display1190*0.0042”instata.TheLMstatisticis4.998,thecriticalvalueoftheChi-square(5%sig.Level)is12.95,doesnotrejectthenullofHMKeither. LM统计量为4.998，卡方分布5％的临界值为12.95，也无法拒绝同方差零假设。50第五十页，共七十二页，2022年，8月28日Examplebirth.dta:theWhitetest(1)51第五十一页，共七十二页，2022年，8月28日Examplebirth.dta:theWhitetest(2)52第五十二页，共七十二页，2022年，8月28日FinalcommentsaboutHSKtests

对HSK检验的最后评价ItispossiblefortheHSKtesttorejectthenullwhenimportantvariablesareomitted,eventhoughthetruthisthereisnoHSK. 即便真实的情况并无异方差，HSK检验可能由于重要变量的遗漏而错误的拒绝零假设。HSKcouldindicatemisspecification,therefore,whenpossible,thespecificationtestsshouldbecarriedoutearlierthantheHSKtest. HSK可能意味着模型设定错误，因此，如果可能的话，应当在HSK检验之前进行模型设定检验。53第五十三页，共七十二页，2022年，8月28日WeightedLeastSquares

加权最小二乘法

Whileit’salwayspossibletoestimaterobuststandarderrorsforOLSestimates,ifweknowsomethingaboutthespecificformoftheheteroskedasticity,wecantransformthemodelintoonethathashomoskedasticerrors–calledweightedleastsquares.

对OLS估计稳健标准差总是可能办到的，但是，如果我们知道一些关于异方差结构的信息，我们可以将原模型转化为具有同方差的新模型，这称为加权最小二乘法。54第五十四页，共七十二页，2022年，8月28日WeightedLeastSquares

加权最小二乘法InsuchcasesweightedLeastsquaresismoreefficientestimatesthanOLS,anditproducestandFstatisticsthathavetandFdistributions. 在这些情况中，加权最小二乘法比OLS更为有效。对应的t和F统计量具有t和F分布。55第五十五页，共七十二页，2022年，8月28日Caseofformbeingknownuptoamultiplicativeconstant

异方差结构在比例意义上已知的情况

SupposetheheteroskedasticitycanbemodeledasVar(ui|xi)=s2i=s2

hi,wherehi=h(x)dependsonlyontheobservedcharacteristics,x.

假设异方差可以由模型Var(ui|xi)=s2i=s2

hi刻画，其中hi=h(x)只依赖于可观测特征xInsuchsituation,let’sdefineui*=ui/√hiandconsiderhowdoestheGauss-Markovassumptionsperformforthetransformedmodel.

在这种情况下，定义ui*=ui/√hi并考虑转化后的模型是否服从Gauss-Markov假设。56第五十六页，共七十二页，2022年，8月28日Caseofformbeingknownuptoamultiplicativeconstant

异方差结构在比例意义上已知的情况57第五十七页，共七十二页，2022年，8月28日Caseofformbeingknownuptoamultiplicativeconstant

异方差结构在比例意义上已知的情况58第五十八页，共七十二页，2022年，8月28日Caseofformbeingknownuptoamultiplicativeconstant

异方差结构在比例意义上已知的情况59第五十九页，共七十二页，2022年，8月28日Caseofformbeingknownuptoamultiplicativeconstant

异方差结构在比例意义上已知的情况60第六十页，共七十二页，2022年，8月28日GeneralizedLeastSquares

广义最小二乘法

EstimatingthetransformedequationbyOLSisanexampleofgeneralizedleastsquares(GLS)

通过OLS估计变换后的方程可以作为广义最小二乘法（GLS）的一个例子GLSwillbeBLUEinthiscase GLS在这种情形下为BLUEGLSisaweightedleastsquares(WLS)procedurewhereeachsquaredresidualisweightedbytheinverseofVar(ui|xi) GLS是加权最小二乘法（WLS）在权重为Var(ui|xi)倒数时的特例。61第六十一页，共七十二页，2022年，8月28日WeightedLeastSquares

加权最小二乘法

WhileitisintuitivetoseewhyperformingOLSonatransformedequationisappropriate,itcanbetedioustodothetransformation

尽管对变换后的模型做OLS是直观的，但是变换本身可能很繁琐。Weightedleastsquaresisawayofgettingthesamething,withoutthetransformation

加权最小二乘法可以完成相同的目的，但是不需要进行变换。Ideaistominimizetheweightedsumofsquares(weightedby1/hi)

想法是最小化加权平方和（权重为1/hi）62第六十二页，共七十二页，2022年，8月28日WeightedLeastSquares

加权最小二乘法63第六十三页，共七十二页，2022年，8月28日MoreonWLS

WLSisgreatifweknowwhatVar(ui|xi)lookslike

如果我们知道Var(ui|xi)的形式，WLS很棒Inmostcases,won’tknowformofheteroskedasticity

在大多数情况下，我们并不清楚异方差的形式64第六十四页，共七十二页，2022年，8月28日FeasibleGLS

可行GLS

Moretypicalisthecasewhereyoudon’tknowtheformoftheheteroskedasticity

更典型的情形是你并不知道异方差的形式Inthiscase,youneedtoestimateh(xi)

此时，你需要估计h(xi)Typically,westartwiththeassumptionofafairlyflexiblemodel,suchas

我们可以从一个非常灵活的方程形式入手 Var(u|x)=s2exp(d0+d1x1+…+dkxk)Sincewedon’tknowthed,mustbeestimated 由于d未知，我们必须对它进行估计。65第六十五页，共七十二页，2022年，8月28日FeasibleGLS(continued)

可行GLS

Ourassumptionimpliesthat

我们的假定意味着 u2=s2exp(d0+d1x1+…+dkxk)v, whereE(v|x)=1.ln(u2)=a0

+d1x1+…+dkxk+eWhereE(e)=1andeis