多元回归分析大样本理论

多元回归分析大样本理论1第1页，课件共41页，创作于2023年2月ChapterOutline本章提纲Consistency一致性AsymptoticNormalityandLargeSampleInference

渐近正态和大样本推断AsymptoticEfficiencyofOLSOLS的渐近有效性

2第2页，课件共41页，创作于2023年2月LectureOutline本课提纲Whatdowemeanbysayingconsistency

一致性的含义是什么ConsistencyofOLSestimatorsOLS估计量的一致性TheInconsistencyofOLSwhenthezeroconditionalmeanassumptionfails

当零条件均值假设不成立时OLS没有一致性。Whatdowemeanbyasymptoticnormalityandlargesampleinference

渐近正态性和大样本推断的含义是什么TheasymptoticnormalityofOLSOLS的渐近正态3第3页，课件共41页，创作于2023年2月Whyconsideringconsistency?

为什么考虑一致性Wehavediscussedthefollowingfinitesample(smallsample)propertiesoftheOLSestimatorsandteststatistics:

我们已经讨论了有限样本(小样本）中OLS估计量和检验统计量具有的如下性质：UnbiasednessofOLSestimators(MLR.1-4)在MLR.1-4下OLS估计量具有无偏性BLUEofOLSestimators(MLR.1-5)在MLR.1-5下OLS估计量是最优线性无偏估计量MVUEofOLSestimators(MLR.1-6)在MLR.1-6下OLS估计量是最小方差无偏估计量Thedistributionoft(F)statisticist(F)distributiont(F)统计量的分布为t(F)分布。Thesepropertiesholdforanysamplesizen.

样本容量为任意n时，这些性质都成立。4第4页，课件共41页，创作于2023年2月Whyconsiderconsistency?

为什么考虑一致性Sinceinmanysituationstheerrortermisnotnormallydistributed,itisimportanttoknowtheasymptoticproperties(largesampleproperties),i.e.,thepropertiesofOLSestimatorandteststatisticswhenthesamplesizegrowswithoutbound.

由于在很多情形下误差项可能呈现非正态分布，了解OLS估计量和检验统计量的渐近性，即当样本容量任意大时的特性就是重要的问题。5第5页，课件共41页，创作于2023年2月WhatisConsistency

什么是一致性令是基于样本的关于的估计量。如果对于任何，当时便是的一个一致估计量。当具有一致性时，我们也称为的概率极限，写作是6第6页，课件共41页，创作于2023年2月Consistencyv.s.unbiasedness

一致性与无偏性Isitpossibleforanestimatortobebiasedinfinitesamplebutconsistentinlargesample? 一个估计量是否有可能在有限样本中是有偏的但又具有一致性？Supposetruevalueofz=0,arandomvariablex=zwithprobability(n-1)/n,andx=nwithprobability1/n.

假设Z的真值为0，一个随机变量X以(n-1)/n的概率取值为Z，而以1/n的概率取值为n。E(x)=z*(n-1)/n+n*1/n=1X的期望为1plim(x)isthevalueofxasngoestoinfinity.Thereforeplim(x)=z=0.

记plim(x)为n趋向无穷大时x的取值。因此

plim(x)=z=0.7第7页，课件共41页，创作于2023年2月Consistencyv.s.unbiasedness

一致性与无偏性Isitpossibleforanestimatortobeunbiasedbutinconsistent?

是否有可能(一个估计量)是无偏却不一致的？Supposetruevalueofz=0,arandomvariablex=0.5withprobability0.5,andx=-0.5withprobability0.5.ThenE(x)=0.Butasxalwaysfluctuatesaroundthelinex=0,itsvariancedoesnotvanishasngoestoinfinity.Therefore,itisaninconsistentestimatorofz.假设Z的真值为0，一个随机变量X以0.5的概率取0.5，而以0.5的概率取-0.5，那么X的期望为0。但是

X总是在X=0这条线上下摆动，当n趋向无穷大时，它的方差并不会趋于0。因此，它是Z的不一致的估计量。8第8页，课件共41页，创作于2023年2月Consistencyv.s.unbiasedness

一致性与无偏性Unbiasedestimatorsarenotnecessarilyconsistent,butthosewhosevariancesshrinktozeroasthesamplesizegrowsareconsistent.无偏估计量未必是一致的，但是那些当样本容量增大时方差会收缩到零的无偏估计量是一致的。9第9页，课件共41页，创作于2023年2月Consistency

一致性

UndertheGauss-MarkovassumptionsOLSisBLUE,butinothercasesitwon’talwaysbepossibletofindunbiasedestimators在高斯－马尔可夫假定下OLS是最优线性无偏估计量，但在别的情形下不一定能找到无偏估计量。Inthosecases,wemaysettleforestimatorsthatareconsistent,meaningasn∞,thedistributionoftheestimatorcollapsestothetrueparametervalue在那些情形下，我们只要找到一致的估计量，即当n∞时,这些估计量的分布退化为参数的真值。10第10页，课件共41页，创作于2023年2月SamplingDistributionsasnincreases

当n增加时样本的分布b1n1n2n3n1<n2<n3Samplingdistri-butionofβ1例：n1:每次从班上抽取10人，抽若干次后，平均身高的分布；n2:每次从班上抽取100人，抽若干次后，平均身高的分布；n3:每次从班上抽取200人，抽若干次后，平均身高的分布。11第11页，课件共41页，创作于2023年2月ConsistencyofOLS

OLS的一致性

Theorem5.1:UnderAssumptionsMLR.1throughMLR.4,theOLSestimatorisconsistentforboththeinterceptandslopeparameters.

定理5.1:在假设MLR.1到MLR.4下，OLS截距估计量和斜率估计量都是一致的估计量。Consistencycanbeprovedforthesimpleregressioncaseinamannersimilartotheproofofunbiasedness对简单回归而言，证明估计量的一致性和证明无偏性的方法是类似的。12第12页，课件共41页，创作于2023年2月ProvingConsistency

证明一致性13第13页，课件共41页，创作于2023年2月ProvingConsistency

证明一致性14第14页，课件共41页，创作于2023年2月ProofofOLSConsistency

证明OLS的一致性AgeneralproofofconsistencyoftheOLSestimatorsfromthemultivariateregressioncasecanbeshownthroughmatrixmanipulations.多元回归中OLS估计量的一致性的证明可以通过矩阵运算得到。15第15页，课件共41页，创作于2023年2月AWeakerAssumption

一个更弱的假定

Forunbiasedness,weassumedazeroconditionalmean–E(u|x1,x2,…,xk)=0要获得估计量的无偏性，我们假定零条件期望

–E(u|x1,x2,…,xk)=0Forconsistency,wecanhavetheweakerassumptionofzeromeanandzerocorrelation(MLR.3’)–E(u)=0andCov(xj,u)=0,forj=1,2,…,k

而要获得估计量的一致性，我们可以使用更弱的假定：零期望和零相关性假定。Withoutthisassumption,OLSwillbebiasedandinconsistent!

如果这个较弱的假定也不成立，OLS将是有偏而且不一致的。16第16页，课件共41页，创作于2023年2月DerivingtheInconsistency

推导不一致性

Definetheasymptoticbiasas , thenconsiderthefollowingtruemodelandestimatedmodel:定义渐近偏差为：，并考虑下面的真实模型和待估计模型。17第17页，课件共41页，创作于2023年2月AsymptoticBias(cont)

渐近偏差(续)

So,thinkingaboutthedirectionoftheasymptoticbiasisjustlikethinkingaboutthedirectionofbiasforanomittedvariable

所以，考虑渐近偏差的方向就像是考虑存在一个遗漏变量时偏差的方向。Maindifferenceisthatasymptoticbiasusesthepopulationvarianceandcovariance,whilebiasusesthesamplecounterparts

主要的区别在于渐近偏差用总体方差和总体协方差表示，而偏差则是基于它们在样本中的对应量。Remember,inconsistencyisalargesampleproblem–itdoesn’tgoawayasadddata

记住，不一致性是一个大样本问题。因此，当数据增加时候这个问题并不会消失。18第18页，课件共41页，创作于2023年2月AsymptoticNormalityandLargeSampleInference

渐近正态和大样本推断Consistencyofanestimatorisanimportantproperty,butitalonedoesnotallowustoperformstatisticalinference.估计量的一致性是一条重要性质，但我们并不能只靠它来进行统计推断。RecallthatundertheClassicalLinearModelassumptions,thesamplingdistributionsarenormal,sowecouldderivetandFdistributionsfortesting

在经典线性模型假设下，样本的分布是正态分布，因而我们能够推出t分布和F分布用于检验。19第19页，课件共41页，创作于2023年2月AsymptoticNormalityandLargeSampleInference

渐近正态和大样本推断Thisexactnormalitywasduetoassumingthepopulationerrordistributionwasnormal

这种准确的正态分布来自于总体误差的分布是正态分布的假定。Thisassumptionofnormalerrorsimpliedthatthedistributionofy,giventhex’s,wasnormalaswell这个正态误差的假定意味着当x给定时，y的分布也是正态分布。20第20页，课件共41页，创作于2023年2月AsymptoticNormalityandLargeSampleInference

渐近正态和大样本推断Whynormalityassumptionisneeded?

为什么需要正态性假定？Forprovingunbiasedness?–No.

为了证明无偏性？-不是ForprovingBLUE?–No.

为了证明最优线性估计量？不是FormakingexactinferencewhenusingtorFstatistics?–Yes.

为了能够用t统计量和F统计量作精确的推断？是的21第21页，课件共41页，创作于2023年2月AsymptoticNormalityandLargeSampleInference

渐近正态和大样本推断

Easytocomeupwithexamplesforwhichthisexactnormalityassumptionwillfail

很容易碰到一些例子，其中严格的正态性假定并不能成立Anyclearlyskewedvariable,likewages,arrests,savings,etc.can’tbenormal,sinceanormaldistributionissymmetric

任何一个明显不对称的变量，像工资，拘捕次数，储蓄量，等等都不可能服从正态分布，因为正态分布是对称的。22第22页，课件共41页，创作于2023年2月AsymptoticNormalityandLargeSampleInference

渐近正态和大样本推断Whattodo?

我们要做些什么？Willestimatorsbecomeapproximatelynormallydistributedwhensamplesizegetslarge?

当样本容量变大时是否估计量会渐近地趋向于正态分布？WearediscussingwhetherOLSestimatorsatisfyasymptoticnormality.

我们讨论是否OLS估计量满足渐近正态性。23第23页，课件共41页，创作于2023年2月CentralLimitTheorem中心极限定理

Basedonthecentrallimittheorem,wecanshowthatOLSestimatorsareasymptoticallynormal基于中心极限定理，我们能够证明OLS估计量是渐近正态。AsymptoticNormalityimpliesthatP(Z<z)F(z)asn,orP(Z<z)F(z)渐近正态意味着当n时，P(Z<z)F(z)或者P(Z<z)Ф(z)Thecentrallimittheoremstatesthatthestandardizedaverageofanypopulationwithmeanmandvariances2isasymptotically~N(0,1),or

中心极限定理指出任何一个均值为µ而方差为σ2

的总体的标准化平均值的分布渐近趋向于N(0,1),或记作24第24页，课件共41页，创作于2023年2月Theorem5.2:AsymptoticNormalityofOLS

定理5.2:OLS的渐近正态性25第25页，课件共41页，创作于2023年2月Theorem5.2:AsymptoticNormalityofOLS

定理5.2:OLS的渐近正态性26第26页，课件共41页，创作于2023年2月WhatisassumedandnotassumedinTheorem5.2

在定理5.2中什么是我们的假定而什么不是ThenormalityassumptionMLR.6isdropped.

去掉了正态性假定MLR.6Stillassumed:

仍然假定：Thedistributionoftheerrorhasfinitevariance.误差的分布具有有限的方差Zeroconditionalmean零条件期望Homoskedasticity同方差性Linearstructureandrandomsample线性结构和随机样本27第27页，课件共41页，创作于2023年2月AsymptoticNormality(cont)

渐近正态（续）

Becausethetdistributionapproachesthenormaldistributionforlargedf,wecanalsosaythat因为自由度df很大的t分布接近于正态分布，我们也可以得到

Notethatwhilewenolongerneedtoassumenormalitywithalargesample,wedostillneedhomoskedasticity

注意到尽管我们在大样本中不再需要正态性假定，我们仍然需要同方差性28第28页，课件共41页，创作于2023年2月MultipleRegressionAnalysis

:Asymptotics

多元回归分析：渐近性(2)

y=b0+b1x1+b2x2+...bkxk+u29第29页，课件共41页，创作于2023年2月LectureOutline本课提纲TheasymptoticnormalityofOLSOLS的渐近正态性Largesampletests

大样本检验TheAsymptotictstatistict统计量的渐近性TheLMstatisticLM统计量TheAsymptoticEfficiencyofOLSOLS的渐近有效

30第30页，课件共41页，创作于2023年2月LagrangeMultiplierstatistic

拉格朗日乘子统计量

Onceweareusinglargesamplesandrelyingonasymptoticnormalityforinference,wecanusemorethantandFstats

当我们使用大样本并且依靠渐近正态性进行推断时，除了t和F统计量，我们还可以使用别的统计量。TheLagrangemultiplierorLMstatisticisanalternativefortestingmultipleexclusionrestrictions

拉格朗日乘子或LM统计量是检验多重限定性约束的另一种选择。BecausetheLMstatisticusesanauxiliaryregressionit’ssometimescalledannR2statLM统计量使用一个辅助性的回归，因此它有时被叫做nR2

统计量。

31第31页，课件共41页，创作于2023年2月LMStatistic(cont)

LM统计量(续)

Supposewehaveastandardmodel,

y=b0+b1x1+b2x2+...bkxk+uandournullhypothesisisH0:bk-q+1=0,...,bk=0

假设我们有一个标准模型y=b0+b1x1+b2x2+...bkxk+u

而我们的零假设为:H0:bk-q+1=0,...,bk=0First,wejustrunregressionontherestrictedmodel

首先，我们对被约束的模型进行回归32第32页，课件共41页，创作于2023年2月LMStatistic

LM统计量IFtheHnullistrue,thenR-squaredshouldbeclosetozero,since shouldbeapproximatelyuncorrelatedwithalltheindependentvariables.

如果H0为真，那么R-平方应该接近零，因为应该近似地与所有自变量都不相关。Weneedtodecidehowcloseisclosetozero.

我们需要判断接近零的程度。33第33页，课件共41页，创作于2023年2月LMStatistic

LM统计量

Thefollowingstepscanbeusedfortestingthejointsignificanceofasetofqindependentvariables.

接下去的步骤可以用来检验一组q个自变量的联合显著性。34第34页，课件共41页，创作于2023年2月StepsinvolvedinLMtest

LM检验中的步骤Regressyonrestrictedsetofindependentvariablesandsavetheresiduals,.

将y对被约束的自变量进行回归，保存残差。RegressonalloftheindependentvariablesandobtaintheR-squared,

将对所有自变量进行回归，得到相应的R-平方。ComputeLM=n

计算

LM=nCompareLMtotheappropriatecriticalvalueinachi-squaredistribution.将LM值与卡方分布中相应的临界值进行比较。35第35页，课件共41页，创作于2023年2月CharacteristicsofLMtest

LM检验的特性LMstatisticsissometimesreferredtoasn-R-squaredstatistic,orscorestatistic.LM统计量有时被称作是n-R-平方统计量，或者得分统计量Allthatmattersare相关的因素只有Numberofrestrictions,q

约束q的个数ThesizeoftheauxiliaryR-squared辅助R-平方的大小Thesamplesize样本容量Irrelevant:

不相关的因素:Degreeoffreedomoftheunrestrictedmodel

未约束模型中自由度的个数。Rsquaredfromtheunrestrictedmodeland

restrictedmodel(thefirst-stepregressionmodel)

未约束模型和被约束模型(第一步的回归模型)的R-平方36第36页，课件共41页，创作于2023年2月LMtestPKFtest&ttest

LM检验与F检验和t检验的优劣对比Withalargesample,theresultfromanFtestandfromanLMtestshouldbesimilar

在大样本中，F检验和LM检验得到的结果相似。Unlike