第五讲OLS的渐进性

1、第第五章五章：OLS的渐进性的渐进性( (OLS Asymptotics ) )5.1 一致性5.2 渐近正态和大样本推断5.3 OLS的渐进有效性第一节第一节 一致性一致性(consistency)一、一、一致性的含义一致性的含义 令令Wn是基于样本是基于样本y1,y2yn的关于参数的关于参数的估计量，的估计量，如果对任意如果对任意0，当，当n时，时，Pr(|Wn|)0，Wn就是就是的一个的一个一致估计量一致估计量(consistent estimator)。当。当Wn具有一具有一致性时，我们也称致性时，我们也称为为Wn的概率极限的概率极限(probability limit of Wn)，

2、记作，记作Plim(Wn)=。1.定义定义2.为什么要考虑一致性为什么要考虑一致性 我们已经讨论了有限样本我们已经讨论了有限样本(finite sample)，也就是小样本，也就是小样本(small sample)中中OLS估计量估计量(OLS estimators )和检验统计量和检验统计量(test statistics)具有的如下性质：具有的如下性质：u在在MLR. 1-4下下 OLS估计量具有无偏性估计量具有无偏性(Unbiasedness)u在在MLR. 1-5下下 OLS估计量是最优线性无偏无计量估计量是最优线性无偏无计量(BLUE)u在在MLR. 1-6下下 OLS估计量是最小方

3、差无偏估计量估计量是最小方差无偏估计量(MVUE)uT统计量的分布为统计量的分布为t分布分布样本容量为任意样本容量为任意n时，这些性质都成立。时，这些性质都成立。 由于在很多情形下误差项可能呈现非正态分布，由于在很多情形下误差项可能呈现非正态分布，了解了解OLS 估计量和检验统计量的渐近性，即估计量和检验统计量的渐近性，即当样本容当样本容量任意大时量任意大时(when the sample size grows without bound)的的特性就是重要的问题。特性就是重要的问题。 虽然在高斯马尔可夫假定下虽然在高斯马尔可夫假定下OLS 是最优线性无是最优线性无偏估计量，但在别的情形下不一定

4、能找到无偏估计量。偏估计量，但在别的情形下不一定能找到无偏估计量。因此，因此，在那些情形下，我们只要找到一致的估计量，即在那些情形下，我们只要找到一致的估计量，即n 时时, 这些估计量的分布退化为参数的真值即可。这些估计量的分布退化为参数的真值即可。u当当n增加时样本的分布增加时样本的分布(Sampling Distributions as n increases)b b1n1n2n31的样本分布的样本分布例：例：n1:每次从班上抽取每次从班上抽取10人，人， 抽若干次后，平均身高的分布；抽若干次后，平均身高的分布； n2:每次从班上抽取每次从班上抽取100人，人， 抽若干次后，平均身高的分布

5、；抽若干次后，平均身高的分布； n3:每次从班上抽取每次从班上抽取200人，人， 抽若干次后，平均身高的分布抽若干次后，平均身高的分布。的的一一致致估估计计量量、是是、方方法法得得到到的的下下，通通过过可可以以证证明明，在在假假定定的的分分布布紧紧缩缩成成一一个个点点趋趋于于无无穷穷大大时时，当当的的周周围围。的的分分布布越越来来越越集集中中在在样样本本容容量量的的增增加加，随随着着估估计计量量是是一一致致的的，那那么么概概率率分分布布。如如果果都都有有一一个个，估估计计量量，对对于于每每一一个个的的是是kkjjjjjjjOLS.MLRnOLSnOLSb bb bb bb bb bb bb b

6、b bb bb bb bb bb b101041 3.一致性和无偏性的关系一致性和无偏性的关系(Consistency v.s. unbiasedness)u一个估计量是否有可能在有限样本（小样本）中是一个估计量是否有可能在有限样本（小样本）中是有偏的但在大样本条件下又具有一致性？有偏的但在大样本条件下又具有一致性？ 假设假设Z的真值为的真值为0，一个随机变量，一个随机变量X以以(n-1)/n的概率的概率取值为取值为Z，而以，而以1/n的概率取值为的概率取值为n。那么，。那么，X的期望为的期望为1，也就是：也就是：记记plim(x) 为为n趋向无穷大时趋向无穷大时x的取值，则有：的取值，则有：

7、plim(x)=z=0111nnnnZXEu是否有可能一个估计量是无偏的但又不具备一致性？是否有可能一个估计量是无偏的但又不具备一致性？ 依然假设依然假设Z的真值为的真值为0，一个随机变量，一个随机变量X以以0.5的概率取的概率取0.5，而，而以以0.5的概率取的概率取-0.5，那么，那么X的期望为的期望为0，也就是说，也就是说，X是是Z的无偏估的无偏估计量。计量。 但是，但是，X总是在总是在X=0这条线上下摆动，当这条线上下摆动，当n趋向无穷大时，它趋向无穷大时，它的方差并不会趋于的方差并不会趋于0。因此，。因此，X并不是并不是Z的一致估计量，也就是说的一致估计量，也就是说X不具备一致性。不

8、具备一致性。 无偏估计量未必是一致的，但是那些当样本容量增大时方差无偏估计量未必是一致的，但是那些当样本容量增大时方差会收缩到零的无偏估计量是一致的。会收缩到零的无偏估计量是一致的。二二、OLS估计量的估计量的一致性一致性1.定理定理5.1 在假设在假设MLR.1到到MLR.4下，下，OLS截距估计量截距估计量和和斜率斜率估计量估计量都是都是一致一致的估计量。的估计量。2.证明一致性证明一致性在简单回归中，斜率的估计量为：在简单回归中，斜率的估计量为：21111111211111211111xxnuxxnxxuxxxxyxxiiiiiiiiibbbn时，分子趋近于时，分子趋近于0，但分母，但分

9、母却不趋近于却不趋近于0，因此，当，因此，当n时，时， Plim( )=1b1b3.一个更弱的假定一个更弱的假定 要获得估计量的无偏性要获得估计量的无偏性(unbiasedness)，我们假定零，我们假定零条件期望条件期望(zero conditional mean)：E(u|x1, x2,xk) = 0 而要获得估计量的一致性而要获得估计量的一致性(consistency)，我们可以使，我们可以使用更弱的假定：零期望和零相关性假定，即：用更弱的假定：零期望和零相关性假定，即：E(u) = 0，Cov(xj,u) = 0, j = 1, 2, , k。 如果连这个较弱的假定也不成立，如果连这个

10、较弱的假定也不成立，OLS将是有偏将是有偏(biased)而且不一致的而且不一致的(inconsistent)。上述讨论表明：如果上述讨论表明：如果OLS估计量是无偏的，那么它一定是一致的；估计量是无偏的，那么它一定是一致的；但是如果但是如果OLS估计量是一致的，却不能保证它是无偏的。估计量是一致的，却不能保证它是无偏的。u推导不一致性推导不一致性定义渐近偏差定义渐近偏差(asymptotic bias)为：为： ， 并考并考虑下面的真实模型和待估计模型。虑下面的真实模型和待估计模型。11plimbbvxxy22110bbbuxy110bbvxu22b真实的模型为：真实的模型为：实际进行估计的

11、模型为：实际进行估计的模型为：显然：显然：1121lim0)(p，,xxCov则此时，如果 12121112211122111111,limxVarxxCovxVarvxCovxxCovxVarvxxCovxVaruxCovpbbbbbbbb则：则： 因此，考虑渐近偏差的方向就像是考虑存在一个遗漏变量时因此，考虑渐近偏差的方向就像是考虑存在一个遗漏变量时偏差的方向。主要的区别在于渐近偏差用总体方差和总体协方差偏差的方向。主要的区别在于渐近偏差用总体方差和总体协方差表示，而遗漏变量时的偏差则是基于它们在样本中的对应量。表示，而遗漏变量时的偏差则是基于它们在样本中的对应量。bbb211limp12

12、1,xVarxxCov 1211bbbE2112111xxxxxiii1102xx 值得注意的是，不一致性是一个大样本问题。因此，当数据值得注意的是，不一致性是一个大样本问题。因此，当数据增加时候这个问题并不会消失。也就是说，即使样本容量再大，增加时候这个问题并不会消失。也就是说，即使样本容量再大，OLS估估计的偏误也不会消失，而且会收敛到一个有偏误的值。计的偏误也不会消失，而且会收敛到一个有偏误的值。4.存在内生性时的一致性存在内生性时的一致性考虑真实模型为考虑真实模型为y = b b0 + b b1x1 + b b2x2 + u ，但，但u和和x1相关，相关，即即cov(u , x1)0。

13、则则OLS估计量的估计量的不一致性（不一致性（inconsistency）为：为：1111111111lim0),(lim0),()(),(limbbbbbbpuxCovpuxCovxVaruxCovp，则如果，则如果u若若x1 和和x2相关，即相关，即cov(x1 , x2 ) 0，而，而u和和x2不相关，即不相关，即cov(u , x2 )=0时，则对时，则对b b1和和b b2的的OLS估计量都是不一致的。估计量都是不一致的。u若若x1 和和x2不相关，即不相关，即cov(x1 , x2 )=0，且，且u和和x2不相关，不相关，即即cov(u , x2 )=0时，则只有对时，则只有对b

14、b1的的OLS估计量是不一致的。估计量是不一致的。u存在内生性时存在内生性时对其他参数估计量对其他参数估计量的一致性的影响的一致性的影响)(),(lim1111xVaruxCovpbb5.渐近有效性渐近有效性 我们知道，如果总体回归模型满足我们知道，如果总体回归模型满足MLR.1-5，那么，那么OLS估计量是最优线性无偏估计量。估计量是最优线性无偏估计量。 事实上，可以证明在这些假定下，事实上，可以证明在这些假定下， OLS估计量是估计量是渐近有效的（渐近有效的（asymptotic efficient）。也就是说，随着样。也就是说，随着样本容量无限增大，本容量无限增大， OLS估计量具有最小

15、的渐近方差。估计量具有最小的渐近方差。第二节第二节 渐近正态和大样本推断渐近正态和大样本推断(Asymptotic Normality and Large Sample Inference) 估计量的一致性是一条重要性质，但我们并不能只靠它来估计量的一致性是一条重要性质，但我们并不能只靠它来进行统计推断。在经典线性模型假设下，样本的分布是正态分进行统计推断。在经典线性模型假设下，样本的分布是正态分布，因而我们推出布，因而我们推出t分布和分布和F分布用于检验。分布用于检验。 这种准确的正态分布来自于总体误差这种准确的正态分布来自于总体误差(population error)的分的分布是正态分布的

16、假定。这个正态误差的假定意味着当布是正态分布的假定。这个正态误差的假定意味着当x给定时，给定时，y的分布也是正态分布。的分布也是正态分布。为什么需要正态性假定？为什么需要正态性假定？u为了证明无偏性？为了证明无偏性？u为了证明最优线性估计量？为了证明最优线性估计量？u为了能够用为了能够用t统计量和统计量和F统计量做精确的推断？统计量做精确的推断？ 很容易碰到一些例子，其中严格的正态性假定并不能成立。很容易碰到一些例子，其中严格的正态性假定并不能成立。因为正态分布是对称的，所以，任何一个因为正态分布是对称的，所以，任何一个明显不对称明显不对称(clearly skewed)的变量，像拘捕次数，储

17、蓄量等都不可能服从正态分布。的变量，像拘捕次数，储蓄量等都不可能服从正态分布。 当样本容量变大时是否估计量会渐近地趋向于正态分布？我当样本容量变大时是否估计量会渐近地趋向于正态分布？我们关注的们关注的OLS估计是否量满足渐近正态性。估计是否量满足渐近正态性。中心极限定理中心极限定理(Central Limit Theorem) 基于中心极限定理，我们能够证明基于中心极限定理，我们能够证明OLS估计量是渐近正态。估计量是渐近正态。渐近正态意味着当渐近正态意味着当n 时，时，P(Zz) F(z) 或者或者P(Zz) (z) 。 中心极限定理指出任何一个均值为中心极限定理指出任何一个均值为，方差为，

18、方差为2 2的总体的标准的总体的标准化平均值的分布渐近趋同于化平均值的分布渐近趋同于N0,1N0,1，或者记作：，或者记作：1 , 0 NnYZaY1.中心极限定理是研究独立随机变量和的极限分布为正态分布的中心极限定理是研究独立随机变量和的极限分布为正态分布的问题。问题。2.定理定理5.2：OLS的的渐近正态性渐近正态性(Asymptotic Normality of OLS)在高斯在高斯马尔科夫假设马尔科夫假设MLR.1 MLR.5前提下：前提下：1） 符合渐近正态分布，也就是说：符合渐近正态分布，也就是说：其中，其中， 是是 的渐近方差；的渐近方差； ，而，而 是是xj对其他解释变量对其他

19、解释变量进行回归所得到的残差。进行回归所得到的残差。jb22, 0jjjNnbb22jjjnbb212limijjrnpijr 2） 是是 的一个一致性估计。的一个一致性估计。3）随着样本容量）随着样本容量n的扩大，对任意的扩大，对任意j，都有：，都有：221 ,0Nsejjjbbb的一致估计量是相应地，2211iuknu在定理在定理5.2中什么才是我们的假定中什么才是我们的假定u误差的分布具有有限的方差误差的分布具有有限的方差(finite variance)u零条件期望零条件期望(Zero conditional mean)u同方差性同方差性(Homoskedasticity)u线性结构线

20、性结构(Linear structure)u随机样本随机样本(random sample)1）去掉了）去掉了正态性假定正态性假定(normality assumption)MLR.62）仍然保留以下假定：）仍然保留以下假定：u对定理对定理5.2的理解的理解为什么在为什么在1）中考虑的是）中考虑的是 ，而不是，而不是jjnbbjjbb因为因为 jjjjjjjSSRSSTSSRSSTRSSTVar22221b2jijjxxSST2ijjrSSR注意到注意到 的样本方差为的样本方差为 的样本方差为的样本方差为 jxnSSTjijr nSSRj 222rjjnSSRVarb其中，其中， 是是 的总体方

21、差。的总体方差。 ijr 2 r令令 ，那么有：，那么有：cr22 ncVarjb当当 时，时， 以以 的速度减小到零，因的速度减小到零，因此，只有按照此，只有按照 的比例增大的比例增大 ，才能讨论，才能讨论渐近分布。渐近分布。n jVarbn1njb因为自由度很大的因为自由度很大的 t分布接近于正态分布，我们也可以分布接近于正态分布，我们也可以得到：得到：1knajjjtsebbb注意到尽管我们在大样本中不再需要正态性假定，我们注意到尽管我们在大样本中不再需要正态性假定，我们仍然需要同方差性仍然需要同方差性(homoskedasticity)。渐渐近近标准误差标准误差(Asymptotic

22、Standard Errors)ncseRSSTsejjjjjbb,122所以所以，我们预计标准误差减小的速度，我们预计标准误差减小的速度与与 成正比。成正比。如果如果u不是正态分布，我们有时把标准误差称作渐近标不是正态分布，我们有时把标准误差称作渐近标准误差，因为：准误差，因为：n大样本推断大样本推断(Large sample inference)uOLS估计量的渐近正态性告诉我们，如果样本容量足够大，而估计量的渐近正态性告诉我们，如果样本容量足够大，而且总体回归模型满足且总体回归模型满足MLR.1-5，那么，那么t统计量近似地服从标准正态统计量近似地服从标准正态分布或分布或t分布，从而可以

23、进行分布，从而可以进行t检验。此时，不必要求满足正态性检验。此时，不必要求满足正态性假定。假定。u如果样本容量足够大，而且总体回归模型满足如果样本容量足够大，而且总体回归模型满足MLR.1-5，那么，那么通常的通常的F检验也是适用的。检验也是适用的。u需要注意的是，进行大样本推断的前提是需要注意的是，进行大样本推断的前提是MLR.5（同方差假定）（同方差假定）必须成立。必须成立。拉格朗日乘子统计量拉格朗日乘子统计量(Lagrange Multiplier statistic) 当我们使用大样本并且依靠渐近正态性当我们使用大样本并且依靠渐近正态性(asymptotic normality)进行推

24、断时，除了进行推断时，除了t和和F统计量，我们还可以使用别的统计量。统计量，我们还可以使用别的统计量。 拉格朗日乘子或拉格朗日乘子或LM统计量是检验统计量是检验多重限定性约束多重限定性约束(multiple exclusion restrictions)的另一种选择，的另一种选择，LM统计量使用一个辅助性统计量使用一个辅助性的回归的回归(auxiliary regression)，因此它有时也被叫做，因此它有时也被叫做nR2统计量。统计量。 对于大样本数据，可以使用对于大样本数据，可以使用LM检验对多个线性假设进行检验，检验对多个线性假设进行检验，前提是高斯马尔科夫假定（前提是高斯马尔科夫假定

25、（ MLR.1-5 ）成立）成立假设我们有一个标准模型假设我们有一个标准模型: y = b b0 + b b1x1 + b b2x2 + . . . b bkxk + u 而我们的零假设为而我们的零假设为: H0: b bk-q+1 = 0, . , b bk = 0我们的备选假设为我们的备选假设为: H1: b bk-q+1, . , b bk 中至少有一个不为零中至少有一个不为零pcLMc)q(nRLM)3(Reu)2() 1 (022u2u110qq110的显著性水平精确。当然也可计算出，可以拒绝，如果临界值以及相应的平。对于给定的显著性水得到根据得到残差估计有约束模型HXXuuXXYk

26、kkkbbbLM检验的特性检验的特性(Characteristics of LM test)LM统计量有时被称作是统计量有时被称作是nR2，或者得分统计量，或者得分统计量(score statistic)u约束约束q的个数的个数(number of restrictions, q )u辅助辅助R2的大小的大小(the size of the auxiliary R-squared )u样本容量样本容量(the sample size)相关的因素只有相关的因素只有:u未约束模型中自由度的个数未约束模型中自由度的个数u未约束模型和被约束模型的未约束模型和被约束模型的R2不相关的因素有不相关的因素有

27、:LM检验与检验与F检验和检验和t检验的优劣对比检验的优劣对比 LM test vs F test & t testu在大样本中，在大样本中，F检验和检验和LM检验得到的结果相似。检验得到的结果相似。u只有一个约束时，只有一个约束时，F检验和检验和t检验是等价的，然而检验是等价的，然而LM检验和检验和F检检验并不等价。验并不等价。u主回归和辅助回归必须使用相同的一组观测值。主回归和辅助回归必须使用相同的一组观测值。例例5.3: Economic Model of Crime(crime1.raw)narr86= 0+1pcnv+2avgsen+3tottime+4ptime86+5qe

28、mp86+uH0: 2= 3=0H1: 2和和3至少有一个不为至少有一个不为0Steps（i）对约束模型进行回归，得到残差）对约束模型进行回归，得到残差u （ii）用）用 对无约束模型的所有解释变量进行回归，得到对无约束模型的所有解释变量进行回归，得到Ru2 u 可知可知Ru2 =0.0015，从而，从而LM=nRu2 = 27250.0015=4.09Df=2，显著性水平为，显著性水平为5%的的 2 分布临界值为分布临界值为5.99，显然有，显然有LM5.99，因此不能拒绝，因此不能拒绝H0.渐近有效渐近有效(Asymptotic Efficiency)u在高斯在高斯-马尔可夫假定下，马尔可

29、夫假定下，OLS估计量以外的估计量可以具有一估计量以外的估计量可以具有一致性。致性。u但是，在高斯但是，在高斯-马尔可夫假定下，马尔可夫假定下，OLS估计量具有最小的渐近方估计量具有最小的渐近方差差(asymptotic variances)。u我们说在高斯我们说在高斯-马尔可夫假定下马尔可夫假定下OLS估计量是渐近有效的估计量。估计量是渐近有效的估计量。值得注意的是如果同方差值得注意的是如果同方差(homoskedastic)的假定不成立，上述结的假定不成立，上述结论也不能成立。论也不能成立。定理定理5.3： OLS估计量的渐近有效性估计量的渐近有效性 Asymptotic Efficiency of OLS Estimatorsb在在高斯高斯马尔科夫假定下，将马尔科夫假定下，将 记为如下方程的记为如下方程的估计量：估计量： kjxxyxgkkj.2 , 1, 0110 bbb其中，其中， 为任何一个观测值为任何一个观测