5多元回归分析-OLS渐近.ppt

1、Chapter 5Multiple Regression Analysis: OLS Asymptotics (1),y = b0 + b1x1 + b2x2 + . . . + bkxk + u,Chapter Outline,一致性 Consistency 渐近正态和大样本推断 Asymptotic Normality and Large Sample Inference Asymptotic Efficiency of OLS OLS的渐近有效性,本课内容,1. 有限样本与无限样本 2. 复习：一致性 3. OLS估计量的一致性 4. 渐进偏差 5. OLS的渐近正态性,1.有限样本性质

2、与无限样本性质,对于多元线形回归模型: 样本容量n给定下，OLS估计量的性质与分布： Unbiasedness of OLS estimators (MLR.1-4) 在MLR. 1-4下 OLS估计量具有无偏性 BLUE of OLS estimators (MLR.1-5) 在MLR.1-5下 OLS估计量是最优线性无偏估计量 MVUE of OLS estimators (MLR.1-6) 在MLR.1-6 下OLS估计量是最小方差无偏估计量 The distribution of t / F statistic is t / F distribution t /F统计量的分布为 t /

3、 F分布。 These properties hold for any sample size n. 对于容量为n的样本，假定成立，则这些性质成立。,finite sample, small sample, or exact properties of the OLS estimators 通常称为：OLS估计量的有限样本性质、精确性质、小样本性质 还想知道：当样本容量n无穷大时，估计量的性质和相关统计量的性质：渐近性质，或大样本性质。 当样本容量n 很大时，可以用大样本性质，来代替有限样本性质。 以放弃过强的假定MLR.6,2.复习：一致性,何谓一致性 What is Consistency

4、?,令 是基于样本 的关于 的估计量。 如果对于任何 ，当 时 便是 的一个一致估计量。 当 具有一致性时，也称 为 的概率极限，写作,一致性的含义Explaining consistency,Consistency means that the distribution of Wn becomes more and more concentrated about with n growing without bound, which roughly means that for larger sample sizes, Wn is less and less likely to be ver

5、y far from . 一致性的意思是，当n趋于无穷大时， Wn的分布会越来越集中附近。 或者说，对于一个容量n很大的样本，Wn 距离不应该太远。,一致估计量的样本分布：n越大，越集中于真值 Sample distribution of a consistent estimator,-1 -2 -3 +3 +2 +1,n3=1000,1,2,无偏性与一致性 unbiasedness and Consistency,Unlike unbiasednesswhich is a feature of an estimator for a given sample sizeconsistency i

6、nvolves the behavior of the sampling distribution of the estimator as the sample size n gets large. 无偏性是，给定样本容量n下，估计量的性质(期望)； 一致性则是，当样本容量n变大时，估计量的样本分布的变化特征。 Unbiased estimators are not necessarily consistent, and consistent estimators are not necessarily unbiased 无偏估计量，当样本容量n变大时，不一定具有一致性；而一致估计量，给定样本

7、容量n下，也不一定是无偏的。,例：有偏可以是一致的,一个估计量是否有可能在有限样本中是有偏的，但又具有一致性？,例：无偏不一定一致 unbiasedness v.s. Consistency,一个估计量是否可能是无偏(unbiased),却不一致(inconsistent)？ 假设z的真值为0，随机变量X以0.5的概率取1，而以0.5的概率取-1，那么, E(x)=0 = z 。 但是, 当n趋向无穷大时, X总是在X=0这条线上下摆动，它的方差并不会趋于0。因此，它不是Z的一致估计量。,无偏估计量何时一致 unbiasedness and Consistency,Only those unb

8、iased estimators whose variances shrink to zero as the sample size grows are consistent. 随着样本容量n的增加，只有那些方差趋于0的无偏估计量，才具有一致性。 If Wn is an unbiased estimator ofand Var(Wn) 0 as n , then plim(Wn)=. 如果一个的无偏估计量Wn的方差， Var(Wn) 0 as n ，则， Wn是的一致估计量。,LAW OF LARGE NUMBERS,Let Y1, Y2, , Yn be independent, ident

9、ically distributed random variables with mean , then,一致性是对估计量的最低要求consistency is a minimal requirement for an estimator,While not all useful estimators are unbiased, virtually all economists agree that consistency is a minimal requirement for an estimator. 虽然并不是所有的有用的估计量是无偏的，但是，一致性则是经济学家对估计量的最低要求。 T

10、he famous econometrician Clive W.J. Granger once remarked: “If you cant get it right as n goes to infinity, you shouldnt be in this business.” Clive W. J. Granger：“如果当n无穷大时，你仍然不能获得一个正确的参数估计，那你就是在瞎忙。”,3. OLS的一致性,定理 5.1： OLS的一致性 Theorem 5.1 Consistency of OLS,Theorem 5.1 : Under Assumptions MLR.1 thro

11、ugh MLR.4, the OLS estimator is consistent for both the intercept and slope parameters. 定理5.1: 在假设MLR.1到MLR.4下，OLS截距估计量和斜率估计量都是一致的估计量。,证明：OLS的一致性：简单回归模型的情况,Consistency can be proved for the simple regression case in a manner similar to the proof of unbiasedness 对简单回归而言，证明估计量的一致性和证明无偏性的方法是类似的。,证明：OLS

12、的一致性：简单回归模型的情况,Proof of OLS Consistency证明OLS的一致性,A general proof of consistency of the OLS estimators from the multivariate regression case can be shown through matrix manipulations. 多元回归中OLS估计量的一致性的证明，可以通过矩阵运算得到。,一个更弱的假定: MLR.3 (零期望和零相关)A Weaker Assumption: MLR.3,对于无偏性，需要零值条件期望假定MLR.3 ： E(u|x1, x2,

13、xk) = 0 对于一致性，可以使用一个更弱的假定MLR.3：零期望和零相关性假定： E(u) = 0 and Cov(xj,u) = 0, for j = 1, 2, , k Assumption MLR.3 (zero mean and zero correlation): E(u) = 0 and Cov(xj,u) = 0, for j = 1, 2, , k MLR.3 implies MLR.3, but not vice versa. 假定MLR.3 成立，则 MLR.3 必成立；反之，则不一定。,4. 渐近偏差（非一致性偏差）(inconsistency),弱零值条件期望假定M

14、LR.3与非一致性,在MLR.3下，OLS估计量具有无偏性；若MLR.3不成立，则OLS估计量有偏。 (但是，在MLR.3下，则OLS未必无偏。) 如果弱假定MLR.3 不成立，OLS将有偏且不一致。 即：如果误差项u与任何一个自变量相关，则所有OLS估计量通常有偏且不一致。,简单回归模型的非一致性偏差(inconsistency),在简单回归模型中， 如果Cov(x1,u) != 0 (x1是内生变量), 则 . 定义 的非一致性偏差(非严格地称为：渐进偏差): The inconsistency in (loosely called the asymptotic bias)： 非一致偏差的

15、方向：类似于考虑存在一个遗漏变量时偏差的方向。,遗漏变量模型的非一致性偏差Deriving the Inconsistency,考虑渐近偏差的方向，类似于考虑存在一个遗漏变量时偏差的方向。 主要的区别在于，非一致偏差(渐近偏差)用总体方差和总体协方差表示，而偏差则是基于在样本方差和样本协方差。,内生性与一致性：多元回归模型Consistency with endogeneity,正如讨论多元回归模型的遗漏变量偏差那样，讨论其渐进偏差的大小和方向，也比较困难。 考虑一个模型为： y = y = b0 + b1x1 + b2x2 + u 其中，u和x1相关，即 cov(u , x1)=0 (x1为

16、内生变量)，cov(u , x2 )=0 (x2为外生变量)， 若cov(x1, x2 )=0 ，则b1和b2的OLS估计量均不一致。 若cov(x1 , x2 )=0 ，则只有b1的OLS估计量不一致。,渐进偏差是一个大样本问题,Remember, inconsistency is a large sample problem it doesnt go away as add data 记住，非一致性偏差，是一个大样本问题。它不会随着样本数据的增加而消失。,5. 渐近正态,需要渐近分布Asymptotic Normality and Large Sample Inference,估计量的一致

17、性是一条重要性质，但是，我们无法靠它来进行统计推断。 在经典线性模型假设(MLR.1-6)下，OLS估计量的样本分布服从正态分布。因而，我们才能够推出t分布和F分布，并进行推断。 而OLS估计量的准确的正态分布，依赖于总体误差u服从正态分布的假定。,需要渐近分布,误差项u的正态性假定意味着, 当x给定时，y的分布也是正态分布。 然而，在许多情况下，y的严格正态性并不符合事实： 由于正态分布是对称分布，任何一个明显分布不对称的变量都不可能服从正态分布：如，工资(ch4讲义) ，养老金参与率(Fig.5.2)，拘捕次数(课本例)，等等。,需要渐近分布：渐近正态,这是否意味着，我们不能在利用t/F分

18、布,来进行显著性检验？ 不是。 即使y不是来自于正态总体的样本，当样本容量n不断增加时，OLS估计量也会渐近地趋向于正态分布。 即：OLS估计量满足渐近正态性(asymptotic normality)。 基于中心极限定理(CLT，Central Limit Theorem),回顾：渐进正态性Asymptotic Normality,Let Zn: n=1,2, be a sequence of random variables, Asymptotic Normality implies that P(Znz)F(z) as n , or P(Znz) F(z) 渐近正态是指，当n 时，P(Z

19、nz) F(z) ，或者 P(Znz) (z) 记为: Zn a N(0,1),回顾：中心极限定理 Central Limit Theorem,定理5.2: OLS的渐近正态性Theorem 5.2: Asymptotic Normality of OLS,定理5.2: OLS的渐近正态性Theorem 5.2: Asymptotic Normality of OLS,理解定理5.2：假定,Gauss-Markov假定： 线性结构 Linear structure 随机抽样 random sampling 零值条件期望 Zero conditional mean 无严格共线性 No perfe

20、ct collinearity 对于误差项u的唯一限制就是，假定误差的分布具有有限的方差：同方差性: Var(u|x)=s2 The distribution of the error has finite variance：Homoskedasticity 误差项u的正态性假定MLR.6被放弃,理解定理5.2：(i)渐近正态性与渐近方差,理解定理5.2：(ii),理解定理5.2：(iii)渐近标准正态性与t检验,随着自由度的增加， t分布趋向于标准正态分布，因此，可以写出如下渐进分布：,有限样本的t分布基于对误差项u的精确正态性假定MLR.6，这里放弃了MLR.6之后，我们依然可以利用t分布

21、进行检验。 对于t分布近似的程度取决于自由度：n-k-1.,渐近标准误差 Asymptotic Standard Errors,若u不是正态分布，有时把标准误差看作是渐近标准误差(asymptotic standard error),可以预计标准误差减小的速度与 成正比。 需要同方差假定MLR.5。,总结,1. 有限样本与无限样本 2. 复习：一致性 3. OLS估计量的一致性 4. 渐进偏差 5. OLS的渐近正态性,思考题与作业,思考题：5.1，5.2 计算机练习：5.5,Chapter 5Multiple Regression Analysis: OLS Asymptotics (2),

22、y = b0 + b1x1 + b2x2 + . . . + bkxk + u,Chapter Outline,一致性 Consistency 渐近正态和大样本推断 Asymptotic Normality and Large Sample Inference OLS的渐近有效性 Asymptotic Efficiency of OLS,本课内容,1. 大样本推断 Large Sample Inference 2. OLS的渐近有效性 Asymptotic Efficiency of OLS,1. 大样本推断Large Sample Inference,LM统计量(LM statistic),

23、在大样本下，通常的t / F 统计量同样适用，因为即使在没有误差项u的正态性假定下，上述统计量也同样有效。 然而，在大样本下，可以利用其他一些统计量进行推断： 拉格朗日乘数， 或LM统计量(Lagrange multiplier, or LM statistic) ， 是现代计量经济学中一种比较流行的检验方法。 在大样本下，可以利用它进行多重排除约束(multiple exclusion restrictions)检验。,拉格朗日乘数， 或LM统计量(Lagrange multiplier statistic)，有时也称：分数统计量(score statistic)，这些名称源自于受约束下的最

24、优化(constrained optimization) 。 在线性模型中， LM统计量的推导相对比较简单。 利用LM统计量进行的检验时，需要利用一个辅助回归(auxiliary regression)获得统计量nR2 , 故又称nR2统计量。,这里，LM统计量的推导依然需要Gauss-Markov假定。 但是，不需要假定MLR.6 (误差项的正态性假定)。,如何利用LM统计量进行检验,假定存在一个标准的多元回归模型： y = b0 + b1x1 + b2x2 + bqxq+ bk-q+1. . . +bkxk + u1 假定：H0: bk-q+1 = 0, . , bk = 0；H1: H0

25、 is not true (1) 在H0约束下，获得一个受约束模型 (restricted model)： y = b0 + b1x1 + b2x2 + bqxq+ u2 估计这个受约束模型:,(2) 做一个辅助回归(auxiliary regression)： (3) (4) 利用LM统计量对H0进行假设检验： 简单假设检验；P-value假设检验。,LM统计量决定于三个因素： 辅助回归，是将受约束模型回归所得残差2对所有自变量x1xk-q, xk-q+1,xk回归。 主回归(受约束模型回归)和辅助回归(2对所有自变量x1xk-q, xk-q+1,xk回归)必须使用相同的样本观测值。,在大样

26、本下， LM检验和F检验的结果比较相近。 对于单个约束的检验，F检验和t检验是等价的；但是，LM检验和F检验，则并不等价。,总结：LM检验中的步骤,(1) 估计受约束模型(将y对被约束的自变量x1xq进行回归)，保存残差2。 (2) 将2对所有自变量x1xk进行回归，得到相应的R22 。 (3) 计算 LM = n R22 2q (4) 利用LM 统计进行假设检验。,例：影响婴儿体重的因素,bwght = b0 + b1 cigs + b2 parity + b3 motheduc + b4 faminc + b5 fatheduc + u bwght birth weight, ounces

27、孩子体重 cigs cigs smked per day while preg怀孕期间日吸烟量 parity birth order of child 孩子的顺序数 motheduc mothers yrs of educ 母亲教育 faminc 1988 family income, $1000s 家庭收入 fatheduc fathers yrs of educ 父亲教育 H0: b4 = 0, b5 = 0; H1 : H0 is not true,step1,Step2 Step3,step4,2. OLS的渐近有效性 Asymptotic Efficiency of OLS,渐近有效

28、Asymptotic Efficiency,有限样本下，在Gauss-Markov 假定下, OLS估计量是BLUE (best linear unbiased estimators). 已经知道: 在大样本下，在假定MLR.1-4下，OLS估计量具一致性。 在大样本下，在Gauss-Markov假定下，OLS估计量的渐近正态性和渐进方差。 OLS的渐近方差的相对大小： 在Gauss-Markov假定下，在某种类型的估计量中， OLS估计量是否具有最小的渐近方差？ 如果具有最小的渐近方差，则称OLS估计量是渐近有效(asymptotically efficient)的估计量。,简单回归模型情形：OLS估计量的渐近有效性,对于一个简单回归模型： y = b0 + b1x1 + u