多元回归分析推断

1、Introductory Econometrics1 of 94四、多元回归分析：推断n估计量的样本分布估计量的样本分布n单个总体参数的假设检验：单个总体参数的假设检验：t检验检验n置信区间n参数线性组合的假设检验（一维情形）n多个线性约束的假设检验：F检验n报告回归结果Introductory Econometrics2 of 94本课提纲n样本分布：复习n经典假设与OLS估计量的样本分布n假设检验的背景知识n单边与双边t检验n计算p值Introductory Econometrics3 of 94样本分布：复习n简单随机抽样是指从总体中随机取样n次，使得总体中的每个元素在样本中出现的可能性

2、相同。n如果y1, y2, yn 来自于同一分布且相互独立，则称这一组随机变量独立同分布（i.i.d.）Introductory Econometrics4 of 94样本分布：复习n样本分布在统计学和计量经济学发展中具有核心地位,它是指一个估计量在其所有可能取值上的概率分布n刻画样本分布的两种方式：“准确”方式和“近似”方式Introductory Econometrics5 of 94样本分布：复习n“准确”方式需要对任何n的取值都得到样本分布的精确表达式。n这样的分布被称为小样本（有限样本）的准确准确 分布n例如，如果y1, y2, , yn服从正态分布，且y1, y2, , yn 独立

3、同分布，则其均值恰好服从正态分布Introductory Econometrics6 of 94样本分布:复习n“近似”方式对样本分布进行大样本下的近似。n对样本分布的大样本近似常称为渐近分布。Introductory Econometrics7 of 94样本分布:复习n只要样本量足够大，渐近分布就是对准确分布的很好的近似。n两个重要工具：大数定律，中心极限定理Introductory Econometrics8 of 94大数定律n大数定律：在一般情形下，当样本量充分大时，样本均值将以很高的概率逼近总体均值。n本课中，为了应用大数定律，我们假设y为独立同分布具有有限方差的随机取样。Intr

4、oductory Econometrics9 of 94中心极限定理122220()/ nyyyy , y ,. , yny假设独立同分布，均值为 ，方差为，其中。当，的分布可以被标准正态分布近似得任意好。Introductory Econometrics10 of 94中心极限定理n这个定理说明，在一般条件下，如果样本足够大，标准化的样本均值的样本分布可以由标准正态分布近似Introductory Econometrics11 of 94OLS估计量的样本分布n我们已经讨论了OLS估计量的期望和方差，但是为了进行统计推断，我们仍希望知道样本分布。nOLS估计量的样本分布依赖于对误差项分布的假

5、设。Introductory Econometrics12 of 94假设MLR.6 （正态性）n 我们已经知道当GaussMarkov假设成立时，OLS是最优线性无偏估计。n 为了进行经典的假设检验，我们要在GaussMarkov假设之外增加另一假设。n假设MLR.6 （正态性）：假设u与x1, x2, xk独立，且u服从均值为0，方差为2的正态分布。Introductory Econometrics13 of 94经典线性模型假设n假设MLR.1-MLR.被称为经典线性模型假设n我们将满足这六个假设的模型称为经典线性模型n在经典线性模型假设下，OLS不仅是BLUE，而且是最小方差无偏估计量

6、，即在所有线性和非线性的估计量中，OLS估计量具有最小的方差。Introductory Econometrics14 of 94经典线性模型假设n根据对总体的经典线性模型假设有：n y|x Normal(b0 + b1x1 + bkxk, 2)n尽管现在我们假设了正态，但有时候并不是这种情况n为什么可以假设误差服从正态分布，uNormal(0, 2)。 P110Introductory Econometrics15 of 94经典线性模型假设n如果正态假设不成立怎么办？n通过变换，特别是通过取自然对数，往往可以得到接近于正态的分布。n 大样本允许我们放弃正态假设（近似方式）Introducto

7、ry Econometrics16 of 94.x1x2同方差正态分布单解释变量情形E(y|x) = b0 + b1xyf(y|x)NormaldistributionsIntroductory Econometrics17 of 94定理4.1 正态样本分布jCLM Normal, Normal 0,1jjjjjjVarsdbbbbbbb在假设下，条件于解释变量的样本值有故服从正态分布，因为它是误差的线性组合Introductory Econometrics18 of 94n可以扩展定理4.1。n 的任意线性组合服从正态分布，n 的 任意子集服从联合正态。n我们将利用这些事实来进行假设检验k

8、bbb,.,10定理4.1 正态样本分布kbbb,.,10Introductory Econometrics19 of 94对单个总体参数的假设检验：对单个总体参数的假设检验：t检验检验n考虑总体中满足CLM的模型我们现在研究如何对一个特定的 进行假设检验01 1.kkyxxubbbjbIntroductory Econometrics20 of 94假设检验背景知识回顾n被检验的假设称为零假设n假设检验利用数据将零假设和另一个假设（替代假设）进行比较Introductory Econometrics21 of 94背景知识回顾n替代假设给出在零假设不成立时的真实情况。n我们的目的：利用一个随

9、机选取的样本提供给我们的证据来决定是否应当接受零假设。Introductory Econometrics22 of 94背景知识回顾n在假设检验中存在两种可能的错误。n第一类错误：当零假设为真时拒绝零假设（弃真）n第二类错误：当零假设为假时未拒绝零假设（取伪）Introductory Econometrics23 of 94背景知识回顾n我们建立一些假设检验的规则使发生第一类错误的概率非常小。n一个检验的显著性水平是发生第一类错误的概率。n通常设定的限制性水平为：0.1,0.05,0.01。如果为0.05意味着研究者愿意在5的检验中错误地拒绝零假设。Introductory Econometr

10、ics24 of 94背景知识回顾n检验统计量的临界值临界值是使得零假设刚好在给定显著性水平上被拒绝的统计量的值。n假设检验中，使得零假设被拒绝的检验统计量的取值范围称为拒绝域拒绝域，使得零假设不能被拒绝的检验统计量的取值范围成为接受域接受域。Introductory Econometrics25 of 94背景知识回顾n个检验统计量（T）是关于随机样本的一个函数。当我们用某一特定样本计算此统计量时，我们得到这个检验统计量的一个实现（t）。Introductory Econometrics26 of 94定理4.2: 标准化估计量的t分布 j122CLM 1jn kjtsetn kbbb 在假

11、设下，有注意这是一个 分布，因为我们要用来估计。注意自由度：Introductory Econometrics27 of 94t检验n 知道标准化估计量的样本分布后，便可以进行假设检验n 由零假设出发n 例如， H0: bj=0n 如果接受零假设，则认为控制x其它分量后， xj对y没有边际影响。Introductory Econometrics28 of 94The t Test (cont) 0jHtt决定是否接受零假设，统计量和拒绝条件来然后利用统计量：的先要构造为了进行检验，我们首jjsetjbbbbIntroductory Econometrics29 of 94The t Test

12、(cont)nt统计量 度量了估计值 相对0偏离了多少个估计的标准离差。n它的符号与 相同n注意我们检验的是关于总体参数的假设，而不是关于来自某一特定样本的估计值的假设。jbjtbjbIntroductory Econometrics30 of 94t检验：单边替代假设n 除了零假设外，我们需要替代假设H1，并设定显著性水平n H1可以是单边或双边的n H1: bj 0 和 H1: bj 0，当 时我们拒绝H0，当 ，则不能拒绝H0n由于t分布是对称的，如果H0: bj = 0对H1: bj 0c0a1 a单边替代假设Fail to rejectrejectIntroductory Econo

13、metrics34 of 94t分布与正态分布n注意：当t分布的自由度增大时，t分布趋近于标准正态分布。Introductory Econometrics35 of 94例子：学生表现与学校规模(meap93.raw)n问题：是不是较大的班级意味着较差的学生表现？n应用1993年408个密歇根州中学的数据，进行如下回归 Reg math10 totcomp staff enroll Introductory Econometrics36 of 94例子：学生表现与学校规模math10=2.274+0.00046totcomp+0.048staff 0.0002enroll (6.113) (0

14、.0001) (0.04) (0.00022) 变量含义：math10：通过MEAP标准化10年级数学测验的学生百分比 totcomp：平均教师年度补偿 staff：每千个学生对应的工作人员数目enroll：学生录取Introductory Econometrics37 of 94n确定被检验的假设nH0 :enroll=0 versus H1 :enroll-1.65，我们不能拒绝零假设例子：学生表现与学校规模Introductory Econometrics38 of 94n如果我们同样感兴趣是否高收入的教师会使学生表现更好，我们可以检验：nH0 :totcomp=0 versus H1

15、:totcomp0n计算得到的t统计量为4.6。由于4.6 2.326，故在1%显著水平下拒绝零假设。例子：学生表现与学校规模Introductory Econometrics39 of 94双边替代假设nH1: bj 0为双边替代假设。在此替代假设下，我们并未规定xj 对y影响的符号。n对于双边检验，我们根据a/2计算临界值。当t的绝对值大于临界值c时，拒绝零假设。当a0.05时， c是n-k-1自由度的t分布的97.5分位数。Introductory Econometrics40 of 94yi = b0 + b1Xi1 + + bkXik + uiH0: bj = 0 H1: bj 0c

16、0a/21 a-ca/2双边替代假设rejectrejectfail to rejectIntroductory Econometrics41 of 94例子：学生表现与学校规模n我们已经得到math10=2.274+0.00046totcomp+0.048staff 0.0002enroll (6.113) (0.0001) (0.04)(0.00022) n如果问题是：教师数目是否对学生表现有影响，我们可以检验如下假设： H0: bstaff = 0 , H1: bstaff 0. Introductory Econometrics42 of 94例子：学生表现与学校规模n计算得到的t值为

17、1.2。标准正态分布的在5%的显著水平对应的临界值为1.96。由于1.2 1.n利用FBI犯罪报告（97个观察值）的数据，估计得到方程log(crime)=-6.63+1.27log(enroll) (1.03) (0.11)t值=(1.27-1)/0.11=2.45。对于95自由度的t分布， 1%显著水平下单边检验的临界值为2.37|t|).Introductory Econometrics51 of 94计算t检验的p值C0.025C0.025C0.005C0.005C0.01C0.01p/2p/2In the above example, it must be true that 1%p

18、2.423)=2P(T2.423)=0.02.Introductory Econometrics52 of 94一些关于p值的信息n由于这是一个概率，其取值范围在0，1之间n小p值提供了拒绝零假设的证据，大p值不能提供证据拒绝零假设。Introductory Econometrics53 of 94经济重要性与统计显著性n统计显著性完全由t 统计量的大小决定。n经济上的重要性强调估计系数的大小。n权衡两者来判断解释变量对被解释变量的边际影响Introductory Econometrics54多元回归分析：推断(2)y = b0 + b1x1 + b2x2 + . . . bkxk + uIn

19、troductory Econometrics55 of 94本章提纲nOLS估计量的样本分布n单总体参数的假设检验：t检验n置信区间置信区间n参数线性组合的假设检验（一维情形）参数线性组合的假设检验（一维情形）n多个线性约束的假设检验：F检验n报告回归结果Introductory Econometrics56 of 94Lecture Outlinen置信区间：复习n如何构造置信区间n检验线性组合Introductory Econometrics57 of 94置信区间n由于随机取样误差的存在，我们不可能通过样本知道b 的准确值。n但是利用来自随机样本的数据构造一个取值的集合，使得真值在给定

20、概率下属于这个集合是可能的。Introductory Econometrics58 of 94置信区间n这样的集合称为置信集，预先设定的真值属于此集合的概率称为置信水平（置信度）。n置信集是下限和上限之间所有可能的取值，故置信集为一个区间，称为置信区间Introductory Econometrics59 of 94b 的置信区间n通过对上述分析进行扩展，我们可以利用双边检验的临界值来构造 b 的置信区间。n如果 服从n-k-1自由度的 t 分布，简单的运算可以得到关于未知的 bj 的置信区间()/()jjjjtasebbbIntroductory Econometrics60 of 94b

21、的置信区间A (1 - ) % confidence interval is defined as, where is the 1- percentile2in a distribution1(1 - ) % 1-12c secjjtnkc sejjctnkaabbabba 的置信区间定义为，其中是分布的分位数Introductory Econometrics61 of 94b 的置信区间n如果自由度为25，那么对任意bj ，95的置信区间为n当n-k-1120， t(n-k-1) 分布与正态分布充分接近，可以用标准正态分布的97.5分位数来构造95%置信区间2.06(),jjsebb2.06

22、()jjsebb1.96(),jjsebb1.96()jjsebbIntroductory Econometrics62 of 94b 的置信区间n构造了置信区间之后，可以进行双尾假设检验n零假设为H0: bj = aj，当且仅当aj不在95的置信区间内时，零假设相对于H1: bj aj在5的显著水平上被拒绝。Introductory Econometrics63 of 94例子：住房的效用价格模型(not available)nLog(price)=7.46+0.634log(sqrft)-0.066bdrms+0.158bthrms (1.15) (0.184) (0.059) (0.07

23、5) n=19 R-square=0.806 df=19-4=15, c=2.131 at 95% n对应系数的95置信区间0.634-2.131*0.184, 0.634+2.131*0.184=0.242, 1.026Introductory Econometrics64 of 94Stata，p值，t检验n 大部分软件包可以在假定计算双边检验的基础上计算p值n 单边检验p值是双边检验的p值的一半n Stata提供了关于零假设H0: bj = 0 的t 值，p值和95%置信区间，分别标记为“t”, “P |t|” ， “95% Conf. Interval” Introductory Ec

24、onometrics65 of 94检验线性组合n 假设我们要检验是否一个参数等于另一个参数H0 : b1 = b2，而不是检验b1是否等于一个常数。n 应用与构造t统计量相同的程序2121bbbbsetIntroductory Econometrics66 of 94检验线性组合 1212121212221212121212Since, then2,2where is an estimate of ,seVarVarVarVarCovsesesessCovbbbbbbbbb bbbbbb bIntroductory Econometrics67 of 94检验线性组合n 需要s12带入上式，

25、标准的程序并不报告此值。n 许多软件有计算此值的选项，或是可以直接进行检验n Stata中，在reg y x1 x2 xk后，可以输入test x1 =x2得到检验的p值n 通常可以重新阐述问题来得到检验的结果Introductory Econometrics68 of 94例子(vote1.raw)n 假设你感兴趣的是竞选支出对选举结果的影响voteA = b0 + b1log(expendA) + b2log(expendB) + b3prtystrA + un H0: b1 = - b2, or H0: q1 = b1 + b2 = 0n b1 = q1 b2, so substitut

26、e in and rearrange 令b1 = q1 b2, 带入并移项可得voteA = b0 + q1log(expendA) + b2log(expendB)- log(expendA) + b3prtystrA + uIntroductory Econometrics69 of 94Example (cont):n 这个模型与原模型相同，但是此时可以直接从回归中得到b1+b2=q1的标准误nReg voteA lexpendA lexpendB prtystry Test lexpendA=-lexpendBn或者gen x=lexpendB-lexpendA reg lexpend

27、A x prtystryIntroductory Econometrics70 of 94Example (cont):n 参数的任何线性组合都可以用类似的手段进行检验。n 关于检验参数的单个线性组合的其它例子b1 = 1 + b2 ; b1 = 5b2 ; b1 = -1/2b2 ; etc Introductory Econometrics71多元回归分析：推断(3)y = b0 + b1x1 + b2x2 + . . . bkxk + uIntroductory Econometrics72 of 94本章提纲nOLS估计量的样本分布n单总体参数的假设检验：t检验n置信区间n参数线性组合

28、的假设检验（一维情形）n多个线性约束的假设检验：多个线性约束的假设检验：F检验检验n报告回归结果报告回归结果Introductory Econometrics73 of 94多线性约束n 目前为止，我们讨论了对单个线性约束的假设检验(例如， b1 = 0 或 b1 = b2 )n 然而，我们也想对我们的参数作多个检验n 一个典型的例子是检验“排除约束”我们想知道是不是一组参数都等于0Introductory Econometrics74 of 94检验排除约束n 此时，零假设形如H0: bk-q+1 = 0, . , bk = 0n 替代假设H1: H0 为假n不能分别进行 t 检验，因为存在

29、这样的可能性：在给定显著水平下，所有的参数都不显著，但是联合检验显著。Introductory Econometrics75 of 94Example(mlb1.raw)n考虑一个解释棒球联赛主力球员工资的模型log(salary)= b0+ b1years+ b2gamesyr+ b3 bavg+b4 hrunsyr+ b5rbisyr+u,salary: 1993年棒球联赛主力球员的总工资Years: 在联赛中的年数Gamesyr: 每年平均比赛数Bavg: 职业生涯击球率Hrunsyr: 每年本垒打次数Rbisyr: 每年击球上垒率Introductory Econometrics76

30、of 94ExamplenH0: b3 =0, b4 = 0, b5 = 0; H1 : H0 is not truen估计方程n单独的t 检验不能拒绝H0(0.29)(0.0121)(0.0026)(0.0011)(0.0161)(0.0072)2log()11.10.06890.0126,0.000980.01440.0108353,183,0.6278salaryyearsgamesyrbavghrunsyrrbisyrnSSRRIntroductory Econometrics77 of 94Examplen然而，如果H0是b3 =b4 =b5 = 0 ，那么对多个约束的联合检验是否可

31、以提供不同的答案？n为什么？解释变量很可能高度相关，即使变量实际上显著，结果中的较大的标准误也可能表明参数不显著。Introductory Econometrics78 of 94排除约束n对多个约束的检验成为联合假设检验n为进行检验，我们需要排除xk-q+1, , xk进行“约束回归”，也要包括所有的x进行“无约束”回归。Introductory Econometrics79 of 94排除约束n 直觉上，我们想知道加入xk-q+1, , xk来降低SSR是否值得r 表示约束，ur表示无约束，q是约束个数, where1r is restricted and ur is unrestrict

32、ed, q is # of restrictionsrururSSRSSRqFSSRnkIntroductory Econometrics80 of 94Examplen考虑一个回归，无约束情况下有5个自变量，然后估计带约束的模型，得到(0.11)(0.0125)(0.0013)2log()11.220.07130.0202353,198.3,0.5971salaryyearsgamesyrnSSRRIntroductory Econometrics81 of 94F 统计量n F统计量总是正的，因为约束模型的SSR不会小于无约束模型的SSRn本质上，F统计量度量的是从无约束模型变为约束模型导致的SSR的相对增量n q = number of restrictions（约束个数）, or dfr dfurn n k 1 = dfurIntroductory Econometrics82 of 94F统计量n使用约束模型导致SSR增加是否足够大使我们可以拒绝排除假设？为了决定这一点，我们需要知道F统计量的样本分布。n自然， F Fq,n-k-