第4讲多元回归之推断

第四章：多元回归分析之推断§4.1OLS估计量的样本分布

§4.2单个总体参数的假设检验：t检验

§4.3

置信区间§4.4参数线性组合的假设检验§4.5多个线性约束的假设检验§4.6报告回归结果第一节OLS估计量的样本分布（SamplingDistributionsoftheOLSEstimators）一、样本分布(SamplingDistribution)：复习简单随机抽样(Simplerandomsampling

)是指从总体(population)中随机取样n次，使得总体中的每个元素在样本(sample)中的出现的可能性相同。如果y1,y2,…,yn

来自于同一分布且相互独立，则称这一组随机变量独立同分布(independentlyandidenticallydistributed)（i.i.d.）样本分布(Samplingdistributions)在统计学和计量经济学发展中具有核心地位，它是指一个估计量(estimator)在其所有可能取值上的概率分布刻画样本分布的两种方式：“准确(exact)”

方式和“近似(approximate)”

方式“准确”方式需要对任何n的取值都得到样本分布的精确表达式，这样的分布被称为小样本（有限样本）的准确分布例如：如果y服从正态分布(normallydistributed)，且y1,y2,…,yn

独立同分布，则其均值(average)恰好服从正态分布“近似”方式对样本分布进行大样本下的近似，对样本分布的大样本近似常称为渐近分布(asymptoticdistribution)。两个重要工具：大数定律(lawoflargenumbers)，中心极限定理(centrallimittheorem)只要样本量足够大，渐近分布就是对准确分布的很好的近似。大数定律：在一般情形下，当样本量(samplesize)充分大时，样本均值将以很高的概率逼近总体均值。本课中，为了应用大数定律，我们假设y为独立同分布(i.i.d)具有有限方差(itsvarianceisfinite)的随机取样。中心极限定理：假设y1,y2,…,yn

独立同分布，均值为μ，方差为σy2，其中0<σy2<。则当时，的分布可以被标准正态分布(standardnormaldistribution)近似得任意好。中心极限定理意味着，在一般条件下，如果样本足够大，标准化的样本均值的样本分布可以由标准正态分布近似。二、OLS估计量的样本分布我们已经讨论了OLS估计量的期望和方差，但是为了进行统计推断(statisticalinference)，我们仍希望知道样本分布。OLS估计量的样本分布依赖于对误差项分布的假设，下面我们将给出相关的假设。假设MLR.6（正态性）(Normality)我们已经知道当高斯——马尔科夫假设成立时，OLS是最优线性无偏估计(BLUE)。为了进行经典的假设检验(hypothesistesting)，我们要在Gauss－Markov假设之外增加另一假设。假设MLR.6（正态性）：假设u与x1,x2,…,xk独立，且u服从均值为0，方差为s2的正态分布(normallydistribution)。假设MLR.1~MLR.6被称为经典线性模型假设(classicallinearmodel

assumptions)简称CLM。我们将满足这六个假设的模型称为经典线性模型(classicallinearmodel)在经典线性模型假设下，OLS不仅是BLUE，而且是最小方差无偏估计量，即在所有线性(linear)和非线性(nonlinear)的估计量中，OLS估计量均具有最小的方差。MLR.1~MLR.6假定MLR.1（对参数而言为线性）假定MLR.2（随机抽样性）假定MLR.3（不存在完全共线性）假定MLR.4（零条件均值）假定MLR.5（同方差性假定）Gauss-Markovassumptions对总体(population)的经典线性模型假设做个总结:y|x~Normal(b0+b1x1+…+bkxk,s2)尽管现在我们假设了正态，但有时候并不是这种情况，如果正态假设不成立怎么办？通过变换，特别是通过取自然对数，往往可以得到接近于正态的分布。另外，当样本较大时，允许我们放弃正态假设（近似方式）..x1x2同方差(homoskedastic)正态分布——单解释变量情形E(y|x)=b0+b1xyf(y|x)Normaldistributions定理4.1：正态样本分布在CLM假设下，条件于解释变量的样本值，有：因此，有：其中，服从正态分布，因为它是误差项的线性组合教材P119可以扩展定理4.1：的任意线性组合(linearcombination)服从正态分布，任意子集服从联合正态分布(jointnormaldistribution)。我们将利用这些事实来进行下面的假设检验：第二节对单个总体参数的假设检验：t检验(HypothesesTestingaboutaSinglePopulationParameter:thet-test

)考虑总体中满足CLM的模型:我们现在研究如何对一个特定的进行假设检验被检验的假设称为零假设(nullhypothesis)假设检验利用数据将零假设和另一个假设也就是替代假设(alternativehypothesis)进行比较替代假设给出的是在零假设不成立时的真实情况。我们的目的在于：利用一个随机选取的样本提供给我们的数据来决定是否应当接受零假设。在假设检验中存在两种可能的错误：第一类错误：当零假设为真时拒绝零假设（去真）第二类错误：当零假设为假时未拒绝零假设（存伪）我们建立一些假设检验的规则使发生第一类错误的概率非常小一个检验的显著性水平(significancelevel

)是发生第一类错误的概率。通常设定的显著性水平为：0.1,0.05,0.01。如果为0.05意味着研究者愿意在5％的检验中错误地拒绝零假设。检验统计量的临界值(criticalvalue)是使得零假设刚好在给定显著性水平上被拒绝的统计量的值。假设检验中，使得零假设被拒绝的检验统计量的取值范围称为拒绝域(rejectionregion)，使得零假设不能被拒绝的检验统计量的取值范围成为接受域(acceptanceregion)。一个检验统计量（T）是关于随机样本的一个函数。当我们用某一特定样本计算此统计量时，我们得到这个检验统计量的一个实现（t）。Ateststatistic(T)issomefunctionoftherandomsample.Whenwecomputethestatisticforaparticularsample,weobtainanoutcomeoftheteststatistic(t).定理4.2:标准化估计量的t分布(tDistributionfortheStandardizedEstimators)在CLM假设下，有：注意，这是一个t分布，因为我们要用来估计。注意自由度：n-k-1。知道标准化估计量的样本分布后，便可以进行假设检验由零假设出发，例如，H0:bj=0接受零假设意味着控制其它解释变量之后，

xj对y没有影响。为了进行检验，我们首先要构造的t统计量：然后利用t统计量和拒绝条件来决定是否接受零假设H0t统计量度量了估计值相对0偏离了多少个估计的标准离差。它的符号与相同。值得注意的是我们检验的是关于总体参数的假设，而不是关于来自某一特定样本的估计值的假设。t检验:单边替代假设(tTest：One-SidedAlternatives)除了零假设外，我们还需要一个替代假设H1，并设定相应的显著性水平，其中，H1可以是单边的或双边的：H1:bj

>0和H1:bj<0是单边的H1:bj

0是双边替代假设如果我们愿意在5％的概率上错误地拒绝实际上为真的零假设，则说我们的显著水平为5％取定显著性水平a后，找到自由度(degreeoffreedom)为n–k–1的t分布的(1–a)分位数((1–a)thpercentile)c，即临界值(criticalvalue)如果H0:bj=0，相应的H1:bj>0，当时我们拒绝H0，若

，则不能拒绝H0由于t分布是对称的，如果H0:bj=0，相应的H1:bj<0,当时我们拒绝H0，若，则不能拒绝H0yi=b0+b1xi1

+…

+bkxik+uiH0:bj=0H1:bj>0c0a(1-a)单边替代假设（One-SidedAlternatives）Failtorejectrejectt分布与正态分布当t分布的自由度增大时，t分布趋近于标准正态分布。例子：学生表现与学校规模(meap93.raw)P125问题：较大的班级是否意味着较差的学生表现？ math10：学生数学测验成绩；enroll：学校规模totcomp：教师平均年薪；staff：生师比确定被检验的假设：H0:βenroll=0，学校规模对学生成绩没有影响H1:βenroll<0，学校规模对学生成绩有负效应检验结果：我们所关注的变量——学校规模(enroll)的系数为负，说明学校规模的确对学生成绩存在负的效应，规模越大，学生的成绩就越差。自由度为408-3-1=404，使用标准正态的临界值，在5％显著水平下，临界值位－1.65，但此处的标准差为t=-0.0002/0.00022=-0.91>-1.65，我们不能拒绝零假设。如果我们同样感兴趣是否高收入的教师会使学生表现更好，我们可以检验：H0:βtotcomp=0，教师收入高低对学生成绩没有影响；H1:βtotcomp>0，教师收入越高学生表现越好计算得到的t统计量为4.6。由于4.6>2.326，故在1%显著水平下拒绝零假设。在前面的回归中，采取了“水平-水平”的模型形式，这使得我们所关注变量的系数并不显著，而且，即便是这一系数显著，也很难给出比较合理的解释，因此我们可以考虑对解释变量取对数的形式重新进行回归，这样log(enroll)的系数就可以解释为：学校里学生注册人数每变化一个百分点会引起学生成绩变化β/100个单位。回归结果如下：

log(enroll)的系数在10%的显著性水平下拒绝了零假设，说明在其他条件不变的情况下，学校里学生注册人数增加一个百分点会引起学生成绩变化减少0.013个百分点（成绩的单位就是百分数）。双边替代假设

（TheTwo-sidedAlternatives）H1:bj

0为双边替代假设。在此替代假设下，我们并不规定xj

对y影响的符号。对于双边检验，我们根据a/2计算临界值。当t的绝对值大于临界值c时，拒绝零假设。当a=0.05时，c是n-k-1自由度的t分布的97.5分位数。yi=b0+b1Xi1

+…

+bkXik+uiH0:bj=0H1:bj

≠0c0a/2(1-a)-ca/2双边替代假设

（Two-SidedAlternatives）rejectrejectfailtoreject仍以前面的例子的数据说明生师比对学生成绩的影响：现在要进行检验的假设为：H0:bstaff=0,生师比对学生表现没有影响；H1:bstaff≠0，生师比对学生表现有影响。计算得到的t值为1.2。标准正态分布的在5%的显著水平对应的临界值为1.96。由于1.2<1.96，我们不能拒绝零假设。小结除非特别指出，我们总认为替代假设是双边的如果拒绝了零假设，我们通常说“xj

在a%水平下显著”(xjisstatisticallysignificantatthea%level)如果不能拒绝零假设，我们通常说“xj

在a%水平下不显著”(xjisstatisticallyinsignificantatthea%level)其他假设检验

(Testingotherhypotheses)如果我们想对形如H0:bj=aj

的假设进行检验，需要更一般的t统计量，此时，恰当的t统计量是：当进行标准检验时，例子：校园犯罪与录取(campus.raw)P129问题：录取量提高1%是否会导致校园犯罪增加超过1%?假设犯罪总数由下式决定：我们将上面关系时进行变换，可以估计：log(crime)=b0+b1

log(enroll)+u待检验的假设为：H0:b1=1，H1:b1>1.回归结果如下：t值=(1.27-1)/0.11=2.45。自由度为95的t分布，1%显著水平下单边检验的临界值为2.37<2.45，拒绝零假设。计算t检验的p值

(Computingp-valuesfortTests)表述零假设和替代假设(Statethenullandthealternativehypothesis)决定显著水平，找到临界值(Decideasignificancelevelandfindtherelatedcriticalvalue)根据样本数据计算

t统计量(Calculatethetstatisticbasedonthesampledata)比较

t

值与临界值，决定是否拒绝零假设(Comparethetstatisticwiththecriticalvaluetodecidewhethertorejectthenull)。经典假设检验的步骤:假设自由度为40，算得

t

值为2.423，对应5%和1%的临界值分别为2.021和2.704。我们是否应当拒绝零假设？提前确定显著水平可能会隐藏关于假设检验的一些有用信息。另一种想法：如果将算得的t

统计量作为临界值，那么使得零假设被拒绝的最小显著水平是多少？这个水平称为p值。对于双边检验，有：p-value=P(|T|>|t|).C0.025C0.025C0.005C0.005C0.01C0.01pα/2pα/2在上面的例子中，下列不等式必然成立：1%<p<5%.p-value=P(|T|>2.423)=2P(T>2.423)=0.02.一些关于p值的信息

(Usefulinformationaboutp-values)由于这是一个概率，其取值范围在0，1之间小p值提供了拒绝零假设的证据，大p值不能提供证据拒绝零假设。经济重要性与统计显著性

(EconomicSignificanceversusstatisticalsignificance)统计显著性完全由t

统计量的大小决定经济上的重要性强调估计系数的大小权衡两者来判断解释变量对被解释变量的边际影响第三节置信区间（

ConfidenceIntervals）由于随机取样误差(randomsamplingerror)的存在，我们不可能通过样本知道b

的准确值。但是利用来自随机样本的数据构造一个取值的集合，使得真值在给定概率下属于这个集合是可能的。这样的集合称为置信集(confidenceset)，预先设定的真值属于此集合的概率称为置信水平（confidencelevel置信度），置信集是下限和上限之间所有可能的取值，故置信集为一个区间，称为置信区间(confidenceinterval)。b的置信区间

(ConfidenceIntervalsforb)通过对上述分析进行扩展，我们可以利用双边检验的临界值来构造b的置信区间。如果服从n-k-1自由度的t

分布，简单的运算可以得到关于未知的bj

的置信区间如果自由度为25，那么对任意bj

，95％的置信区间为当n-k-1>120，t(n-k-1)分布与正态分布充分接近，可以用标准正态分布的97.5分位数来构造95%置信区间构造了置信区间之后，可以进行双尾假设检验零假设为H0:bj=aj，当且仅当aj不在95％的置信区间内时，零假设相对于H1:bj≠aj在5％的显著水平上被拒绝。例子：研发支出模型(RD-CHEM.RAW)P137销售额对数的系数为1.084，这意味着保持利润率不变，销售额提高1%将伴随着研发支出提高1.084%。值得注意的是，自由度为29，在5%的显著性水平上，t29的97.5%分位数为2.045，因此，可以算出销售额对数的系数的95%置信区间为[1.804-2.045*0.060,1.804+2.045*0.060]=[0.961,1.207]，显然，0不在这个置信区间内，因此该系数为零的假设相对于不为零的假设在5%的显著性水平上被拒绝。

(TestingaLinearCombination)在一些情况下，我们需要检验一个参数是否等于另一个参数，而不是检验b1是否等于一个常数。在这种情况下，零假设为H0:b1=b2应用与构造t统计量相同的程序：第四节检验关于参数线性组合的假设需要s12带入上式计算，标准的程序并不报告此值。许多软件有计算此值的选项，或是可以直接进行检验，例如在stata中，可以在回归之后，通过命令testx1=x2得到检验的p值例子：大专和本科教育对收入的影响是否相同(twoyear.raw)P139jc：就读大专的年数；univ：就读本科的年数需要进行检验的假设为：H0:b1=b2，其他条件不变的情况下，多接受一年大专和多接受一年本科教育对收入的影响相同；

H1:b1<b2，其他条件不变的情况下，多接受一年大专和多接受一年本科教育对收入的影响不相同.要估计的模型为：估计的结果为：jc和univ的系数都显著为正，说明二者都对收入有正向影响，但二者的系数差异并不大，为了验证二者的系数是否相等，即b1是否等于b2，可以构造一个新的参数θ=b1-b2，从而检验θ

是否为零。θ=b1-b2，

b1=θ

+b2，因此回归方程就可以整理为：其中：对模型进行改写之后，估计的结果为：Jc的系数θ估计值为-0.0102，t统计量为-1.47，p值为0.142，但因为是单边假设，因此，p值为0.071，只在10%的水平上显著，因此我们可以拒绝θ=0的假设，即认为专科和本科教育对工资收入的影响不相同，但这以结果并不特别显著。如果我们在stata中直接检验b1=b2成立与否，结果不显著，如右：第五节对多个线性约束的检验：F检验(TestingMultipleLinearRestrictions:TheFTest)多线性约束(MultipleLinearRestrictions)目前为止，我们讨论了对单个线性约束的假设检验(例如，b1=0或b1=b2)，然而，我们也想对我们的参数作多个检验一个典型的例子是检验“排除约束”(exclusionrestrictions)——我们想知道是不是一组参数都等于0检验排除约束(TestingExclusionRestrictions)此时，零假设形如H0:bk-q+1=0,...,bk=0，替代假设H1:H