讲义3多元线性回归模型-假设检验

1、讲义3多元线性回归模型：推断主要内容：1、推断的数学知识复习2、Size，power的含义3、OLS估计量的样本分布4、单约束检验一t检验5、多约束检验一F检验对应教材内容：chapter25自由度的概念自由度是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数。例：假设n个独立变量XiN(O,l),那么(X2X2X2)2(n)；TOC o 1-5 h z12n随机向量的分布与数字特征协方差矩阵设Y是一个由多个随机变量组成的向量，即Y(Y,YY)，那么12nY的期望为E(Y)E(Y).，.，(Y)nnY的协方差矩阵为E(Y)(Y)E(Y)211(Yn)(Y)11E(Y)(

2、Y)11nn HYPERLINK l bookmark4E(Y)2nn对于n个随机变量的线性组合Y，有E(Y.Y)E(Y)11nnVar(Y)多变量的正态分布，其中X为n维列向量，常被称为正态向量；为期望向量，为协方差矩阵。X的密度函数为f(X)1exp丄(xx)(2)n/2|1/22正态向量的线性函数若XN(,)，那么AXbN(Ab,AA)标准正态向量的二次型若XN(0,In)，a是幕矩阵，那么XAX2(rank(A)n特别地，XM0X(XjX)22(n1)。i!幕矩阵二次型的独立性设XN(0,IJ，A和B都是幕矩阵，那么如果AB0就有XAX和XBX就独立。满秩二次型的分布设乂N(,)，那么

3、1/2(X)N(0,I)(X)1(X)2(n)?O线性函数与二次型的独立性设XN(0,仃),LX是X的线性函数，XAX是X的二次型，那么如有LA=0必有LX和XAX独立。临界值的概念设X的分布函数为F，x满足F(x.)PXx,01，则称x为F的临界值或分位数(点)。例1：对称分布UN(0,1)的临界值例2：非对称分布22(n】)的临界值区间估计对于参数，如果有两个统计量(X,X,X),(X,X,X)，满足对给1112n2212n定的(0,1)，有P112则称区间，是的一个区间估计或置信区间，、分别称作置信下限、置信上限，11212称为置信水平。置信水平为1-，在实际上可以这样理解:如取195%

4、，就是说若对某一参数取100个容量为n的样本，用相同方法做100个置信区间。(k)，(k)，k12,100,那么其中有95个区间包含了真参数因此，当实际上只做一次区间估计时，我们有理由认为它包含了真参数。这样判断当然也可能犯错误，但犯错误的概率只有5%。寻找置信区间的通常方法是从已知抽样分布的统计量，如上文提到的U，X和T入手，由于分布和概率已知，只要确定临界值就可以了。假设检验原理的复习第一步，建立假设H称为原假设，H称为备择假设。01注意：在假设检验中，原假设H与备选假设H的地位是不对等的。一般来说是较小的，因而检01验推断是“偏向”原假设，而“歧视”备选假设的。既編是受保护的，则对于H的

5、肯定相对来说是较缺乏说服力的，充其量不过是原假设与试验结果没有明显矛盾；反之，对于；的否定则是有力的，且越小，小概率事件越难于发生，一旦发生了，这种否定就越有力，也就越能说明问题。在应用中，如果要用假设检验说明某个结论成立，那么最好设H为该结论不成立。0例（单侧检验）：H:，H:0010第二步，构造统计量，求出统计量的样本分布以及由样本观察值算出其具体值。X0成立的条件下,对应的具体值记为。统计量t丄=匚在HS/Un1第三步，根据备择假设构造出对H不利的小概率事件一一在给定显著性水平下，确定临界值，构造出拒绝域。在一个问题中，通常指定一个正数（01），认为概率不超过的事件是在一次试验中几乎不会

6、发生的事件，称为显著性水平。.算出临界值.（n】）。Vtt（n1），这里是拒绝域，它是使得这一小概率事件发生的样本空间的点的全体。1第四步，得出结论方法：根据计算出来的t值，看样本是否落在V内，若落在V内，则拒绝H0，否则不能拒绝H。00如果tt_（n1），则称能以.的显著性水平拒绝零假设；否则，不能拒绝零假设；1方法：比较值和。值定义为不能拒绝零假设的最大的显著性水平；Ptt，也就是在分布中大于统计量的概率。比较值和预先设定的显性水平。如果值，则称能以.的显著性水平拒绝零假设；否则，不能拒绝零假设。例：(双侧检验)H:H:00，10与例不同的地方在于第三步和第四步。第三步，令:算出临界低(n

7、l)。2VItt(n1)，这里是拒绝域，它是使得这一小概率事件发生的样本空间的点的全体。12第四步，如果t落在拒绝域，则能拒绝零假设；否则，不能拒绝零假设；思考：若用方法，那么值是多少？由于统计量是随机变量，假设检验可能犯两种类型的错误。当H成立，而检验的结果表明H不成立，即拒绝了Ho，这时称该检验犯了第一类错误(type000Ierror)或“弃真”的错误；第一类错误的概率就是在H成立的条件下V的概率P(V1H0)；检验的显著性(sizeoftest)=当H不成立，H1成立，而检验的结果表明H0成立，即接受了H0，这时称该检验犯了第二类错误(typeIIerror),或称“取伪”的错误。犯第

8、二类错误的概率是PVIH1。定义一个检验的势(poweroftest)=1。给定多元线性回归方程：yx.x(i1,2,.,n)i0i11ikki，OLS估计量的样本分布在有限样本下进行假设检验，除了假定1到假定4,一般还需要加上假设5：假定5扰动项服从正态分布e|X-Ar(O7a2Tn)那么，得到，bIXN(,2(XX)】)其中，bIXN(,(XX)八jjjj单个线性约束的假设检验：t检验原理：t统计量=n(0,1)/：2t分布；证明：因为(b)/(2(XX)1)IXN(0,1)jjjjeeIX(nk1)2所以(b)/se(b)IXt(nk1)单个参数的线性假设检验(0局:血=0tb/se(b

9、)t(nk1)上述的;检验又称系数的显著性检验，是回归分析最常见的检验之一。t检验的步骤：根据样本数据计算t统计量；确定显著性水平，一般可选择取1%，5%,10%。确定备择假设，由此确定是单侧检验还是双侧检验。根据自由度为nk的t分布计算临界值，单侧检验计算t，双侧检验计算t。或者2计算p值：双侧检验的pdPr(|TI11);单侧检验的p值pp/2。dsd最后比较临界值与t统计量，或者比较p值和显著性水平。例子：房产价格与空气污染log(pnce)二+4stratio十从首先估计方程，得到系数OLS估计值及其标准差：k)呂(丽*)=11.08.954log(阳力一.134log(為f)十.25

10、5rooms.052stratio(0.32)Cl17)(,043)(.019)(.006)n=WR2=.5S1.然后进行系数显著性检验。H:0；H:00111(H)Ho：=04bti&t(nk1)se(b)i例子(续)：H)1H:111单个线性约束的假设检验(bb1)t23(凋血02+角=1-t(nk1)var(bb)23）皿：伤=%t4t(nk1)var(bb)34多个线性约束的假设检验：F检验:R/3=rf检验_(RbrY(Rbr)/JF三F统计量服从F(J,nkl)。证明：Stepl,由假定5推出R(b)lXN0,2R(XX)R；在原假设HO下，RbrIXN0,2R(XX)】R；ee1

11、X(O,In)推出亦IX(nkI)令w(Rbr)2R(XX)iRi(Rbr)，那么有wIX2(J)Step2,因为空兰()M(-),22ee_|xStep3，由Cov(b，e)0推出wIX和Y独立。所以(Rbr)R(XX)iRi(Rbr)/Jee/(nkI)F(J,nkI)。F统计量的两种更简便的计算方法:(eeee)/J(R2R2)/JF*URee/(nkI)(1R2)/(nkI)USSR、R2是无约束回归的残差平方和以UU其中SSR、r2是约束回归的残差平方和以及决定系数;及决定系数讨论几种常见的约束：(v)H:.0012kESS/kR2/kFF(k,nkI)RSS/(nkI)(1R2)/

12、(nkI)上述检验称为联合显著性检验，也是回归分析的常见检验对逾验，备择假设通常描述为“H:H不是真的”根据样本数据计算统计量，如果FF(k,nkl)，则拒绝H0101(眉)尽：02=0其中卩F检验和T检验当J=1时，F统计量可以转换为t统计量：F(1,nk1)t(nk1)2，即单个约束条件可以用t检验。考虑原假设：H:0,0023方法一：用F检验。方法二：对各个系数分别采用t检验。这两个检验不是等价的。因此，可能出现的两种矛盾情形：t检验显著，F联合检验不显著。此模型是病态模型。在计量中甚少出现。t检验不显著，F联合检验显著。此模型有多重共线性。在计量中会出现。例子(MLBl.raw)：=0。十/3years+f32gainesyr+(3ybavg+Jtnmsyr+rbisyr+Ho：03=0,04=0,05=0.H._.=ll0+.0689years+”0126amesyr(129)(.0121)(.0026)+.00098bavg+-0144hrtmsyr+.010