多元线性回归模型的各种检验方法

1、对多元线性回归模型的各种检验方法对于形如Y=:01X12X2kXku（1）的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验：一、对单个总体参数的假设检验：t检验在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设H。：aj,做出具有统计意义（即带有一定的置信度）的检验，其中aj为某个给定的已知数。特别是，当aj=0时，称为参数的（狭义意义上的）显著性检验。如果拒绝H。，说明解释变量Xj对被解释变量Y具有显著的线性影响，估计值3才敢使用；反之，说明解释变量Xj对被解释变量Y不具有显著的线性影响，估计值对我们就没有意义。具体检验方法如下：（1）给定虚拟假设H。：=aj；t?

2、E(j)?aj(2)计算统计量SeC?)Se(p?j)的数值;SeC?j)*A其中Cjj(XTX)1jij+1(3) 在给定的显著水平“下(°不能大于0.1即10%也即我们不能在置信度小于90%U下的前提下做结论)，查出双尾t(n-k-1)分布的临界值匕/2；(4) 如果出现|t|>ta/2的情况，检验结论为拒绝H。；反之，无法拒绝H0Op?.-P.t检验方法的关键是统计量t=蓝用必须服从已知的t分布函数。什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件(或假定)：(D随机抽样性。我们有一个含n次观测的随机样"Xi1,Xi2，Xik,YJ：i=1,2,，

3、n。这保证了误差u自身的随机性，即无自相关性，CoMui-E(u)(Uj-E(Uj)=0。(2)条件期望值为0。给定解释变量的任何值，误差U的期望值为零。即有E(u|X1,X2,Xk)=0这也保证了误差u独立于解释变量X1,X2,X,即模型中的解释变量是外生性的，也使得E(u)=0。(3)不存在完全共线性。在样本因而在总体中，没有一个解释变量是常数，解释变量之间也不存在严格的线性关系。(4)同方差性。Var(u|Xi,X2，Xk)2=常数。(5) 正态性。误差U满足uNormal(0,。2)。在以上5个前提下，才可以推导出：?jNj,Var(?j)(?jj)/Sd(?j)N(0,1)(?jj)

4、/Se(?j)tnk1由此可见，t检验方法所要求的条件是极为苛刻的。二、对参数的一个线性组合的假设的检验需要检验的虚拟假设为Ho：prpj2o比如无法直接检验。设立新参数="-：2。原虚拟假设等价于Ho：*=0。将晨=%+匕代入原模型后得出新模型：Y=':01X12(X1X2)kXku在模型(2)中再利用t检验方法检验虚拟假设Ho：3=0。我们甚至还可以检验这样一个更一般的假设H)目n0:AP0011kkCt统计量为,犯-入8“八：2iTt(nk1)s4人(Xx)11三、对参数多个线性约束的假设检验：F检验需要检验的虚拟假设为H。：,=0,Ckq1,kq2,该假设对模型（1）

5、施加了qj排除性约束。模型（1）在该约束下转变为如下的新模型：Y=:01X12X2kqXkqu（3）模型（1）称为不受约束（ur）的模型，而模型（3）称为受约束（r）的模型。模型（3）也称为模型（1）的嵌套模型，或子模型。分别用OLS方法估计模型（1）和（2）后，可以计算出如下的统计量：RSSrRSSur/qRSSur/(nk1)关键在于，不需要满足t检验所需要的假定（3）,统计量F就满足：FFq,n-k-1。利用已知的F分布函数，我们就可以拒绝或接受虚拟假设H0Ik-q1=0Ik-q2>>'k=0了。所以，一般来讲，F检验比t检验更先使用，用的更普遍，可信度更高。利用关系

6、式RSG=TSS（1-R2）,RSS=TS41-Rr),F统计量还可以写成：LR；r-Rr2/qF=-2-(1-RUr)/(n-k-1)四、对回归模型整体显著性的检验：F检验需要检验的虚拟假设为H。：丁0,乙，、k=0。相当于前一个检验问题的特例，q=ko嵌套模型变为丫=P0+uoR2=0,RSSPTSS,Rr=R2。F统计量变为：匚R2/kF-27T-(1R2)/(nk1).ESS/kRSS(nk1)五、检验一般的线性约束需要检验的虚拟假设比如为H。：丁12，屋=。受约束模型变为：Y0X1u再变形为：YXrp0uof统计量只可用：RSSrRSSr/qF.!1RSgr/(nk1)其中，RSS=

7、TSSY_X1=s(Y-XQ-(Y-Xi)2=z1(Y-Y)-(Xi1-Xi)2o六、检验两个数据集的回归参数是否相等：皱(至庄)检验虚拟假定是总体回归系数的真值相等。步骤如下：(1)基于两组样本数据，进行相同设定的回归，将者的RSS另I记为RSS和RSS2。(2)将两组样本数据合并，基于合并的样本数据,进行相同设定的回归，将回归的RSS记为RSG。(3)计算下面的F统计量：l(RSSTRSSRSS2)/(k+1)F(RSS+RS)/(n1+n22k2)(4)如果FZF,拒绝原假定。七、非正态假定下多个线性约束的大样本假设检验：LM(拉格郎日乘数)检验F检验方法需要模型(1)中的U满足正态性假

8、定。在不满足正态性假定时，在大样本条件下，可以使用LM统计量。虚拟假设依然是Ho：Pk-q+rOJk-q+2Jk=0。LM统计量仅要求对受约束模型的估计。具体步骤如下:(i)将Y对施加限制后的解释变量进行回归，保留残差。即我们要进行了如下的回归估计+pkqVppYpVY01X12X2(ii)将U1对所有解释变量进行辅助回归，即进行如下回归估计aO+aOXZ+aOXZ+aOXZ+0iXi2X2kXk并得到R-平方，记为R2。(iii)计算统计量(iv)将LM与父LMnRu;分布中适当的临界值C比较。如果LM>c,就拒绝虚拟假设Ho；否则，就不能拒绝虚拟假设H0o八、对模型函数形式误设问题的

9、一般检验：RESET如果一个多元回归模型没有正确地解释被解释变量与所观察到的解释变量之间的关系，那它就存在函数形式误设的问题。误设可以表现为两种形式：模型中遗漏了对被解释变量有系统性影响的解释变量；错误地设定了一个模型的函数形式。在侦察一般的函数形式误设方面，拉姆齐(Ramsey1969)的回归设定误差检验(regressionspecilficationerrortest,RESET)是一种常用的方法。RESE啃后的思想相当简单。如果原模型(1)满足经典假定(3),那么在模型(1)中添加解释变量的非线性关系应该是不显著的。尽管这样做通常能侦察出函数形式误设，但如果原模型中有许多解释变量，它又

10、有使用掉大量自由度的缺陷。另外，非线性关系的形式也是多种多样的。RESETS是在中K型（1）中添加模型（1）的OLS拟合值的多项式，以侦察函数形式误设的一般形式。为了实施RESET我们必须决定在一个扩大的回归模型中包括多少个拟合值的函数。虽然对这个问题没有正确的答案，但在大多数应用研究中，都表明平方项和三次项很有用。令表示从模型（1）所得到的OLS古计值。考虑扩大的模型丫=兔+AXi+P2X2+Xk+6仔+62/+8（4）这个模型看起来有些奇怪，因为原估计的拟合值的函数现在却出作为解释变量出现。实际上，我们对模型（4）的参数估计并不感兴趣，我们只是利用这个模型来检验模型（1）是否遗漏掉了重要的

11、非线性关系。记住，P和密都只是Xj的非线性函数。对模型（4）,我们检验虚拟假设H0：6lO,3O。这时，模型（4）是无约束模型，模型（1）是受约束模型。计算F统计量。需要查F2，n-k-3分布表。拒绝Ho,模型（1）存在误设，否则，不存在误设。九、利用非嵌套模型检验函数形式误设寻求对函数形式误设的其他类型(比如，试图决定某一解释变量究竟应以水平值形式还是对数形式出现)作出检验，需要离开经典假设检验的辖域。有可能要相对模型丫一。+ilog(X)B210g(X2)+log(Xk)-(5)检验模型(1),或者把两个模型反过来。然而，它们是非嵌套的，所以我们不能仅使用标准的F检验。有两种不同的方法。一

12、种方法由MizonandRichard(1986)提出，构造一个综合模型，将每个模型作为一个特殊情形而包含其中，然后检验导致每个模型的约束。对于模型(1)和模型(5)而言，综合模型就是丫="+ZXi+"Xk+”410g(Xi)+，4kiog(Xk)+R(6)可以先检验H.：k=0，16kL。，作为对模型(1)的检验。也可以通过对检验Ho："。,VO,作为对模型(5)的检验。另一种方法由DavisonandMacKinnon（1981）提出。认为，如果模型（1）是正确的，那么从模型（5）得到的拟合值在模型（1）中应该是不显著的。因此，为了检验模型（1）的正确性，首先

13、用OLS估计模型（5）以得到拟合值，并记为九在新模型丫=1+设1+吵2+断卜+。1落口（7）中计算中的t统计量，利用t检验拒绝或接受假定h0：3.。显著的t统计量就是拒绝模型（1）的证据。类似的，为了检验模型（5）的正确性，首先用OLS古计模型（1）以得到拟合值，并记为五在新模型Y=P0+P1log（X1）+P2|og（X2）+'+久log（Xj+。#+N（8）中计算中的t统计量，利用t检验拒绝或接受假定Ho”。以上两种检验方法可以用于检验任意两个具有相同的被解释变量的非嵌套模型。非嵌套检验存在一些问题。首先，不一定会出现一个明显好的模型。两个模型可能都被拒绝，也可能没有一个被拒绝。在后一种情形中，我们可以使用调整的R-平方进行选择。如果两个模型都被拒绝，则有更多的工作要做。不过，重要的是知道使用这种或那种函数形式的后果，如果关键性解释变量