第4章多元回归估计与假设检验课件

多元回归：估计与假设检验

第4章重点讨论如何估计多元回归模型？多元回归模型的估计过程与双变量模型有何不同？多元回归模型的假设检验与双变量模型有何不同？多元回归模型有没有一些在双变量模型中未曾遇到的特性？既然一个多元回归模型能够包括任意多个解释变量，那么如何决定解释变量的个数？4.1三变量线性回归模型4.2多元线性回归模型的若干假定4.3多元回归参数的估计4.4估计多元回归的拟合优度：多元判定系数R24.5古董钟拍卖价格一例4.6多元回归的假设检验4.7对偏回归系数进行假设检验4.8检验联合假设4.9从多元回归模型到双变量模型：设定误差4.10校正的判定系数4.11什么时候增加新的解释变量4.13若干例子本章主要内容4.1三变量线性回归模型三变量PRF的非随机形式：

E(Yt)=B1+B2X2t+B3X3t

(4-1)其随机形式为：

Yt=B1+B2X2t+B3X3t+ut

(4-2)=E(Yt)+ut

(4-3)式中Y—应变量；X2、X3—解释变量；u—随机扰动项；t—第t个观察值。表明：任何一个值可以表示成为两部分之和：

1.系统成分或确定性成分()，也就是的均值

2.非系统成分或随机成分，即由除、以外其他因素决定。

B2、B3为偏回归系数4.1三变量线性回归模型偏回归系数的含义B2，B3称为偏回归系数(partialregressioncoefficients)或偏斜率系数(partialslopecoefficients)。其意义如下：B2度量了在X3保持不变的情况下，X2每变动一单位，Y的均值E(Y)的改变量。同样的，B3度量了在X2保持不变的情况下，X3每变动一单位，Y的均值E(Y)的改变量。4.1三变量线性回归模型多元线性回归模型一般形式多元线性回归模型：表现在线性回归模型中的解释变量有多个。一般表现形式：其中：k为解释变量的数目（包括截距项），称为回归系数（regressioncoefficient）。习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样：模型中解释变量的数目为k。4.1三变量线性回归模型也被称为总体回归函数的随机表达形式。它的非随机表达式为：方程表示：各变量X值固定时Y的平均响应。

被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xt每变化1个单位时，Y的均值E(Y)的变化；或者说给出了Xt的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。4.1三变量线性回归模型样本回归函数：用来估计总体回归函数其随机表示式:

称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项的近似替代。

4.2多元线性回归模型的若干假定假定4.1

回归模型是参数线性的，并且是正确设定的。假定4.2

随机扰动项与解释变量不相关。假定4.3

误差项均值为零。(4–7)

假定4.4

同方差假定，即ui的方差为一常量：

(4-8)假定4.7

为了假设检验，假定随项误差ui服从均值为零，(同)方差为的正态分布。即，ui~N(0,)4.2多元线性回归模型的若干假定假定4.5

无自相关假定

cov(ui,uj)=0,i≠j假定4.6

解释变量之间不存在完全共线性。即两个解释变量之间无确切的线性关系。(4-9)

(4-10)

4.2多元线性回归模型的若干假定利用普通最小二乘法（OLS）进行参数估计

无共线性（nocollinearity）或无多重共线性（nomulticollinearity）假定

共线性的(collinear)或严格的线性假定高度共线性（highperfectcollinearity）或近似完全共性线（nearperfectcollinearity）假定4.3多元回归参数的估计4.3.1普通最小二乘估计量4.3.2OLS估计量的方差与标准误4.3.3多元回归OLS估计量的性质4.3.多元回归参数的估计4.3.1普通最小二乘估计量对于随机抽取的n组观测值，如果样本函数的参数估计值已经得到，则有样本回归方程：

根据最小二乘原理，参数估计值应该是下列方程组的解

4.3多元回归参数的估计于是得到关于待估参数估计值的正规方程组：

4.3多元回归参数的估计4.3.2OLS估计量的方差与标准误随机误差项ui的方差2的无偏估计

可以证明，随机误差项方差的无偏估计量为

4.3多元回归参数的估计4.3.3多元回归OLS估计量的性质在满足基本假设的情况下，其结构参数的普通最小二乘估计仍具有：

线性性、无偏性、有效性。4.4估计多元回归的拟合优度：多元判定系数

的正平方根称为多元相关系数（coefficientofmultiplecorrelation）

多元判定系数R24.5古董钟拍卖价格一例4.5古董钟拍卖价格一例4.5古董钟拍卖价格一例4.5古董钟拍卖价格一例4.5古董钟拍卖价格一例4.5古董钟拍卖价格一例4.5古董钟拍卖价格一例4.5古董钟拍卖价格一例4.5古董钟拍卖价格一例拍卖价格与钟表年代和竞标人数正相关。斜率系数12.74表示，在其他变量保持不变的条件下，如果钟表年代每增加一年，则钟表价格平均上升12.74马克。负的截距项没有实际意义。值相当高，约为0.89，表示两个变量解释了拍卖价格89%的变异。

4.6多元回归的假设检验可以证明偏回归系数均服从均值分别为的正态分布如用代替,则OLS估计量服从自由度为(n-k)的t分布4.7对偏回归系数进行假设检验4.7.1变量的显著性检验（t检验）每个解释变量对被解释变量有无影响？必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。这一检验是由对变量的t检验完成的。

4.7.1变量的显著性检验（t检验）

t检验设计原假设与备择假设：

H1：Bt0

给定显著性水平，可得到临界值t/2(n-k)，由样本求出统计量t的数值，通过

|t|

t/2(n-k)或|t|t/2(n-k)来拒绝或接受原假设H0，从而判定对应的解释变量是否应包括在模型中。

H0：Bt=0

t=1,2…,k

4.7.1变量的显著性检验（t检验）双边t检验步骤：4.7.1变量的显著性检验（t检验）在钟表价格与年代、投标人数的三变量回归模型例中，由软件计算出参数的t值：

给定显著性水平=0.05，查得相应临界值：t0.025(29)=2.045。可见，计算的所有t值都大于该临界值，所以拒绝原假设。即:包括常数项在内的3个解释变量都在95%的水平下显著，都通过了变量显著性检验。双边检验

4.7.1变量的显著性检验（t检验）单边t检验步骤:如果根据理论或常识，非负，则可做单侧检验，比较t与tα。原假设H0：Bt≤0备择假设H1：Bt>04.7.1变量的显著性检验（t检验）由于先验地预期钟表年代的系数为正，因此，这里实际上用的是单边检验：原假设H0：B2≤0备择假设H1：B2>0右侧单边检验4.7.2假设检验的置信区间法参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多“近”。在变量的显著性检验中已经知道：4.7.2假设检验的置信区间法容易推出：其中，t/2为显著性水平为、自由度为n-k的临界值。

在100(1-)%的置信水平下的置信区间是:

4.7.2假设检验的置信区间法

在钟表价格与年代、投标人数三变量回归模型例中,给定=0.05，查表得临界值：t0.025(29)=2.045计算得参数的95%置信区间：

B1

：(977.617,1694.481)

B2：(10.876,14.607)

B3

：(67.764,103.764)

从回归计算中已得到4.5

古董钟拍卖价格一例4.8检验联合假设：或多元回归的总体显著性检验：

检测所观测到的多元回归的总体显著性的方差分析法（analysisofvarianceANOVA）：F检验方程的显著性检验(F检验)

F检验的思想来自于总离差平方和的分解式：

TSS=ESS+RSS

如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。

因此,可通过该比值的大小对总体线性关系进行推断。4.8检验联合假设：或方程的显著性检验(F检验)

方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。

即检验模型

回归系数全部为零的可能性。

可提出如下原假设与备择假设：

4.8检验联合假设：或方差分析表（ANOVA)平方和d.f.均方差ESSk-1RSSn-kTSSn-14.8检验联合假设：或选择显著水平α，计算F统计量的值，与F分布表中的临界值进行比较：4.8检验联合假设：或4.8检验联合假设：或Table4-2给定显著性水平

=0.05，查分布表，得到临界值：F(2,29)=3.34显然有FF(k-1,n-k)

即模型的线性关系在95%的水平下显著成立。与之间的重要关系4.8检验联合假设：或1.F与R2统计量同方向变动；2.当R2=0时，F为0；3.R2越大，F值越大；4.当R2取极限值1时，F值趋于无穷大。4.9从多元回归模型到双变量模型：设定误差设定偏差（modelspecificationbias)或设定误差（specificationerror）

4.9从多元回归模型到双变量模型：设定误差

判定系数该统计量越接近于1，模型的拟合优度越高。

问题：

在应用过程中发现，如果在模型中增加一个解释变量，

R2往往增大

这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需调整。4.10比较两个值

与解释变量X的个数无关，而则可能随着解释变量的增加而减少（至少不会上升），因而，不同的SRF，得到的R2

就可能不同。必须消除这种因素，使R