第四章多元线性回归方程

第四章：多元线性回归方程多元回归模型三变量线性回归模型多元线性回归模型的若干假定多元线性回归模型的估计与假设检验一、多元回归模型多元回归模型(MultipleRegressionModel)：包含多个解释变量的回归模型。多元指有多种因素（即变量）对因变量有影响。实际上，许多回归模型都是多元回归模型，因为很少有经济现象能够仅用一个解释变量能解释清楚。多元回归模型对多元回归模型的假设过程与双变量有何不同？如何估计多元回归模型？多元回归模型的估计过程与双变量模型有何不同？多元回归有没有一些在双变量模型中未曾遇到过的独特的特性？既然一个多元回归模型能够包括任意多个解释变量，那么对于具体的情况，我们如何决定解释变量的个数？二、三变量线性回归模型形式：Y=b0+b1X1+b2X2+uY：因变量；X1，X2：解释变量u：随机扰动项b0为截距，表示当X1，X2=0时，Y的平均值b1，b2为偏斜率系数、偏回归系数或也称回归系数三变量线性回归模型上式表明任何一个Y值可以表示成为两部分之和系统成分或决定成分b0+b1X1+b2X2非系统成分u，是由除X1，X2以外其他因素决定的。偏回归系数的含义b1，b2称为(偏)回归系数或偏斜率系数意义b1度量X2在不变的情况下，X1每变动一单位，Y的估计值Y’的改变量。b2度量在X1不变的情况下，X2每变动一单位，Y的估计值Y’的改变量。这是多元回归的一个特殊性质。例Y’=15-1.2X1+0.8X2令X2值为10，则Y’=15-1.2X1+0.8*10=23-1.2X1这里b1=-1.2表示当X2为常数时，X1每增加一个单位，Y的估计值Y’将减少1.2个单位，这个斜率就是偏回归系数。（X2取其他常数也是一样）令X1=5，得Y’=15-1.2*5+0.8X2=9+0.8X2偏回归系数的含义简言之，偏回归系数反映了当模型中的其中一个解释变量为常量时，另一个解释变量对因变量的影响。多元回归的这个独特性质不但能使我们引入多个变量，而且能够“分离”出每个解释变量X对因变量Y的影响。三、多元线性回归模型的若干假定利用最小二乘法（OLS）对参数进行估计。为了假设检验，假定随机项u服从均值为0，方差为σ

u

2的正态分布，即u～N(0,σ

u

2)假定1零均值假定：E(ui)=0,i=1,2,….n对X1，X2的每个观测值，u可以取不同的值，考虑u的所有可能值，它们的总体平均值（期望值）等于0。假定2同方差假定：Var(ui)=σ

u

2,i=1,2,…n上式表明，各次观测值中u具有相同的方差，即各次观测所受到的随机影响的程度相同，称为等方差性。假定3无自相关假定：Cov(ui,uj)=0,i≠j,i,j=1,2…..n表明任意两次观测的ui,uj是不相关的，即u在某次的观测值与任何其它次观测中的值互不影响，称为无序列相关性。等方差性和无序列相关性称为高斯—马尔柯夫（Gauss-Markov）假定。假定4随机项与自变量不相关：Cov(ui,x1i)=0；Cov(ui,x2i)=0区分随机项u与自变量x1、x2各自对y的影响。如果x是非随机变量，即x是在重复抽样中取某固定值，该条件自然满足。假定5解释变量X1，X2之间不存在线性相关关系，即两个解释变量之间无确切的线性关系。用统计学语言，称为非共线性或非多重共线性。非完全共线性是指变量不能完全表示为其他变量的完全线性函数。X1=3+2X2；X1=4X2完全共线性若X1=4X2将其代入Y’=b0’

+b1’

X1+b2’

X2Y’=b0’

+b1’*

4X2+b2’

X2=b0’

+（4b1’+b2’

）

X2=b0’

+A

X2双变量模型无法从A值中得到b0’

、b1’的值完全共线性结论：在存在完全共线性的情况下，不能估计回归系数的值，换句话说，不能估计解释变量各自对因变量Y的影响。事实上，也没有区分的必要，因为并没有两个独立的变量。在实际中，很少有完全共线性的情况，但是存在高度完全共线性或近似完全共线性的情况很多。四、多元线性回归模型的估计与假设检验普通最小二乘估计量的计算最小二乘估计量的方差与标准差多元回归方程的拟合优度假设检验OLS估计量b0’

、b1’

、b2’的计算原理：为了使残差平方和Q(b0’,b1’,b2’)=∑ei2

=∑[Yi-(b0’+b1’X1+b2’X2)]2最小，b0’,b1’,b2’应该满足分别将对Q(b0’,b1’,b2’)它们求偏导数均等于0。OLS估计量的方差与标准差多元回归方程的拟合优度多元回归方程的拟合优度：多元决定（判定）系数R2一元回归方程中R2的概念对多元回归方程也同样适用多元判定系数在多元回归模型中，将度量解释变量对被解释变量影响大小的解释程度的量称为多元决定（判定）系数，仍用R2表示。R2=ESS/TSS其中TSS=ESS+RSSTSS=总离差平方和；ESS=回归平方和；RSS=残差平方和修正的决定系数R2R2有一个缺点，即R2随着解释变量个数的增加而增加，无论增加的解释变量在经济上是否有意义，情况总是如此。三变量回归模型R2的往往要比双变量回归模型R2值大。这是因为R2的定义中没有考虑自由度问题。为了避免这个现象，需要对决定系数进行自由度调整修正的决定系数R2若k>1,则R2

≤R2，即：随着模型中解释变量的增加，修正决定系数越来越小于非修正决定系数R2，这似乎是对增加解释变量的“惩罚”。多元相关系数R=√R2度量了Y与所有解释变量的线性相关程度。一元线性回归模型中的相关系数R可正可负，但在多元回归中，R只能为正值。假设检验参数显著性检验方程显著性检验参数显著性检验模型为Y=b0+b1X1+b2X2+u要检验bj的显著，提出假设：H0：bj=0（原假设或者称为零假设）H1：bj≠0（备择假设）参数显著性检验的三种方法|t|与临界值做比较“2倍”检验法P值检验法检验统计量—t统计量在基本假设下：在H0成立下t统计量检验显著性原理如果H0成立，P{｜t｜>t

/2}＝

{｜t｜>t

/2}是小概率事件，如果该事件在一次抽样中就出现，说明假设H0值得怀疑，应当拒绝H00bj-t／2t／2／2／2接受H0拒绝H0拒绝H0检验步骤（1）计算|t|（2）查表求临界值t／2(n-k-1)（3）比较，下结论如果|t|≤t／2，则接受H0，认为在显著性水平为

的意义下，bj不显著；如果|t|＞t／2，则拒绝H0，认为在显著性水平为

的意义下，bj显著。例估计结果：Yt=7.193-1.39X1+1.47X2

se(1.595)(0.205)(0.956)t(4.510)(-6.780)(1.538)n=13,k=2,=0.05t／2(n-k-1)=t0.025(10)=2.228结论：常数项和X1的系数是显著的，X2的系数不显著简易“2倍”检验法当=0.05，n-k-1>8时，t