第五讲多重共线性异方差自相关详解演示文稿

第五讲多重共线性异方差自相关详解演示文稿目前一页\总数六十五页\编于十八点优选第五讲多重共线性异方差自相关目前二页\总数六十五页\编于十八点二、多重共线性的后果的OLS估计量为：完全共线性指的是解释变量中某个变量是其他变量的线性组合，即c1X1+c2X2+…+ckXk=0其中ci不全为0，i=1,…k1、完全共线性下参数估计量不存在如果存在完全共线性，则不存在，无法得到参数的估计量。目前三页\总数六十五页\编于十八点例：对离差形式的二元回归模型如果两个解释变量完全相关，如x2=x1，则这时，只能确定综合参数1+2的估计值：一个方程确定两个未知数，有无穷多个解。目前四页\总数六十五页\编于十八点2、近似共线性下OLS估计量非有效近似共线性下，可以得到OLS参数估计量，但参数估计量方差的表达式为

由于，引起主对角线元素较大，使参数估计值的方差增大，OLS参数估计量非有效。近似共线性指的是解释变量中某个变量不完全是其他解释变量的线性组合，还差个扰动项。即c1X1+c2X2+…+ckXk＋vi=0，其中ci不全为0，i=1,…k目前五页\总数六十五页\编于十八点

如果模型中两个解释变量具有线性相关性，例如X2=X1

，这时，X1和X2前的参数1、2并不反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响。

1、2已经失去了应有的经济含义，于是经常表现出似乎反常的现象：例如1本来应该是正的，结果恰是负的。3、参数估计量经济含义不合理注：除非是完全共线性，多重共线性并不意味着任何基本假设的违背。目前六页\总数六十五页\编于十八点

多重共线性诊断的任务是：（1）检验多重共线性是否存在；（2）估计多重共线性的范围，即判断哪些变量之间存在共线性。

多重共线性表现为解释变量之间具有相关关系，所以用于多重共线性的检验方法主要是统计方法：如判定系数检验法、逐步回归检验、方差膨胀因子（VIF）法等。三、多重共线性的诊断目前七页\总数六十五页\编于十八点

(1)对两个解释变量的模型，采用简单相关系数法求出X1与X2的简单相关系数r，若|r|接近1，则说明两变量存在较强的多重共线性。(2)对多个解释变量的模型，采用综合统计检验法

若在OLS法下：R2与F值较大，但t检验值较小，说明各解释变量对Y的联合线性作用显著，但各解释变量间存在共线性而使得它们对Y的独立作用不能分辨，故t检验不显著。1、检验多重共线性是否存在目前八页\总数六十五页\编于十八点

如果存在多重共线性，需进一步确定究竟由哪些变量引起。

2、判明存在多重共线性的范围(1)判定系数检验法使模型中每一个解释变量分别以其余解释变量为解释变量进行回归，并计算相应的拟合优度。如果某一种回归Xji=1X1i+2X2i+kXki的判定系数较大，说明Xj与其他X间存在共线性。目前九页\总数六十五页\编于十八点具体可进一步对上述回归方程作F检验：

式中：Rj•2为第j个解释变量对其他解释变量的回归方程的可决系数，若存在较强的共线性，则Rj•2较大且接近于1，这时（1-Rj•2）较小，从而Fj的值较大。因此，给定显著性水平，计算F值，并与相应的临界值比较，来判定是否存在相关性。构造如下F统计量～目前十页\总数六十五页\编于十八点

在模型中排除某一个解释变量Xj，估计模型；

如果拟合优度与包含Xj时十分接近，则说明Xj与其它解释变量之间存在共线性。

另一等价的检验是:目前十一页\总数六十五页\编于十八点

(2)逐步回归法

以Y为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。根据拟合优度的变化决定新引入的变量是否独立。

如果拟合优度变化显著，则说明新引入的变量是一个独立解释变量；

如果拟合优度变化很不显著，则说明新引入的变量与其它变量之间存在共线性关系。目前十二页\总数六十五页\编于十八点

(3)方差膨胀因子（VIF:VarianceInflationFactor）VIF指标：Xk与其余变量回归所得的可决系数VIF范围：[+1,+∞)判断：若VIF≥5，则认为多重共线性强，不可接受。(4)条件数（ConditionIndix）解释变量的相关矩阵的最大特征值与最小特征值相比调用数据库neiyun.dta讲解。条件数大于30，认为多重共线存在。目前十三页\总数六十五页\编于十八点找出引起多重共线性的解释变量，将它排除出去。以逐步回归法得到最广泛的应用。注意：这时，剩余解释变量参数的经济含义和数值都发生了变化。

如果模型被检验证明存在多重共线性，则需要发展新的方法估计模型，最常用的方法有三类。四、克服多重共线性的方法1、第一类方法：排除引起共线性的变量目前十四页\总数六十五页\编于十八点时间序列数据、线性模型：将原模型变换为差分模型:

Yi=1X1i+2X2i++kXki+i可以有效地消除原模型中的多重共线性。

一般讲，增量之间的线性关系远比总量之间的线性关系弱得多。2、第二类方法：差分法目前十五页\总数六十五页\编于十八点

多重共线性的主要后果是参数估计量具有较大的方差，所以

采取适当方法减小参数估计量的方差，虽然没有消除模型中的多重共线性，但确能消除多重共线性造成的后果。例如：增加样本容量可使参数估计量的方差减小。3、第三类方法：减小参数估计量的方差目前十六页\总数六十五页\编于十八点六、案例——中国粮食生产函数

根据理论和经验分析，影响粮食生产（Y）的主要因素有：农业化肥施用量（X1）；粮食播种面积(X2)成灾面积(X3);农业机械总动力(X4);农业劳动力(X5)已知中国粮食生产的相关数据，建立中国粮食生产函数：

Y=0+1X1+2X2+3X3

+4X4

+5X5

+调用数据库E:\博士计量课程软件应用\multi目前十七页\总数六十五页\编于十八点目前十八页\总数六十五页\编于十八点R2接近于1；给定=5%，得F临界值F0.05(5,12)=3.11

F=137.11>3.11，故认上述粮食生产的总体线性关系显著成立。但X4

、X5

的参数未通过t检验，且符号不正确，故解释变量间可能存在多重共线性。(-0.91)(8.39)(3.32)(-2.81)(-1.45)(-0.14)1、用OLS法估计上述模型：目前十九页\总数六十五页\编于十八点发现：

X1与X4间存在高度相关性。列出X1，X2，X3，X4，X5的相关系数矩阵：2、检验简单相关系数目前二十页\总数六十五页\编于十八点可见，应选第1个式子为初始的回归模型。分别作Y与X1，X3，X2，X4，X5间的回归：

(25.58)(11.49)R2=0.8919F=132.1

(-0.49)(1.14)R2=0.075F=1.30

(17.45)(6.68)R2=0.7527F=48.7

(-1.04)(2.66)R2=0.3064F=7.073、找出最简单的回归形式

(1.74)(7.25)R2=0.1596F=3.04目前二十一页\总数六十五页\编于十八点将其他解释变量分别导入上述初始回归模型，寻找最佳回归方程。4、逐步回归目前二十二页\总数六十五页\编于十八点

回归方程以Y=f(X1，X2，X3)为最优：5、结论目前二十三页\总数六十五页\编于十八点

§5.2异方差（Heteroscedasticity）1、同方差假定及异方差定义模型的假定条件⑴给出Var()是一个对角矩阵，Var()=

2I=

2

且

的方差协方差矩阵主对角线上的元素都是常数且相等，即每一误差项的方差都是有限的相同值（同方差假定）；且非主对角线上的元素为零（无自相关假定），目前二十四页\总数六十五页\编于十八点Var(

)=

2

=

2

2I.

当这个假定不成立时，Var()不再是一个纯量对角矩阵。当误差向量的方差协方差矩阵主对角线上的元素不相等时，称该随机误差系列存在异方差，即误差向量中的元素取自不同的分布总体。非主对角线上的元素表示误差项之间的协方差值。比如

中的ij

,（i

j）表示与第i组和第j组观测值相对应的

i与

j的协方差。若

非主对角线上的部分或全部元素都不为零，误差项就是自相关的（后面讲自相关）。目前二十五页\总数六十五页\编于十八点2.异方差的表现

异方差通常有三种表现形式，（1）递增型（2）递减型（3）条件自回归型。递增型异方差见图5.21和5.22。图5.23为递减型异方差。图5.24为条件自回归型异方差(复杂性异方差)。图5.21递增型异方差情形

图5.22递增型异方差

随着解释变量值的增大，被解释变量取值的差异性增大目前二十六页\总数六十五页\编于十八点图5.23递减型异方差

图5.6复杂型异方差

注：时间序列数据和截面数据中都有可能存在异方差。经济时间序列中的异方差常为递增型异方差。金融时间序列中的异方差常表现为自回归条件异方差。无论是时间序列数据还是截面数据。递增型异方差的来源主要是因为随着解释变量值的增大，被解释变量取值的差异性增大。目前二十七页\总数六十五页\编于十八点3.异方差的后果

下面以简单线性回归模型为例讨论异方差对参数估计的影响。

对模型

yt

=0

+1

xt

+ut

（1）.当Var(ut)=t2为异方差时（t2是一个随时间或序数变化的量），回归参数估计量仍具有无偏性和一致性,但是回归参数估计量不再具有有效性。以为例＝E()E()=E()=1+

=1目前二十八页\总数六十五页\编于十八点Var()=E(-1)2

＝E（）2＝E()==≠上式不等号左侧项分子中的t2不是一个常量，不能从累加式中提出，所以不等号右侧项不等于不等号左侧项。而不等号右侧项是同方差条件下1的最小二乘估计量的方差。因此异方差条件下的失去有效性。目前二十九页\总数六十五页\编于十八点4.异方差的诊断

（2）参数估计量的方差估计是真实方差的有偏估计（3）t检验失效经济变量规模差别很大时容易出现异方差。如个人收入与支出关系，投入与产出关系。

(2)利用散点图做初步判断。

OLS(3)White检验White检验的具体步骤如下：

第一步：YXe1,…en检验假设：H0:即，同方差目前三十页\总数六十五页\编于十八点第三步：～＞第四步：拒绝H0，存在异方差。第二步：ei2原变量、原变量平方、交叉项R2OLS（4）自回归条件异方差（ARCH）检验异方差的另一种检验方法称作自回归条件异方差(ARCH)检验。这种检验方法不是把原回归模型的随机误差项t2看作是xt

的函数，而是把t2看作误差滞后项ut-12,ut-22,…的函数。ARCH是误差项二阶矩的自回归过程。恩格尔（Engle1982）针对ARCH过程提出LM检验法。辅助回归式定义为：目前三十一页\总数六十五页\编于十八点LM统计量定义为：～ARCH=nR2检验假设：H0:5.克服异方差的方法

（1）采用GLS估计

Y=X+u

设模型为：其中E(u)=0，Var(u)=E(uu‘)=

2，

已知

因为

是一个T阶正定矩阵，所以必存在一个非退化TT阶矩阵M使下式成立。MM'=I

TTM'M=

-1

MY=MX+Mu取Y*=MY,X*=MX,u*=Mu

Y*=X*+u*

若对于不全为零的实数x1,x2,…xn总有f=f(x1,x2,…xn)>0,则f称为正定二次型。满秩矩阵目前三十二页\总数六十五页\编于十八点

Var(u*)=E(u*

u*'

)=E(Muu'M')=M

2

M

'=

2

M

M

'=

2

I(GLS)=(X*'X*)-1X*'Y*=(X'M'MX)-1

X'M'MY

=(X'

-1X)-1X'

-1Y

这种方法成为广义最小二乘法（GLS）(2)通过对数据取对数消除异方差。中国进出口贸易额差（1953-1998）

对数的中国进出口贸易额之差目前三十三页\总数六十五页\编于十八点

§5.3自相关（Autocorrelation

）1.非自相关的假定及自相关定义

Cov(ui,uj

)0,(i

j)即误差项ut的取值在时间上是相互无关的。称误差项ut非自相关。如果则称误差项ut存在自相关。注：自相关又称序列相关。

目前三十四页\总数六十五页\编于十八点图1非自相关的散点图

图4正自相关的散点图

图3负自相关的散点图

图2非自相关的序列图

目前三十五页\总数六十五页\编于十八点2.自相关产生的原因大多数经济时间数据都有一个明显的特点，就是它的惯性。GDP、价格指数、生产、就业与失业等时间序列都呈周期性，如周期中的复苏阶段，大多数经济序列均呈上升势，序列在每一时刻的值都高于前一时刻的值，似乎有一种内在的动力驱使这一势头继续下去，直至某些情况（如利率或课税的升高）出现才把它拖慢下来。（1）惯性目前三十六页\总数六十五页\编于十八点（2）设定偏误1：模型中未含应包括的变量

例如：如果对牛肉需求的正确模型应为Yt=0+1X1t+2X2t+3X3t+t其中：Y=牛肉需求量，X1=牛肉价格，X2=消费者收入，X3=猪肉价格如果模型设定为：Yt=0+1X1t+2X2t+vt则该式中，vt=3X3t+t,

于是在猪肉价格影响牛肉消费量的情况下，这种模型设定的偏误往往导致随机项中有一个重要的系统性影响因素，使其呈序列相关性。目前三十七页\总数六十五页\编于十八点

(3)设定偏误2：不正确的函数形式

例如：如果真实的边际成本回归模型应为：Yt=0+1Xt+2Xt2+t其中：Y=边际成本，X=产出，但建模时设立了如下模型：Yt=0+1Xt+vt因此，由于vt=2Xt2+t,，包含了产出的平方对随机项的系统性影响，随机项也呈现序列相关性。(4)蛛网现象例如：农产品供给对价格的反映本身存在一个滞后期：供给t=0+1价格t-1+t意味着，农民由于在年度t的过量生产（使该期价格下降）很可能导致在年度t+1时削减产量，因此不能期望随机干扰项是随机的，往往产生一种蛛网模式。目前三十八页\总数六十五页\编于十八点3.自相关性的后果（1）参数估计量非有效虽然回归系数仍具有无偏性。但是丧失有效性。

的方差比非自相关时大，失去有效性。

目前三十九页\总数六十五页\编于十八点(2)变量的显著性检验失去意义用OLS法估计时仍然用估计，所以会低估的方差。等于过高估计统计量t的值，从而把不重要的解释变量保留在模型里，使显著性检验失去意义。(3)Var(）和su2都变大，都不具有最小方差性。所以用依据普通最小二乘法得到的回归方程去预测，预测是无效的。关于名词白噪声序列：零期望、同方差、无自相关序列。目前四十页\总数六十五页\编于十八点

然后，通过分析这些“近似估计量”之间的相关性，以达到判断随机误差项是否具有自相关性的目的。基本思路：4.自相关检验目前四十一页\总数六十五页\编于十八点（1）Durbin-Watson检验法

D-W检验是J.Durbin）和G.S.Watson于1951年提出的一种检验序列自相关的方法，该方法的假定条件是：（1）解释变量X非随机；（2）随机误差项i为一阶自回归形式：

i=i-1+i（3）回归模型中不应含有滞后因变量作为解释变量，即不应出现下列形式：Yi=0+1X1i+kXki+Yi-1+i（4）回归含有截距项；目前四十二页\总数六十五页\编于十八点

该统计量的分布与出现在给定样本中的X值有复杂的关系，因此其精确的分布很难得到。

D.W.统计量目前四十三页\总数六十五页\编于十八点DW检验步骤如下。给出假设：H0:=0(不存在自相关)H1:

0(存在一阶自相关)用残差值et计算统计量DW。

DW=＝因为≈≈DW=＝2（1－）＝2（1－）目前四十四页\总数六十五页\编于十八点因为

的取值范围是[-1,1]，所以DW统计量的取值范围是[0,4]。

与DW值的对应关系见下表。DW的表现

=0DW=2非自相关

=1DW=0完全正自相关

=-1DW=4完全负自相关实际中DW=0,2,4的情形是很少见的。当DW取值在（0,2），（2,4）之间时，怎样判别误差项是否存在自相关呢？推导统计量DW的精确抽样分布是困难的，因为DW是依据残差et计算的，而et的值又与xt的形式有关。DW检验与其它统计检验不同，它没有唯一的临界值用来制定判别规则。然而Durbin-Watson根据样本容量和被估参数个数，在给定的显著性水平下，给出了检验用的上、下两个临界值dU和dL

。判别规则如下：目前四十五页\总数六十五页\编于十八点

可以看出，当D.W.值在2左右时，模型不存在一阶自相关。目前四十六页\总数六十五页\编于十八点当DW值落在“不确定”区域时，有两种处理方法。①加大样本容量或重新选取样本，重作DW检验。②选用其它检验方法。注意：①因为DW统计量是以解释变量非随机为条件得出的，所以当有滞后的内生变量作解释变量时，DW检验无效。②不适用于联立方程模型中各方程的序列自相关检验。③DW统计量不适用于对高阶自相关的检验。

但在实际计量经济学问题中，一阶自相关是出现最多的一类序列相关；另外，经验表明，如果不存在一阶自相关，一般也不存在高阶序列相关。目前四十七页\总数六十五页\编于十八点（2）图示法

图示法就是依据残差et对时间t的序列图作出判断。由于残差et是对误差项ut

的估计，所以尽管误差项ut

观测不到，但可以通过et的变化判断ut

是否存在自相关。图示法的具体步骤是，(1)用给定的样本估计回归模型，计算残差et

,(t=1,2,…T)，绘制残差图；(2)分析残差图。Stata实现语句：regyxpredictr,residualsgenrlag＝r[_n-1]Scatterrrlag

调用水果数据库目前四十八页\总数六十五页\编于十八点目前四十九页\总数六十五页\编于十八点(3)回归检验法

优点是，（1）适合于任何形式的自相关检验，（2）若结论是存在自相关，则同时能提供出自相关的具体形式与参数的估计值。缺点是，计算量大。①用给定样本估计模型并计算残差et。②对残差序列et

,(t=1,2,…,T)用OLS进行不同形式的回归拟合。如

et=et–1+vt

et=1et–1+2et–2+vtet

=et-12+vtet=

+vt

…(3)对上述各种拟合形式进行显著性检验，从而确定误差项ut存在哪一种形式的自相关。回归检验法的步骤如下：目前五十页\总数六十五页\编于十八点5.克服自相关如果模型的误差项存在自相关，首先应分析产生自相关的原因。如果自相关是由于错误地设定模型的数学形式所致，那么就应当修改模型的数学形式。如果自相关是由于模型中省略了重要解释变量造成的，那么解决办法就是找出略去的解释变量，把它做为重要解释变量列入模型。只有当以上两种引起自相关的原因都消除后，才能认为误差项ut“真正”存在自相关。在这种情况下，解决办法是变换原回归模型，使变换后的随机误差项消除自相关，进而利用普通最小二乘法估计回归参数。这种变换方法称作广义最小二乘法（GLS）。

目前五十一页\总数六十五页\编于十八点广义最小二乘法

对于模型Y=X+N……………(1)如果存在序列相关，同时存在异方差，即有目前五十二页\总数六十五页\编于十八点设=

用D-1左乘上式两边，得到一个新的模型：D-1Y=D-1X+D-1N即Y*=X*+N*…….(2)该模型具有同方差性和随机误差项互相独立性。目前五十三页\总数六十五页\编于十八点于是，可以用OLS法估计模型(2)，得

这就是原模型(1)的广义最小二乘估计量(GLSestimators)，是无偏的、有效的估计量。如何得到矩阵？仍然是对原模型(1)首先采用普通最小二乘法，得到随机误差项的近似估计量，以此构成矩阵的估计量，即目前五十四页\总数六十五页\编于十八点

差分法

差分法是一类克服自相关性的有效的方法，被广泛地采用。

差分法是将原模型变换为差分模型，分为一阶差分法(first-differencemethod)和广义差分法(generalizeddifferencemethod)。下面以一元线性模型为例说明。目前五十五页\总数六十五页\