线性回归模型的自相关问题

线性回归模型的自相关问题第一页，共四十八页，2022年，8月28日10.1一元线性回归分析－回归的假定条件(无自相关)假定5无自相关假定，即两个误差项之间不相关。Cov（ui,uj）=0(10.1)正相关负相关不相关ujuiujuiujui无自相关的含义：意味着任一观察值的扰动项不受其它观察值扰动项的影响。第二页，共四十八页，2022年，8月28日10.2自相关产生的原因经济时间序列的惯性(inertia)或迟缓性(sluggishness)特征。模型适定误差。有些自相关并不是由于连续观察值之间相关产生的，而是因为回归模型不是适定性的“好”模型。“不好模型”有多种原因。蛛网现象(thecobwebphenomenon)。一个变量对另一个变量的反映不是同步的，时滞一定的时间。商品供给对价格的反映：St＝B1＋B2*Pt-1＋ut(10.2)数据处理。在做季节因素的调整时，经常要做移动平均。移动平均的处理可以消除季节波动的影响，但带来新的问题则是产生了自相关。第三页，共四十八页，2022年，8月28日10.3自相关产生的后果最小二乘估计量仍然是线性的和无偏的。最小二乘估计量不是有效的，即OLS估计量的方差不是最小的，估计量不是最优线性无偏估计量(BLUE)。OLS估计量的方差是有偏的。用来计算方差和OLS估计量标准误的公式会严重的低估真实的方差和标准误，从而导致t值变大，使得某个系数表面上显著不为零，但事实却相反。t检验和F检验不是可信的。计算得到的误差方差σ2＝RSS/d.f.（残差平方和/自由度）是真实σ2的有偏估计量，并且很可能低估了真实的σ2。计算的R2也不能真实的反映实际R2。计算的预测方差和标准误差通常是无效的。第四页，共四十八页，2022年，8月28日10.4自相关的诊断如何知道回归方程存在自相关？由于无法知道误差方差σ2的真实值，因为真实的ui无法观察到的，与异方差一样，仅仅知道残差ei。需要根据从OLS方法得到的ei判断是否存在自相关。方法1：图形法方法2：Dubin-Watsond检验法第五页，共四十八页，2022年，8月28日10.4自相关的诊断－图形法将残差对时间作时序图（time-sequenceplot）。例10.1美国商业部门真实工资与生产率的关系(1959-2002)第六页，共四十八页，2022年，8月28日10.4自相关的诊断－图形法将残差对时间作时序图（time-sequenceplot）。例10.1美国商业部门真实工资与生产率的关系(1959-2002)

Wages=29.575+0.7006*Product(10.2)se=(1.460515)(0.017122)t=(20.24968)(40.91818)p=(0.00000)(0.00000)F=1674.298(0.00000)R2=0.975529第七页，共四十八页，2022年，8月28日10.4自相关的诊断－图形法例10.1美国商业部门真实工资与生产率的关系(1959-2002)第八页，共四十八页，2022年，8月28日10.4自相关的诊断－图形法例10.1美国商业部门真实工资与生产率的关系(1959-2002)从图形可以看出残差具有明显的系统特征，即明显的变化规律。第九页，共四十八页，2022年，8月28日10.4自相关的诊断－图形法例10.1美国商业部门真实工资与生产率的关系(1959-2002)E1=et,E11=et-1e1=0.872613*e11se=(0.071014)t=(12.26511)p=(0.0000)R2=0.781227回归模型存在着明显的自相关性。第十页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法Durbin-Watsond统计量可以用来诊断回归模型的自相关即逐次残差的平方和与残差平方和的比值。D统计量的样本容量为n－1。注意：Durbin-Watsond检验量是诊断自相关常用的检验工具，必须掌握。(10.3)第十一页，共四十八页，2022年，8月28日10.5自相关的诊断－图形法例10.1美国商业部门真实工资与生产率的关系(1959-2002)第十二页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法(10.3)(10.4)(10.5)

如果d接近0，则存在正相关；d接近4，则存在负相关；d接近2，表示不存在相关。第十三页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法d统计量诊断自相关需要一定的假设条件，不是任意可用的：回归模型包括一个截距项。因此，d统计量无法判断通过原点的回归模型的自相关问题。变量X是非随机变量，即在重复抽样中变量X的值是固定不变的。扰动项ui的生成机制是：(10.6)(10.6)表明t期的扰动项或误差项与t－1期值和一个纯随机项vt有关。ρ度量了对前期值的依赖程度，称为自相关系数，介于－1和1之间。(10.6)称为马尔可夫一阶自回归过程(Markovfirst-orderautoregressivescheme),通常记为AR(1)过程。第十四页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法d统计量诊断自相关需要一定的假设条件，不是任意可用的：解释变量中不包含因变量的滞后值。该检验对下面的模型是不适用的：(10.7)(10.7)中Yt－1是因变量Y的一期滞后值。形如(10.7)的回归方程称为自回归模型(autoregressivemodels)——变量对其滞后一期值的回归。第十五页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法尽管d检验应用的非常广泛，但是它具有一定的缺陷，因为d落入某个范围，存在无法判断的情况。零假设判断如果（条件）无正自相关拒绝0<d<dL无正自相关无法判断dL<=d<=dU无负自相关拒绝4-dL<d<4无负自相关无法判断4-dU<=d<=4-dL无正或负自相关接受dU<d<4-dUDurbin-Watsond检验：判定规则注意：下临界值dL与上临界值dU与观察值个数n和解释变量的个数k有关。Durbin-Watson给出了1％和5％显著水平下的D－W表。k最大可达20。第十六页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法Durbin-Watsond检验：判定规则O4dLdU4-dU4-dL零假设判断如果（条件）无正自相关拒绝0<d<dL无正自相关无法判断dL<=d<=dU无正或负自相关接受dU<d<4-dU无负自相关无法判断4-dU<=d<=4-dL无负自相关拒绝4-dL<d<4第十七页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法Durbin-Watsond检验：判定规则O4dLdU4-dU4-dL零假设判断如果（条件）无正自相关拒绝0<d<dL无正自相关无法判断dL<=d<=dU无正或负自相关接受dU<d<4-dU无负自相关无法判断4-dU<=d<=4-dL无负自相关拒绝4-dL<d<4第十八页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法Durbin-Watsond检验：判定规则O4dLdU4-dU4-dL零假设判断如果（条件）无正自相关拒绝0<d<dL无正自相关无法判断dL<=d<=dU无正或负自相关接受dU<d<4-dU无负自相关无法判断4-dU<=d<=4-dL无负自相关拒绝4-dL<d<4第十九页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法Durbin-Watsond检验：判定规则O4dLdU4-dU4-dL零假设判断如果（条件）无正自相关拒绝0<d<dL无正自相关无法判断dL<=d<=dU无正或负自相关接受dU<d<4-dU无负自相关无法判断4-dU<=d<=4-dL无负自相关拒绝4-dL<d<4第二十页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法Durbin-Watsond检验：判定规则O4dLdU4-dU4-dL零假设判断如果（条件）无正自相关拒绝0<d<dL无正自相关无法判断dL<=d<=dU无正或负自相关接受dU<d<4-dU无负自相关无法判断4-dU<=d<=4-dL无负自相关拒绝4-dL<d<4第二十一页，共四十八页，2022年，8月28日10.5自相关的诊断－Durbin-Watsond检验法例10.1美国商业部门真实工资与生产率的关系(1959-2002)

从回归模型的Durbin－Watsond检验量可得d＝0.213684，根据D－W表，n＝44，k＝1，在5％显著性水平下，dL＝1.475和dU＝1.566。由于d＝0.213684远低于下临界值dL＝1.475。根据D－W判定规则，在工资－生产率回归模型的残差中存在正的自相关。此与图形法得到的结论一致。第二十二页，共四十八页，2022年，8月28日10.6自相关问题的解决－广义最小二乘法(10.6)(10.8)(10.9)(10.10)(10.11)第二十三页，共四十八页，2022年，8月28日10.6自相关问题的解决－广义最小二乘法(10.6)(10.12)对变换后的变量Y*和X*使用OLS法，得到的估计量具有BLUE性质。对变化后的模型使用OLS得到的估计量称为广义最小二乘（GLS）。表达式(10.12)称为广义差分方程。第二十四页，共四十八页，2022年，8月28日10.6自相关问题的解决－广义最小二乘法(10.12)(10.12)式值得注意的是：（1）ρ相当于前期值的倍数。（2）第一个观察值不存在前期值，因而失去一个观察值。为了避免丢失这个观察值，可对第一个观察值做下列变换：(10.13)第二十五页，共四十八页，2022年，8月28日10.6自相关问题的解决－广义最小二乘法值得注意的是：（1）双变量模型可以推广到多变量模型。（2）一阶自回归AR(1)可以推广到多阶自回归，例如AR(2)和AR(3)等。方法一样，但计算量很大。（3）广义最小二乘法的核心是估计乘子ρ的大小。第二十六页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计（1）一阶差分法：ρ＝1表示误差项之间是完全正相关。(10.14)Δ是一阶差分算子符号。在估计方程(10.14)时，首先需对因变量和解释变量求差分，然后再对变换后的模型进行回归。注意：一阶差分方程(10.14)的一个重要特征便是模型没有截距。因此，要估计模型(10.14)需要选择通过原点的模型。第二十七页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计（2）从Durbin－Watsond统计量中估计ρ(10.15)当样本容量足够大时，这种方法简单，而且可以得到ρ较好的估计值。对于小样本，Theil和Nagar给出了建立在d基础上ρ的另一个估计值。第二十八页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计（3）从OLS残差et中估计ρ(10.16)统计理论表明，尽管对小样本而言，ρ是真实ρ的有偏估计量，但随着样本容量的增加，这个偏差会逐渐消失。因此，如果样本容量足够大，可以利用式(10.16)中得到的ρ对式(10.11)中的数据进行变换。^^第二十九页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计第一步：Wages=29.575+0.7006*Product(10.2)se=(1.460515)(0.017122)t=(20.24968)(40.91818)p=(0.00000)(0.00000)F=1674.298(0.00000)R2=0.975529d＝0.213684从(10.2)式可以求出普通最小二乘回归模型的残差et。第二步：求et对et-1的回归，ρ=1－d/2=0.893158et＝0.871326*et-1===>ρ=0.871326第三十页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计第三步：作变量代换Ydif0=Wages－Wages(-1)Xdif0=Product－Product(-1)Ydif1=Wages－0.8932*Wages(-1)Xdif1=Product－0.8932*Product(-1)Ydif2=Wages－0.871326*Wages(-1)Xdif2=Product－0.871326*Product(-1)第四步：求Ydif0对Xdif0的回归，Ydif1对Xdif1的回归Ydif0=B2*Xdif0+vt

Ydif1=B1*+B2*Xdif1+vt

B1＝B1*/(1－ρ),ρ=0.8932或ρ=0.871326第三十一页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计方法（1）：一阶差分回归Ydif0对Xdif0的回归：Ydif0=B2*Xdif0+vt

Ydif0=0.62821*Xdif0se＝(0.07179),t=(8.7506),p=(0.0000)R2=0.218637,d=1.52605第三十二页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计方法（2）：从Durbin-Watsond统计量得到ρ形成的回归Wages-0.8932*Wages(-1)=4.7926+0.5479*(product-0.8932*product(-1))se=(0.5781)(0.0532)t=(8.2897)(10.2971)p=(0.0000)(0.0000)R2=0.7211,d=1.6808第三十三页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计方法（3）：从残差回归方程得到ρ形成的回归Wages-0.871326*Wages(-1)=5.4578+0.5688*(product-0.871326*product(-1))se=(0.5930)(0.0467)t=(9.2034)(12.1768)p=(0.0000)(0.0000)R2=0.7833,d=1.6572第三十四页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计第三十五页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计n＝45，k＝1dL＝1.475dU=1.566d=1.526在dL和dU之间，无法判断没有正相关。第三十六页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计n＝45，k＝1dL＝1.475dU=1.566d=1.6808>dU，无正或负相关。第三十七页，共四十八页，2022年，8月28日例10.2美国商业部门真实工资与生产率的关系(1959-2002)10.7广义最小二乘法中ρ值的三种估计n＝45，k＝1dL＝1.475dU=1.566d=1.6572>dU，无正或负相关第三十八页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计第三十九页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计第四十页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计第四十一页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计第四十二页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计du=1.71>1.48(n-2=28)第四十三页，共四十八页，2022年，8月28日10.7广义最小二乘法中ρ值的三种估计du=1.87>1.65(n-2=28)第四十四页，共四十八页