赵卫亚 (回归模型的扩展 异方差自相关多重共线)

1、1 第四章第四章 回归模型的扩展回归模型的扩展 一、 异方差性 二、 自相关性 三、 多重共线性 2 一、一、 异方差异方差 1、异方差的定义 2、异方差产生的原因 3、异方差性的后果 4、异方差性的检验 5、异方差性的解决办法 6、案例分析 3 1、异方差的定义、异方差的定义 分析：分析： 2 2 22 var() 1,2,., Xvar() var()() i i iiii iii in f X 古典假定之一：随机扰动项 的方差相同 异方差： 的方差随的变化而变化， 例如： 4 (A) 概率密度 储 蓄 Y 收入X i X 21 异方差的图形表示 同 方 差 (B) 概率密度 储 蓄 Y

2、收入X i X 21 异 方 差 5 定义： 对于模型 如果出现 即对于不同的解释变量的值对于不同的解释变量的值，随机误差项的方随机误差项的方 差不再是常数差不再是常数，则认为出现了则认为出现了异方差性异方差性 (Heteroskedasticity)。 ikiki1ii XXXY L 2210 2 var() ii 常数 6 2、异方差性产生的主要原因 （1）假性异方差 模型遗漏了重要的变量 模型函数形式的设定误差 解决方法：通过设定正确的模型来解决。 7 （2）真正的异方差,随机因素的影响 截面数据中，波动(不确定性)与经济规模的比例关 系。 例如赚钱越多，消费的选择余地越大。 时间序列中

3、，波动的系统变化 干中学的模型 自回归条件异方差ARCH 经验表明，横截面数据更易产生异方差性，我们主要研究 横截面数据中的异方差问题 8 3、异方差问题的后果 计量经济模型一旦出现异方差，如果仍采 用OLS估计模型参数，会产生以下后果 OLS估计量仍然是线性、无偏的，但是OLS估 计不再是有效估计。 无法正确估计回归系数的标准差（参数估计的 标准差出现偏差，有可能增大也可能偏小） T检验失效 模型预测不准确（区间估计与随机误差项的方 差有关） 9 4、异方差性的检验、异方差性的检验 为了检验模型是否存在异方差性，需要了 解随机误差项取值的分布情况。 随机误差项取值无法观测，只能通过残差 分布

4、情况来推测随机误差项的分布特征 10 常用方法常用方法 （1）图示检验法 （2）戈德菲尔德-匡特检验 （3）怀特检验 （4）帕克检验和戈里瑟检验 11 （1 1）、图示检验法）、图示检验法 相关图分析 绘制Y X的散点图 考察Y的离散程度与解释变量是否有相关关系 Eviews实现 Scat x Y 12 13 残差序列分布图 考察残差分布图的离散程度。 不存在异方差时，参差序列均匀分布在横轴上 下一定范围 如果随I (Xi)的增大，残差分布增加、减少，则 可能存在异方差 如果呈现其他规律变化，可能是复杂异方差， 也可能是参数变化或者函数设定偏差 14 (a) (b) e k X i e k X

5、 i 15 (c) (d) e k X i e k X i 16 (e) (f) e k X i e k X i 17 残差分析图的eview实现 (Sort X) Ls Y C X Genr E1=resid Genr E2=abs(E1) 或者genr E2=E1*E1 Scat x E2 18 （2）、戈德菲尔德-夸特 （Goldfeld-Quandt）检验 G_Q检验的适用范围： 样本容量较大 单调异方差（异方差递增或者递减）的情形。 对于复杂异方差则无法应用 检验思路 19 具体步骤： 1) 将样本观察值Xi按大小顺序排列 2) 将序列中间的c个观察值除去，并将剩下的观察 值划分成大

6、小相同的两个子样本，每个子样本的 容量为(n-c）/2 3) 对每个子样本分别求回归方程，并计算各自的 残差平方和 2 11i 2 22i X X i i RSSe RSSe 对应较小值的样本残差平方和 对应较大值的样本残差平方和 20 4）提出假设 5）构造统计量 的随机项方差分别为两个子样本对应 2 2 2 1 2 2 2 11 2 2 2 10 , : : HH 当H0成立时， 如果 ，误差项存在明显的递增异方差性； 如果 ，误差项没有明显的异方差性。 22 22 222 2 2 11 1 1 1 2 (,) 22 2 ii ii i i i i nc eKe RSSncnc FFKK

7、ncRSSe eK FF 1FF 2 1 (,) 22 RSSncnc FFKK RSS 21 G-Q检验的Eviews实现 Sort X Smpl 1 x1 Ls Y C X ，求RSS1 Smpl x2 n Ls Y C X, 求RSS2 计算F， 查F临界值，并进行判断 22 G-Q检验缺点： 无法确定具体形式，对于接下来如何解决异方 差没有提供很好的建议 对于复杂异方差不适用 对于多元的情况，处理比较麻烦 23 （3）、怀特(white)检验 怀特检验的适用范围（优点）： 任何形式的异方差（不仅限于单调异方差） 对于多元模型也很方便 可以初步推测异方差的形式。 24 例如：以二元回归模

8、型为例： 12233iiii YXXu 检验的思路：检验残差平方与所有解释变量的 各种形式之间的相关性。 25 怀特检验步骤 （1）估计回归模型，并计算残差平方 （2）估计辅助回归方程 即将残差平方关于所有解释变量的一次项，二次 项 和交叉项回归。 计算辅助回归的判定系数 ，可以证明：同方差假 设下（ ），渐进地有： 在给定的显著性水平下，如果 2 i e 023456 :0H 2 R 22( ) nRqq为辅助回归方程的自变量个数，此处为5 22 22 ( ), ( ), nRq nRq 拒绝原假设，模型存在异方差。 不拒绝原假设，模型不存在异方差。 222 122334253623iiii

9、iiii eXXXXX Xu 26 注意：注意： l辅助回归是残差平方（用以表示条件方差）与解释变量 各种可能组合的显著性，因此，辅助回归方程中还可引 入解释变量的更高次方。不过为了节省自由度，往往到 两次就可以了。 l在多元回归中，由于辅助回归方程中可能有太多解释变 量，从而使自由度减少，有时可去掉交叉项。 l检验的是辅助回归方程的整体显著性 27 White检验的eviews实现 建立回归模型：LS Y C X 检验异方差性： 方程窗口中 viewresidual testwhite heteroskedasticity 28 （4 4）、帕克（）、帕克（ParkPark）检验和）检验和

10、戈里瑟戈里瑟( (Gleiser)Gleiser)检验检验 为什么要进行Park和Gleiser检验 White检验形式太过一般，为了具体化，和以后修 正异方差的需要。 基本思想: 利用残差绝对值序列或残差平方序列，分别对Xi （的某种形式）进行一元辅助回归。 由回归方程的显著性、拟合优度判断异方差存在。 该检验的优点是可以近似给出异方差的具体形式。 29 2 lnlnln iii eXv 帕克检验的模型形式： 2 i v ii eXe 30 通常拟合 和 之间的回归模型： e i X h iii eXv 1 1,2 , 2 h L 戈里瑟检验形式 31 Park检验的Eviews实现 Ls

11、Y C X GENR LNE2=LOG(RESID2) GENR LNX=LOG(X) LS LNE2 C LNX 32 Gleiser检验的Eviews实现 Ls Y C X GENR E=ABS(RESID) GENR X1=* (如：1/X，x*x等） LS E C X1 33 5、异方差性的解决办法、异方差性的解决办法 如果是假性异方差 模型遗漏重要变量 函数形式设定不当（比如可以取对数） 首先修正模型，若检验后发现异方差 不存在了，说明原来的异方差是假性异 方差。模型修正后就已经解决。 34 5、异方差性的解决办法、异方差性的解决办法 如果是真正的异方差（通过模型修正 无法改善异方差

12、的情形）， 利用增长率模型，将与规模有关的 异方差去除或减弱。 模型变换法 加权最小二乘法（WLS） 35 （1）、模型变换法）、模型变换法 思想： 通过对存在异方差的总体回归方程作适当的代 换使之成为满足同方差假定的模型，然后用 OLS估计。 变换的关键是事先对异方差 的具体形式有一 个合理的假设。若 22 () ii f X 其中2为常数, 是不变方差，将上述回归模型两边除 以 ，化为同方差（方差为 ）)( i Xf 2 36 假设原模型为： 变换为新模型： 新模型的变量： 新模型的随机误差项的方差： 2 2 22 11 1 i ii i ii i i u VarVar u fX fXfX

13、 fX fX 12 2 var( )() ii i YXu uf X 其中 12 ()() ii ii YXu f Xf X 37 注意：模型的变换在相差一个常数的基础上，都可 以化为同方差模型。 对于变换后的模型，其方差是满足同方差的随机 变量，故可以对模型实施普通最小二乘法估计。 对新模型进行最小二乘估计的残差平方和的实质： (加权最小二乘) 2 12 1 ii i i VYX fX 38 。 例：当f(Xi)取下列形式时，如何进行模型变换： 1、 2、 3、 ii ii ii XrrXf XXf XXf 10 2 )( )( )( 39 （2）、加权最小二乘法（WLS) 在一元线性回归分

14、析法中，对各点的残差平方和所提供的 信息的重要程度是一视同仁的，它们在决定参数估计的过程 中所起的作用是相同的（取了相同的权数）。 在异方差的情况下，合理的做法是：对于较大的残差平方 赋予较小的权重，而对于较小的残差平方则赋予较大的权重， 这样可以提高参数估计的精度。 在异方差存在的情况下，WLS估计量才是最优线性无偏估 计量（BLUE） 2 2 1212 11 iiii ii i i VYXYX fX fX 模型变换法得到： 40 几点说明： 例如，模型变换时 ? 理解成权重，则构成了“加权最小二乘法” 事实上权数可以选取任一变化趋势与异方差 的趋势相反的变量序列 1 i i W fX 41

15、 6、案例分析 42 二、自相关问题及解决办法二、自相关问题及解决办法 1、自相关性的定义 2、自相关性产生的原因 3、自相关性的后果 4、自相关性的检验 5、自相关性的解决方法 6、案例分析 43 1、自相关的定义、自相关的定义 自相关的概念： 如果对于不同的样本点，随机误差项之间存在 自相关性，则认为出现了误差序列相关（自相 关）,即： cov(,)E()0 tt itt i u uu u 44 2、自相关性产生的原因 假性自相关： 模型中遗漏了重要的解释变量 模型函数形式的设定误差 真正的自相关 经济惯性（例如：本期投资与前年的投资有关） 随机因素的影响的持续性（例如：自然灾害， 金融危

16、机等） 45 OLS估计虽然是线性无偏的，但不再是有 效的估计。 OLS估计的标准误差估计不再准确。 参数显著性 t 检验失效 模型预测精度下降 3、自相关问题的后果 46 4、自相关的检验、自相关的检验 （1）自相关的表示形式： P阶自相关： 称为s阶自相关系数。 是满足基本假定的 随机变量。 t v 1122tttst st uuuuv L s 47 一阶自相关 误差序列相关比较基本和重要类型（为什么 重视一阶自回归？）： 这里是自相关系数，| |1 0时为正自相关， 0时为负自相关。 是满足基本假定的随机变量。 1ttt uuv t v 48 （2）、自相关的检验）、自相关的检验 、残差

17、序列图分析 误差序列随时间变化 S e i a S e i c b S e i 如果ei随时间变化呈有规律的变化，说明存在自相关。 49 误差序列自相关残差分布图 i e 000 c a b i e i e 1i e 1i e 1i e 50 、偏相关系数检验、偏相关系数检验 偏相关系数是衡量多个变量之间相关程度 的重要指标，可以用它来判断自相关性的 类型。 只要有一个自相关系数显著不为零，就存 在自相关。 利用eviews可以方便的进行(见92页) 方程窗口viewresidual testcorrelogram- Q-statistics 1122tttst st uuuuv L 51 、

18、德宾沃森（、德宾沃森（Durbin-Walson) 检验检验 DW检验适用条件 随机项一阶自相关 解释变量与随机项不相关 样本容量比较大 52 DW检验的原理 对线性回归模型 如果误差项有一阶自回归问题，那么 其中的 ， 是均值为0的独立同分 布随机变量。 10 122KK YXXuL 1iii uuv i v 53 根据 和 的性质，有 因此 i v i u 1 1 11 22 cov( ,)(0)(0) tt ii tttt uu ii E uuu uE uu E uE u 1 2 2 n ii i i i e e e 54 考虑与 有密切关系的DW统计量 i i n i ii e ee

19、DW 2 2 2 1 22 111 2222 22 2 2 22 1 nnnn iii iii iiii ii ii eeeee e DW ee 55 因为 所以D-W统计量的值域 并且: 1 40 d 1, 0 0, 2 1, 4 d d d 则 则 则 56 检验误差序列正自相关性DW检验区域 图 一阶自相关 无法判断 无一阶自相关性 无法判断 一阶负自相关 DW 0 24 4 U d4 L d U d L d Durbin-Watson根据样本容量n 和解释变量数目k, 在给定的 显著性水平下,建立了D-W统计量的 下临界值dL和上临界值dU. 57 0ddL, 拒绝H0，接受H1。 存

20、在一阶正自相关，并 且d越靠近0，正自相关越强。 4dL d 4, 拒绝H0，接受H1。 存在一阶负自相 关，并且d越靠近4，负自相关越强。 dU d 4-dU, 接受H0，拒绝H1。不 存在一阶自相 关，并且d越靠近2，无相关把握越大。 dLddU 或 4-dUd4-dL ,不能确定是否存在自相关。 58 D-W检验的局限性： 只适用一阶自回归，不适合高阶自回归 不适用解释变量与随机项相关的模型（当有滞后变量作 为解释变量时，DW有趋向2的趋势）。需要利用Durbin-h 统计量进行判断 D-W检验存在两个不能确定的区域，一旦d落入这两个区 域，要通过其他方法（或者增加样本数据，或者重新取样

21、， 或者用其他检验方法。） Eviews直接给出DW值 59 、布罗斯戈弗雷检验（Breusch-Godfrey）， 又称拉格朗日乘数检验（LM检验） 简称B-G检验，或LM（lagrange multiphcator)检 验 分析：对于模型 设自相关形式为： 假设 ，即不存在自相关性。 实际操作中，用 代替 12233tttKKtt YXXXuL 1122tttst st uuuuv L 012 :0 s HL t e t u 60 检验步骤 用OLS方法估计模型，得残差序列 将 关于所有解释变量和残差的滞后值 进行回归，并计算出辅助回归模型的判 定系数 t e t e 12 , ttt s

22、 eee L 2 R 12233 1122 tttKKt tts t st eXXX eeev L L 61 检验步骤 布罗斯和戈弗雷证明，在大样本情况下，渐近的 有： 在给定的显著性水平下， 22 ( )nRs 2 2 nR nR 临界值，则拒绝原假设，存在自相关 临界值，则不拒绝原假设，不存在自相关 62 布罗斯戈弗雷检验的eviws实现 在方程窗口中，viewresidual testserial correlation LM test 需要人为设定滞后期长度，一般从s=1开始， 多试几次，比如直到s=10左右。如果检验结果 均不显著，则可以认为不存在自相关性。 63 案例分析（一）案例

23、分析（一） P91 【例3】自相关问题的检验 64 5、自相关性的解决方法 假性自相关： 模型遗漏重要变量 模型函数形式设定不当 首先修正模型，若检验后发现自相关不存在了 ，说明原来的自相关假性自相关。模型修正后 就已经解决 65 真正的自相关： 广义差分方法（是GLS方法的一种特例） 66 （一）广义差分法（一）广义差分法 （1）相关系数已知时，直接利用广义差分法）相关系数已知时，直接利用广义差分法 设线性回归模型为 已知 有一阶自相关性，即 把滞后一期的观测值代入变量关系，得方程： 可得 令 ， 根据 可得 如果记 ，所以上式为 12iii YXu i 1iii uuv 1iii uuv

24、11211iii YXu 1112211iiiiii YYXXuu 1 * iii YYY 1 * iii XXX * 12 1 iii YXv * 12iii YXv * 11 1 67 （2）、相关系数未知时，）、相关系数未知时， 先估计相关系数，再采用广义差分先估计相关系数，再采用广义差分 根据估计相关系数方法的不同，可以分为下 面几种方法： 68 、近似估计法、近似估计法 近似估计法1： 然后再利用广义差分方法。 2(1)DW 1 2 DW 69 近似估计法2： 对于小样本，Theil给出以下近似公式： K为解释变量个数。 然后再利用广义差分方法 22 22 (1/ 2)(1) (1)

25、 nDWk nk 70 近似估计法3： 利用残差代替随机误差项，计算 再利用广义差分方法 1 2 tt t e e e 71 、科克兰内、科克兰内奥克特迭代方法奥克特迭代方法 步骤: S1.根据样本观察值数据,用OLS方法估计模型,得到样本 回归方程 12 tt YX S2.计算残差et,作为ut 的估计. 12 () ttttt eYYYX S2.用OLS方法求的初次估计值 t t tt e ee 2 1 1 1 72 S4用 对原模型进行广义差分变换，作第一次迭代。得广 义差分模型 1 (1)*(1)(1) 12ttt YXv 用OLS方法估计模型，得到残差序列 并进行自相关检 验。如果无

26、自相关，迭代结束，求得 如果存在自相关，则重复进行上述工作： S5.计算的第二次估计值， t t tt e ee 2 1 1 2 t e S6.用 对原模型进行广义差分变换，作第二次迭代。得广 义差分模型 2 同样的过程可以重复进行，直到 收敛，或达到迭代的预 定上限。 i (2)*(2)(2) 12ttt YXv 12 , 73 、搜索估计法、搜索估计法 又称为希尔德雷思卢估计法。 在区间-1,1中按照一定间隔选取相关系数 然后利用每个 进行广义差分变换，估计相应的广义差分 模型并计算每个模型的残差平方和 从所有模型中选取一个使残差平方和最小的模型，作为最 佳模型。对应的 即为所估计的 该方

27、法的特点： 保证使得残差平方和总体最小，而达到最优。而迭代方法可能仅是 局部最优（与初始值有关） 74 广义差分方法的广义差分方法的eviews实现实现 用OLS估计模型，得残差序列 根据残差序列判断自相关的类型 利用广义差分法估计模型 LS Y C X AR(1) 可以对迭代过程进行控制 方程窗口中,estimate按扭对话框中options在 迭代程序对话框中输入最大迭代次数或收敛精度。 （3）广义差分法案例分析 75 （二）广义最小二乘法GLS（略） 、GLS的基本思想 就是通过对总体方差协方差矩阵的分解，将 回归的残差转变成满足古典假定的残差， 然后使用OLS估计。 可见WLS与广义差

28、分都是的特例 76 、GLS估计 由于是一个正定的对称矩阵，由矩阵代数 的知识，我们知道存在一个满秩矩阵P，使 得 77 2 11111 22 2 1 1 nn nnn nn E(uu | X) = L L PP = 在古典回归方程两边同乘 ，得到 或者 可见 78 1 P -1-1-1 P y = P X+P u * y = X +u -1-1 * -1-1 -12-1 2-1-1 2 E(u u ) = E(P uu (P ) ) = P E(uu )(P ) = P ( )(P ) = P (PP )(P ) = I 显然变换后的模型满足古典假定，因此可 以用OLS对该式进行估计。得到如

29、下结果 79 -1-1-1-1 * = (X X ) (X y ) = (X X) X Y 3、（可行的GLS） p如果已知，那么GLS就是最优的估计方法 p如果未知。必须先对矩阵进行估计，得 到 ，然后再按照上述GLS的方法对回归 模型进行估计，称为FGLS估计。 80 81 三、多重共线性三、多重共线性 1、完全多重共线性 2、多重共线性的定义 3、多重共线性产生的原因 4、多重共线性的后果 5、多重共线性的检验 6、多重共线性的解决方法 7、案例 82 1、完全多重共线性 定义：多元线性回归模型中的解释变量之间， 存在严格的线性关系。 82 对于多元线性回归模型 解释变量之间存在较强的线

30、性关系。或者说存在一组不全 为0的常数 ，使得 p 违反了基本假定 12 , k L 122 0 kk XXL 122kk YXXL 83 1、完全多重共线性 原因：通常是模型设定的失误 后果：此时无法唯一解出确定的参数估计值， 估计的方差无穷大 检验：出错提示 解决：可以放弃部分解释变量。 84 （1）（近似）多重共线性定义（注意修正书上P107-108的 说法） 对于多元线性回归模型 解释变量之间存在较强的线性关系。或者说存在一组不全 为0的常数 ，使得 p 不违反基本假定 2、多重共线性及产生原因 12 , k L 122 0 kk XXL 122kk YXXL 85 （2）多重共线性的

31、原因 变量之间的内在联系(如劳动和资本投入在数量上的必然联系） 经济变量变化趋势的“共向性”（比如经济繁荣时经济指标趋向 增长） 滞后变量的引入 样本资料的原因。 可见，经济变量之间总存在一定程度的线性相关， 因此， 问题不是多重共线性的有无，而是多重共线性的严重程度。 3、多重共线性产生的原因 86 4、 多重共线性的后果多重共线性的后果 好消息！ 近似多重共线性不违反任何假设。可以得到 参数估计值。 OLS估计量仍旧是唯一的，最小方差的线性 无偏估计量。 87 4、 多重共线性的后果多重共线性的后果 后果 增大OLS估计的方差，使得参数估计不稳定， 异常值多。 难以区分每个解释变量的单独影

32、响 t检验的可靠性降低。（单个参数的t检验不 显著，甚至符号相反。） 回归模型缺乏稳定性 22 222 1 ()1 j jijj ji VarVIF XXR x 88 5、多重共线性的检验 多重共线性并不违反经典假设，多重共线 性普遍存在，因此对于不严重的多重共线 性我们无需处理，只有当多重共线性比较 严重时才需要处理。 所以我们检验的不是多重共线性的有无， 而是多重共线性的强弱。下面给出的不是 严格的统计方法,而是基于经验的判断。 89 (1)、相关系数检验 主要针对两个解释变量的情况。 一般，如果两个解释变量简单相关系数比较高 （如，大于0.8)，可以认为存在较严重的多重 共线性 注意，该

33、方法对解释变量多于两个时，不一定 有效。此时变量之间两两相关系数很低，也可 能存在严重的多重共线性。 90 (2)、辅助回归模型检验 当模型解释变量个数多于两个，而且呈现 复杂相关关系时采用 用每一个解释变量对其他解释变量构造辅助回 归方程来检验多重共线性。 如果方程整体显著（F)，则表明存在多重共线 性。 若有 ,则怀疑有多重共线性 看辅助回归方程的拟合度 的大小。 1221111jjjjjKK XXXXX LL 2 j R 2 j R 2 R 91 (3)方差膨胀因子检验 分析思路： 多重共线性使得参数估计方差放大。通过 考察参数估计被放大的程度，判断模型存 在多重共线性的程度。 可以推出

34、，在多元回归中有: 22 222 1 ()1 j jijj ji VarVIF XXR x 92 当 时， 当 时， 方差扩大因子，记作 常以方差扩大因子是否大于10来判断第j个解释变 量是否存在较强的、必须加以处理的多重共线性。 对应的辅助方程的判决系数为0.9 2 0 j R 2 2 j ji V ar x 2 01 j R 22 222 1 1 j j jiji Var R xx 2 1 1 j j VIF b R 93 R2 00.50.80.90.950.980.990.999 VIF 1251020501001000 当完全共线时，R21，VIF无穷大 94 与VIF等价的指标。“

35、容许度”判别 显然， 一般当TOL0.1，认为模型存在较严重的多 重共线性。 2 1 1 jj TOLR VIF 01 j TOL 95 看参数估计量的符号、数值是否与理论相 符和？如果与定性分析结果违背，可能可 能存在多重共线性。（当然也可能模型设 定出现了问题） 若回归整体显著性F拒绝H0，但参数t检验 多数都不显著。 当增加或者剔除一个解释变量，回归参数 的估计值和标准差发生较大变化。 (4)、直观判断 (5)特征值检验(略） 根据矩阵代数知识，矩阵的特征值为矩阵 的特征根的乘积。 96 121 X X / CI k L 病态数： 最大特征值 最小特征值 病态指数： 97 6、多重共线性的解决方法 基本原则 如果建模目的是预测，则模型的拟合优度较高， 并且相关关系保持不变，就可以忽略多重共线性 问题。如果建模目的是结构分析，则需要消除多 重共线性的影响。 引起多重共线性的原因是模型存在相关的解释 变量，因此消除多重共线的根本方法只能是删除 这些变量，但剔除变量要要谨慎。否则，去掉了 重要的变量，经济意义不合理，或