线性回归模型的异方差问题

线性回归模型的异方差问题第1页，共47页，2023年，2月20日，星期二9.1一元线性回归分析－总结（一元线性回归的思想）总体一元线性回归方程:样本一元线性回归方程：以样本统计量估计总体参数斜率（回归系数）截距(估计的回归方程)（一元线性回归方程）第2页，共47页，2023年，2月20日，星期二一元线性回归方程中参数a、b的确定：最小二乘法基本数学要求：一元线性回归分析－总结（回归系数的计算方法）第3页，共47页，2023年，2月20日，星期二整理得到由两个关于a、b的二元一次方程组成的方程组：进一步整理，有：一元线性回归分析－总结（回归系数的计算公式）第4页，共47页，2023年，2月20日，星期二残差之和为零所拟合直线通过样本散点图的重心误差项与解释变量不相关a与b分别是总体回归系数的无偏估计量a与b均为服从正态分布的随机变量一元线性回归分析－总结（最小二乘法的优良性质）第5页，共47页，2023年，2月20日，星期二b与r的关系：

r＞0r＜0r=0b＞0b＜0 b=0一元线性回归分析－总结（相关系数与回归系数的差别）第6页，共47页，2023年，2月20日，星期二假定1

回归模型参数是线性的，但不一定是变量线性的，回归模型形式如下：一元线性回归分析－回归的假定条件假定2

解释变量X与扰动误差项u不相关。但是，如果X是非随机的，则该假定自然满足。第7页，共47页，2023年，2月20日，星期二一元线性回归分析－回归的假定条件假定3给定X，扰动误差项u的数学期望或均值为0，即E（u|X）＝0。XY0＋u－u＋u＋u－u－uE(Y|X)=α+β*X第8页，共47页，2023年，2月20日，星期二一元线性回归分析－回归的假定条件假定4误差扰动项u的方差为常数，即Var（u）＝σ2，称之为同方差(homoscedasticity)同方差的含义：每个Y值以相同的方差分布在其均值周围，即Y偏离其均值的程度相同。XY0＋u－u＋u＋u－u－uE(Y|X)=α+β*XXY0＋u－u＋u＋u－u－uE(Y|X)=α+β*X同方差(homoscedasticity)异方差(heteroscedasticity)第9页，共47页，2023年，2月20日，星期二一元线性回归分析－回归的假定条件假定5无自相关假定，即两个误差项之间不相关。Cov（ui,uj）=0。正相关负相关不相关ujuiujuiujui第10页，共47页，2023年，2月20日，星期二假定6

回归模型是正确设定的，即实证分析的模型不存在设定误差或设定错误。一元线性回归分析－回归的假定条件假定7

在总体回归函数中，误差项u服从均值为0，方差为σ2的正态分布。即u～N(0，σ2)中心极限定理独立同分布的随机变量，随着变量个数的无限增加，其和的分布近似服从正态分布。第11页，共47页，2023年，2月20日，星期二虽然古典线性回归模型强调了同方差假定，但在实践中无法保证总能够满足。本章内容就是讨论同方差假定不满足条件下，回归模型可能会出现的问题，以及如何解决问题：异方差有什么性质？异方差的后果是什么？如何诊断存在异方差？如果存在异方差，如何解决？异方差性－回归问题的引入第12页，共47页，2023年，2月20日，星期二9.2异方差的性质SalesR&DProfit

SalesR&DProfit6375.362.5185.180552.86620.113869.911626.492.91596.595249.03918.64487.814665.1178.3276.8101314.11595.310278.921869.2258.42828.1116141.36107.58787.326408.3494.72225.9122315.74454.116438.832405.61083.03751.9141649.93163.89761.435107.71620.62884.1175025.813210.719774.540295.4421.74645.7241434.81703.823168.570761.6509.25036.4293543.09528.218415.4例9.1美国创新研究：1988年美国研究与开发费用支出第13页，共47页，2023年，2月20日，星期二9.2异方差的性质例9.1美国创新研究：销售对研究与开发的影响R&D＝266.2575+0.030878*Salesse＝(1002.963)(0.008347)t＝(0.265471)(3.699508)p＝(0.7940)(0.0019)R2

＝0.461032从回归结果可以看出：（1）随着销售额的增加，R&D也逐渐增加，即销售额每增加一百万美元，研发相应的增加3.1万美元。（2）随着销售额的增加，R&D支出围绕样本回归线的波动也逐渐变大，表现出异方差性。^第14页，共47页，2023年，2月20日，星期二9.2异方差的性质－方程回归结果图第15页，共47页，2023年，2月20日，星期二9.2异方差的性质－残差与观察值（销售额）关系图第16页，共47页，2023年，2月20日，星期二9.2异方差的性质从残差图可以看出：残差的绝对值随着销售额的增加而增加。尽管残差ei与扰动项ui是两个不同的概念，根据ei的变化并不能断言ui的方差也是变化的。但是，实践中很难观察到ui，只能利用检验ei的变动来推断ui的变化。

问题：如何理解残差ei与扰动项ui两个概念的差别？第17页，共47页，2023年，2月20日，星期二9.3异方差的后果如果CLRM其它假设保持不变，放松同方差假定，允许扰动项方差随观察值而异，异方差有如下后果：1、OLS估计量仍是线性的。2、OLS估计量仍是无偏的。3、OLS估计量不再具有最小方差性，即不再是有效的。4、根据常用估计OLS估计量方差的公式得到的方差通常是有偏的，无法先验地辨别偏差是正的还是负的。如果OLS高估了估计量的真实方差，则产生正的偏差，如果OLS低估了估计量的真实方差，则产生负的偏差。第18页，共47页，2023年，2月20日，星期二9.3异方差的后果如果CLRM其它假设保持不变，放松同方差假定，允许扰动项方差随观察值而异，异方差有如下后果：1、OLS估计量仍是线性的，是指关于随机变量Y线性的。第19页，共47页，2023年，2月20日，星期二9.3异方差的后果

5、方差的产生是由于，不再是真实σ2的无偏估计量，因为在计算OLS估计量的方差时已经用了。6、建立在t分布与F分布之上的置信区间和假设检验是不可靠的。如果沿用传统的假设检验方法，则很可能得出错误的结论。第20页，共47页，2023年，2月20日，星期二3.2一元线性回归分析－普通最小二乘估计量的方差与标准误差系数估计量的误差：是既然估计量是通过样本计算出来的，因此随着样本的变化，这些估计量是存在抽样变异性的，其变异性是由估计量的方差或其标注误差来度量。σ2是误差扰动项u的方差，但是在多数情况下它是未知的。第21页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法1：图形检验法例子不同收入阶层人群的消费状况。不同收入阶层的消费方差很可能是不同的。异方差的诊断方法：1、残差的图形检验：即考虑解释变量X与误差ei之间的关系。从例9.1看出随着Sales增大，误差ei的平方呈逐渐增大趋势。第22页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法1：图形诊断法第23页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法2：帕克(R.E.Park)检验法如果存在异方差，则异方差σi2可能与一个或多个解释变量系统有关。是否相关，做σi2对一个或多个解释变量X的回归。例如，在一元回归模型中进行如下回归：其中，vi是残差项。此即为帕克检验。在许多情况下，是无法知道σi2的，因此就用ei代替ui，建立如下回归模型：(9.1)(9.2)ei2可以从原始回归模型中得到。第24页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法2：帕克(R.E.Park)检验法帕克检验步骤：做普通最小二乘回归，不考虑异方差问题；从原始回归方程求得残差ei，并求其平方，再取对数形式；利用原始模型中得一个解释变量做形如(9.2)的回归，如果有多个解释变量，则对每个解释变量做形如(9.2)的回归，或者做ei2对Y估计值的回归；检验零假设B2＝0，即不存在异方差。如果lnei2和lnXi之间是统计显著的，则拒绝零假设，表示存在异方差的可能。如果接受零假设，则回归方程中的B1可以理解为同方差σi2的一个给定值。Park检验的弱点在哪？第25页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法3：格莱泽(Glejser)检验法该检验方法实际上与帕克检验方法类似，从原始模型中获得残差ei后，格莱泽所做的回归模型的方程不同，他采取的是下列函数形式：(9.3)(9.4)(9.5)Gleiser检验与Park检验存在同样的弱点。第26页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法4：怀特(White)检验法1、首先用普通最小二乘法估计方程(9.6)，获得残差ei2、做如下辅助回归：(9.6)(9.7)(9.8)3、求辅助回归方程(9.7)的R2值，在不存在异方差的原假设下，怀特证明了从方程(9.7)中得到的R2值与样本容量(n)的积服从χ2分布，自由度等于方程(9.7)中解释变量的个数。第27页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法4：怀特(White)检验法4、如果从方程(9.8)中得到的χ2值超过了所选显著水平的χ2临界值，或者说计算χ2的p值很低，则拒绝原假设：不存在异方差。p值大，则不能拒绝原假设。(9.8)第28页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法4：怀特(White)检验法样本容量为19，自由度为2，19*0.179238=3.41则χ22=2.77(α=25％)<3.41<χ22=4.61(α=10％)，存在异方差的可能性还是较大的。第29页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法4：怀特(White)检验法第30页，共47页，2023年，2月20日，星期二9.4异方差的诊断－方法4：怀特(White)检验法怀特检验的缺陷在于它过于一般化，如果有若干个解释变量，那么在回归方程中要包括这些变量，变量的平方以及它们的交叉乘积项，就会迅速的消耗自由度。因此，在回归模型(9.7)中，引入太多变量时，必须谨慎。有时可以去掉回归模型(9.7)中的交叉乘积项。第31页，共47页，2023年，2月20日，星期二9.5异方差的解决办法解决异方差的方法就是对原始模型进行变量代换，使得异方差的模型变为同方差的模型。采取的办法就是取决于真实方差σi2是已知还是未知的：

（1）当σi2已知时：加权最小二乘法(9.9)(9.10)第32页，共47页，2023年，2月20日，星期二9.5异方差的解决办法(9.10)(9.11)第33页，共47页，2023年，2月20日，星期二9.5异方差的解决办法

（2）当σi2未知时：作变量代换情形1：如果误差方差与Xi成比例，作平方根变换用OLS法进行估计，把回归的残差对解释变量X作图，看误差方差与X之间是否线性相关，或者说与X成比例，即

σ2i=E(ui2)=k*Xi(9.11)(9.12)第34页，共47页，2023年，2月20日，星期二9.5异方差的解决办法

（2）当σi2未知时：作变量代换情形2：如果误差方差与X2i成比例，作倒数变换用OLS法进行估计，把回归的残差对解释变量X作图，看误差方差与X2之间是否线性相关，或者说与X2成比例，即

σ2i=E(ui2)=σ2*X2i(9.13)(9.14)第35页，共47页，2023年，2月20日，星期二9.5异方差的解决办法

（3）重新建立模型

除了推测σi2以外，有时也可以通过重新建立PRF模型消除异方差。例如，利用双对数模型，半对数模型等。但实际上，选择更合适的模型更加困难。第36页，共47页，2023年，2月20日，星期二异方差问题的概念异方差问题的来源异方差问题的后果OLS估计量仍是线性的OLS估计量仍是无偏的OLS估计量不再具有方差最小性，即有效性不再存在。根据常用估计OLS估计量方差公式得到的方差通常是有偏的。无法先验的辨别偏差是正的还是负的。方差的产生是由于不再是真实σ2的无偏估计量。建立在t分布和F分布之上的置信区间和假设检验是不可靠的，即沿用经典的假设检验方法，则很可能得到错误结论。9.6异方差问题的总结第37页，共47页，2023年，2月20日，星期二异方差诊断方法图形检验法帕克（R.E.Park）检验法格莱泽(Glejser)检验法怀特（White）检验法解决异方差问题的方法已知σ2，对原始方程两边同除以σ未知σ2，对原始方程两边同除以(Xi)1/2未知σ2，对原始方程两边同除以(1/Xi)改变方程形式，重新建立方程9.6异方差问题的总结第38页，共47页，2023年，2月20日，星期二9.7异方差问题例子例9.2《经济计量学精要》p.306.13－9Ln(R&D)＝-7.2828+1.3144*ln(Sales)se＝(1.86167)(0.16924)t＝(-3.91198)(7.76697)p＝(0.0012)(0.0000)R2

＝0.790373从回归结果可以看出：（1）在双对数模型中，R&D支出与销售额正相关，即销售额每增加1%，研发相应的增加1.3%。第39页，共47页，2023年，2月20日，星期二9.7异方差问题例子例9.2《经济计量学精要》p.306.13－9Sales与残差resid作图：第40页，共47页，2023年，2月20日，星期二9.7异方差问题例子例9.2《经济计量学精要》p.306.13－9Sales与残差resid作图：第41页，共47页，2023年，2月20日，星期二9.7异方差问题例子例9.2《经济计量学精要》p.306.13－9

对回归的残差进行帕克检验和格莱泽检验，得出什么结论？Park检验：ln(e2)=3.4125+0.9377*ln(Sales)se=(4.9726)(0.4520)t=(0.6863)(2.0744)p=(0.5024)(0.0545)R2=0.2119从Park检验可知，回归模型存在异方差。第42页，共47页，2023年，2月20日，星期二9.7异方差问题例子例9.2《经济计量学精要》p.306.13－9

对回归的残差进行帕克检验和格莱泽检验，得出什么结论？Glejser检验：|e2|=573.5345+0.0124*(Sales)p=(0.4071)(0.0418)|e2|=-522.8083+8.175*(Sales)^(1/2)p=(0.6069)(0.0263)|e2|=2135.75-19863530*(1/Sales)p=(0.00