应用回归分析,第4章课后习题参考的答案

...wd......wd......wd...第4章违背基本假设的情况思考与练习参考答案4.1试举例说明产生异方差的原因。答：例4.1：截面资料下研究居民家庭的储蓄行为Yi=0+1Xi+εi其中：Yi表示第i个家庭的储蓄额，Xi表示第i个家庭的可支配收入。由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额那么更有规律性，差异较小，所以εi的方差呈现单调递增型变化。例4.2：以某一行业的企业为样本建设企业生产函数模型Yi=Ai1Ki2Li3eεi被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。4.2异方差带来的后果有哪些答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生以下不良后果：1、参数估计量非有效2、变量的显著性检验失去意义3、回归方程的应用效果极不理想总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。4.3简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数一样，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不一样的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。加权最小二乘法的方法：4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中参加一个适当的权数，以调整各项在平方和中的作用，加权最小二乘的离差平方和为： 〔2〕加权最小二乘估计就是寻找参数的估计值使式〔2〕的离差平方和达极小。所得加权最小二乘经历回归方程记做〔3〕多元回归模型加权最小二乘法的方法:首先找到权数，理论上最优的权数为误差项方差的倒数,即〔4〕误差项方差大的项承受小的权数，以降低其在式〔2〕平方和中的作用;误差项方差小的项承受大的权数，以提高其在平方和中的作用。由〔2〕式求出的加权最小二乘估计就是参数的最小方差线性无偏估计。一个需要解决的问题是误差项的方差是未知的,因此无法真正按照式〔4〕选取权数。在实际问题中误差项方差通常与自变量的水平有关(如误差项方差随着自变量的增大而增大),可以利用这种关系确定权数。例如与第j个自变量取值的平方成比例时,即=k时,这时取权数为〔5〕更一般的情况是误差项方差与某个自变量(与|ei|的等级相关系数最大的自变量)取值的幂函数成比例，即=k,其中m是待定的未知参数。此时权数为〔6〕这时确定权数的问题转化为确定幂参数m的问题，可以借助SPSS软件解决。4.5〔4.5〕式一元加权最小二乘回归系数估计公式。证明：由得：4.6验证〔4.8〕式多元加权最小二乘回归系数估计公式。证明：对于多元线性回归模型〔1〕，即存在异方差。设，用左乘〔1〕式两边，得到一个新的的模型：，即。因为，故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得原式得证。4.7有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间的差异就越大。你是否同意这位同学的观点说明原因。答：不同意。当回归模型存在异方差时，加权最小二乘估计〔WLS〕只是普通最小二乘估计〔OLS〕的改进，这种改进可能是细微的，不能理解为WLS一定会得到与OLS截然不同的方程来，或者大幅度的改进。实际上可以构造这样的数据，回归模型存在很强的异方差，但WLS与OLS的结果一样。加权最小二乘法不会消除异方差，只是消除异方差的不良影响，从而对模型进展一点改进。4.8对例4.3的数据，用公式计算出加权变换残差，绘制加权变换残差图，根据绘制出的图形说明加权最小二乘估计的效果。解：用公式计算出加权变换残差，分别绘制加权最小二乘估计后的残差图和加权变换残差图〔见以以下列图〕。根据绘制出的两个图形可以发现加权最小二乘估计没有消除异方差，只是对原OLS的残差有所改善，而经过加权变换后的残差不存在异方差。4.9参见参考文献[2]，表4.12〔P138〕是用电顶峰每小时用电量y与每月总用电量x的数据。〔1〕用普通最小二乘法建设y与x的回归方程，并画出残差散点图。解：SPSS输出结果如下：由上表可得回归方程为：残差图为：〔2〕诊断该问题是否存在异方差；解：a由残差散点图可以明显看出存在异方差，误差的方差随着的增加而增大。b用SPSS做等级相关系数的检验，结果如下表所示：得到等级相关系数，P值=0.021，认为残差绝对值与自变量显著相关，存在异方差。〔3〕如果存在异方差，用幂指数型的权函数建设加权最小二乘回归方程；解：SPSS输出结果如图：CoefficientsCoefficientsa,b-.683.298-2.296.026.004.000.8129.930.000(Constant)xModel1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.DependentVariable:ya.WeightedLeastSquaresRegression-WeightedbyWeightforyfromWLS,MOD_2x**-1.500b.由上述表可得，在时对数似然函数到达最大，那么幂指数的最优取值为。加权后的回归方程为：。计算加权后的残差，并对残差绝对值和自变量做等级相关系数分析，结果如下表所示：，P值为0.019<0.05，即加权最小二乘法没有消除异方差，只是消除异方差的不良影响，从而对模型进展一点改进。CorrelationsCorrelations1.000.321*..0195353.321*1.000.019.5353CorrelationCoefficientSig.(2-tailed)NCorrelationCoefficientSig.(2-tailed)NxabseiwSpearman'srhoxabseiwCorrelationissignificantatthe0.05level(2-tailed).*.〔4〕用方差稳定变换消除异方差。解：对应变量做方差稳定变换〔〕后，用最小二乘法做回归，SPSS结果如下表：CoefficientsCoefficientsa.582.1304.481.000.001.000.8059.699.000(Constant)xModel1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.DependentVariable:sqrtya.那么回归方程为：。保存预测值，计算出残差的绝对值后，计算等级相关系数，见下表：其中，P值=0.254>0.05，说明异方差已经消除。4.10试举一可能产生随机误差项序列相关的经济例子。答：例如，居民总消费函数模型：Ct=0+1Yt+εtt=1,2,…,n由于居民收入对消费影响有滞后性，而且今年消费水平受上年消费水平影响，那么可能出现序列相关性。另外由于消费习惯的影响被包含在随机误差项中，那么可能出现序列相关性〔往往是正相关〕。序列相关性带来的严重后果是什么答：直接用普通最小二乘法估计随机误差项存在序列相关性的线性回归模型未知参数时，会产生以下一些问题：参数估计量仍然是无偏的，但不具有有效性，因为有自相关性时参数估计值的方差大于无自相关性时的方差。均方误差MSE可能严重低估误差项的方差变量的显著性检验失去意义：在变量的显著性检验中，统计量是建设在参数方差正确估计根基之上的，当参数方差严重低估时，容易导致t值和F值偏大，即可能导致得出回归参数统计检验和回归方程检验显著，但实际并不显著的严重错误结论。当存在序列相关时，仍然是的无偏估计，但在任一特定的样本中，可能严重歪曲的真实情况，即最小二乘法对抽样波动变得非常敏感模型的预测和构造分析失效。总结DW检验的优缺点。答：优点：1.应用广泛，一般的计算机软件都可以计算出DW值；2.适用于小样本；3.可用于检验随机扰动项具有一阶自回归形式的序列相关问题。缺点：1.DW检验有两个不能确定的区域，一旦DW值落入该区域，就无法判断。此时，只有增大样本容量或选取其他方法；2.DW统计量的上、下界表要求n>15，这是由于样本如果再小，利用残差就很难对自相关性的存在做出比较正确的诊断；3.DW检验不适应随机项具有高阶序列相关性的检验。4.13表4.13中是某软件公司月销售额数据，其中，x为总公司的月销售额〔万元〕;y为某分公司的月销售额〔万元〕。〔1〕用普通最小二乘法建设y与x的回归方程；由上表可知：用普通二乘法建设的回归方程为〔2〕用残差图及DW检验诊断序列的相关性；1.以自变量x为横轴，普通残差为纵轴画残差图如下：从图中可以看到，残差有规律的变化，呈现大致反W形状，说明随机误差项存在自相关性。2.以〔残差1〕为横坐标，〔残差〕为纵坐标，绘制散点图如下：由残差图可见大局部的点落在第一、三象限内，说明随机扰动项存在着正的序列相关；3.从下表可知DW值为0.663，查DW表，n=20,k=2,显著性水平=0.05，得=1.20,=1.41,由于0.663<1.20,知DW值落入正相关区域，即残差序列存在正的自相关。〔3〕用迭代法处理序列相关，并建设回归方程。自相关系数令，，然后用对作普通最小二乘回归可得输出结果如下：可看到新的回归方程的DW=1.360.且1.18<1.360<1.40,因而DW检验落入不确定区域此时，一步迭代误差项的标准差为0.07296，小于的标准差0.097对的回归方程为=-0.3+0.173，将=-0.6685，=-0.6685代人，复原为原始变量的方程=-0.3+0.6685+0.173-0.1157由于一步迭代的DW检验落入不确定区域，因而可以考虑对数据进展二步迭代，也就是对和重复以上迭代过程。进展回归结果如下：此时DW的值为1.696，查DW表，n=18，k=2，显著性水平=0.05，得=1.16,=1.39,DW值大于，小于2，落入无自相关区域。误差标准项0.0849，略小于一步迭代的标准差0.7296。但是在检验都通过的情况下，由于一步迭代的值和F值均大于两步迭代后的值，且根据取模型简约的原那么，最终选择一步迭代的结果，即：=-0.3+0.6685+0.173-0.1157〔4〕用一阶差分的方法处理数据，建设回归方程；先计算差分=-，=-，然后用对做过原点的最小二乘回归，结果如下：由上面表，可知DW值为1.462>1.40=，即DW落入不相关区域，可知残差序列不存在自相关，一阶差分法成功地消除了序列自相关。同时得到回归方程为=0.169，将=-，=-，代人，复原原始变量的方程=+0.169〔-〕〔5〕比较普通最小二乘法所得的回归方程和迭代法、一阶差分法所建设回归方程的优良性。答：此题中自相关系数0.6685，不接近于1，不适宜用差分法，另外由迭代法的F值及都大于差分法的值，故差分法的效果低于迭代法的效果；而普通最小二乘法的随机误差项标准差为0.09744，大于迭代的随机误差项标准差0.07296，所以迭代的效果要优于普通最小二乘法，所以此题中一次迭代法最好。4.14某乐队经理研究其乐队CD盘的销售额〔y〕，两个有关的影响变量是每周出场次x1和乐队网站的周点击率x2，数据见表4.14。〔1〕用普通最小二乘法建设y与x1、x2的回归方程，用残差图及DW检验诊断序列的自相关性；解：将数据输入SPSS，经过线性回归得到结果如下： ModelSummary(b)ModelRRSquareAdjustedRSquareStd.ErroroftheEstimateDurbin-Watson1.541(a).293.264329.69302.745aPredictors:(Constant),x2,x1bDependentVariable:yANOVA(b)ModelSumofSquaresdfMeanSquareFSig.1Regression2205551.67821102775.83910.145.000(a)Residual5326177.03649108697.491Total7531728.71451aPredictors:(Constant),x2,x1bDependentVariable:y由以上3个表可知普通最小二乘法建设y与x1、x2的回归方程，通过了r、F、t检验，说明回归方程显著。y与x1、x2的回归方程为：y=-574.062+191.098x1+2.045x2残差图ei(et)~ei1(et-1)为：从残差图可以看出残差集中在1、3象限，说明随机误差项存在一阶正自相关。DW=0.745查表得dl=1.46du=1.63,0<DW<dl,所以随机误差项存在一阶正自相关。〔2〕用迭代法处理序列相关，并建设回归方程。ρ=1-0.5DW=0.6275做变换:x1t’=x1t-ρx1(t-1),x2t’=x2t-ρx2(t-1)yt’=yt-ρyt-1建设yt’与x1t’,x2t’的回归方程,SPSS输出为:DW=1.716>du所以误差项间无自相关性。=257.86回归方程为:yt’=-178.775+211.11x1t’+1.436x2t’复原为:yt-0.627y(t-1)=-178.775+211.11*(x1t-0.627x1(t-1))+1.436*(x2t-0.627x2(t-1))(3)用一阶差分法处理序列相关，建设回归方程。 ModelSummary(c,d)ModelRRSquare(a)AdjustedRSquareStd.ErroroftheEstimateDurbin-Watson1.715(b).511.491280.989952.040aForregressionthroughtheorigin(theno-interceptmodel),RSquaremeasurestheproportionofthevariabilityinthedependentvariableabouttheoriginexplainedbyregression.ThisCANNOTbecomparedtoRSquareformodelswhichincludeanintercept.bPredictors:DIFF(x2,1),DIFF(x1,1)cDependentVariable:DIFF(y,1)dLinearRegressionthroughtheOriginDW=2.040>du，所以消除了自相关性，=280.99差分法回归方程为:yt－yt-1=210.117(x1t-x1(t-1))＋1.397(x2t-x2(t-1)).(4)用最大似然法处理序列相关，建设回归方程。用SPSS软件的自回归功能，analyze——>timeseries——>autoregression:=0.631,=258.068,(5)用科克伦-奥克特迭代法处理序列相关，建设回归方程=0.632,=260.560,DW＝1.748。〔6〕用普莱斯-温斯登迭代法处理序列相关，建设回归方程。=0.632,=258.066,DW＝1.746。〔7〕比较以上各方法所建回归方程的优良性。综合以上各方法的模型拟合结果如下表所示：自回归方法DW迭代法0.6275——-179.0211.11.4371.716257.86差分法————0210.11.3972.040280.99准确最大似然0.631-481.7——211.01.436——258.07科克伦-奥克特0.632-479.3——211.11.4351.748260.560普莱斯-温斯登0.631-487.1——211.01.4351.746258.066由上表可看出：DW值都落在了随机误差项无自相关性的区间上，一阶差分法消除自相关最彻底，但因为=0.627,并不接近于1,故得到的方差较大,拟合效果不理想。将几种方法所得到的值进展比较，就可知迭代法的拟合效果最好，以普莱斯-温斯登法次之，差分法最差。4.15说明引起异常值的原因和消除异常值的方法。答：通常引起异常值的原因和消除异常值的方法有以下几条，见表4.10：4.16对第3章习题11做异常值检验。研究货运总量y〔万吨〕与工业总产值x1〔亿元〕、农业总产值x2〔亿元〕、居民非商品支出x3〔亿元〕的关系。〔1〕利用SPSS建设y与x1，x2，x3的三元回归方程，分别计算普通残差，学生化残差，删除残差，删除学生化残差，中心化杠杆值，库克距离，见下表：从表中看到绝对值最大的学生化残差为SRE=2.11556，小于3，但有超过3的个别值，因而根据学生化残差诊断认为存在异常值。绝对值最大的删除学生化残差为3.832，对应为第6个数据，因此判断它为为异常值。第6个数据的中心化杠杆值为0.64，位于第一大，大于2=2=0.6，且库克距离为3.21位于第一大，因而从杠杆值看是第6个数据是自变量的异常值，同时库克距离大于1，故第6个数据为异常值的原因是由自变量异常与因变量异常两个共同原因引起的。编号yX1X2X3残差学生化残差删除残差删除学生化残差1234567891016026021026524022027516027525070756574726878667065354040423845423644421.02.42.03.01.21.54.02.03.23.0-15.4748112.824995.34434-0.0908833.22549-25.19759-17.55450-20.006848.2343518.69545-.893530.627670.26517-.004331.75400-2.11566-1.17348-1.162810.409351.06462-28.35150