应用回归分析,第4章课后习题参考答案

第4章违背基本假设的情况思考与练习参考答案试举例说明产生异方差的原因。答：例4.1：截面资料下研究居民家庭的储蓄行为Yi=Po+PlXi+ei其中：Yi表示第i个家庭的储蓄额，Xi表示第i个家庭的可支配收入。由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以£,的方差呈现单调递增型变化。例4.2：以某一行业的企业为样本建立企业生产函数模型乍人尸笛卩2Lpe£)被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项£的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。异方差带来的后果有哪些？答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果：1、参数估计量非有效2、变量的显著性检验失去意义3、回归方程的应用效果极不理想总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差

的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。加权最小二乘法的方法：Q=迟w(y一y)2=Xw(y一0—0x)2

wiiiii01i1N_i=1_乙w.(x.—xw)(y.-y)iiwiwp1w=p1wX(x-J_)2.wi=1p0w=yp0wwlwww=.=.=.oTkx2w=.=.=.oTkx2x2...1或o2=kxm,w=iiixm.简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数w,i以调整各项在平方和中的作用，加权最小二乘的离差平方和为：Q(P,P,…,P)=Xw(y-P-PxpX)2(2)w01pii01i1pipi=1加权最小二乘估计就是寻找参数P,P，…,P的估计值P,P，…,P使式(2)01p0w1wpw的离差平方和Q达极小。所得加权最小二乘经验回归方程记做w

TOC\o"1-5"\h\zy=0+0xh0x（3）w0wlw1pwp多元回归模型加权最小二乘法的方法：首先找到权数w.，理论上最优的权数w为误差项方差Q2的倒数，即1iiw=（4）iQ2i误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用；误差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的加权最小二乘估计0,0，…,0就是参数0,0，…,0的最小方差线性无偏估0wlwpw01p计。一个需要解决的问题是误差项的方差Q2是未知的，因此无法真正按照式（4）i选取权数。在实际问题中误差项方差Q2通常与自变量的水平有关（如误差项方差iQ2随着自变量的增大而增大），可以利用这种关系确定权数。例如Q2与第j个自TOC\o"1-5"\h\zii变量取值的平方成比例时，即Q2=kx2时,这时取权数为iij(5)1(5)w=—iX2ij更一般的情况是误差项方差Qi2与某个自变量Xj（与|ei的等级相关系数最大的自变量）取值的幂函数Xm成比例，即Q2=kXm，其中m是待定的未知参数。此jiij时权数为1w=1Xmij这时确定权数w的问题转化为确定幂参数m的问题，可以借助SPSS软件解决。i4.5(4.5)证明:得:式一元加权最小二乘回归系数估计公式。=另4.5(4.5)证明:得:式一元加权最小二乘回归系数估计公式。=另w（y-y）2=ii1=0d00*八w(y-0—卩x)2iii01ii=1翌=01w(x一x)(y-y)iiwiwi=1-另w(x-x)2iiwi=1卩i=1卩0=y一卩x0w1w证明：对于多元线性回归模型y=X卩+&(1)BE(e)=0,COV(£,£‘)=◎2W，即存在异方差。设W=DD；0'D=「,0…托丿用D-1左乘(1)式两边，得到一个新的的模型：D-iy=D-iXp+D-ie，即y*=X*0+e*。因为E(ee‘)=E(D-iee'D-1)=D-iE(ee')D-i'=D-io2WD-1=02I，故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得卩=(X*'X*)-1X*'y*=(XD-i'D-iX)-iXD-i'D-iy=(XWX)-1XWyw原式得证。4.7有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间的差异就越大。你是否同意这位同学的观点？说明原因。答：不同意。当回归模型存在异方差时，加权最小二乘估计(WLS)只是普通最小二乘估计(OLS)的改进，这种改进可能是细微的，不能理解为WLS一定会得到与OLS截然不同的方程来，或者大幅度的改进。实际上可以构造这样的数据，回归模型存在很强的异方差，但WLS与OLS的结果一样。加权最小二乘法不会消除异方差，只是消除异方差的不良影响，从而对模型进行一点改进。4.8对例4.3的数据，用公式e'=；We计算出加权变换残差e'，绘制iwiiwiw

加权变换残差图，根据绘制出的图形说明加权最小二乘估计的效果。解：用公式e'■we计算出加权变换残差e'，分别绘制加权最小二乘估计后iwiiwiw的残差图和加权变换残差图（见下图）。GOO.COOOO—400.C0000根据绘制出的两个图形可以发现加权最小二乘估计没有消除异方差，只是对原OLS的残差有所改善，而经过加权变换后的残差不存在异方差。200.00000200.00000o.moooo.mooo-200X0000-400.00000—-600.CO0001000020000其30000400000.40—0.2J—0.00—-0.2□—1DDD0300DD斗-200X0000-400.00000—-600.CO0001000020000其30000400000.40—0.2J—0.00—-0.2□—1DDD0300DD斗DDOO20000X4.9参见参考文献[2],表4.12(P138)是用电高峰每小时用电量y与每月总用电量x的数据。用普通最小二乘法建立y与x的回归方程，并画出残差散点图。解：SPSS输出结果如下：CoefficientsMaedelUnstandardizedCoefficientsStandardizedCoefficientstSigBStdErrorBeta1(Constant)-.831.442-1.882.065x.004.000.83911.030.000a.DependentVariable:y由上表可得回归方程为：y=-0.831+0.004x残差图为：0.00000普通残差0.00000普通残差诊断该问题是否存在异方差；解：a由残差散点图可以明显看出存在异方差，误差的方差随着x的增加而增大。

b用SPSS做等级相关系数的检验，结果如下表所示:CorrelationsxabseiSpearman'srhoxCorrelationCoefficient1.000.318*Sig.(2-tailed).021N5353abseiCorrelationCoefficient.318*1.000Sig.(2-tailed).021N5353*•Correlationissignificantatthe0.05level(2-tailed).得到等级相关系数rs0.318,卩值=o.o2i,认为残差绝对值匕|与自变量兀）显著相关，存在异方差。（3）如果存在异方差，用幂指数型的权函数建立加权最小二乘回归方程；解：SPSS输出结果如图：Sourcevariable.,xPOWERvalue=-2.000POWERvalue=-1.500POWERvalue=-1.000PQWtRvalue=-占UUPOWERvalue=.000POWERvalue=.500POWERvalue=1.QQ0POWEF^value=1.500POWERvalue=2.000Log-likelihoodFunction=POWERvalue=-2.000POWERvalue=-1.500POWERvalue=-1.000PQWtRvalue=-占UUPOWERvalue=.000POWERvalue=.500POWERvalue=1.QQ0POWEF^value=1.500POWERvalue=2.000TheValueofPOWERMaxiniizingLog-Iikelihood「unction=MultipleR..81185RSquare.65910AdjustedRSquare.B5241日tandardError.00791AnalysisofVarian-Ge:□FSumo-fSquaresMeanSquareRegression1.0061752300617523R&siduals51.0031^39700006263F=98.60364SignifF=.0000Variablesinthe-Equatio-nVariabls日SESB&taTSigTx.00355^.000358.811S499.930.0000(Constant)&83^1-63297&S9-2.29G.0258Log-likelihoodFiin-ction=-91.587860

Coefficientsa,bUnstandardizedStandardizedtSigBStdErrorUUUBeta1(Constant)-.683.298-2.296.026x0040008129930000DependentVariable:yWeightedLeastSquaresRegression-WeightedbyWeightforyfromWLS,M0D_2x**-1.500由上述表可得，在m=L5时对数似然函数达到最大，则幂指数的最优取值为m=1.5。加权后的回归方程为：y=-0.683+0.004x。w计算加权后的残差，并对残差绝对值和自变量做等级相关系数分析，结果如下表所示：rs=°・321，P值为0.019V0.05，即加权最小二乘法没有消除异方差，只是消除s异方差的不良影响，从而对模型进行一点改进。CorrelationsxabseiwSpearman'srhoxCorrelationCoefficient1.000.321*Sig.(2-tailed)..019N5353abseiwCorrelationCoefficient.321*1.000Sig.(2-tailed).019.N5353*.Correlationissignificantatthe0.05level(2-tailed).（4）用方差稳定变换y=占消除异方差。解：对应变量做方差稳定变换（y'=刁）后，用最小二乘法做回归，SPSS结果如下表：CoefficientsaModelUnstandardizedCoefficientsStandardizedCoefficientstSigBStdErrorBeta1(Constant).582.1304.481.000x.001.000.8059.699.000a.DependentVariable:sqrty则回归方程为：y'=0.5822+0.0009529x。保存预测值y'，计算出残差的绝对值后，计算等级相关系数，见下表:iCorrelationsxeeiiSpearman'srhoxCorrelationCoefficient1.000.160Sig.(2-tailed).254N5353eeiiCorrelationCoefficient.1601.000Sig.(2-tailed).254N5353其中r二0.160，P值=0.254>0.05,说明异方差已经消除。s试举一可能产生随机误差项序列相关的经济例子。答：例如，居民总消费函数模型：Ct=®0+卩1Yt+ett=l,2,…,n由于居民收入对消费影响有滞后性，而且今年消费水平受上年消费水平影响，则可能出现序列相关性。另外由于消费习惯的影响被包含在随机误差项中，则可能出现序列相关性（往往是正相关）。序列相关性带来的严重后果是什么？答：直接用普通最小二乘法估计随机误差项存在序列相关性的线性回归模型未知参数时，会产生下列一些问题：参数估计量仍然是无偏的，但不具有有效性，因为有自相关性时参数估计值的方差大于无自相关性时的方差。均方误差MSE可能严重低估误差项的方差变量的显著性检验失去意义：在变量的显著性检验中，统计量是建立在参数方差正确估计基础之上的，当参数方差严重低估时，容易导致t值和F值偏大，即可能导致得出回归参数统计检验和回归方程检验显著，但实际并不显著的严重错误结论。当存在序列相关时，P仍然是0的无偏估计，但在任一特定的样本中，P可能严重歪曲卩的真实情况，即最小二乘法对抽样波动变得非常敏感

5.模型的预测和结构分析失效。5.模型的预测和结构分析失效。4.12总结DW检验的优缺点。答：优点：1.应用广泛，一般的计算机软件都可以计算出DW值；适用于小样本；可用于检验随机扰动项具有一阶自回归形式的序列相关问题。缺点：1.DW检验有两个不能确定的区域，一旦DW值落入该区域，就无法判断。此时，只有增大样本容量或选取其他方法；DW统计量的上、下界表要求n>15,这是由于样本如果再小，利用残差就很难对自相关性的存在做出比较正确的诊断；DW检验不适应随机项具有高阶序列相关性的检验。4.13表4・13中是某软件公司月销售额数据，其中，x为总公司的月销售额（万元）；y为某分公司的月销售额（万元）。（1）用普通最小二乘法建立y与x的回归方程；ModelSummaryModelRRSquareAdjustedRSquareStd.ErroroftheEstimateDurbinWatson1.999a.998.998.09744.663Predictors:(Constant),总公司月销售额xDependentVariable:某分公司月销售额y回归系数表aModelUnstandardizedCoefficientsStandardizedCoefficientstSigBStdErrorBeta1(Constant)-1.435.242-5.930.000总公司月销售额x.176.002.999107.928.000a.DependentVariable:某分公司月销售额y由上表可知：用普通二乘法建立的回归方程为y=-1・435+0.176x（2）用残差图及DW检验诊断序列的相关性；1•以自变量x为横轴，普通残差为纵轴画残差图如下：

0.200000.100000.00000-0.10000-0.20000120.0180.0130.0140.0150.0160.0170.00.200000.100000.00000-0.10000-0.20000120.0180.0总公司月销售额X从图中可以看到，残差有规律的变化，呈现大致反W形状，说明随机误差项存在自相关性。2•以e（残差1）为横坐标，e（残差）为纵坐标，绘制散点图如下：i1i0.200000.100000.00000-0.10000-0.200000.20000-0.20000-0.100000.000000.100000.200000.100000.00000-0.10000-0.200000.20000残差1

由残差图可见大部分的点落在第一、三象限内，表明随机扰动项£存在着正的序i列相关；3.从下表ModelSummaryModelRRSquareAdjustedRSquareStd.ErroroftheEstimateDurbinWatson1.999a.998.998.09744.663Predictors:(Constant),总公司月销售额xDependentVariable:某分公司月销售额y可知DW值为0.663,查DW表,n=20,k=2,显著性水平a=0.05,得d=1.20,d=1.41,LU由于0.663<1.20,知DW值落入正相关区域，即残差序列存在正的自相关。（3）用迭代法处理序列相关,并建立回归方程。自相关系数p-1--x0.663二0.66852令y=y-py，x=x-px，然后用y对x作普通最小二乘回归可得输出ttt-1ttt-1tt结果如下：CoefficientsaModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)-.300.178-1.689.109x2.173.003.99749.673.000a.DependentVariable:y2ANOVAbModelSumofSquaresdfMeanSquareFSig.1Regression13.133113.1332467.405.000aResidual.09017.005Total13.22418Predictors:(Constant),x2DependentVariable:y2ModelSummaryModelRRSquareAdjustedRSquareStd.ErroroftheEstimateDurbinWatson1.997a.993.993.072961.360Predictors:(Constant),x2DependentVariable:y2可看到新的回归方程的DW=1.360.且1.18<1.360<1.40,因而DW检验落入不确定区域此时，一步迭代误差项的标准差为0.07296,小于e的标准差0.097tTOC\o"1-5"\h\zfffffy对x的回归方程为y=-0.3+0.173x，将y=y-0.6685y，ttttttt-1fxf=x-0.6685x代人，还原为原始变量的方程ttt-1y=-0.3+0.6685y+0.173x-0.1157xtt-1tt-1由于一步迭代的DW检验落入不确定区域，因而可以考虑对数据进行二步迭代，也ff就是对x和y重复以上迭代过程。进行回归结果如下：ttModelSummaryModelRRSquareAdjustedRSquareStd.ErroroftheEstimateDurbinWatson1.995a.989.989.068491.696Predictors:(Constant),x3DependentVariable:y3ANOVABModelSumofSquaresdfMeanSquareFSig1Regression6.99416.9941491.093.000aResidual.07516.005Total7.06917Predictors:(Constant),x3DependentVariable:y3此时DW的值为1.696,查DW表，n=18,k=2,显著性水平a=0.05，得d=1.16,Ld=1.39,DW值大于d，小于2,落入无自相关区域。误差标准项0.0849，略UU小于一步迭代的标准差0.7296。但是在检验都通过的情况下，由于一步迭代的r2值和F值均大于两步迭代后的值，且根据取模型简约的原则，最终选择一步迭代的结果，即：y=-0.3+0.6685y+0.173x-0.1157xtt-1tt-14）用一阶差分的方法处理数据，建立回归方程；先计算差分Ay=y-y,Ax=x-x，然后用Ay对Ax做过原点的最小二乘回ttt-1ttt-1tt归，结果如下：ModelSummary,dModelRRSquare3AdjustedRSquareStd.ErroroftheEstimateDurbinWatson1.990b.981.980.075761.462Forregressionthroughtheorigin(theno-interceptmodel),RSquaremeasurestheproportionofthevariabilityinthedependentvariableabouttheoriginexplainedbyregression.ThisCANNOTbecomparedtoRSquareformodelswhichincludeanintercept.Predictors:x2DependentVariable:y2LinearRegressionthroughtheOriginCoefficientsa,bModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1x2.169.006.99030.461.000aDependentVariable:y2b.LinearRegressionthroughtheOriginANOVgdModelSumofSquaresdfMeanSquareFSig1Regression5.32515.325927.854.000aResidual.10318.006Total5.429b19Predictors:x2Thistotalsumofsquaresisnotcorrectedfortheconstantbecausetheconstantiszeroforregressionthroughtheorigin.DependentVariable:y2LinearRegressionthroughtheOriginf由上面表，可知DW值为1.462>1.40二d,即DW落入不相关区域，可知残差序列eUt不存在自相关，一阶差分法成功地消除了序列自相关。同时得到回归方程为Ay=0.169Ax，tt将Ay=y-y，Ax=x-x，代人，还原原始变量的方程ttt-1ttt-1y=y+0.169(x-x)tt-1tt-1（5）比较普通最小二乘法所得的回归方程和迭代法、一阶差分法所建立回归方程的优良性。答：本题中自相关系数PQ0.6685，不接近于1,不适宜用差分法，另外由迭代法的F值及r2都大于差分法的值，故差分法的效果低于迭代法的效果；而普通最小二乘法的随机误差项标准差为0.09744，大于迭代的随机误差项标准差0.07296，所以迭代的效果要优于普通最小二乘法，所以本题中一次迭代法最好。4.14某乐队经理研究其乐队CD盘的销售额（y）,两个有关的影响变量是每周出场次x1和乐队网站的周点击率x2,数据见表4・14。（1）用普通最小二乘法建立y与xl、x2的回归方程，用残差图及DW检验诊断序列的自相关性；解：将数据输入SPSS，经过线性回归得到结果如下：ModelSummary（b）ModelRRSquareAdjustedRSquareStd.ErroroftheEstimateDurbin-Watson1.541(a).293.264329.69302.745aPredictors:(Constant),x2,x1bDependentVariable:yANOVA(b)ModelSumofSquaresdfMeanSquareFSig.1Regression2205551.67821102775.83910.145.000(a)Residual5326177.03649108697.491Total7531728.71451aPredictors:(Constant),x2,x1bDependentVariable:yCoefficientsModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)-574.062349.271-1.644.107x1191.09873.309.3452.607.012x22.045.911.2972.246.029a.DependentVariable:y

由以上3个表可知普通最小二乘法建立y与xl、x2的回归方程，通过了r、F、t检验，说明回归方程显著。y与x1、x2的回归方程为：y=-574.062+191.098x1+2.045x2残差图ei(et)〜eil(et-])为：600.00000400.00000200.000000.00000e-200.00000-400.00000-600.00000-800.00000-800.00000-600.00000-400.00000-200.000000.00000200.00000400.00000600.00000UnstandardizedResidual从残差图可以看出残差集中在1、3象限，说明随机误差项存在一阶正自相关。DW=0.745查表得dl=1.46du=1.63,OvDWvdl,所以随机误差项存在一阶正自相关。用迭代法处理序列相关，并建立回归方程。p=1-0.5DW=0.6275做变换：X1：=X1t-pX1(t-1),X2t'=X2t-PX2(t-1)yt'=yt-pyt-1建立yt'与x1t'，x2t'的回归方程,spss输出为：

ModelSummaryModelRRSquareAdjustedRSquareStd.ErroroftheEstimateDurbinWatson1.688a.473.451257.855611.716Predictors:(Constant),x2tt,