应用回归分析课后习题参考题

1、-.-第二章一元线性回归分析思虑与练习参照答案2.1一元线性回归有哪些基本假定?答：假定1、解说变量X是确立性变量，Y是随机变量；假定2、随机偏差项拥有零均值、同方差和不序列有关性：i)=0i=1,2,nE(Var(i)=2i=1,2,nCov()=0iji,j=1,2,ni,j假定3、随机偏差项与解说变量X之间不有关：Cov(Xi,i)=0i=1,2,n假定4、遵从零均值、同方差、零协方差的正态分布i2)i=1,2,nN(0,2.2考虑过原点的线性回归模型i1iii=1,2,nY=X+（）仍满足基本假定。求1的最小二乘预计偏差ii=1,2,n解：n?2n?2Qe(Yi(YiXi)Yi)1i1

2、i1Qen?1Xi)Xi2(Yi0?i11n?(XiYi)得：i11n2)(Xii12.3证明（2.27式），ei=0，eiXi=0。n?2n?2Q(Yi(Yi(Xi)Yi)01证明：11QQ?001XieiYi?此中：Yi0Yi01即：ei，ii=0eX=0word可编写.-.-2.4回归方程E（Y）=0+1X的参数0，1的最小二乘预计与最大似然预计在什么条件低等价?给出证明。答：因为iN(0,2)i=1,2,n所以Yi=0+1i（01i2)X+iN+X,最大似然函数：2n2n/21n2L(0,1,)1fi(Yi)(2)expYi(i2010,Xi)2i12)nln(22)1n0,Xi)2L

3、nL(0,1,Yi(01222i1使得Ln（L）最大的?0，?1就是0，1的最大似然预计值。同时发现使得Ln（L）最大就是使得下式最小，nn?Q?)2(Yi()2(YiYi01Xi11上式恰巧就是最小二乘预计的目标函数相同。值得注意的是：最大似然预计是在iN(0,2)的假定下求得，最小二乘预计则不要求分布假定。所以在iN(0,2)的条件下，参数0，1的最小二乘预计与最大似然估计等价。2.5证明?0是0的无偏预计。1nYinXiX证明：E(?0)E(Y?1X)EXLxxYi)ni1i1nEi11XiXn)YiE(XnLxxi11XiX(XLxx)(01Xii)nn1XiXn1XiXE0(XLxx

4、)i0(X)E(i)0i1ni1nLxx2.6证明1X21X2Var(?0)(n)22()nXi2nLxx证明：i1XnVar(?0)Vari11XiXn)Yi(XnLxxi11XiX2Var(01Xii)(X)Lxxword可编写.-.-n(1)22XXiX(XXiX)221X22i1nnLxxLxxnLxx2.7证明平方和分解公式：SST=SSE+SSR证明：n2n?2SSTYiYYiYYi)(Yii1i1n?2n?n?2Y2YiYYiYiYi)(YiYi)i1i1i1n?2n?2YYiSSEi1Yii1Yi)SSR2.8考证三种检验的关系，即考证：（1）SSR/1?2t(n2)r；（）L

5、xx1t21r22FSSE/(n2)?2证明：（1）?Lxx?rLyyLxxrLyyn2rn2rt?2LxxSSE(Lxx(n2)SSE(n2)SSESST1r2（2）n?2n?2n?2n?2?2SSRy)(y)(yx)y)(xix)Lxx(yi01xi1(xi11i1i1i1i1FSSR/1?12Lxxt2/(2)?2SSEn2.9考证（2.63）式：Var(ei)(11(xix)22nLxx)证明：var(ei)var(yi?var(yi)?)yi)var(yi)2cov(yi,yivar(yi)var(?0?1xi)2cov(yi,y?1(xix)221(xix)2221(xix)2nL

6、xxnLxx11(xix)22Lxxword可编写.-Cov(yi,y?1(xix)此中：Cov(yi,1nyi)(xini112(xix)22nLxx.-Cov(yi,y)Cov(yi,?1(xix)n(xix)x)Cov(yi,Lxxyi)i11(xix)2)2(Lxxn2ei22.10用第9题证明?n2是2的无偏预计量证明：?21n1nE()?22)E(yiy)E(ein2i1n2i11n1n1(xix)22var(ei)n2i1n2i11Lxxn1(n2)22n22.14为了检查某广告对销售收入的影响，某商铺记录了5个月的销售收入y（万元）和广告花费x（万元），数据见表2.6，要求用手

7、工计算：2.6月份12345X12345Y10102020401）画散点图（略）2）X与Y能否大概呈线性关系？答：从散点图看，X与Y大概呈线性关系。3）用最小二乘法预计求出回归方程。计算表XY(XiX)2(YiY)2(XiX)(YiY)?Y)2?Yi)2Yi(Yi(Yi1104100206（-14）2（-4）221011001013（-7）2（3）2320000200042010027727254044004034142（-6）2word可编写.-.-和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110均3均20均20?Lxy707,?Y?X20371.1

8、Lxx1001?X17X回归方程为：Y01（4）求回归标准偏差先求SSR（Qe）见计算表。所以Qe110?6.055.n23第三章3.3证明?2SSEnp1随机偏差项的方差2的无偏预计。证明:111n?2SSE(ee)ei2,np1np1np1i1nnnnnE(ei2)D(ei)2(1hii)2(1hii)2(nhii)2(np1)i1i1i1i1i11nE(?2)E(ei2)2np1i13.4一个回归方程的复有关系数R=0.99，样本决定系数R2=0.9801，我们能判断这个回归方程就很理想吗？答：不可以判定这个回归方程理想。因为：在样本容量较少，变量个数较大时，决定系数的值简单凑近1，而此

9、时可能F检验或许对于回归系数的t检验，所成立的回归方程都没能经过。2.样本决定系数和复有关系数凑近于1只好说明Y与自变量X1,X2,Xp整体上的线性关系成立，而不可以判断回归方程和每个自变量是明显的，还需进行F检验和t检验。在应用过程中发现，在样本容量必定的状况下，假如在模型中增word可编写.-.-加解说变量必然使得自由度减少，使得R2常常增大，所以增添解释变量（特别是不明显的解说变量）个数惹起的R2的增大与拟合利害没关。3.7考证?j*Ljj?j,j1,2,.,pLyynXj)2此中:Ljj(Xiji1证明：多元线性回归方程模型的一般形式为：y01x12x2pxp其经验回归方程式为y?x?

10、x2?xp，0112p又故?y?，01x12x2pxpy?y?1(x1x1)?2(x2x2)?p(xpxp)，中心化后，则有?xp)，y1(x1x1)2(x2x2)p(xpyi左右同时除以Lyyny)2，(yii1nxj)2,i,n，j1,2,p令Ljj(xij1,2,i1?(xi1x1)L?(xi2x2)L?(xx)Lpp22ippyiy11Lyy1L11Lyy2L22LyypLppLyy样本数据标准化的公式为xijxijxj,yiyiy,i1,2,n，j1,2,pLjjLyy则上式能够记为yi?L11xi1?L22xi2?Lpp1Lyy2LyypxipLyy?xi1?xi2?xip12pw

11、ord可编写.-.-则有?jLjj?j,j1,2,pLyy3.11研究货运总量y（万吨）与工业总产值x1（亿元）、农业总产值x2（亿元）、居民非商品支出x3（亿元）的关系。数据见表3.9（略）。（1）计算出y，x1，x2，x3的有关系数矩阵。SPSS输出以下：有关系数表PearsonCorrelationSig.(2-tailed)Nx1PearsonCorrelationSig.(2-tailed)Nx2PearsonCorrelationSig.(2-tailed)Nx3PearsonCorrelationSig.(2-tailed)Nyx1x2x31.556.731*.724*.095.

12、016.01810101010.5561.113.398.095.756.25410101010.731*.1131.547.016.756.10110101010.724*.398.5471.018.254.10110101010*.Correlationissignificantatthe0.05level(2-tailed).1.0000.5560.7310.7240.5561.0000.1130.398r则有关系数矩阵为：0.7310.1131.0000.5470.7240.3980.5471.000（2）求出y与x1，x2，x3的三元回归方程。word可编写.-.-Coefficie

13、ntsaUnstandardizedStandardizedCoefficientsCoefficientsModelBStd.ErrorBetatSig.1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942.100 x27.1012.880.5352.465.049x312.44710.569.2771.178.284a.DependentVariable:y对数据利用SPSS做线性回归，获取回归方程为?348.383.754x17.101x212.447x3y（3）对所求的方程作拟合优度检验。ModelSummaryAdjust

14、edStd.ErrorofModelRRSquareRSquaretheEstimate1.898a.806.70823.44188a.Predictors:(Constant),x3,x1,x2由上表可知，调整后的决定系数为0.708，说明回归方程对样本观察值的拟合程度较好。（4）对回归方程作明显性检验；方差分析表bModel平方和自由度均方FSig.1回归13655.37034551.7908.283.015a残差3297.1306549.522总和16952.5009Predictors:(Constant),x3,x1,x2DependentVariable:y原假定：H0:1230F

15、统计量遵从自由度为（3，6）的F分布，给定明显性水平=0.05，查表得F0.05(3.6)4.76,由方查分析表得，F值=8.2834.76，p值=0.015，拒绝原假定H0，由方差分析表能够获取F8.283,P0.0150.05，说明word可编写.-.-在置信水平为95%下，回归方程明显。5）对每一个回归系数作明显性检验；归系数表aUnstandardizedStandardizedCoefficientsCoefficientsModelBStd.ErrorBetatSig.1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942

16、.100 x27.1012.880.5352.465.049x312.44710.569.2771.178.284a.DependentVariable:y做t检验：设原假定为H0:i0，ti统计量遵从自由度为n-p-1的t分布，给定明显性水平0.05，查得单侧检验临界值为1.943，X1的t值=1.9421.943。拒绝原假定。由上表可得，在明显性水平0.05时，只有x2的P值0.05,经过检验，即只有x2的回归系数较为明显；其他自变量的P值均大于0.05，即x1，x2的系数均不明显。第四章4.3简述用加权最小二乘法除去一元线性回归中异方差性的思想与方法。答：一般最小二乘预计就是找寻参数的预

17、计值使离差平方和达极小。此中每个平方项的权数相同，是一般最小二乘回归参数预计方法。在偏差项等方差不有关的条件下，一般最小二乘预计是回归参数的最小方差线性无偏预计。但是在异方差的条件下，平方和中的每一项的地位是不相同的，偏差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因此一般最小二乘预计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍旧是的无偏预计，但不再是最小方差线性无偏预计。所以就是：对较大word可编写.-.-的残差平方给予较小的权数，对较小的残差平方给予较大的权数。这样对残差所供给信息的重要程度作一番校订，以提升参数预计的精度。

18、加权最小二乘法的方法：N?2N?2Qwwi(yi)wi(yi01xi)yii1i1N_?=iwi(xixw)(yiyw)1N_1wi=1(xixw)2_?1_0wywxwwwi1i2kxi21表示12kxi2xi2i或i2kxim,wi1xim4.4简述用加权最小二乘法除去多元线性回归中异方差性的思想与方法。答：运用加权最小二乘法除去多元线性回归中异方差性的思想与一元线性回归的近似。多元线性回归加权最小二乘法是在平方和中加入一个合适的权数wi，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：npxip)2（2）Qw(0,1,p)wi(yi01xi1i1加权最小二乘预计就是找寻参数0,1

19、,p的预计值?0w,?1w,?pw使式（2）的离差平方和Qw达极小。所得加权最小二乘经验回归方程记做?（3）y?w0w1wx1pwxp多元回归模型加权最小二乘法的方法:第一找到权数wi，理论上最优的权数wi为偏差项方差i2的倒数,即word可编写.-.-1（4）wi2i偏差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用;误差项方差小的项接受大的权数，以提升其在平方和中的作用。由（2）式求出的加权最小二乘预计?0w,?1w,?pw就是参数0,1,p的最小方差线性无偏估计。一个需要解决的问题是偏差项的方差i2是未知的,所以没法真实依据式（4）采纳权数。在实质问题中偏差项方差i2平常与自

20、变量的水平有关(如偏差项方差i2跟着自变量的增大而增大),能够利用这类关系确立权数。比方i2与第j个自变量取值的平方成比率时,即i2=kxij2时,这时取权数为wi1（5）xij2更一般的状况是偏差项方差i2与某个自变量xj(与|ei|的等级有关系数最大的自变量)取值的幂函数xijm成比率，即i2=kxijm,此中m是待定的未知参数。此时权数为wi1（6）xijm这时确立权数wi的问题转变成确立幂参数m的问题，能够借助SPSS软件解决。N2N?2Qw?wi(yi)wi(yiyi)01xii1i14.5（4.5）式一元加权最小二乘回归系数预计公式。证明：NNQw?2?)2wi(yiyi)wi(y

21、i01xii1i1word可编写.-.-nwi(xixw)(yiyw)Q?i1nQ001?2?wi(xixw0)1i1?yw?01xw4.6考证（4.8）式多元加权最小二乘回归系数预计公式。证明：对于多元线性回归模型y=X+,（1）E()0,cov(,)2W，即存在异方差。设WDD,w10D，0wn用D1左乘（1）式两边，获取一个新的的模型：D1y=D1X+D1，即y=X+。因为E()E(D1D-1)D1E()D-1D12WD-12I，故新的模型拥有同方差性，故能够用广义最小二乘法预计该模型，得?1111111(XX)Xy(XDDX)XDDy(XWX)XWyw原式得证。4.7有同学以为当数据存

22、在异方差时，加权最小二乘回归方程与一般最小二乘回归方程之间必然有很大的差异，异方差越严重，二者之间的差异就越大。你能否赞同这位同学的看法？说明原由。答：不一样意。当回归模型存在异方差时，加权最小二乘预计（WLS）不过一般最小二乘预计（OLS）的改良，这类改良可能是细微的，不可以理解为WLS必定会获取与OLS截然相反的方程来，或许大幅度的改良。实质上能够结构这样的word可编写.-.-数据，回归模型存在很强的异方差，但WLS与OLS的结果相同。加权最小二乘法不会除去异方差，不过除去异方差的不良影响，从而对模型进行一点改良。第五章5.4试述行进法的思想方法。答：行进法的基本思想方法是：第一因变量Y

23、对所有的自变量x1,x2,.,xm成立m个一元线性回归方程,并计算F检验值，选择偏回归平方和明显的变量（F值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时成立m1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和明显的两变量变量F值最大且大于临界值）进入回归方程。在确立引入的两个自变量此后，再引入一个变量，成立m2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和明显的三个变量（F值最大）进入回归方程。不停重复这一过程，直到没法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值F(1,n-p-1)，回归过程结束。5.5试述退后法的思想方法。答：退后法的基本思想是：第一因变量Y对所有的自变量x1,x2,.,xm成立一个m元线性回归方程,并计算t检验值和F检验值，选择最不明显（P值最大且大于临界值）的偏回归系数的自变量剔除出回归方程。每一步只剔除一个变量，再成立m1元线性回归方程，计算t检验值和F检验值，剔除偏回归系数的t检验值最小（P值最大）的自变量，再成立新的回归方程。不停重复这一过程，直到没法剔除自变量时，即所有节余p个自变量的F检验值均大于F检验临界值F(1,n-p-1)，回归过程结束。5.6行进法、退后法各有