应用回归分析课后习题参考

第二章一元线性回归剖析思虑与练习参照答案2.1一元性回有哪些基本假定?答：假1、解量X是确立性量，Y是随机量；假2、随机差ε拥有零均、同方差和不序列有关性：E(ε)=0i=1,2,⋯,niVar(i)=ε2i=1,2,⋯,nCov(εε)=0i≠ji,j=1,2,⋯,ni,j假3、随机差ε与解量X之不有关：Cov(Xi,iε)=0i=1,2,⋯,n假4、ε听从零均、同方差、零方差的正散布i2)i=1,2,⋯,nε~N(0,2.2考原点的性回模型Y=βX+εi=1,2,⋯,ni1ii差εi（i=1,2,⋯）,n仍足基本假定。求β1的最小二乘估解：n?2n?2Qe(YiXi)Yi)(Yi1i1i1Qen?1Xi)Xi2(Yi0?i11n?(XiYi)得：i11n2)(Xii12.3明（2.27式），e=0，eXi=0。iin?2n??2Q(Yi(Yi(Xi))Yi)01明：11QQ???eiYi?00??此中：Yi01XiYi01即：ei=0，eiXi=02.4回归方程E（Y）=β0+β1X的参数β0，β1的最小二乘预计与最大似然预计在什么条件低等价?给出证明。答：因为εi~N(0,2)i=1,2,⋯,n所以Yi=β0+β1iε（β0β1i2)X+i~N+X,最大似然函数：2n2n/21n2L(0,1,)1fi(Yi)(2)exp{[Yi(}i2010,Xi)]2i12)}nln(22)1n0,Xi)]2Ln{L(0,1,[Yi(01222i1使得Ln（L）最大的?0，?1就是β0，β1的最大似然预计值。同时发现使得Ln（L）最大就是使得下式最小，nn??Q?)2(Yi(Xi))2(YiYi0111上式恰巧就是最小二乘预计的目标函数同样。值得注意的是：最大似然估计是在εi~N(0,2)的假定下求得，最小二乘预计则不要求散布假定。所以在εi~N(0,2)的条件下，参数β0，β1的最小二乘预计与最大似然估计等价。2.5证明?是β的无偏预计。01nYinXiX证明：E(?0)E(Y?1X)E[XLxxYi)ni1i1nE[i1

1XiXn)Yi]E[(XnLxxi1

1XiX(XLxx)(01Xii)]nn1XiXn1XiXE[0(XLxx)i]0(X)E(i)0i1ni1nLxx2.6证明1X21X2Var(?0)(n)22()nXi2nLxx证明：i1XnVar(?0)Var[i1

1XiXn)Yi][(XnLxxi1

1XiX2Var(01Xii)](X)Lxxn[(1)22XXiX(XXiX)2]2[1X2]2i1nnLxxLxxnLxx2.7证明平方和分解公式：SST=SSE+SSR证明：n2n??2SSTYiY[YiY]Yi)(Yii1i1n?2n??n?2Y2YiYYiYiYi)(YiYi)i1i1i1n?2n?2YYiSSEi1Yii1Yi)SSR2.8考证三种查验的关系，即考证：（1）(n2)r；（）SSR/1?22tFLt1r22SSE/(n2)?2证明：（1）?Lxx?rLyyLxxrLyyn2rn2rt??2LxxSSE(Lxx(n2))SSE(n2)SSESST1r2（2）n2n??2n?2n?2?2(?)()(())(())SSRy01xiyy1xixy1xix1Lxxi1yii1i1i1SSR/1?2Lxx2Fgt/(2)?2SSEn2.9考证（2.63）式：Var(ei)(11(xix)22nLxx)证明：var(ei)var(yi?var(yi)??)yi)var(yi)2cov(yi,yivar(yi)var(?0?1xi)2cov(yi,y?1(xix))221(xix)222[1(xix)2[Lxx]nLxx]n[11(xix)2]2LxxCov(yi,y?1(xix))Cov(yi,y)Cov(yi,?1(xix))此中：1nn(xix)Cov(yi,ni1yi)(xix)Cov(yi,iLxxyi)112(xix)22(1(xix)2)2nLxxnLxx?2ei22的无偏预计量n2是2.10用第9题证明证明：E(?2)1nE(yi?21n2)n2i1y)n2i1E(ei1n1n1(xix)22var(ei)[1]n2i1n2i1nLxx12(n2)22n2.14为了检查某广告对销售收入的影响，某商铺记录了5个月的销售收入y（万元）和广告花费x（万元），数据见表2.6，要求用手工计算：表2.6月份12345X12345Y10102020401）画散点图（略）2）X与Y能否大概呈线性关系？答：从散点图看，X与Y大概呈线性关系。3）用最小二乘法预计求出回归方程。计算表XY(XiX)2(YiY)2(XiX)(YiY)??Y)2Yi(Yi1104100206（-14）221011001013（-7）2320000200420100277254044004034142

2(Y?iYi)-4）23）2072-6）2和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110均3均20均20?Lxy707,?Y?X20371.1Lxx1001???X17X回归方程为：Y01（4）求回归标准偏差先求SSR（Qe）见计算表。所以Qe110?6.055.n23第三章3.3明?2SSEnp1随机差ε的方差2的无偏估。明:111nQ?2SSE(ee)ei2,np1np1np1i1nnnnnE(ei2)D(ei)2(1hii)2(1hii)2(nhii)2(np1)i1i1i1i1i11nE(?2)E(ei2)2np1i13.4一个回方程的复有关系数R=0.99，本决定系数R2=0.9801，我能判断个回方程就很理想？答：不可以判定个回方程理想。因：在本容量少，量个数大，决定系数的简单靠近1，而此可能F或许对于回系数的t，所成立的回方程都没能通。2.本决定系数和复有关系数靠近于1只好明Y与自量X1,X2,⋯,Xp整体上的性关系成立，而不可以判断回方程和每个自量是著的，需行F和t。在用程中，在本容量必定的状况下，假如在模型中增加解说变量必然使得自由度减少，使得R2常常增大，所以增添解释变量（特别是不明显的解说变量）个数惹起的R2的增大与拟合利害没关。3.7考证?j*Ljj?j,j1,2,...,pLyynXj)2此中:Ljj(Xiji1证明：多元线性回归方程模型的一般形式为：y01x12x2Lpxp其经验回归方程式为y???x?x2L?xp，0112p又?0y?1x1?2x2L?pxp，故y?y?1(x1x1)?2(x2x2)L?p(xpxp)，中心化后，则有????xp)，y1(x1x1)2(x2x2)Lp(xpyi左右同时除以ny)2，Lyy(yii1n(xijxj)2,i令Ljj1,2,L,n，j1,2,L,pi1??(xi1x1)L?(xi2x2)L?(xx)Lpp22yiy11LLyy1Lyy2L22LyypLppLyyL11样本数据标准化的公式为xij

xij

xj

,yi

yi

y

,i

，1,2,L,n

j

1,2,L,pLjj

Lyy则上式能够记为yi?L11xi1?L22xi2L?Lpp1Lyy2LyypxipLyy?xi1?xi2L?xip12p则有?jLjj?j,j1,2,L,pLyy3.11研究货运总量y（万吨）与工业总产值x1（亿元）、农业总产值x2（亿元）、居民非商品支出x3（亿元）的关系。数据见表3.9（略）。（1）计算出y，x1，x2，x3的有关系数矩阵。SPSS输出以下：有关系数表PearsonCorrelationSig.(2-tailed)Nx1PearsonCorrelationSig.(2-tailed)Nx2PearsonCorrelationSig.(2-tailed)Nx3PearsonCorrelationSig.(2-tailed)N

yx1x2x31.556.731*.724*.095.016.01810101010.5561.113.398.095.756.25410101010.731*.1131.547.016.756.10110101010.724*.398.5471.018.254.10110101010*.Correlationissignificantatthe0.05level(2-tailed).1.0000.5560.7310.7240.5561.0000.1130.398r则有关系数矩阵为：0.7310.1131.0000.5470.7240.3980.5471.000（2）求出y与x1，x2，x3的三元回归方程。CoefficientsaUnstandardizedStandardizedCoefficientsCoefficientsModelBStd.ErrorBetatSig.1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942.100x27.1012.880.5352.465.049x312.44710.569.2771.178.284a.DependentVariable:y对数据利用SPSS做线性回归，获得回归方程为?348.383.754x17.101x212.447x3y（3）对所求的方程作拟合优度查验。ModelSumm

aryModel1

Ra

RSquare.806

AdjustedRSquare.708

Std.ErroroftheEstimate23.44188a.Predictors:(Constant),x3,x1,x2由上表可知，调整后的决定系数为0.708，说明回归方程对样本观察值的拟合程度较好。（4）对回归方程作明显性查验；方差剖析表bModel平方和自由度均方FSig.1回归13655.37034551.7908.283.015a残差3297.1306549.522总和16952.5009Predictors:(Constant),x3,x1,x2DependentVariable:y原假定：H0:1230F统计量听从自由度为（3，6）的F散布，给定明显性水平=0.05，查表得F0.05(3.6)4.76,由方查剖析表得，F值=8.283>4.76，p值=0.015，拒绝原假定H0，由方差剖析表能够获得F8.283,P0.0150.05，说明在置信水平为95%下，回归方程明显。5）对每一个回归系数作明显性查验；回归系数表aUnstandardizedStandardizedCoefficientsCoefficientsModelBStd.ErrorBetatSig.1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942.100x27.1012.880.5352.465.049x312.44710.569.2771.178.284a.DependentVariable:y做t查验：设原假定为H0:i0，ti统计量听从自由度为n-p-1＝６的t散布，给定明显性水平0.05，查得单侧查验临界值为1.943，X1的t值=1.942<1.943，处在否认域边沿。X2的t值＝2.465>1.943。拒绝原假定。由上表可得，在明显性水平0.05时，只有x2的P值<0.05,经过查验，即只有x2的回归系数较为明显；其他自变量的P值均大于0.05，即x1，x2的系数均不明显。第四章4.3简述用加权最小二乘法除去一元线性回归中异方差性的思想与方法。答：一般最小二乘预计就是找寻参数的预计值使离差平方和达极小。此中每个平方项的权数同样，是一般最小二乘回归参数预计方法。在偏差项等方差不有关的条件下，一般最小二乘预计是回归参数的最小方差线性无偏预计。但是在异方差的条件下，平方和中的每一项的地位是不同样的，偏差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因此一般最小二乘预计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍旧是的无偏预计，但不再是最小方差线性无偏预计。所以就是：对较大的残差平方给予较小的权数，对较小的残差平方给予较大的权数。这样对残差所供给信息的重要程度作一番校订，以提升参数预计的精度。加权最小二乘法的方法：N?2N??2Qwwi(yi)wi(yi01xi)yii1i1N__?=iwi(xixw)(yiyw)1N_1wi=1(xixw)2_?1_0wywwxwwi1i2kxi21表示12kxi2xi2i或i2kxim,wi1xim4.4简述用加权最小二乘法除去多元线性回归中异方差性的思想与方法。答：运用加权最小二乘法除去多元线性回归中异方差性的思想与一元线性回归的近似。多元线性回归加权最小二乘法是在平方和中加入一个适合的权数wi，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：npxip)2Qw(0,1,,p)wi(yi01xi1（2）i1加权最小二乘预计就是找寻参数0,1,,p的预计值?0w,?1w,,?pw使式（2）的离差平方和Qw达极小。所得加权最小二乘经验回归方程记做????（）1wx1pwxpyw0w3多元回归模型加权最小二乘法的方法:第一找到权数wi，理论上最优的权数wi为偏差项方差i2的倒数,即1（4）wi2i偏差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用;误差项方差小的项接受大的权数，以提升其在平方和中的作用。由（2）式求出的加权最小二乘预计?0w,?1w,,?pw就是参数0,1,,p的最小方差线性无偏估计。一个需要解决的问题是偏差项的方差i2是未知的,所以没法真实依据式（4）选用权数。在实质问题中偏差项方差i2往常与自变量的水平有关(如偏差项方差i2跟着自变量的增大而增大),能够利用这类关系确立权数。比如i2与第j个自变量取值的平方成比率时,即i2=kxij2时,这时取权数为wi1（5）xij2更一般的状况是偏差项方差i2与某个自变量xj(与|ei|的等级有关系数最大的自变量)取值的幂函数xijm成比率，即i2=kxijm,此中m是待定的未知参数。此时权数为wi1（6）xijm这时确立权数wi的问题转变为确立幂参数m的问题，能够借助SPSS软件解决。N2N??2Qw?)wi(yi)wi(yiyi01xii1i14.5（4.5）式一元加权最小二乘回归系数预计公式。证明：NNQw?)2??)2wi(yiyiwi(yi01xii1i1nwi(xixw)(yiyw)Q?i1nQ001?2?wi(xixw0)1i1?yw?01xw4.6考证（4.8）式多元加权最小二乘回归系数预计公式。证明：对于多元线性回归模型y=Xβ+ε,（1）E(ε)0,cov(εε,)2W，即存在异方差。设WDD,w1K0DMO，M0Lwn用D1左乘（1）式两边，获得一个新的的模型：D1y=D1Xβ+D1ε，即y=Xβ+ε。因为E(εε)E(1-1)1E(εε)-112-12，DεεDDDWDID故新的模型拥有同方差性，故能够用广义最小二乘法预计该模型，得?(XX)1Xy(XD1D1X)1XD111XWyβwDy(XWX)原式得证。4.7有同学以为当数据存在异方差时，加权最小二乘回归方程与一般最小二乘回归方程之间必然有很大的差别，异方差越严重，二者之间的差别就越大。你能否赞同这位同学的看法？说明原由。答：不一样意。当回归模型存在异方差时，加权最小二乘预计（WLS）不过一般最小二乘预计（OLS）的改良，这类改良可能是细微的，不可以理解为WLS必定会获得与OLS截然相反的方程来，或许大幅度的改良。实质上能够结构这样的数据，回归模型存在很强的异方差，但WLS与OLS的结果同样。加权最小二乘法不会除去异方差，不过除去异方差的不良影响，进而对模型进行一点改良。第五章5.4试述行进法的思想方法。答：行进法的基本思想方法是：第一因变量

Y对所有的自变量

x1,x2,...,xm

成立m个一元线性回归方程,并计算F查验值，选择偏回归平方和明显的变量（F值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时成立m－1个二元线性回归方程，计算它们的F查验值，选择偏回归平方和明显的两变量变量F值最大且大于临界值）进入回归方程。在确立引入的两个自变量此后，再引入一个变量，成立m－2个三元线性回归方程，计算它们的F查验值，选择偏回归平方和明显的三个变量（F值最大）进入回归方程。不停重复这一过程，直到没法再引入新的自变量时，即所有未被引入的自变量的F查验值均小于F查验临界值Fα(1,n-p-1)，回归过程结束。5.5试述退后法的思想方法。答：退后法的基本思想是：第一因变量Y对所有的自变量x1,x2,...,xm成立一个m元线性回归方程,并计算t查验值和F查验值，选择最不明显（P值最大且大于临界值）的偏回归系