一元线性回归分析-思考与练习试题答案解析

专业整理知识分享专业整理知识分享第二章元线性回归分析思考与练习参考答案2.1一元线性回归有哪些基本假定？答：假设1、解释变量X是确定性变量，Y是随机变量；假设2、随机误差项£具有零均值、同方差和不序列相关性:E(计=0i=l,2,...,nVar(气)=02i=],2,...,nCov(s.引=0审i,j=1,2,...,n假设3、随机误差项£与解释变量X之间不相关：Cov(X.,e)=0i=l,2,...,n假设4、£服从零均值、同方差、零协方差的正态分布e~N(0,02)i=1,2,...,n2.2考虑过原点的线性回归模型Y.=^iX.+s.i=1,2,...,n误差sg=i,2,...n仍满足基本假定。求斤的最小二乘估计解：得:2.3证明Q=另(Y-Y)2=刀(Y-pX)2

eiii1ii=1i=1卑=-2才(Y-PX)X=0殆i1ii1'=1另(XY)iiP=1刀(X2)ii=1(2.27式)，Se.=0,SeX.=0。iiiQ二区(Y-Y)2二工(Y—(p+pX))201证明：11其中：Y=0+0Xe=Y—Y01工⑺n+/V[—G=12(A+肚-比=o即：Se.=0,EeX.=0iii完美WORD完美WORD格式专业整理知识分享专业整理知识分享2.4回归方程e(Y)=”o+”iX的参数B0，的最小二乘估计与最大似然估计在什么条件下等价?给出证明。答：由于*i~N(0,^2丿=丄,2，…,n所以Y.=Bo+咕+叶N(0°+0入,o2)最大似然函数：L(P,卩,o2)=口“f(Y)=(2如2)_”/2exp{-丄另[Y-(P+0卩,X)]2}TOC\o"1-5"\h\z01i=1ii202i010i_i=1Ln{L(0,0,o2)}=-nin(2KO2)一寻刀[Y-(0+00,X)]2122o2i010ii=1使得Ln(L)最大的叮01就是”0,B、的最大似然估计值。同时发现使得Ln(L)最大就是使得下式最小，Q=工(Y-Y)2=工(Y-(0+0X))2iii01i11上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在e~N(0,02)的假设下求得，最小二乘估计则不要求分布假设。所以在勺〜N(0,o2)的条件下，参数Bo,B、的最小二乘估计与最大似然估计等价。2.5证明0是Bo的无偏估计。0o证明：E(0)=E(Y-0X)=El1另Y-XY)TOC\o"1-5"\h\z01niLii=1i=1xx=E[刀(丄一XXi-X)Y]=E[另(丄一XXi-X)(0+0X+e)]

nLinL01iiX一X十——)E(e)X一X十——)E(e)=0Li0xx=E[0+刀(丄一XXi-X)e]=0+另(丄一X

0nLi0n

i=1xxi=12.6证明__VM0)=(-+壬)02=o2(1+LL)口0n£(X一X)nLxx证明：ii=1+0X+£)]01iiVar(0)=Var[刀(丄一XXi-X)Y]=[刀(丄一X+0X+£)]01ii0nLinLi=1xxi=1xx

=才[(—)2一2XXi-X+(XXi-X)2]62=[—+X]62nnLLnLi=1xxxxxx2.7证明平方和分解公式：SST=SSE+SSR证明SST=刀Y-Y)=另[Y-P)+(臣-Y)2iiii=另Y-Y)+2刀Y-p戒-Y)+刀Y一P))iiiiii=ZG-Y)+另C-Y))=SSR+SSEiiii=1i=12.8验证三种检验的关系，即验证：(1)t「I2.8验证三种检验的关系，即验证：(1)t「I；(2)1一r2证明：(1)tW0t—F=SSR"SSE/(n-2)7LxxrpLn一2rn一2r6jSSEJ(L””(n-2))jSSE,(n-2)SSESST_<1-r222)SSR=工(SSR=工(y-y)2ii=1=H(B+0x-y)2=工(y+0(x-x)-y)2=工(0(x-x))2=02L01i1ii=1i=1x1ii=11xxB2・B2・L1x^=12z\62i1i]-2c2[丄+=2]

nLxxSSR/1F=-SSE/(n-2)2.9验证(2.63)式：Var(e)=(1-—一)62inLxx证明：var(e)=var(y-y)=var(y)+var(y)-2cov(y,y)TOC\o"1-5"\h\ziiiiiii=var(y)+var(|3+|3x)-2cov(y,y+|3(x-x))i01ir1(X-X)2=62+62[+尸nLxx1(x-X)2=[1-一一—]62nLxxCov(y,y+0(x—x))=Cov(y,y)+Cov(y,0(x一x))i1iii1i其中：=Co^(y，-刀y)+(x一x)Cov(y,刀(XX)y)TOC\o"1-5"\h\ziniiiLii=1i=1xx(x一x)21(x一x)2=_b2+iQ2=(—+i)Q2nLnLxxxx入工e2CT2=1-门2.10用第9题证明n-2是c2的无偏估计量证明：E(C2)=-^-工E(y—y)2=—^~工E(e2)n-2in-21i=1i=1=丄工var(e)=丄工[1-1-(X--X)2]c2n-2-n-2nLi=1i=1xx1=(n-2)c2=c2n-22.14为了调查某广告对销售收入的影响，某商店记录了5个月的销售收入y（万元）和广告费用x（万元），数据见表2.6，要求用手工计算：表2.6月份12345X12345Y10102020401）画散点图（略）2）X与Y是否大致呈线性关系？答：从散点图看，X与Y大致呈线性关系。（3）用最小二乘法估计求出回归方程计算表XY(X-X)2i(Y-Y)2i(X-X)(Y-Y)i1Yi圧-Y)21(Y.-Y.)2111104100206(-14)2（-4）221011001013(-7)2（3）2320000200042010027727254044004034142（-6）2

和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110均3均20L70均20x7=—1.P=—^==7,p=Y—pP=—^==7,p=Y—pX=21L100H1回归方程为：f=0°+^X=—1+7X(4)求回归标准误差所以=:可=110e==6.055.n—23第三章3.3证明£2=SSE(n—p—1)随机误差项£的方差6的无偏估计。证明:62=1SSE=1(ee)=1工e2,TOC\o"1-5"\h\zn-p-1n-p-1n-p-1ii=1:.E(工e2)=工D(e)=工62(1-h)=02工(1-h)=02(n-工h)=02(n-p-1)i=1iiiii=1i=1i=1i=1i=1i=1E(02)=iE(工e2)=02n-p-1ii=13.4一个回归方程的复相关系数R=0.99，样本决定系数R2=0.9801,我们能判断这个回归方程就很理想吗？答：不能断定这个回归方程理想。因为：在样本容量较少，变量个数较大时，决定系数的值容易接近1，而此时可能F检验或者关于回归系数的t检验，所建立的回归方程都没能通过。样本决定系数和复相关系数接近于1只能说明Y与自变量X1,X2,…,Xp整体上的线性关系成立，而不能判断回归方程和每个自变量是显著的，还需进行F检验和t检验。在应用过程中发现，在样本容量一定的情况下，如果在模型中增

加解释变量必定使得自由度减少，使得R2往往增大，因此增加解释变量（尤其是不显著的解释变量）个数引起的R2的增大与拟合好坏无关。3.7验证0*-j3.7验证0*-jj-1,2,...,p其中:L-£X-X）2jjijj证明：多元线性回归方程模型的一般形式为:y—卩+卩x+卩x+•••+卩x+801122pp其经验回归方程式为y我+0]X1+02X2+…+咕，TOC\o"1-5"\h\z又0-y_0x_0x0x，01122pp故$-y+0(x_x)+0(x_x)+0(x_x)，111222ppp中心化后，则有y_y-0(x_x)+0(x_x)+・・・+0(x_x)，i111222ppp左右同时除以£左右同时除以£厂-¥yy令L令L£(x—x)2,i-1,2,…,n，jj=jji-1j=1,2,…，py_y+0201y_y+0201Lyypp样本数据标准化的公式为x*=ijx一x*=ijx一xy*=y•一y,i=12…,n，ij=1,2，…，p则上式可以记为xx*+0ixx*+0i12y*=0i1i2入J厂xx*+卩*ppxx*一pJLip、yy=0*xx*+0*xx*+0*xx*1i12i2pip则有0*=斗丄0打=1,2,…,pj“）yy3.11研究货运总量y（万吨）与工业总产值xl（亿元）、农业总产值x2（亿元）、居民非商品支出x3（亿元）的关系。数据见表3.9（略）。1）计算出y，x1，x2，x3的相关系数矩阵。SPSS输出如下：相关系数表yx1x2x3yPearsonCorrelation1.556.731*.724*Sig.(2-tailed).095.016.018N10101010x1PearsonCorrelation.5561.113.398Sig.(2-tailed).095.756.254N10101010x2PearsonCorrelation.731*.1131.547Sig.(2-tailed).016.756.101N10101010x3PearsonCorrelation.724*.398.5471Sig.(2-tailed).018.254.101N10101010*•Correlationissignificantatthe0.05level(2-tailed).10000.5560.7310.724’0.5561.0000.1130.3980.7310.1131.0000.547_0.7240.3980.5471.0002）求出y与x1，x2，x3的三元回归方程。Coefficient®ModelUnstandardizedCoeffcientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942.100x27.1012.880.5352.465.049x312.44710.569.2771.178.284a.DependentVariable:y对数据利用SPSS做线性回归，得到回归方程为y=—348.38+3.754x+7.101x+12.447x123（3）对所求的方程作拟合优度检验。ModelSummaryModelRRSquareAdjustedRSquareStd.ErroroftheEstimate1.898.806.70823.44188a.Predictors:(Constant)3x1,x2由上表可知，调整后的决定系数为0.708，说明回归方程对样本观测值的拟合程度较好。（4）对回归方程作显著性检验；方差分析表bModel平方和自由度均方FSig.1回归13655.37034551.7908.283.01®残差3297.1306549.522总和16952.5009Predictors:(Constant),x3,xx2DependentVariable:y原假设：H0：El"2T3=0F统计量服从自由度为（3,6）的F分布，给定显著性水平Q=0.05，查表得F0.05（3.6）=°76,由方查分析表得，F值=8.283〉4.76,p值=0.015,拒绝原假设H0，由方差分析表可以得到F=8.283,P=0.015<0.05，说明在置信水平为95%下，回归方程显著。（5）对每一个回归系数作显著性检验回归系数表aModelUnstan(CoeffdardizedcientsStandardizedCoefficientstSig.BStdErrorBeta1(Constant)x1x2x3-348.2803.7547.10112.447176.4591.9332.88010.569.385.535.277-1.9741.9422.4651.178.096.100.049.284a.DependentVariable:y做t检验：设原假设为H0：0广0,ti统计量服从自由度为n-p-l=6的t分布，给定显著性水平0.05，查得单侧检验临界值为1.943,XI的t值=1.942〈1.943,处在否定域边缘。X2的t值=2.465〉1.943。拒绝原假设。由上表可得，在显著性水平Q二0.05时，只有x2的P值〈0.05，通过检验,即只有x的回归系数较为显著；其余自变量的P值均大于0.05,即xl,2x2的系数均不显著。第四章4.3简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大完美WORD完美WORD格式专业整理知识分享专业整理知识分享的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。加权最小二乘法的方法：另w(y-0-0x)2ii01ii=1另w(y-0-0x)2ii01ii=1iiiXw.(x-xw)(y.-y)wiw=i=1X(x-x^)2iwi=1=y-0xw1www=1=1=Q2w=1=1=Q2kx2x2•・・III或Q2=kxm,w=xmI4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数w,i以调整各项在平方和中的作用，加权最小二乘的离差平方和为：Q（卩,卩，…,卩）=丫w（y-卩-卩x卩x）2（2）w01pii01i1pipi=1加权最小二乘估计就是寻找参数卩，卩，…,卩的估计值0,0，…,0使式（2）01p0w1wpw的离差平方和Q达极小。所得加权最小二乘经验回归方程记做wy=0+0xH0x（3）w0w1w1pwp多元回归模型加权最小二乘法的方法：首先找到权数w.，理论上最优的权数w为误差项方差Q2的倒数，即iii

w=（4）ib2i误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用；误差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的八八八.._加权最小二乘估计卩，卩，…,卩就是参数卩，卩，…,卩的最小方差线性无偏估0w1wpw01p计。一个需要解决的问题是误差项的方差b2是未知的，因此无法真正按照式（4）i选取权数。在实际问题中误差项方差b2通常与自变量的水平有关（如误差项方差ib2随着自变量的增大而增大），可以利用这种关系确定权数。例如b2与第j个自ii变量取值的平方成比例时，即b2=kx2时,这时取权数为ij(5)x2ij更一般的情况是误差项方差b2与某个自变量x（与|e.|的等级相关系数最大ij1的自变量）取值的幂函数Xm成比例，即b2=kXm，其中m是待定的未知参数。此jij时权数为Xm

ij这时确定权数w的问题转化为确定幂参数mXm

ij这时确定权数w的问题转化为确定幂参数m的问题，可以借助SPSS软件解决。Iw(y-y)2=2w(y-0-0x)2iiQ=2wiiiii01ii1i14.5（4.5）式一元加权最小二乘回归系数估计公式。证明:i=1另w(y-0-0x)2ii01ii=1完美WORD完美WORD格式专业整理知识分享专业整理知识分享刀w.（兀.一尤楼一y）0=I''w咚=01刀w（X-甕）2iiw00=y_B产0w1w其中，兀二AY叱兀4.6验证（4.8）式多元加权最小二乘回归系数估计公式。证明：对于多元线性回归模型y=X卩+£,（1）BE（£）=0,cov（£,£‘）=◎2W，即存在异方差。设W=DD,/用D-1左乘（1）式两边，得到一个新的的模型:D-iy=D-iXp+D-1S，即y*=X*卩+£*。因为E（詔）=E（D-i££D1）=D-iE（££‘）Di'=D-1Q2WD-1=a2I，故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得P=（X*X*）-1X*'y*=（XD-i'D-iX）-1XD-i'D-iy=（XWX）-1XWyw原式得证。4.7有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间的差异就越大。你是否同意这位同学的观点？说明原因。答：不同意。当回归模型存在异方差时，加权最小二乘估计（WLS）只是普通最小二乘估计（OLS）的改进，这种改进可能是细微的，不能理解为WLS一定会得到与OLS截然不同的方程来，或者大幅度的改进。实际上可以构造这样的数据，回归模型存在很强的异方差，但WLS与OLS的结果一样。加权最小二乘法不会消除异方差，只是消除异方差的不良影响，从而对模型进行一点改进。AA*-~r^VA第五章5.4试述前进法的思想方法。答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,...,xm建立m个一元线性回归方程，并计算F检验值，选择偏回归平方和显著的变量（F值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时建立m-1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的两变量变量（F值最大且大于临界值）进入回归方程。在确定引入的两个自变量以后，再引入一个变量，建立m-2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的三个变量（F值最大）进入回归方程。不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值Fa（l,n-p-l），回归过程结束。5.5试述后退法的思想方法。答：后退法的基本思想是：首先因