应用回归分析何晓群刘文卿习题答案

1、第二章一元线性回归分析思考与练习参考答案2.1 一元线性回归有哪些基本假定？答：假设1、解释变量x是确定性变量，丫是随机变量；假设2、随机误差项具有零均值、同方差和不序列相关性: e=0i=l,2, .,nvar(ej)=i=l,2, .,ncov(eif )=0/#/ ij=：.,n假设3、随机误差项与解释变量x之间不相关： cov(xu j=o i=l,2, .,n假设4、e服从零均值、同方差、零协方差的正态分布 sn(o, ； i=lf2f .,n2.2考虑过原点的线性回归模型yi=pxj-f-i 1=1,2, .,n误差(i=l,2,)仍满足基本假定求氏的最小二乘估计解:紅尸mhl =

2、 -2(-a x, )xt = 0哦 ，a =dv)得：2.3 证明（2.27式），ze/=o , le/x=o 证明：其中：奴 ey-y,二（氏+紅-】;）=0|v（30+4vt-l；）a0bp:ee, =0 f seo2.4回归方程e （ y） =hxx的参数a ,爲的最小二乘估计与最大似然估计在 什么条件下等价?出证明.答：甶于trn（o, a2）i=l,2,n所以 k=/3b+ /v/v（爲+爲a；, n2）最大似然函数:l（，a，ft2）= ni/,（yl）=（2ft2）-/2exp|-i7j y, -（a + aa,x,）】2l 2t- /=|lnmflql9a2） = lna）-

3、x l. （a +）fz2t（t z-i使得ln(l)最大的a , a就是爲，爲的最大似然估计值。同时发现使得ln(l)最大就是使得下式最小,e = (d)2 = t(y，(a+m,)2 1上式怡好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在的假设下求得，最小二乘估计则不要求分布假设。所以在ern(of d2 )的条件下，参数a，爲的最小二乘估计与最大似然 估计等价，2.5证明九是爲的无偏估计。证明：= e(y-x) =-)w i=li=l ln |_ y yn 1_ y y=elx(-无一 wi =(一 - x -)(a + p、x, +)| /=l n1=1 nxx=ia

4、 +-i =凡 + (上-)= p. 1 w/si w2.6证明l2.8验证三种检验的关系，即验证:证明：(1)_ 夕斤 _ a _ rh _ 广久 _ 4r _ v2r 扣1 /l,jsse/(n-2) ,sse/sst vt-r2(2)側=玄(戈-乃2+=玄(歹+戎u -a)-y)2=(,u-t)2 :於l.f= ssr/1 jujsse/(n-2)&22.9 验证(2.63 )ic： varfejfl-)a2证明：var(c,) = var( y,-y,) = var(x) + var( x)-2 cov( y, y,)=var( y,) + var(戎 + )-2 cov( y,，歹+

5、戎(x,-x)= (72 +(72- +卜w丄+ 1】n ln其中:=co v( j.y.) +(x,. - x)cov(j,，xfo.otc,oj/i(3)=3. 182,所以拒绝原假设，说明x对y有显著的 影响。(8) 做梠关系数r的显著性检验r = mr1 = v0.817 = 0.904r值=0. 904ro5 (3)=0. 878,所以接受原假设，说明x和y有显著的 线性关系。(9) 对回归方程作残差图并作相应的分析残差图(略i .从残差图上看出，残差是围绕e=0在一个固定的带子里 随机波动，基本满足模型的假设e/vfa o2但由于样本里太少，所 以误差较大.(10 )求广告费用为4

6、.2万元时，销售收入将达到多少?并给出置信度为95%的置信区间.解：当xo=4. 2时，fo=o +axft=-l + 7x4.2 = 2k4所以广告费用为4.2万元时,销售收入将达到28.4万元.由于置信度为1-a时，丫（，估计值的置信区间为:所以求得yo的95%的s信区间为：6.05932 , 50. 74068预测误難大.2.15 家保险公司十分关心其总公司营业部加班的制度,决定认真调查一下现 状。经过十周时间，收集了每周加班工作时间的数据和签发的新保单数目，x为每周新签发的保单数目，y为每周加班工作时间（小时）。见表2.7。 表 2.7周序号12345678910x8252151070

7、55048092013503256701215y3.51.04.02.01.03.04.51.53.05.01、画散点图w.c(阐200400tioo800100012001400松m1答发的新保中数i i2、由散点图可以看出，x与y之间大致呈线性关系。3、用最小二乘法求出回归系数冋i系fi显茗性拉轮及校型未k准化系数杈准化系fttptfl95%回归系数的wb 1标准误3下限上1(ccoslatl).118.355.333748-.701.937发的折保申数hm.000.9498509.000.003.005a depen(fertvarie:m)ttl班丄作时 fj (小时)由表可知：po=

8、0.118(i, =0.00359回归方程为：y = 0.118-0.003594、求回归标准误差j方差分析表b模s平方和自由度均hfpm1刚j残差总和16.6821.84318.52518916.682.23072.396ooo3a predctors: (constant),每 mj 签发的新保中数 11 b dependent variable: mj 加班 i :作吋问(小时)由方差分析表可以得到：sse=1. 843故回归标准误差a =, a =0.48. zi-25、给出回归系数的置信度为95%的区间估计id归系性柃验发投中未妞准化系数如准化系数1ptfl95%冋w系&的sfnfc

9、问b标准我下限上限1(constant).118.355333.748701.937每w签发的新保单数h.004.000.919a5ce.000.003.c05a dependert vaiabe:每询fill班j:作时间（小时）由回妇系数显著性检验表可以看出，当置信度为95%时：的预测区间为-0. 701, 0. 937, 八的预测区间为0. 003, 0. 005. 人的置信区间包含0,表示九不拒绝为零的假设.模眾r决定系数调整后的决定系数估u位的标 准误若durbin-wats on1.94沪.900.888.4800753a predctors: (constant),埒闷签发的新保中

10、数f!b. dependent variade: mj 加班 t 作时问(小吋)6. 决定系数由模型概要表得到决定系数为0.9接近于1，说明模型的拟合优度高。方差分析i5. 32（当n;=l,n?=8时，查表得对应的值为5. 32）p值so,所以拒绝原假设，说明回归方程显著。8. 对犀的显著性检验从上面回归系数显著性检验表可以得到p、的t统计量为t=8. 509， 所对应的p值近似为0，通过i检验。说明每周签发的新保单数目x对每周加班工作时间y有显著的影响.9. 做相关系数显著性检验iu x分析k姆w签发的新保中数11毎周加班工作时m(小时祕冏签发的新保巾数h pea-son correlat

11、ion1.供 9*sig. (2-tailed).000n1010甸问加班1.作时问(小pearson correlation脚.1时)sig.(2-taled).000n1010correlation is significant al the0.01 lesl (2-taled|.相关系数达到0.949,说明x与y显著线性相关。10、对回归方程作残差图并作相应分析从残差图上看出，残差是围绕c=0随即波动，满足模型的基本 假设。11、该公司预计下一周签发新保单xo=ioo 0张，需要的 加班时间是多少？当x-1000张时，y =0.00359 1 ()00= 3.703212、给出y。的置信

12、水平为95%的预测区间通过spss运算得到y。的置信水平为95%的预测区间为:（ 2. 5195, 4.8870 ）。13给出e （ytl）的置信水平为95%的预测区间通过spss运算得到y。的置信水平为95?（的预测区间为：（3.284 ,4.123 ）2.16表是1985年美50个州和哥伦比亚特区公立学校中教师的人均年工资y（美元）和学生的人均经费投入x（美元）.序号yx序号yx序号yx1195833346182081630593519538264222026331141918095296736204603124320325355420209393285372141927524268004

13、542212264439143825160342952947046692224624451739224823947626610488823271864349402096925097306785710243399050204127224544082717055362523382359442258924042925853416826206272821432264434021024500354727227953366442464028291124274315928215702920452234122971227170362129220802980462561029321330168378230222

14、50373147260153705142652542473120910285348257884123152736039823221800253349291323608162169035683322931272950414808349172197431553418443230551258453766解答：（1 ）绘制y对x的散点图可以用直线回归描述两者之间的关系吗？由上图可以看出y与x的散点分布大致呈直线趋势.(2)建立y对x的线性回归。利用spss进行y和x的线性回归，输出结果如下:表1模型概要rr2调整后的r2随机误差项的标准差估计值0.83506970.6912323.25589表2方g分

15、析表醒平方和自由度和平均f值pte1回归平方和6.089e816.089e8112.811000a残差2.645e8495397517.938平方和总8.734e850平方和表3系数表鯉非碰化系数标准化系数t值p值b标准差回归系数1常数对学生的人均经费投入12112 6293 3141197.768.312.83510.11310.6210000001）由表1可知，x与y决定系数为r3 = 0.697 ,说明模型的拟合效果一般。 x与y线性相关系数r=0. 835，说明x与y有较显著的线性关系。2）由表2（方差分析表中）看到，卜112.811 ,显著性sig.p0.（xx）,说明 回归方程显著

16、。3）由表3可见对為的显著性t检验p值近似为零，故為显著不为0 说明 x对y有显著的线性影响。4）综上，模型通过检验，可以用于预测和控制x与y的线性回归方程为j = 12112629+3.314* x(3 )绘制标准残差的直方图和正态概率图理论正图1标准残差的直方图图2标准残差的正态概率p-p國e测值概率由图1可见标准化后残差近从正态分布由图2可见正态概率图中的 各个散点都分布在45线附近，所以没有证据证明误差项服从同方差的正态分 布的假定是不真实的，即残差通过正态性检验，满足模型基本假设。第3章多元线性回归思考与练习参考答案3. 2讨论样本容量n与自变量个数p的关系，它们对模型的参数估计有何

17、影响？答:在多元线性回归模型中，样本容量n与自变量个数p的关系是: npo如果n=p对模型的参数估计会带来很严重的影响。因为：1. 在多元线性回归模型中，有p+1个待估参数p,所以样本容量的 个数应该大于解释变量的个数，否则参数无法估计。,表明设计矩阵2. 解释变量x是确定性变量，要求rank(x) = p + nx中的自变量列之间不相关，即矩阵x是一个满秩矩阵。若 (x)(-v，中心化后，则有y,-y = paxx，左右同时除以拉(yr对,令无j2, = i,2，.，w z j = l二，pil样本数据标准化的公式为则上式可以记为则有 3-10验酿定耐与f值之间的关系式：二一帅ssr/p证明

18、： f . ss_ - p -1) :ssr=lpn-p-fssen2 ssr ssr.r=sst ssr + sse nx pn-p-1 一f x p一 ffsse fxp + w-p-1 f + o-p-l)/pp1 3. 11研究货运总番y （万吨）与工业总产值x 1 （亿元）、农亚总产 值x2 （亿元），居民非商品支出x3 （亿元）的关系。数据见表3. 9 （略），（1 ）计算出y , xl , x2，x3的相关系数矩阵， spss输出如下：yx1x2x3ypearson correlation1.566.731*.724*sig.(2-taled).095.016.018n10101

19、010xlpearson ca relation.5561.113.398sig.(2-taled).095.756254n101010102pearson correlation.731*.1131.547sig.(2-taldd).016.756.101n10101010x3pearson correlation.724*.398.5471sig.(2-taled).018254.101n10101010correlation is significant at the0.05level (2-tailad).coefficientmodelunstandard zed coefficie

20、ntsstancfardzaicoeffiaentstsifl.bistd. errorbeta1(constant)348.28017&4591.974.096xl3.7541.933.3851.942.100x27.1012880.5352465.049)612.44710.5s92771.178284a dependent variable: y对数据利用spss做线性回归，得到回归方程为 y =-34838 + 3.754x)+7.10lx2+ 12.447x5则相关系数矩阵为:(2)l .0000.5560.7310.7240.5561.0000.1130.3980.7310.113

21、1.0000.5470.7240.3980.5471.000求出y与xl , x2 , x3的三元归方程。(3 )对所求的方程作拟合优度检验。model summarymodelrr squareadjustedr squarestd error of jie estimate1.89护i .806 |.70823.44188a predctors: (constant), )6, x1fx2由上表可知调整后的决定系数为0. 708 ,说明回归方程对样本观测值的拟合程度较好。(4 )对回归方程作显著性裣验；h若分析model平方和|由度均方fsiq.1hl ij 1总和13655.370329

22、7.13016952.5003694551.790549.522a283.01 sa predctors: (constant)，x3, xl，x2 b dependent variable: y原假设：。：f统计量服从自由度为(3,6)的f分布，给定显著性水平a=0. 05，衷得(3 6 = 4 76,由方查分析表得,h直退2834. 76，p值=0.015 ,拒绝原假设。，由方差分析表可以得到f =8.283. p = 0.015 27.1012880.5352465.049x312.44710.5692771.178.284a dependent variables做t检验：设原假设为a

23、=o,统计量从自由度为n-p-1 = 6的t分布，给定显著性水平().05 ,查得单侧检验临界值为1. 943，1的懂=1.9421. 943。拒绝原假设。由上表可得，在显著性水平= 0 时，只有&的w直0. 05,通过检验，即只有的回归系数较为显著;其余自变量的h直均大于0. 05，即xl , x2的系数均不显著。(6 )如果有的回归系数没有通过显著性检验，将其剔除，重新建立 回归方程，并作回归方程的显著性检验和回归系数的显著性检验。解：用后退法对数据重新做回归分析，结果如下:coefficients1modelunstarriardzedcoefficientsstandarclzedco

24、effidentstsiq.b istd. errorbeta1(constant)-348.28017&459-1.974.096xl3.7541.933.3851.942.100x27.1012880.5352465.049x312.44710.5662771.178.2842(constant)459.624151058-3.003.ceoxl4.6761.816.4792575.037x28.9712468.6763.634.008a deperdent variable: y选择模型二，重新建立的回归方程为:y = -459.624 + 4.676* + 8.97 lx2方差分析t方

25、和ih rti 度 i均方ifsi 1ii yi残狯total12893.1994059.30116962.5002796446.600579.90011.117.007a predictors:(constant)，农 4k 总产 1ax2 ( f乙元.丄业总产但x1 (亿元)b. dependent variable:货记总栌 y (万吨)模rr square调整后的rsjuarestd. errcr cithe estimate改变统计飫r squarechanaef chanae(f102siq.f chenae1.87?.761.69224.061.76127.007a predck

26、rs: (constart). ik 总产值 x2对新的回归方程做显著性检验：臟设：。:a=a=()f服从自由度为(2，7 )的f分布，给定显著性水平 =0. 05，查表得 (2-7) = 4.74由方差分析表得，f 值=11. 1174. 74 z p 值:0. 007 , 拒绝原假设.认为在显著性水平a=0. 05下，xl，x2整体上对y有显著的线性影响，即回归方程是显著的。对每一个回归系数做显著性检验:做t检验：设原假设为 4 =，h统计量服从自由度为n-p-1 = 7的t分布，给定显著性水平0. 05 ,查得单侧检验临界值为1.895,xi的t=2. 5751. 895 ,拒绝原假设。

27、故显著不为零，自变量xi对因变量v的线性效果显著；同理即也通过检验。同时从回归系数显著性检验表可知：xi，x2的p值者p小于0. 05，可认为对xl，x2分别对y都有显著的影响。(7 )求出每一个回归系数的置信水平为955d置信区间甶回归系数表可以看到，pl置信水平为95%的置信区间 0.381,8.970,p2置信水平为95%的置信区间3. 134, 14. 808jcoefficientmoddunslandardzedcoefficientsstandardzedcoefficients1siq.bstd errabdalovver bcundup bourd1(caistant垂348

28、 2801764591.974.096-780.06083.5coxl37541.933.3851.942.100-.9778485x27.1012880.535z465.049.05314.149x312.44710.569.2771.178284-1341538.3102(constant)-459 624151058-1003.020821 547-97.700xl4.6761.816.4792575.037381a970x28.9712468.6761634.0083j3414.8c6a depenctent variable: y(8 )求标准化回归方程由回归系数表(上表)可得，标准

29、化后的回归方程为：y*=0.479x；+0.676x2*(9)求当 xoi=75，x2=42 , xo3=3 1 时的y的预测值氕，给定置信水平95% ,用spss软件计算精确置信区间，用手工计算近似预测区间；编号i货运总量农产|居民非商| 品支出1pre_1i1160 0070 0035 001 00181 654122260 0075 0040 00240249 887083210.0065 0040 00200203.130774265.0074.0042.003.00 263.153375_ 240 0072 0038 001 20217 918266220.0068.0045 001

30、 50262.012477275 0078 0042 004 00281 855898160 0066 0036 00200171 922569275.0070.0044 003 20262 3927710250 0066 001 1 j42003 00221 0727075.0042003 10267 82900(由spss输出结果可知,当=75. =42, =3.1时,丸=267.829 (见 上表)，。的置信度为卯%的精确预测区间为(204. 4, 331. 2 )(见f表)，&的置信度为95%的近似预测区间3(v02a),手工计算得: (219. 6,316.0 )。lici_1iui

31、ciji114 18036249 12788186.71910313.0550513927006266 99149200.92084325 385915559279 88094195 34073328 684222134631435024865105 13801238 7071?199 02041325 7651415611131286 03408204 43551331 22249(10 )结合回归方程对问题做一些简单分析，答:由回归方程y = -459.624 + 4.676a- + 8.97 lx2可知农业总产值固定的时候，工业总产值每増加1亿元，货运总量増加1. 676万吨；工业总产值

32、固定的时候，农业总产值每増加1亿 元，货运总量増加8. 971万吨。而居民非商品支出对货运总量没有 显著的瞧影响。由标准化回归方程f =(479 +()676可知：工业总产值、农业总产值与y都是正相关关系，比较回归系数的大小可知农业总产值x2对货运总量的影响程度大一些。第4章违背基本假设的情况思考与练习参考答案4.1试举例说明产生异方差的原因。答：例4.1 :截面资料下研究居民家庭的储蓄行为其中：&表示第/个家庭的储!额，表示第/*个家庭的可支配收入。甶于高收入家庭储蓄额的差异较大,低收入家庭的储蓄额则更有规律性，差异 较小，所以/的方差呈现单调递增型变化.例4 2:以某一行业的企业为样本建立

33、企业生产函数模型y尸ap k!i2 lpe c 被解释变量：产出單k,解释变量：资本/c劳动l、技术，那么每个企业所 处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外 部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机 误差项r的方差并不随某一个解释变堡观测值的变化而呈规律性变化，呈现复杂 型。4.2异方差带来的后果有哪些？答：回归模型一旦出现异方差性，如果仍采用ols估计模型参数，会产生下列 不良后果：1、参数估计量非有效2、变量的显著性检验失去意义3、回归方程的应用效果极不理想总的来说，当模型出现异方差性时，参数ols估计值的变异程度增大，从而造成对y

34、的预测误差变大，降低预测精度,预测功能失效。4.3简述用加权最小二乘法消除一元线性回归中异方差性的思想与 方法 答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个 平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相 关的条抖下,普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在 异方差的条件下，平方和中的每一项的地位是不相同的,误差项的方差大的项, 在残差平方和中的取值就偏大，作用就大.因而普通最小二乘估计的回归线就 被拉向方差大的项,方差大的项的拟合程度就好,而方差小的项的拟合程度就 差。由ols求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。

35、所以 就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。 这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。加权最小二乘法的方法:nna乂 （久-免）2=e （乂 - a - a 心）2 r=1 ni=la. =x（n）2 :ia 戶1a,2=lx,21 表示 1w = =或x， =去4.4简述用加权最小二乘法消餘多元线性回归中异方差性的思想与方 法。?：运用加权似小二乘法消除多元线性11归屮异方及性的7g线性h们的类似。多元线性回归加权最小二乘法是在平方和屮加入一个适a的权数vv.,以调粮各项在平方和中的作用，加权最小二乘的离差平方和为：ppxip、22)

36、m加权烺小二乘佔计就足寻找参数，的佔计值h,，九使式(2 的离差f方和么达极小。所得加权讼小二乘经验ton方程圮做九=式。+九文,+.+a”x/,(3)多元冋!tl模型加权诚小二乘法的方法:先找到权数w,，理论1:诚优的权数w，为误差项/差rr,2的倒数，即 wt =(4)误差项方差大的项接受小的权数，以降低其在穴2)平方和屮的作用：误 差项方差小的项接受大的权数，以提卨其在平方和屮的作用。由(2)式求出的 加权最小二乘佔计h.礼就是参数h.，pp的最小方差线性无偏佔 计。个滿耍解决的问题是w差项的方若a,2是未知的，w此无法诨le按照代(4) 选取权数。/i:女际叫题屮误差项城 通常勾fl变

37、m的水平冇关(如误差项方 变ffi的增人w增人)，可以利用这种关系确定权数。例如rr,2与第j个 f!变m:収tf的平/成比例时，吋,这时収权数为更一般的愔况足误茇项某个自变ex,(与led的等级相x系数 大的白变s:)取值的函数 成比例，其中m是待定的未知参数。 此时权数为=-5-(6)这时确定权数的问题转化为确定幂参数z77的问题.可以借助spss软件解决.4.5 （ 4.5 ）式一元加权最小二乘回归系数估计公式。，奴一免）2 = z % （乂一 a-百xi ）2 i=i证明：r=lcqcq =得：4.6验证（4.8 ）式多元加权最小二乘回归系数估计公式。证明：对于多元线性回归模型y =

38、xp+c. （1）彐e（e）= 0,cov（e,er） = o-2w ,即存在异方差.设vv = dd,. 01）= : .:、 用d ：左乘（1）式两边，得到一个新的的模型： d *y = d,xp + d e ,即 y. = x.p + 因为 （ee ） = （d iedi，） = d_w）dd = d vwd = rl , 故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得 pw =（x x ） x y. =（xd id x） x d rd y = （x飞vx） xwy原式得证.4.7有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最小二乘回归方程之间必然有很大的差异，

39、异方差越严重，两者 之间的差异就越大。你是否同意这位同学的观点？说明原因。答：不同意。当回归模型存在异方差时，加权最小二乘估计(wls )只是普通最小二乘估计(ols )的改逬，这种改逬可能是细微的,不能理解为wls定 会得到与0ls截然不同的方程来,或者大幅度的改逬.实际上可以构造这样的 数据,回归模型存在很强的异方差，但wls与ols的结果一样。加权最小二 乘法不会消除异方差，只是消除异方差的不良影响，从而对模型进行一点改进。4.8对例4.3的据,用公式=#,.计算出加权变换残差e,、制加权变换残差,根据绘制出的图形说明加权最小二乘估计的效果。解：用公式么计算出加权变换残差么,分别绘制加权

40、最小二乘估计后 的残差图和加权变换残差图(见下图)0 40-0 20-加权变換ai残尤0 00-20-40-10qoq2000030qot根据绘制出的两个图形可以发现加权最小二乘估计没有消除异方差，只是对原ols的残差有所改善，而经过加权变换后的残差不存在异方差。4.9参见参考文献2,表4.12 ( p138)是用电高峰每小时用电s y 与每月总用电量x的数据。(1) 用普通最小二乘法建立y与x的回归方程，并画出残差散点图。解:spss输出结果如下:coefficientmodelunstaretard zedcoefficientsslancbrdzedcoefficientstsiq.b

41、istd errorbeta1(constano831.442-1 882.065x.004.000.83911.030.000a dependent variable: y甶上表可得回归方程为：y = -0.831 + 0.004x残差图为：2imhi30001000(2) 诊断该问题是否存在异方差；解：a由残差散点图可以明显看出存在异方差.误差的方差随着.r的增加而增大，b用spss做等级相关系数的检验，结果如下表所示:correlationsxabsdspearman1 srhoxcorr el alien coefficial1 000.31sig.(2-taled)021n5353absei corr elab on coefficiait.318-1.000sig.(2-taled)021參n5353.correlation is significant a the0.05 leel (2-tailed).得到等级相关系数c =0-318 , p值=0.021 ,认为残差绝对值p,|与自变量x, 显著相关存在异方差。(3) 如果存在异方差，用幂指数型的权函数建立加权最小二乘回归方程：解：sps