应用回归分析-第2章课后习题参考答案

第二章一元线性回归分析

思考与练习参考答案

2.1一元线性回归有哪些基本假定？

答：假设1、解释变量X是确定性变量，Y是随机变量；

假设2、随机误差项£具有零均值、同方差和不序列相关性:

E（£i）=Oi=l,2,…,n

Var（£i）=cri=l,2,…,n

Cov（sit8j）=0计ji,j=1,2，…,n

假设3、随机误差项£与解释变量X之间不相关:

Cov（Xj,£j）=0i=l,2，…,n

假设4、£服从零均值、同方差、零协方差的正态分布

&~N（0,/）i=l,2,…,n

2.2考虑过原点的线性回归模型

匕=我国+&i=l,2,…,n

误差5G=l,2，…,"仍满足基本假定。求小的最小二乘估计

解：0,=力（匕一力=*（匕-6/厅

/=1/=1

dQ白

生=-2工（匕％X,）X,=O

Opx/=1

力（X/J

得：自=三------

Z（X;）

i=l

2.3证明（2.27式），Ze,=O,虎山产0。

。=£（匕一与2=支区一（瓦+自乂））2

证明:11

丝

其中：嘉。=0

IE（A+6—）=0

E（00+Aw-】）a=o

即:功=0,Ee国=0

2.4回归方程E（丫）=A）+AX的参数为，pi的最小二乘估计与最大似然估计在什

么条件下等价?给出证明。

答：由于£rN（0,/）i=l,2,,..,n

所以+S\Xi+£「N（Bo+BR,a2）

最大似然函数：

,o-2）=n^z（y,.）=（2^2）~n/2exp{--^X［匕-（4+回夕o，X,.）|2}

2b/=i

ni«

£«{L（A,/?,,cr2）}=--ln（2^2）-［匕-（见+回凡）1

22CTj=i

使得Ln（L）最大的A，自就是为，小的最大似然估计值。

同时发现使得Ln（L）最大就是使得下式最小，

Q=S（K—Z）2=f（X—（以+亥乜））2

11

上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估

计是在a〜M。，/）的假设下求得，最小二乘估计则不要求分布假设。

所以在的条件下，参数少°，小的最小二乘估计与最大似然估

计等价。

2.5证明A是价的无偏估计。

证明：E（A）=E（F-自去）=七/£匕一去£午上匕）

〃普仁£xv

=可2P—又午上）匕］=勾£P-又与岂）（人+回X+狗

i=ln^xxi=l〃^xx

niY-Yn1Y—Y

=EIA+S（--及U—）%1=凡+£（__京U—）E（£,）=A

2.6证明__

%r（/（））=（-+—~~-----）cr2=a2（-+

〃y（x-%）2nLxx

证明：哥;'）

2

•（Q=Var\^（--X-^）匕］=［£（一一又~^~）Vag+1Xi+£i）］

Hn%普〃L>

2.7证明平方和分解公式：SST=SSE+SSR

证明:SST=Y(匕-方=£[(匕-z)+比-y)2

Z=1i=l

=£伉一FY+2Z(匕一z遥一9)+£t—z)T

1=1/=1/=1

=£&-盯+为&-Yj)2=SSR+SSE

1=1i=l

2.8验证三种检验的关系，即验证:

(1)”三"(2)F=SSRR=缉=『

22

71-rSSE/(n-2)(r

证明：(1)

t_84^_B_厂”/!^__J〃-2r_V»-2r

2

~~y[SSE/(Lxx(n-2))~/sSE/(n-2)~~JsSE/SST~71-r

(2)

SSR=t(X-y)2=£(A+Gx,—歹)2=£(歹+6G—5)—歹)2=£(B\(七—x))2=加入

z=li=\/=1；=1

SSR11A4”

SSE!(n-1)a2

2.9验证(2.63)式：Var(e,.)=(1---—~^—)cy2

〃4

证明:

var(e,.)=var(p.一力)=var(y,.)+var(女)-2cov(»,/J

=var(乂)+var(£o+6内)一2cov(乂，歹+&(x,.-x))

（七一可

(T2+<T2[-+

nLxx

=[1_1_(V^£

n4

AA

Cov(yf,y+p}(x；-x))=Cov(yt,y)+Cov{yt,Q(x；-x))

其中：=Coy(yJ力7,)+(巧-©Cov(y”为粤■")

J,)

n

/=1i=lL.AX

XX2

12Qi一2z1(i~)\2

=­bd-------------b=(---1-------------)(7

nn£xv

2.10用第9题证明〃-2是砂的无偏估计量

证明：

E©）=1^-EE（e；）

"2yn-2/=,

=—Zvar（e,）=—!―^[1---（七；“）炉

〃-2,=]n-2/=1n%

=―--（Z7-2）a2=c2

n-2

2.11验证决定系数与F值之间的关系式

产=」

F+n-2

证明：

2_SSR_SSR_]

r~~SST~SSR+SSE~1+SSE/SSR

__________1________

.n-2

1H------------------------

SSR/（SSE/（n-2））

1F

j+〃—2F+n-2

2.14为了调查某广告对销售收入的影响，某商店记录了5个月的销售收入y（万

元）和广告费用x（万元），数据见表2.6,要求用手工计算：

表2.6

月份12345

X12345

Y1010202040

（1）画散点图（略）

（2）X与Y是否大致呈线性关系？

答：从散点图看，X与Y大致呈线性关系。

(3)用最小二乘法估计求出回归方程。

计算表

XY(局-对(匕-彳A

匕匕-可d产

1104100206(-14)2(-4)2

21011001013(-7)2(3)2

3200002000

420100277272

54044004034142(-6)2

和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110

均3均20均20

人工I骨，704一人——

A=户6=7,凡=丫-AX=20-3x7=-l.

"xvAU

回归方程为：S=A+bX=-1+7X

(4)求回归标准误差

先求SSR(Q求见计算表。

(5)笠Bo，B\的置信度为95%的区间估计；

由于(1-a)的置信度下,A的置信区间是(2-0*56，2.+4乂5/,)

查表可得'a/2(〃-2)=。侬(3)=3.182

a2

所。自的95%的区间估计为：(7—3.182*1.915,7+3.182*1.915),即(0.906,13.094)。

Ml》=业.667(9令=6.351

所以A的95%的区间估计为：(-1-3.182*6.351,-1+3.182*6.351),

即(-21.211,19.211)。见的置信区间包含0,表示功不显著。

(6)计算x和y的决定系数

丝=里=如=0817

SST£,,,,600

说明回归方程的拟合优度高。

（7）对回归方程作方差分析

方差分析表

方差来源平方和自由度均方F值

SSR490149013.364

SSE110336.667

SST6004

F值=13.364>FO.O5（1,3）=10.13（当\=l,n2=8时,cc=0.05查表得对应的

值为10.13），所以拒绝原假设，说明回归方程显著。

（8）做回归系数B।的显著性检验HO:B尸0

，=自/%=7/1.915=3.656

t值=3.656>册。5/2⑶=3.182,所以拒绝原假设,说明x对Y有显著的

影响。

（8）做相关系数R的显著性检验

।ccn____

R=*==J0.817=0.904

SST

R值=0.904>RO.O5⑶=0.878,所以接受原假设，说明x和Y有显著的线

性关系。

（9）对回归方程作残差图并作相应的分析

残差图（略）.从残差图上看出，残差是围绕e=0在一个固定的带子里随

机波动，基本满足模型的假设但由于样本量太少，所以误差

较大.

（10）求广告费用为4.2万元时，销售收入将达到多少?并给出置信度为95%的

置信区间.

解:当X°=4.2时,

Yo=氐+自Xo=-14-7x4.2=28.4

所以广告费用为4.2万元时，销售收入将达到28.4万元.

由于置信度为1-a时，Yo估计值的置信区间为：

£-qx8能/0<K0<f0+^X5匕二

i144

36,667(1-—)

J++

所以求得Yo的95%的置信区间为：[6.05932,50.74068]

预测误差较大.

2.15一家保险公司十分关心其总公司营业部加班的制度，决定认真调查一下现

状。经过十周时间，收集了每周加班工作时■间的数据和签发的新保单数目，x为

每周新签发的保单数目，y为每周加班工作时间（小时）。见表2.7。

表2..7

周序号12345678910

X825215107055048092013503256701215

Y3.51.04.02.01.03.04.51.53.05.0

画散点图

散点图

5.0-

每

周

加4.0—

班

工

作

3.0—

时

间

(

小

时

)

1.0-

600800100012001400

每周签发的新保单数目

2、由散点图可以看出，x与y之间大致呈线性关系。

3、用最小二乘法求出回归系数

回归系数显著性检验表

未标准化系数标准化系数95%回归系数的置信区间

模型B标准误tPffi下限上限

1(Constant).118.355.333.748-.701.937

每周签发的新保单数E.004.000.9498.509.000,003.005

a-DependentVariable:每周加班工作时间（小时）

由表可知:^0=0.1184/=0.00359

回归方程为：y=0.118+0.00359x

4、求回归标准误差方

方差分析表b

模型平方和自由度均方FP值

1回归16.682116.68272.396,000a

残差1.8438.230

总和18.5259

a.Predictors:（Constant）,每周签发的新保单数目

b.DependentVariable:每周加班工作时间（小时）

由方差分析表可以得到：SSE=1.843

人2ocrA

故回归标准误差。=建，（7=0.48。

n-2

5、给出回归系数的置信度为95%的区间估计

回归系数显著性检验表

未标准化系数标准化系数95%回归系数的置信区间

模型B标准误3tP值下限上限

1(Constant),118.355.333.748-.701.937

每周签发的新保单数目.004.000.9498.509.000,003,005

a-DependentVariable:每周加班工作时间（小时）

由回归系数显著性检验表可以看出，当置信度为95%时：

凡的预测区间为[-0.701,0.937],4的预测区间为[0.003,0.005],

A的置信区间包含0,表示凡不拒绝为零的假设。

模型概要b

决定系调整后的估计值的标

模型R数决定系数准误差Durbin-Watson

1,949a.900.888.4800.753

a.Predictors:（Constant）,每周签发的新保单数目

b.DependentVariable:每周加班工作时间（小时）

6、决定系数

由模型概要表得到决定系数为0.9接近于1,说明模型的拟合优度高。

方差分析表b

模型平方和自由度均方FP值

1回归16.682116.68272.396.000a

残差1.8438.230

总和18.5259

a.Predictors:（Constant）,每周签发的新保单数目

b.DependentVariable:每周加班工作时间（小时）

7.对回归方程作方差分析

由方差分析表可知：

F值=72.396>5.32（当\=1,%=8时，查表得对应的值为5.32）

P值弋0,所以拒绝原假设，说明回归方程显著。

8、对回的显著性检验

从上面回归系数显著性检验表可以得到目的t统计量为t=8.509,

所对应的P值近似为0,通过t检验。说明每周签发的新保单数目x对每

周加班工作时间y有显著的影响。

9.做相关系数显著性检验

相关分析表

每周加班

每周签发的工作时间

新保单数目（小时）

每周签发的新保单数目PearsonCorrelation1.949**

Sig.(2-tailed),000

N1010

每周加班工作时间（小PearsonCorrelation.949**1

时）Sig.(2-tailed).000

N1010

**•Correlationissignificantatthe0.01level(2-tailed).

相关系数达到0.949,说明x与y显著线性相关。

10、对回归方程作残

差图并作相应分析

未

从残差图上看出，残标

准

化

残

差是围绕e=0随即波差

动，满足模型的基本

-0.90000—

假设。•100600800100012001400

每周签发的新保单数目

11、该公司预计下一周签发新保单X0=1000张,需要的加班时间是多

少？

当x"=1000张时，y=0.118+0.00359*1000=3.7032小时

12、给出Y。的置信水平为95%的预测区间

通过SPSS运算得到Y。的置信水平为95%的预测区间为：

（2.5195,4.8870）o

13给出E（YJ的置信水平为95%的预测区间

通过SPSS运算得到Y。的置信水平为95%的预测区间为：（3.284,4.123）。

2.16表是1985年美国50个州和哥伦比亚特区公立学校中教师的人均年工资

y（美元）和学生的人均经费投入x（美元）.

序号yX序号yX序号yX

11958333461820816305935195382642

22026331141918095296736204603124

32032535542020939328537214192752

42680045422122644391438251603429

52947046692224624451739224823947

62661048882327186434940209692509

73067857102433990502041272245440

82717055362523382359442258924042

92585341682620627282143226443402

102450035472722795336644246402829

112427431592821570292045223412297

122717036212922080298046256102932

133016837823022250373147260153705

142652542473120940285348257884123

152736039823221800253349291323608

162169035683322934272950414808349

172197431553418443230551258453766

解答：(1)绘制y对x的散点图，可以用直线回归描述两者之间的关系吗?

X

由上图可以看出y与X的散点分布大致呈直线趋势。

(2)建立y对x的线性回归。

利用SPSS进行y和x的线性回归，输出结果如下:

表1模型概要

RRZ调整后的R2随机误差项的标准差估计值

0.8350.6970.6912323.25589

表2方差分析表

模型平方和自由度和平均F值P值

1回归平方和6.089E816.089E8112.811,000a

残差平方和2.645E8495397517.938

总平方和8.734E850

表3系数表

非标准化系数标准化系数

模型B标准差回归系数t值P值

1常数12112.6291197.76810.113.000

对学生的人均经费投入3.314.312.83510.621.000

1）由表1可知，x与y决定系数为r=0.697,说明模型的拟合效果一般。x

与y线性相关系数R=o.835,说明x与y有较显著的线性关系。

2）由表2（方差分析表中）看到，F=112.811,显著性Sig.p。0.000,说明回

归方程显著。

3）由表3可见对用的显著性t检验P值近似为零，故才显著不为0,说明

x对y有显著的线性影响。

4）综上，模型通过检验，可以用于预测和控制。

x与y的线性回归方程为：

夕=12112.629+3.314*x

（3）绘制标准残差的直方图和正态概率图

直方图

DependentVariable:教加人均年工资

图1标准残差的直方图

理论正

态概率

图2标准残差的正态概率P-P图

观测值概率

由图1可见标准化后残差近似服从正态分布，由图2可见正态概率图中的

各个散点都分布在45°线附近，所以没有证据证明误差项服从同方差的正态分

布的假定是不真实的，即残差通过正态性检验，满足模型基本假设。

第3章多元线性回归

思考与练习参考答案

3.2讨论样本容量n与自变量个数p的关系，它们对模型的参数估计

有何影响？

答：在多元线性回归模型中，样本容量n与自变量个数p的关系是：

n»po如果n〈=p对模型的参数估计会带来很严重的影响。因为：

1.在多元线性回归模型中，有P+1个待估参数B,所以样本容量的

个数应该大于解释变量的个数，否则参数无法估计。

2.解释变量X是确定性变量，要求加泌(X)=p+1<〃，表明设计矩阵

X中的自变量列之间不相关，即矩阵X是一个满秩矩阵。若

rank(X)<p+\,则解释变量之间线性相关，(X/尸是奇异阵，则

的估计不稳定。

3.3证明于=SSEl(n-p-1)随机误差项£的方差CT2的无偏估计。

证明：

111〃

•••<T2=--—SSE=--—(e'e)=---V&,

n-p-\n-p-\n-p-\^

e；)=ZD(e,)=£4(1一%)=标£(1—%)=/(〃—£/?,)=4(〃—p-1)

f=l/=1/=l/=1/=]

，E&)=---1-押工»小=/

n-p-1i=i

3.4一个回归方程的复相关系数R=0.99,样本决定系数R2=0.9801,

我们能判断这个回归方程就很理想吗？

答：不能断定这个回归方程理想。因为：

1.在样本容量较少，变量个数较大时，决定系数的值容易接近1,

而此时可能F检验或者关于回归系数的t检验，所建立的回归方

程都没能通过。

2.样本决定系数和复相关系数接近于1只能说明Y与自变量

Xl,X2,-,Xp整体上的线性关系成立，而不能判断回归方程和每

个自变量是显著的，还需进行F检验和t检验。

3.在应用过程中发现，在样本容量一定的情况下，如果在模型中增

加解释变量必定使得自由度减少，使得R?往往增大，因此增加解

释变量（尤其是不显著的解释变量）个数引起的W的增大与拟合

好坏无关。

3.7验证A*=\jP?j=l，2,“；p

7Lyy

其中：4=孕广用）2

证明：多元线性回向》程模型的一般形式为：

y=/30+^xi+/32x2+---+ppxp+£

其经验回归方程式为》=氐+而+9+…+加。，

乂氐=7--以2----BpXp,

故j）=p+&（X|一吊）+A（*2—&）+…+后,（%-Xp），

中心化后，则有上-灾=6（西-用）+以马-亍2）+-+&,（乙-吃），

左右同时除以7A7=，工（乂-歹丫，

令-=12…,〃，j=l,2，…，P

无一歹分（马一%）、,历,分（m2一&）、,可,

k四b'Lb口

yy

样本数据标准化的公式为

Xij。小铲j=L2」.・，〃，j=T,2,…，P

L

yy

则上式可以记为

yi=P\XX*1+A^^ixx；2+…+A'^^■XX；p

抄yyyy

=穴XX；+/；X屯+…+用X£

则有

K=第Bj,j=1,2,…,p

vy>>

3.10验证决定系数R2与F值之间的关系式：R2=

F+-p-1)/p

证明：

..八:SSR/p

SSE/(〃_p_l)'

FSSE

xp

2_SSR_SSR_n-p-\_Fxp_F

-~'SST~SSR+SSE~FSSE-Fxp+n-p—l~F+（n-p-l）/p

xp十j

n-p-\

3.11研究货运总量y（万吨）与工业总产值xl（亿元）、农业总产值

x2（亿元）、居民非商品支出x3（亿元）的关系。数据见表3.9（略）。

（1）计算出y,xl,x2,x3的相关系数矩阵。

SPSS输出如下：

相关系数表

yx1x2x3

yPearsonCorrelation1.556.731*.724*

Sig.(2-tailed).095.016.018

N10101010

x1PearsonCorrelation.5561.113.398

Sig.(2-tailed).095.756.254

N10101010

x2PearsonCorrelation.731*.1131.547

Sig.(2-tailed).016.756.101

N10101010

x3PearsonCorrelation.724*.398.5471

Sig.(2-tailed).018.254.101

N10101010

**Correlationissignificantatthe0.05level(2-tailed).

-1.0000.5560.7310.724-

0.5561.0000.1130.398

则相关系数矩阵为：0.7310.1131.0000.547

0.7240.3980.5471.000_

(2)求出y与xl,x2,x3的三元回归方程。

Coefficient^

UnstandardizedStandardized

CoefficientsCoefficients

ModelBStd.ErrorBetatSig.

1(Constant)-348.280176.459-1.974.096

x13.7541.933.3851.942.100

x27.1012.880.5352.465.049

x312.44710.569.2771.178.284

a.DependentVariable:y

对数据利用SPSS做线性回归，得到回归方程为

夕=—348.38+3.754苞+7.101/+12.447》3

(3)对所求的方程作拟合优度检验。

ModelSummary

AdjustedStd.Errorof

ModelRRSquareRSquaretheEstimate

1.898a.806.70823.44188

a.Predictors:(Constant),x3,x1,x2

由上表可知，调整后的决定系数为0.708,说明回归方程对样本观测

值的拟合程度较好。

(4)对回归方程作显著性检验；

方差分析表b

Model平方和自由度均方FSig.

1回归13655.37034551.7908.283.015a

残差3297.1306549.522

总和16952.5009

a.Predictors:(Constant),x3,x1,x2

b.DependentVariable:y

原假设：

F统计量服从自由度为(3,6)的F分布，给定显著性水平《=0.05,

查表得(36)=4.76,由方查分析表得，F值=8.283>4.76,p值=0.015,

拒绝原假设”。，由方差分析表可以得到尸=8.283,P=0.015<0.05,说明

在置信水平为95%下，回归方程显著。

(5)对每一个回归系数作显著性检验；

回归系数表a

UnstandardizedStandardized

CoefficientsCoefficients

ModelBStd.ErrorBetatSig.

1(Constant)-348.280176.459-1.974.096

x13.7541.933.3851.942.100

x27.1012.880.5352.465.049

x312.44710.569.2771.178.284

a.DependentVariable:y

做t检验：设原假设为"。4=°

统计量服从自由度为n-p-l=6的t分布，给定显著性水平0.05,查

得单侧检验临界值为1.943,XI的t值=1.942<1,943,处在否定域边缘。

X2的t值=2.465>1.943。拒绝原假设。

由上表可得，在显著性水平0=005时，只有&的P值〈0.05,通过检验,

即只有马的回归系数较为显著；其余自变量的P值均大于0.05,即xl,

x2的系数均不显著。

（6）如果有的回归系数没有通过显著性检验，将其剔除，重新建立回

归方程，并作回归方程的显著性检验和回归系数的显著性检验。

解：用后退法对数据重新做回归分析，结果如下：

Coefficient^

UnstandardizedStandardized

CoefficientsCoefficients

ModelBStd.ErrorBetatSig.

1(Constant)-348.280176.459-1.974.096

x13.7541.933.3851.942.100

x27.1012.880.5352.465.049

x312.44710.569.2771.178.284

2(Constant)-459.624153.058-3.003.020

x14.6761.816.4792.575.037

x28.9712.468.6763.634.008

a.DependentVariable:y

选择模型二，重新建立的回归方程为:

y=-459.624+4.676%,+8.975

方差分析表b

模型平方和自由度均方FSig.

1回归12893.19926446.60011.117,007a

残差4059.3017579.900

Total16952.5009

a.Predictors:（Constant）,农业总产值X2（亿元），工业总产值X1（亿元）

b.DependentVariable:货运总量Y（万吨）

模型摘要

改变统计量

调整后的Std.ErrorofRSquare

模型RRSquareRSquaretheEstimateChangeFChangedf1df2Sig.FChange

1.872a.761.69224.081.76111.11727.007

a.Predictors:（Constant）农业总产值X2（亿元），工业总产值X1（亿元）

对新的回归方程做显著性检验：

原假设:%邙、=h=0

F服从自由度为（2,7）的F分布，给定显著性水平。=0.05,查表得

稣。5（2.7）=4.74,由方差分析表得，F值=u.H7>4.74,p值=0.007,拒

绝原假设"。.

认为在显著性水平a=0.05下，xl,x2整体上对y有显著的线性影响,

即回归方程是显著的。

对每一个回归系数做显著性检验：

做t检验：设原假设为"。：用=。统计量服从自由度为n-p-1=7

的t分布,给定显著性水平0.05,查得单侧检验临界值为1.895,XI

的t值=2.575>1.895,拒绝原假设。故片显著不为零，自变量XI对

因变量y的线性效果显著；

同理B2也通过检验。同时从回归系数显著性检验表可知：X1,X2的

P值都小于0.05,可认为对xl,x2分别对y都有显著的影响。

（7）求出每一个回归系数的置信水平为955D置信区间

由回归系数表可以看到，B1置信水平为95%的置信区间

[0,381,8.970],

B2置信水平为95%的置信区间[3.134,14.808]

Coefficient^

UnstandardizedStandardized

CoefficientsCoefficients95%ConfidenceIntervalforB

ModelBStd.ErrorBetatSig.LowerBoundUpperBound

1(Constant)-348.280176.459-1.974.096-780.06083.500

x13.7541.933.3851.942.100-.9778.485