应用统计方法-课件yytjch

mm设A

(aij§3.3逐步回归一．紧凑消去变换b

为m

维已知向量。且A

0，Im

为m

阶为求

AX

b

的解并同时得到A1

，可利用矩阵变换法。由线性代数知识，将(

A，b，Im

)

(aij

)作为一个m

(2m

1)矩阵，以akk

(k

1，2，,m)为枢轴元素，作消去变换a1

a

a

/

aa1ik

kj

kkijijkj

kkkj(

j

1,2,,2m

1)

a

a

/

a

(i

k,i

1,2,,

m；)（3-49）1

00002

m1kkkjk12m2kkm

k

amm

bmamka

amja11

a1

ja

a21

2

ja1kaa1mab1b1000

a

a

a

ab0

1kk1k

kj1

ja11

jkk

a

a

a

/

aa2k

kj2

ja12

jkkkjkja1

a

/

akkmk

kjmjmja

/

aa1

a

a

a

/

a

a

0

m+1+k列经过m

次变换后，变成ˆ1m(a

)1(I

，X，A

)

ij这样便得到了AX

b

的解及A1

。将变换后的第m

1

k

列元素放到第k

列上去,则第m

1

k

列经变换（3-49）后的元素：a1k

,m1k

1/

akk得到紧凑消去变1从而，当

A

为m

阶方阵时，换（记为Tk

）如下：Tk

(

A)

(a1

)

ˆ

Aij

mma1

a

im,

k1

im,

k1/

/

aaik

,1

kkm

kk

ik

kki不等于k时为0,等于k时为1得到紧凑消去从而，当A

为m

阶方阵时，变换（记为Tk

）如下：1Tk

(

A)

(a1

)

ˆ

Aij

mm其中a

ij1/

//,

kia,

kia,

kia

k,

kia

kkkk,j

/1，ikijkk，kjik

kkkk，（3-50）此时也称对矩阵A

施行了（k，k）紧凑消去变换。a1

a

a

a

/

aa1

a

/

aijijik

kj

kkkjkj

kk(

j

1,2,,2m

1)(i

k,i

1,2,,

m；)（3-49）2m

mm1

1

m2

2

l

l

b

l

b

l

b紧凑消去变换有如下性质：Tk

(Tk

(

A))

A

；Ti

(Tj

(

A))

Tj

(Ti

(

A))

；TmTm1

T1(A)

A1

（A

为正定矩阵）。对正规方程（3-31）引入增广矩阵（3-31）b

l

b

l

b

ll

ll

ll

lmy

（3-30）

l2

y

l11b1

l12bL2

Bllly1mblm

l1ylm1mmlmm2

lmm

lmy

2m

2

y

22211y1m11

1221

1 22

~2L

(

XX；X

Y

)

（3-51）对b矩0

阵yL

的b前1

xm1

列b2Xx2X的每b一m

x个m

主对角元实施一次消去变换，最后一列也作相应的变化，则得下述结果：对矩阵L的去变换，最TmTm1

T1(L)

（(

X

X

)1；Bˆ）其中Bˆ

(以步回归中的此时正规方程为

l11b1

l12b2

l13b3

增广矩阵为增广矩阵为l

l

lL

l22

23

21 2

yl31

l32

l33

l3

y

l12

l13

l1

y

l11对矩阵L

的第一个主对角元实施一次消去变换得

32

332322211(1)(1)2

y(1)3

y

11

12

13 1

y

l(1)

l

(1)

l

(1)31(1)

l

(1)

l

(1)lll

(1)

l

(1)

l

(1)

l

(1)

L

T

(L)

l(1)

l

(1)

xyˆ

b（3-54）(1)式中l为因子1x的回归系数，而左边虚线框中的元素为)1111（1）

(l11

y

(l

)

akkik

kkij

ik

kj

kkiji

k,

j

ki

k,

j

k1

yi

1

k,

j

ka

/

a如果

仅取ax1a与/

ay

建,

立i

回

k归,

j方程k

，则回归方程为a1

1/

a

，/

a

，kj

kk0，（3-50）l1y

/

l11（3-53）1111111

(lll（1）)1

。1121

12

112222ll

(1)

l11l22

l21l12

l

l

/

l

l12

1112l

(1)

l /

l；21

1121l

(1)

l

/

l11(1)ll2

yl11l2

y

l21l1y

l21l1y

/

l11

l2

y；l

(1)1y

11

l

/

la

1y

aijiji

k,

j

ki

k,

j

ki

k,

j

ki

k,

j

k

aik

akj

/

akk

,1

aik

/

akk，1/

akk，akj

/

akk，（3-50）再对第二个主对角元施行消去变换，有2

2

1L（2）

T

(L(1)

)

T

T

(L)

21

22

(2)31

32

33 3

y23

2

y

(2)

11

12

13 1

ylll

(2)

l

(2)ll

(2)

(2)(2)

l

(2)

ll

(2)

l

(2)

l

(2)

l

(2)（3-55）如果仅取x1

、x2

与y

建立回归方程，则回归方程为01

y

1 2

y

2

l(2)

x

l

(2)

xyˆ

b

(2)（3-56）(2)为因子1x2(2)(2)

l22

l11

l12

(2)

l

(2)

l11

l12l1

y

2

ya

kkik

kkkj

kkkkik

kj式中l(2a)、ij

liji

k,

j

ki

k,j

ki

k,j1

k、i

x

k的,j回

k归系数，而

a

a

/

a

,1

21

1/

a22

，

l21

a

/

a

，a

/

a

，（3-50）（3-57）1111lll

ll(1)

(1)2

y

22(2)2

y

l21l1211

2

y

l21l1y

/

l11l22/

l

lll21

1

y11

2

y

ll

l

l

l11

2211ll12

(l2

y

21

1y

11l1yl

(l

l

l21l12

)

/

l11

l

l

/

l

)

11

l

(2)

l

(1)

l

(1)l

(1)

/

l

(1)

1y

1y

12

2

y

2212

2

yl1yl2212

21

1y12

11

2

y1y

l

l

l

l

l

1121

1221

1221

1121(1)2211

2222ll

l

l

l

/

l

l

ll

12l

l11l

12l

(1)

l

/

l；11l11(1)ll2

y(l11l22

l21l12

)l1l111l2

y

l11l2l12l21y

l21l12

l21l1y

/

l11

l2

y；l

1111(1)11

22

ll

ll21

1y2

y

ll2

y11 2

y

l21l1y/

l

l

l

l；3

3

2

1333231

21

11

1222

23 2

y

1

y

ll

(3)

l

(3)

(3)3

y(3)

l

(3)ll

(3

l

3)

l

(3)L（3）

T

(L(2)

)

T

T

T

(L)

l

(3)(l3()3)l

(3)取x1

、x2

x3

y0

1

y 1

2

y 2

3

y

l(3)

x

l(3)

x

l

(3)

xyˆ

b

(3)1

y

2

y式中l

(3)、l(3)、l

(3)123x

、x

x(3)333131232221

11

12

13(3)(3)

l

(3)ll(3)

l

(3)lll

(3)

l

(3)l

(3)

l

l3

ylX

X

)1如将x3

剔除掉，用x1

、x2

与y

建立回归方程，其形式为（3-56）。由于3

3

3T

(

L（3）)

T

T

(L(2)

)

L(2)又如对回归方程（3-59）需将x1

剔除掉，即建（3）立x2

、x3与

y

的回归方程，对L

的第一个主对角元再作一次消去变换，得T

(

L（3）)

T

T

(L(2)

)

T

T

T

T

(L)

T

T

(L)1

1

3

1

3

2

1

3

2=3332312322212

y

11

12

13 1

y(4)lll

(4)

(4)3

y(4)

l

(4)(4)

l

(4)

l

(4)lll

(4)

l

(4)

l

(4)

l

(4)

（3-61）于是x2

、x3与y

的回归方程为0 2

y

2 3

y

3

l

(4)

x

l

(4)

xyˆ

b

(4)（3-62）2

y

3

y

2

3式中l

(4)

、l

(4)

为因子x

、x

的回归系数，且(4)

(4)1

22

23

22 23

32

33

l32

l33

lll

ll

(4)

l

(4)（3-63）综上所述，若要将某个因子引入建立回归方程，只需对当前增广矩阵的相应主对角元作一次消去变换；建立起回归方程后，若要将某个因子剔除回归方程，只需对当前增广矩阵的相应“主对角元”再作一次消去变换。逐步回归主要是根据这一原理。二．逐步回归的具体实现设影响因变量y

的因子共m

个：x1，x2

,，xm

。逐步回归的基本思想是：根据因子对因变量y

的贡献大小（由偏回归平方和度量）逐步将因子引入；在引入因子的同时，又将作用不显著的因子剔除；这样边引入边剔除，直到最终获得较合理的回归因子。衡量偏回归平方和大小用F

检验：/(n

(k

1)

1)S

2F

Pii残（3-64）/(n

(k

1)

1)S

2F

Pii残（3-64）若Fi

F进，则将第i

个因子引入；剔除变量仍用F

检验：/(n

k

1)S

2F

Pii残（3-65）若Fi

F出,则将第i

个因子剔除,否则继续引入。引进和剔除因子都用F检验,其临界值F进、F出人为而定。为简单起见,通常取这两个值相等。为了使计算更有效，将正规方程（3-31）标准化r

b

r~~

~~~

~~~

~rm1b1

rm

2b2

r21b1

r22b212

211

1

r2mbm

r2

y

rmmbm

rmyb

r1mbm

r1y（3-66）其中ijlijr

iyliyr

（3-67）lii

l

jj

lii

l

yy(3-66)的解与正规方程(3-31)的解有如下关系：（3-68）b

~

l

/

l

（i

1，2，，m）i

bi

yy

ii以下计算均对方程（3-31）进行。逐步回归的具体实现步骤：第一步．建立增广矩阵计算lij、liy、lyy以及rij、riynjl

1lij

(xl

i

x

)i

(xl

xnl

1i

x

)i

(

y

lliy

(xly(i，j

1，2，，m

）nlyyl

l

1(

y

y)2其中ni

lixnl

1x

1nyy

ll

11n再由（3-67）计算rij、riy

。得扩充了的增广矩阵yyyrrry

L

R（3-69）ii

jjijl

llijr

ii

yyiyl

lliyr

（3-67）其中mmR

rij

，ryy

1ry

(r1

y，r2

y，，rmy

)第二步．设已进行了s

次消去变换，第s

步(k，k

)消去变换后矩阵L

变为(

s)k

ij

(m

1)(m

1)(

s) (

s

1)L

T

(L

)

(r)

（3-70）

rkkkkikkj

kkik

kj

kk

ijrij，(s1)(s1)(s1)(s)1/

r/

r

r

(s1)

/

r

(s1)，r

(s1)

r

(s1)

r

(s1)

/

r

(s1)，

i

k，j

ki

k，j

ki

k，j

ki

k，j

ki

kik

ky

iyky

kkiyr(

s)im

1r(

s

1)

r(

s

1)

r(

s

1)

/

r(

s

1)，i

kr(

s

1)

/

r(

s

1)，ˆ

r(

s)

kk(i,

j

1，2，，m

）记{j}为第s

步消去变换后引入回归方程的因子下标集合,f

为{j}中元素个数,{j}c

为未引入回归方程的因子下标集合,则经过（3-70）得以下结果：~(

s) (

s)（1）bj

rjy

，j

{

j}；(

s)

2 (

s)jy

jj~(

s)j) /

r（2）

j

{j}，则P

(r~(

s)

2 (

s)jy

jjj) /

rj

{j}，则P

(r(

s

1)~(

s)jP为第j

个变量的偏回归平方和，它表示剔除j第个因子将带来的损失，~(

s

1)jP则表示下一步引~(

s) (

s)入第j

个因子所产生的供献；（3）

S残

ryy

。第三步，因子剔除00~(s)~(s)（1）选择

j

使得Pjj{

j}

min{Pj};（2）计算F

~S

(

s)

/(n

f

1)P~(

s)j0;残（3）若F

F出，则转入第四步；否则进行第s

+1步消去变换，剔除第

j0

个回归因子。以s

+1代替s

，（

j0

，

j0

）代替（

k，k）,{

j}

{

j0

}代替{

j}，

f

1代替f

重复二、三两步中的运算。第四步，引入回归因子。第四步，引入回归因子。设s

、{

j}、f

仍如步骤

2

中定义。0~(

s

1)j~(

s

1)k0

max

{P（1）选择k

使得Pj{

j}c};（2）计算F

~S

(

s

1)

/(n

(

f

1)

1)P~(

s

1)k0残其中0(s1)~（S

1)

~(s)

~(s1)S残

ryy

S残

Pk;（3）若F

F进，则转入第五步；否则进行第

s

+1步消去变换，引入第k0

个回归因子。以s

+1代替s

，（

k0

，k0

）代替（

k，k）,{j}{k0

}代替{j}f

1代替f

重复二至四步中的运算。第五步，这时既不能引进变量，也不能剔除变量。最后得到的因子下标集合记为{j}，则回归方程为0j{

j}j

j

bˆ

xyˆ

bˆ其中jl

jjb~ˆ(

s

)

bj

l

yy

/ˆ

ˆb0

y

bj

x

jj{

j}~(

s)S

2残残~(

s)2回

yy

l

yy

S残

S

l

（1

S）

S

l2总

yy例3-5

已知变量

y

随4个自变量x1

，x2

，x3

，x4

变化，观测数据如表

3-6。试用逐步回归方法在四个变量中选出起重要作用的变量建立回归方程，临界值F进

F出

2.5。x1x2x3x4111213141516yx1x2x3x4272829303132解：第一步，建立正规方程及增广矩阵。均值、标准差、离差矩阵、相关矩阵如表3-7所示。表

3-7

均值，标准差，离差，相关系数表项目x1x2x3x4y均值22.343759.8150023.6250025.4687518.97188标准差

S6.926382.070349.058068.695515.49271x11487.219252.062408.125-81.156712.809lijx2x3252.026408.125132.875120.750120.7502543.500413.812244.625337.231351.362x4-81.156413.812244.6252343.9691133.422l

yy935.265x110.56702110.2098408-0.04346690.6043921r

(0)ijx2x30.56702110.209840810.20770630.207706310.74149130.10018650.95661790.2278097x4-0.0434660.74149130.100186510.765505834第二步，逐步计算。（1）s

0

,各变量的供献为112

(0)(0)(1)1~P1

y22(0)

2

(0)2~(1)P2

y2

(0)(0)(1)3~/

rP

(r

(r) /

r

=0.365290；)

=0.051897；(0)

2

(0)~(1)(rP3

y

33

4 4

y

44

(r

) /

r

=0.915118

) /

r

=0.58599912这时不必要考虑剔除，仅考虑引入变量P~（1）

max{

P~(1)，P~(1)，P~(1)，P~(1)}(0)

~(1)~(0)

~(1)~(1)/

SF

(n

1

1)P由于F

F进

2.5，故变量x2

影响显著，可引入回归方程。相关2

系数表3ijr

(0)S残

1S残0.56702110.2098408-0.043466210.20770630.5P670211

ry0y.20984P0810.74124913

残0.10018654-0.004.3048664980.20770623

0.74149130.10018651802.60439210.95661790.22780970.7655058(

s)

2 (

s)jjjyj) /

rj

{j}，则P

(r~(

s

1)对x2

作消去变换得r(1)(k

2)见表

3-8。ij表3-8r

(1)

jiji123410.678487-0.5670210.092067-0.46390820.56702110.2077060.74149130.092067-0.2077060.956858-0.0538264-0.463908-0.741491-0.0538260.450190y0.0619700.9566180.0291140.056182~(2)1P

0.915118（已选）~P这时仍不必考虑剔除，仅考虑引入变量j

{

j}，则~(

s)jj(

s)

2jy(

s)) /

rP

(r~(

s)jj(

s)

2jyj) /

rj

{j}，则P

(r(

s

1)

rr

(2)kkrkjkkk~j

(1)ikijiji

k，j

k，j

0.00700i1

k，j

ki

k，j

k1)00886

(s0.00(s561)60

(s1)

P2（2）s

1r

(s1)(s)1/

rkk/

r/

rkk

，

r

(s1)

r

(s1)

/

r

(s1)，

i

k，j

k

0.0(s1)

rri

k

rkkkyik(siy1)Pk4kky，i

k(

s

1) (

s

1) (

s

1)(

s

1)(

s)r(3s)r

/

rr(

s

1)

/

r~((s2)1)，im

1

ˆ

iy

ik(，2，，mi,

j

1）这时仍不必考虑剔除，仅考虑引入变量（未选量）~

~(2)

(2)4/

S残

2.611F

(n

2

1)P~

~

~(2)4(2)

(1)其中

S残

S残

P

0.077872

。因为F

F进

2.5，故应将变量x4

引入回归方程。4对x

作消去变换得r(2)

(k

4)

见表

3-9。ij表3-9r

(2)jiji1234y10.200443-1.3311000.0366011.0304700.11986321.3311002.2212800.296361-1.6470600.86408330.036601-0.2963610.9504220.1195620.0358314-1.030470-1.647060-0.1195622.2212800.124795（3）s

2~(3)1P~(2)2~(3)3P~(2)4

0.071677

P

0.001358

P

0.336130（已选）

0.007001（已选）r

(2)

jijij

j{{j}j}，，则则P~P~(

s(s)1)

((rr(

s()s))

)22//rr(

s()s)j

j

jyjy

jjjj1

2

3

4

y10.200443

0.036601

0.119863-1.331100

1.03047021.331100

0.296361

0.8640832.221280 -1.64706030.

036601

0.950422

0.035831-0.296361

0.1195624-1.030470 -0.119562

0.124795-1.647060

2.221280（3）s

2~(3)1P~(2)2

0.336130P（已选）~(3)P~(2)3

4

0.071677

0.001358

P

0.007001（已选）这时仍不必考虑剔除，仅考虑引入，这是因为逐步回归中，可以严格证明第s

1

和s

2

步引入的变量，不可能在第s

3

步中被剔除（s

=0，1，2，3…）~

~31P（3）

(3)

~(3)1

max{

P

，P}（未选量）~1(3)

/

~(3)S残

324.01F

(n

3

1)P~(3)1

S残

P其中

~(3)

~(2)S残

0.006195。因为F

F进

2.5

，故应将变量x1

引入回归方程。1

ij对x

作消去变换得r(3)(k

1)见表

3-10。表3-10jr

(3)iji123414.988930-6.6407900.1825995.1409402-6.64079011.0609000.053015-8.4902003-0.182599-0.0530150.943739-0.06860145.140940-8.4902000.0686017.518870y0.5979890.0680960.0139440.741006（4）s

3

（第三步）~(3)1P（已选）~(3)2P~(4)30.0716770.000206P~(3)4

0.000419

0.073028P（已选）（已选）这时应先考虑剔除~

~

~(3)(3)2 4(3)12P，P~（3）

min{P~~(3()3)，P

}F

n

1)P32( /

S残

895因为F

F出

2.5，故应将变量x2

剔除回归方程。ij对x2

作消去变换得r(4)(k

2)，为使计算步骤与回归方ij

ij引入的变量个数一致，这里r(4)可记为r(2)。事实上1

4

ij与直接引入x

、x

两个变量所得的r(

2)

相同，见表

3-11。表3-11r

(2)

jiji1234y11.0018900.6003850.2146010.0435490.6388732-0.6003850.0904090.004819-0.7675830.0061563-0.2146010.0048190.943996-0.1095140.01427240.0435490.7675830.1095141.0018900.793275表3-11r

(

2)

jiji123411.0018900.6003850.2146010.0435492-0.6003850.0904090.004819-0.7675833-0.2146010.0048190.943996-0.1095144y0.0435490.6388730.7675830.0061560.1095140.0142721.0