数理统计：ch4 回归分析

1、休息休息结束结束第四章第四章 回归分析休息休息结束结束在哲学意义上说，事物之间普遍存在着联系在哲学意义上说，事物之间普遍存在着联系和制约。和制约。 有些事物之间的实际联系极其微弱，实践中有些事物之间的实际联系极其微弱，实践中可以忽略。可以忽略。 有些变量之间却有完全确定的紧密联系。有些变量之间却有完全确定的紧密联系。 而在很多情况下，事物之间的联系既不是互而在很多情况下，事物之间的联系既不是互相独立，也没有密切到完全确定的程度。相独立，也没有密切到完全确定的程度。 相关关系休息休息结束结束回归分析回归分析就是研究变量间就是研究变量间相关关系相关关系的一门的一门学科学科, ,它通过对客观事物中变

2、量的大量观察，寻它通过对客观事物中变量的大量观察，寻找隐藏在观察数据背后的相关关系，给出它们找隐藏在观察数据背后的相关关系，给出它们的表达形式的表达形式回归函数回归函数的的估计估计。在实践中能够取到一个可观测（但不能人在实践中能够取到一个可观测（但不能人为控制）的值，或者能够根据需要对它赋值。为控制）的值，或者能够根据需要对它赋值。这种变量称为这种变量称为自变量自变量，或，或预报变量预报变量。受预报变量影响的变量称为受预报变量影响的变量称为因变量因变量，或，或响响应变量应变量。 休息休息结束结束回归分析研究预报变量的变化对响回归分析研究预报变量的变化对响应变量变化的影响程度，应变量变化的影响程

3、度， 继而根据已知继而根据已知预报变量的变化来预报变量的变化来估计估计或或预测预测响应变量响应变量的变化。的变化。 休息休息结束结束4.1 一元线性回归 例例1 1 某超市年销售额统计如下表：某超市年销售额统计如下表：年份年份xi1994 1995 1996 1997 1998 1999 2000 2001 2002销售额销售额yi( (万元）万元）114127128153169184208203205休息休息结束结束199419951996199719981999200020012002100120140160180200220240休息休息结束结束i01iiiid2iyxi1,2,n.N

4、0, ,01yx2E0 ,D进一步对进一步对 作正态假设作正态假设一元线性回归的统计模型一元线性回归的统计模型休息休息结束结束利用已经获得的数据利用已经获得的数据（xi ，yi ）i = 1 , n ，可以对未知的模型参数可以对未知的模型参数0、 1作出估计。作出估计。01,记为记为 拟合方程拟合方程或或回归方程回归方程 ：01 yx休息休息结束结束回归系数的最小二乘估计回归系数的最小二乘估计( LSE )01n2iii 101Q(,)( yx ) 01, 找找0011minQ(,)Q(,) 使使休息休息结束结束0101001niii 1niii101i1Q(,)2( yx )0Q(,)2x

5、( yx )0 010nn2iiii 1i 11xynx+x yx休息休息结束结束01yxniii 1n2ii 11( xx )( yy)( xx ) xyxxll 回归方程回归方程 01x y 11yxxxyxxl yy( xx )l休息休息结束结束 0010 yxN + +定定 理理：在一元线性回归的统计模型下，有在一元线性回归的统计模型下，有2002xx1xN, ()nl 211xxN,l 012xxxCov,l 001x ,+ +220 xx(x -x)1()nl 休息休息结束结束01000yx + +0120Nx , + +22000 xx(x -x)1yN 0, (1)nl y -

6、 -0010 yx+ + 20 x02x10(x -x)1Nx ,()nl + + 休息休息结束结束xy1xxll nii 1xxi()lyxx 01yxnniii1i 1xxi( xx )1xnlyy 证：证：nii 1ixx( xx )1xnly nn2xxiiii 1i 1l( xx )( xx )( xx )nnxyiiiii 1i 1l( xx )( yy )( xx )yniii 1( xx )x 休息休息结束结束ni1i1ixx( xx )E()E()ly niii 1x01x( xx )(x )l + +nii 1xxi0( xx )1E()xE()ynl 1 niii 1xx

7、01( xx )1x (x )nl + +010nniiii 1i 1xx1( xx )1(x )(x )xnl +niii 101x1x( xx )xxxl + +0 nii 1ixx1( xx )ly nii 1xxi0( xx )1xnyl 休息休息结束结束2ni2ix11ix( xx )DDly 2nii 1xxi0( xx )1DxyDnl n1x22iix( xx )1xnl 2x2x1x()nl 2ni2i 1x2x( xx )l xx2l 2n2ii22i 1xx2xx( xx )( xx )12xxnlnl 2002xx1xN, ()nl 211xxN,l nii 1ixx1

8、( xx )ly nii 1xxi0( xx )1xnyl 休息休息结束结束nniii 1i 1xxxxi1i0( xx )( xx )1Cov,Covx,nllyy2ni2i 1xxi( xx )xlyD x2xxl 类似地，有：类似地，有：0001EEExy + +001x + +00120001DDx D2x Cov, y() +2200 xxxxx22x2xx1x()x2nlll 022xx(x -x)1()nl 休息休息结束结束定理说明：分别是分别是 的无偏估计；的无偏估计；01,01, ,是是 的无偏估计；的无偏估计；0 y0010E(y )x + +01,除除 外外 是相关的；是

9、相关的；x0 预测点预测点 x0 不能离开不能离开 太远。太远。x要提高估计精度，就要求要提高估计精度，就要求 n 大，大，lxx 大；大；休息休息结束结束回归方程的显著性检验回归方程的显著性检验平方和分解 in=1i2ii( y -y )( y -y=)+nnniiii=1i=2i2i1i=1i=+2( y -y )( y( y-y( y -yy)-)n2ii2ini=1i=1=( y -y )() +y -yeR=S +Sn2i1Ti=( y -y )S0111H :0H :0y休息休息结束结束1. F 检验检验 RTeS =S +S定定 理理8.4.28.4.2：沿用上面的记号，有：沿用

10、上面的记号，有：2xxR21E()lS2eE()(n)S2 iRn2i 1( yy )S 11n2ii 1( yxxy ) + +n2i01i 1(xy ) + +n2i21i 1( xx ) x2x1l xxR21E()E()Sl 2x11xD()( E) l证：证：221xxxx()ll 类似地，可得类似地，可得2eE()(n)S2 休息休息结束结束2e2/(n2 )S 11121nn-1,1n-1,2n-1,nnnnxxxxxxaaaaaaAxx xxxxlll1n1n1n 令令为为正正交交阵阵/证：证：定定 理理8.4.38.4.3：沿用上面的记号，有：沿用上面的记号，有：0HR221

11、)S/(ReSSy与与、 独独立立nnn2ijijjijj 1j 1j 1nikjkk 1a0 ,a x0 ,a1 ,i1,n 2a a0 ,1ijn2 , -, -休息休息结束结束1122nnzyzy=AYAzZy11121nn-1,1n-1,2n-1,nnnnxxxxxxaaaaaaAxx xxxxlll1n1n1n /01101nxxEAEYAZ nnn2ijijjijj 1j 1j 1nikjkk 1a0 ,a x0 ,a1 ,i=1n2a a0 ,1ijn2 ，n 1n00E(z)E(z ) 休息休息结束结束12nZyyAYAy11121nn-1,1n-1,2n-1,nnnnxxxx

12、xxaaaaaaAxx xxxxlll1n1n1n /niii 1xn-1x( xx ) lzy= n1niiy yz =nn xyxx1xxl ll n 1xx1- E()= lz n01 E()= n(zx ) 休息休息结束结束T2T2nD()AD(Y )AAAIZ12nz ,z ,z, ,相相互互独独立立；2izN( 0,)i 1 2n-2 ； = , , = , , , ,2n-1xx1zN(l,) ；2n01zN(n(x),) ；1122nnzyzy=AYAzZynn2TTTT2iii 1i 1zZ Z=YA AY=Y Y=y休息休息结束结束eRTSS =+Snn222iiiT1i

13、1=( yy )ynyS21xRxSl n-1xx1 = lz n zny n2ii 12nzzn 12ii 1z2n-1 =zTReSS =-Sn 22ii 1z22e(Sn2 ) nn22iii 1i 1z =y0HR22S(1) eRySS 与与、 独独立立休息休息结束结束0RReHe22S/FF(1,n-2 )/( n2 )/( nS2SS) = = =0111H :0H :0所以，对所以，对e-R1 = SS/ n2F2 )F(1,n 当当 时，拒绝时，拒绝H0休息休息结束结束2x11xN,l 1xx10N ( 0 1 )/l ，0111H :0vsH :0 当当 时，拒绝时，拒绝H

14、01-2t t( n2 ) e2E=(nS-2) 2e = S(n-2) 2. t 检验检验 22eS(n2 ) 11xx0t ( n-2 ) /lt 休息休息结束结束TeRT1SS+S=S令令T2RR =SSR2 越大（越接近越大（越接近1 1），表明），表明ST 中回归平方和中回归平方和SR 占的比例就越大，回归方程就越有效；占的比例就越大，回归方程就越有效；反之，反之，R2 越小，（越接近越小，（越接近0 0），表明），表明 ST 中误中误差平方和差平方和 Se 占的比例就越大，回归方程的有效占的比例就越大，回归方程的有效性就较差。性就较差。RTeS =S +S3. 相关系数相关系数检验

15、检验 休息休息结束结束n2ii 12Rn2ii 1TSS( yy )=( y)Ry xy2xxxxyyll()ll n221ii 1y y( xx )l 2xyxx yylll 2niii 1nn22iii 1i 1( xx )( yy )( yy )( xx ) 2xyr 休息休息结束结束可化为线性回归的非线性回归 根据中华人民共和国信息产业部发布的统计资料，根据中华人民共和国信息产业部发布的统计资料，19971997年年5 5月至月至19981998年年1212月每月上网人数见下表：月每月上网人数见下表： 序号序号12345678910时间时间97.597.697.797.897.997.

16、1097.1197.1298.198.2人数人数3539434752.857.263.96874.380.2序号序号11121314151617181920时间时间98.398.498.598.698.798.898.998.1098.1198.12人数人数90.298.1108.4120.2 128.9 135.5147.8170.4188.9215.7休息休息结束结束0510152020406080100120140160180200220休息休息结束结束对此对此, ,我们假设（我们假设（ x , y ）满足：）满足：y = a ebx lnylna bx ln 令令 lny = y* ,

17、 lna = a* , ln = * 则有：则有：y* = a* + bx + * 休息休息结束结束0481216201.52休息休息结束结束可以用变换方法处理的函数类型有：可以用变换方法处理的函数类型有： 幂函数趋势幂函数趋势 byax 指数函数趋势指数函数趋势 bxyae 对数函数趋对数函数趋势势 yablg x 双曲函数趋势双曲函数趋势1bayx 休息休息结束结束S 型曲线模型型曲线模型 ( bcx )ay1e xy休息休息结束结束4.2 多元线性回归 多元线性回归的统计模型多元线性回归的统计模型i01i1pipiyxxi1,2,n.+iid2iN 0, ,休息休息结束结束i01i1pi

18、piyxxi1,2,n.+T12nyy , y , yT01p,11121p21222pn1n2np1 xxx1 xxxX1 xxxT12n,2nyXN 0,I休息休息结束结束01i12ii 1pipnQ()xxy() + + +回归系数的最小二乘估计回归系数的最小二乘估计( LSE )Q() TTTTTy y 2XyX X - -+ + Ty Xy X - - -TTTyXy X - - -TTTTTTy yXy y XX X - - -+ +TTTTTy y 2X yX X - -+ +TT2X y+2X X0 - -1TTX XX y 休息休息结束结束-1TTX XyX N, -1TTE

19、X XyX E -1TTX XX X -1TTDDX XXy T-1-1TTTTyX XXDX XX-1-1TT2TX XXI X X X -12TX X -12TX X 休息休息结束结束回归方程的显著性检验回归方程的显著性检验n2i2iR1n2ii 1T( yy )=( yy )SSR 复相关系数复相关系数2p2n= 1(1RR )np 修正复相关系数修正复相关系数休息休息结束结束在原有假设下，可以考虑采用在原有假设下，可以考虑采用 F 作为检验作为检验统计量：统计量：ReS / = FSpnp10HF( p,np1)当当 时，拒绝时，拒绝H0 。R1-eS / np1F = FSp)p( p,n1 012pH :0 F 检验检验休息休息结束结束回归系数的显著性检验回