第八章方差分析与回归分析

第八章方差分析与回归分析第八章方差分析与回归分析§1单因素试验的方差分析例学历是因素，而高中,大学,研究生等,就是学历因素水平；数学,物理等就是指标有无显著的差异?单因素试验方差分析模型假设1r2)每个水平A下,试验指标是一个总体X。各个总体的抽样过程是独立的。iiiiiij问题：分析水平对指标的影响是否相同iji原假设H:r=r，Ai,j；备选假设:H:r士r，3i,j；0ij1ij2)如果拒绝原假设，则对未知参数r,,r,Q2进行参数估计。1r 注 1)接受假设即认为:各个水平之间没有显著差异，反之则有显著差异。2)在水平只有两个时，问题就是双正态总体的均值假设检验问题和参数估计问检验方法ijiijr=1xrnr。不难验证，niii=1iijiji第八章方差分析与回归分析各类样本均值水平A的样本均值：X=1niX；iinijij=1nijniiii=1j=1i=1i=1偏差平方和与效应XAiiiii=1i=1Eijiijiii=1j=1差异)总偏差平方和:i=1j=1Tijiiji=1j=1i=1TAEijijiii=1j=1i=1j=1i=1j=1利用rni(XX)(XX)=0即可证明。ijiii=1j=1定理2(统计特性)EAiiTiii=1i=1Eijiiiiii=1j=1i=1j=1ii=1Aiiiii=1i=1inini=1i第八章方差分析与回归分析iii1定理3EEA2)如果假设H成立,那么，S/2~2(n1)；且如果假设nm,1ir，则0TirAEijiiiniXijXi2niXiji(Xii)2~2(n1),j1j1iEiiEi1注意到X1rnX,因此X也与S独立，从而S也与S独立。niiEAEni1注这里只需方差假设相同，不需要假设均值相同。X2)iji~N(0,1)，且独立,同样利用第五章定理2,iji,jn2ijn2iji,ji,ji,jT同时，S/2r(Xi)(X)2~2(r1)。Ai1注此处结论证明利用了n都相等，即利用:1rX1X。但上述结论在组irknij从统计角度看,如果假设H成立，那么1ES21ES而在假设0nrEr1A,r1AnrEr1iinrES/(nr)r1AnrEr1iinrES/(nr)iErr第八章方差分析与回归分析定理置信度为时,假设H的检验问题的拒绝域为W{FF(r1,nr)}。0参数估计问题如果各因素有显著差异,即对某些水平,那么就需要估计这些参数的值和ij1.最大似然估计1(xi)2，所以最大似然函数为1(xi)2，所以最大似然函数为iiL(,1riiiriiiiii11r222iii1r22i,jijiii,ji1iriiiii(x)ijikn0,22i即nxnnk2n0；或,xk20；iiiiiiiilnL(,,,,2)n1(x)20，21r2224iji即21(x)2，或,21{x22nx2nxn2n2}，nijinijiiiiii,ji,jii第八章方差分析与回归分析iiiiiiinijiiiiii,jiiiiiiiiiiiiiiiiiiiiiiiiiiiinijiiniji2．区间估计第i个水平的均值:X~N(,2/n)，即Xii~N(0,1)；且S/2~2(nr)与iii/nEi(ii)(ii)/ni~t(nr)/niS/(nr)2E即可得到置信区间:Xt(nr)EXt(nr)Eiii2i注意，对整个问题而言，置信水平不再是1。记事件E{(Xiiiit(nr)SSEiXt(nr)i/2iiiii第八章方差分析与回归分析设有两个总体(X,Y),它们之间不是独立的,而是具有某种依赖关系，即对它们抽样,得到的是一对样本和观测值:(X,Y),,(X,Y)，(x,y),,(x,y)。11nn11nn现在关心的问题是:从观测的结果，能否找出它们之间的联系？即c从实际问题出发,也可认为X是非随机的确定自变量，本来两者之间应该有确定的函数关系,但由于某种干扰，这种关系产生了某种不确定性。如何合理地确定其关系f(x)?一元线性回归模型假设01i01iiii01i问题由样本观测数据(x,y),,(x,y),如何合理估计参,b？11nn01 minxn minxn(y-b-bx)2,bbi01i0,1i=1观测得到的c的样本平方和偏差最小。nyxxnxlxnxxyyxnxynxyninixyiiiii=1i=1i=1i=1xxiiyyiiiii=1i=1xn(yi-b0-b1xi)=0|li=1i-0-1ii=|li=1i-0-1ii=ii1ii1i=1第八章方差分析与回归分析0lxx。1l2)随机观点:最大似然估计1n1n0121n1n0121iyyxy1n0L1Lxxxx有结论,YLxyxNxˆLxy~N(,2)；0L0nl1L1lxxxxxxxx(2)cov(ˆ,ˆ)x2；0010010nlY1LLi1LiL01iLi1Li1ixyixxi1xxxxi1L2iL2LixxixxxxYnxixxYnxix)x]Y也服从正态分布，且0LinLi0nLinL01i[1n(xix)x]x[1n(xix)xi],0L1L00nLinnLL2nL第八章方差分析与回归分析01nLLiji=1j=1xxxxnLLL2Li=1xxxxi=1xxxx，=+x是正态分布显然成立,00100100001001nLL0L0nLxxxxxxxx和L足够大。回归方程的显著性检验bYX就称回归方程不显111111不能否定H。所以,对自已的主张一般不作为原假设。我们把其对立面H作为0原假设,意思是说,如果小概率事件出现，就有理由认为该假设不合理,该次抽样是一个反例。因此，接受其对立面H)1ii01i各类偏差平方和iiiYbbxc，而y是其观测值。b,b是参数,,是其无偏估计量,而i01iii0101i01iyyxyTiyy回归偏差平方和RiiRxx1xx11xx1x-x2nLx-x2nLEi第八章方差分析与回归分析残差平方和S=xn(Y-)2Eiii=1xxnYYLxyxxiLLiiLii=1xxxxi=1xxE定理(1)S=S+S；TRE(利用xn(Y-)=xn(Y--x)=0，xn(Y-)x=xn(Y-b-bx)