建立回归方程的最优模型

建立回归方程的最优模型

1建立线性回归回归方程在某些实际问题中，回归方程通常需要选择几个因素来引导自变量。当然，选择对预测量y有显著影响的自变量，并建立线性回归方程，使建立的回归方程中不包含效应较低的自变量。这种回归方程是“最好的”。2为了实现上述“1”中定义的回归方程“最佳”，提出“最佳”回归方程的选择和指导意见2.1+1xi1+1xpxip+ip+i1+1x1x1xi1+1x1xi1+1xi1+1x1xi1+1x1x1x1xi1+称为全模型.称x的子集(x1′,x2′,…,xp′)T所构成的模型yi=β′0+β′1x′i1+…+β′pX′ip+εi(i=1,2,…,n;p=1,2,…,n)为选模型.残差平方和S残=n∑i=1(yi-ˆyi)2用RSS表示.该选模型的残差平方和用RSSp表示,相应的复相关系数记为Rp.2.1.1统计分析因变量不确定的自变量,则影响统计分析如果按照“RSSp”愈小愈好的思想,回归方程应含有尽可能多的自变量,这样的方程拟合程度好,但混入一些对y影响不显著的自变量,反而影响统计分析;效果未必好,况且自变量多了计算复杂.因此,必须对RSSp予以修正.为此,可有下列三种选择准则:①平均残差平方和RSSp(n-p)愈小愈好.其中p是自变量子集合含自变量个数加1,即把常数项也当作自变量.②预测偏差的方差(n+p)ˆσ2=(n+p)RSSpn-p-1愈小愈好.③平均预测均方误差RSSp(n-p-1)(n-p)愈小愈好.2.1.2选取变量的原则基于Cp统计量的自变量选择准则要求自变量子集Xp使Cp愈小愈好.如果用p为横轴,Cp为纵轴画出Cp图.选变量的原则就是:选P,使点(P,Cp)与过原点且与P轴成45°角的直线最近而且|P|最小.2.2一些具体的选择方法2.2.1最优回归方程的选择用k个自变量x1,x2,…,xk中的1个,2个,…,k个元素构成的子集Ap(p=1,2,…,k)与y组成回归方程共2k-1,从中挑选全部自变量都显著且平均残差平方和较小的一个,即为最优回归方程.2.2.2清除不显著因子前进法是指在k个自变量中挑选一个“最好”的先引入回归方程,再在其余因子中挑选第二“最好”因子引入方程,以此类推,直到无显著因子引入为此.前进法虽然计算量不是太大,但引入新变量就要对原来的变量产生影响,有时甚至会使显著因子变得不显著.因此,不能保证回归方程是“最优”的.后退法与前进法相反,它是从包含全部变量的回归方程中,逐个剔除不显著因子.值得注意的是:因子数不多时可以采用此法.当因子数比较多,特别是不显著因子比较多时,由于每剔除一个因子,就要重新计算回归系数,计算量是不小的.2.2.3消去变换tk从一个自变量开始,按自变量对y的作用的显著程度,从大到小逐个引入回归方程.并且每引进一个自变量就要对先引进的因子进行显著性检验,将不显著的因子随时剔除掉.亦即该法的每一步都要进行检验,以保证引入的方程的回归因子是显著的,如果一切显著的因子都被引入方程,且方程不包含不显著的因子,则此过程停止.最后得到“最优”回归方程.(1)数学模型及基本公式对回归模型(1):Y=Xβ+ε用最小二乘法得到正规方程⑵,即{Lˆβ=βˆβ0=ˉy-k∑j=1ˆβjˉXj从它可确定出回归系数βj的估计值ˆβj(j=1,2,⋯,k),于是可得出线性回归方程⑶:ˆy=ˆβ0Ι+ˆβ′X.一般来说xj的单位不同,取值范围也不同.在计算中为避免量纲的影响,在逐步回归的计算中往往先将数据“中心化”、“标准化”,即作变换ztj=1sj(xij-ˉXj)‚zyj=1s(yj-ˉy)(1)(t=1,2,…,n;j=1,2,…,k)其中ˉXj=1nn∑i=1Xij‚ˉy=1nn∑i=1yi‚sj=√eij/(n-1)‚s=√eyy/(n-1).于是系数矩阵L可化为相关矩阵:R=(r11r12⋯r1kr21r22⋯r2k⋯⋯⋯⋯rk1rk2⋯rkk)将R增加一行(r1y,r2y,⋯,ryy)△=(r1,k+1r2,k+1,⋯,rk+1,k+1)及一列(r1,k+1,r1,k+1,…,rk+1,k+1)T,它成为k+1阶方阵,记为R(0):R(0)=(r11r12⋯r1kr1k+1r21r22⋯r2kr2k+1⋯⋯⋯⋯⋯rk1rk2⋯rkkrkk+1r1k+1r2k+1⋯rkk+1rk+1k+1)⑵消去变换法设A=(aij)为n阶方阵,且akk≠0,1≤k≤n,令aij*={aij-aikakj/akk‚i≠k,j≠k,-aik/akk,i≠k,j=k,akj/akk,i=k,j≠k,1/akk,i=j=k(2)[BF]则称对A施行了(k,k)元消去变换Tk,记作A*.A*=TkA=(a*ij)i,j=1,2,…,n.消去变换有下列性质:(i)TkTkA=A,即对A施以两次(k,k)元消去变换,结果不变.(ii)当TiTjA=TjTiA,即消去变换的可变换性.(iii)当A为对称矩阵时,A(l)具有下列对称性:aij(l)={ajil当对A施以Τi,Τj或均未旅行‚-aji(l)当对A施以Τi,Τj中之一时。(iv)设方程组AX=B(A为k阶可逆方阵,x,B为k行一列矩阵),对增广矩阵(AB)施以T1T2…Tk变换,则可得到A的逆矩阵及方程组的解.若只作一次变换Ti,就可得出一个子方程组的解及该方程组系数矩阵的逆矩阵.⑶逐步回归法的步骤(i)从k个因子Z1,Z2,…,Zk中挑选一个偏回归平方和最大的,建立一元线性回归方程.即找Zt1满足Vt1(1)=maxjVj(1),t1∈{1,2,⋯,k}‚j=1,2,⋯,k,其中Vj(1)=rjy2/rjj,rjj,rjy均为R(0)中元素,VJ(1)的上标⑴表示确定第一因子用R(0)中元素.计算统计量F1=Vt1(1)(n-2)/(1-Vt1(1)),检验因子Zt1是否显著.规定引入因子时用F1,剔除因子时用F2.当F1>F2(1,n-2)时,引入因子Zt1,同时对R(0)作变换Tt1,得R(1),R(1)=Tt1R(0)=(rij(1)).(ii)从余下的k-1个因子中,挑选一个偏回归平方和最大的Zt2,当作第二因子引入回归方程.即计算Vt2(2)=maxj≠t1Vj(2),其中Vj(2)=(rjy(1))2/rjj(1).作显著性检验F1=Vt2(2)(n-3)/(ryy(1)-Vt2(2)),当F1>F2(1,n-3)时,引入因子Zt2,并对R(1)作变换Tt2,得到R(2)R(2)=Tt2R(1)=(rij(2)).(iii)当引入Zt2以后,要对先引入的因子Zt1作显著性检验,以决定对Zt1是保留还是剔除.此时用统计量F2=Vt1(2)(n-3)/ryy(2)=(rt1y(2))2(n-3)/(rt1t1(2)·ryy(2)).当F2>F2(1,n-3)时,保留Zt1,然后引入第三个因子;当F2≤F2(1,n-3)时,剔出Zt1,并对R(2)作变换Tt1得到R(3)=Tt1R(2).(iv)重复(ii),(iii)两步,在获得l个因子Zt1,Zt2…Zt1的回归方程Ζy^=β^t′1Ζt1+β^t′2Ζt2+⋯⋯β^t′1Ζt1之后,假定R(0)经过l个变换Tt1,Tt2,…,Ttl而成为R(l),由于新因子Ztl的引入应对前l-1个因子Ztl,…,ztl-1进行显著性检验,不显著的因子剔除,直到没有不显著因子为止,再考虑新因子.继续这样的过程,直到无因子引入为止.假如共引进了p个因子Zt1,Zt2,…,Ztp,就可以建立p元线性回归方程:Ζy^=β^′t′1Ζt1´+β^