半参数回归模型的广义交互改进

半参数回归模型的广义交互改进

在医学科学研究数据的统计分析过程中，参数回归模型的一些假设是不完全满足的。例如，反应变量与解释变量之间的具体依存关系不明确，反应变量的分布难以确定。此时,参数回归模型难以进行拟合处理,而非参数回归模型则能进行有效的分析。简单的非参数回归模型研究的是反应变量Y与单一解释变量t的依存关系,它能够解决医学与卫生研究工作中的许多重要问题,但是,在实际工作中,有许多事物或现象受多个变量的影响,因此,需要研究多个变量间的相互关系。经典统计模型在研究受多个解释变量影响的依存关系时常常采用多重回归,而多重回归的更一般模型即为线性模型:yi=x′iβ+εi,为了放宽该线性模型中的某一个解释变量的线性假定,使模型在假定方面具有较强的适应性,本文对半参数回归模型进行了研究。回归系数向量的估计假定对每一个观察值yi,有p+1个解释变量,其中p维向量xi和数量变量t,如果反应变量y线性相关于解释变量x,则有以下模型yi=x′iβ+g(ti)+εi(1)yi=x′iβ+g(ti)+εi(1)其中β为未知的p维回归系数向量,g(t)为未知的光滑函数(如光滑样条),x为线性变量,t为样条变量,ε与(x,t)相互独立,且E(ε)=0,V(ε)=σ2(未知),显然,xi不含常数1,常数项可以包含在g(t)中,则以上模型被称为半参数回归模型(semiparametricregressionmodel)。半参数回归模型可通过惩罚最小二乘方法进行求解,β和g(t)的估计使得以下加权惩罚平方和最小Sw(β,g)=n∑i=1wi{yi-x′iβ-g(ti)}2+α∫g″(t)2dt(2)Sw(β,g)=∑i=1nwi{yi−x′iβ−g(ti)}2+α∫g′′(t)2dt(2)其中光滑参数α>0,wi>0,不加权时,可令wi=1。令Y=(y1,…,yn)′,W=diag(w1,…,wn),X为n×p阶矩阵,其第i行为x′i,为了考虑相持情况,假定t1,t2,…,tn可由s1,s2,…,sq来表示,表示它们之间关系的矩阵叫关联矩阵(incidencematrix),用N来表示,N为n×q阶矩阵,其元素为Nij,当ti=sj时,Nij=1,否则,Nij=0。假定点ti不全相同,则q≥2。令αj=g(sj),j=1,2,…,q。则待估计向量g为(α1,α2,…,αq)′。同理,假定s1<s2<…<sq,而且αj=g(sj),则可以定义两个矩阵Q和R,只不过要用s1,s2,…,sq来代替t1,t2,…,tn。令K=QR-1Qt,则∫g″(s)2ds=g′Kg。若用矩阵符号来表示Sw(β,g),则Sw(β,g)=(Y-Xβ-Ng)′W(Y-Xβ-Ng)+αg′Kg(3)当β和g为以下分块矩阵方程的解时,上式取最小值。[X′WXX′WΝΝ′WXΝ′WΝ+αΚ](βg)=[X′Ν′]WY(4)方程(4)是一个(p+q)元方程组,直接解方程组不方便,也很不实际,实际工作中,一般将方程(4)化为以下形式X′WXβ=X′W(Y-Ng)(5)(N′WN+αK)g=N′W(Y-Xβ)(6)求解时可采用不需迭代的直接法(directmethod)进行求解。由(6)可得:Ng=S(Y-Xβ)(7)其中S=N(N′WN+αK)-1N′W,(Ng)i=g(ti)。将(7)代入(5),化简得X′W(I-S)Xβ=X′W(I-S)Y(8)这是广义最小二乘正规方程组,用来估计β,加权矩阵为非对角阵W(I-S),解得β后,就可通过(7)求得g和Ng,因此,可得到光滑曲线g(t)。对于回归系数向量β的估计值,可进行假设检验,β=(β1,β2,…,βp)′。检验假设为H0:βi=0,i=1,2,…,p备择假设为H1:βi≠0,α=0.05检验统计量为t=ˆβi√Ciiˆσ2(9)其中Cii表示(X′W(I-S)X)-1的对角线上第i个元素,ˆσ2=n∑i=1(yi-ˆyi)2tr{Ι-A}‚A为帽子阵。A=S+(I-S)X{X′W(I-S)X}-1X′W(I-S)(10)当H0成立时,t～tυ,υ=tr{I-A}。在半参数回归模型中,对于光滑参数的自动选择需要计算广义交互有效GCV(generalizedcross-validation)得分函数。GCV得分函数为GCV(α)=n∑i=1wi(yi-ˆyi)2(1-n-1trA)2(11)其中trA=trS+tr[{X′W(I-S)X}-1X′W(I-S)2X]。另外,半参数模型的误差自由度EDF=tr{I-A}=n-trA,均方差MSE=n∑i=1(yi-ˆyi)2tr{Ι-A},残差平方和SSE=n∑i=1(yi-ˆyi)2,令ˉy=1nn∑i=1yi,则拟合优度R2=1-SSEn∑i=1(yi-ˉy)2。本文利用6.11版SAS软件的IML模块进行编程来实现以上分析过程。回归模型的建立为说明半参数模型的拟合效果,本文用SAS程序进行模拟抽样实验,取p=2,n=60,t由1变化到60,x1～N(12.66,2.572),x2～N(6.7,1.872),误差项ε相互独立且服从分布N(0.52),y=3.4x1-5.2x2+0.1(t-30)2+30.2+ε,则用SAS模拟抽样程序可得到一个样本模拟数据(表1)。如果假定y与x1,x2存在线性依存关系,对该数据人为地进行参数线性模型拟合,则可以得到回归方程:ˆy=49.0545+0.1282t+4.4925x1-6.0078x2,虽然该回归方程有意义(P≈0.0005),但拟合效果差,SSE=45494.6052,R2=0.2692,误差均方为812.4037,从下面的图1可知,残差与t之间存在二次曲线趋势,即残差中仍然蕴含有用的回归信息。如果采用半参数回归模型进行拟合,则计算得到的α值为148.75,x1和x2的回归系数分别为3.7976和-5.2356,标准误分别为0.2385和0.2958,检验结果均有显著意义(P<0.01),SSE=980.6252,MSE=19.2357,R2=0.9842,模型拟合的残差情况见图2,由上述计算结果和图2可以看出,半参数模型的拟合效果得到大大提高,并且正确地反映了y与t的关系。基本数学模型的基本思想半参数回归模型可看作是参数线性模型和非参数回归模型的混合模型,半参数回归模型较参数线性模型有较强的适应性。由于实际工作中经常会遇到某个变量有影响,但表现为未知函数的情况,因此,半参数回归模型是线性模型的一个扩展,它放宽了线性模型中的某一个解释变量的线性假定,使模型适应数据变化的能力更强。实际应用半参数回归模型时,反应变量线性相关于线性变量应以专业理论知识或以往经验为依据,样条变量t的处理不同于其他线性变量,它是采用非参数的形式进行处理。方程(4)是一个(p+q)元方程组,多元方程组的解法很多,但直接解方程组不方便,也很不实际,实际工作中,也可采用backfitting方法求解方程组,backfitting是一个迭代求解的方法,它在上述二个方程(5)和(6)之间交替迭代求解,直至收敛为止。该方法的收敛速度取决于α的大小以及有关矩阵的特征值的大小,虽然该矩阵特征值的绝对值都小于1,最终也会收敛,但实际应用中,经常发生最大特征值很接近于1,从