支持向量机中的协方差函数

支持向量机中的协方差函数

1svm的基本原理本研究的目标是通过对svm和sv的等效研究，获得svm与克立格方法等效的充分条件，并在此基础上通过克立格方法确定svm的核函数。在此基础上，我们介绍了svm建模和函数近似的基本原则，以及克立格方法的原理，并在此基础上导出了svm方法获得的结论，该结论被假定为克立格方法获得的。在这一结论的指导下，我们提出了使用离散值函数确定svm内核函数参数的想法，并在概念的指导下使用离散值函数来确定径向核函数的宽度参数。2拉格朗日乘子法SVM方法是从线性可分情况下的最优分类面提出的,其基本思想概括起来就是通过非线性变换将输入空间变换到一个高维空间.在这个新空间中求取最优线性分类面,所求得的分类函数形式上类似于一个神经网络,其输出是若干中间层节点的线性组合,而每一个中间层节点对应于输入样本与一个支持向量的内积.在SVM基础上,近来提出了基于SVM的函数回归方法,将SVM的思想推广到函数回归和函数估计领域.当存在函数f(x)=(w·x)+b以精度ε逼近所有的观测样本对(xi,yi)(i=1,…,n,xi∈Rd,yi∈R)时,支持向量机函数拟合的问题可表示为minF(w,ξ‚ξ*)=12∥w∥2+C(n∑i=1ξ2i+n∑i=1ξ*2i)(1a)s.t.{(w⋅xi)+b-yi≤ε+ξiyi-(w⋅xi)-b≤ε+ξ*iξi≥0ξ*i≥0(1b)当用核函数K(xi,xj)代替输入空间的内积(xi·xj)时,其对应的对偶问题为maxW(α‚α*)=-εn∑i=1(α*i+αi)+n∑i=1yi(α*i-αi)-12(n∑i,j=1(α*i-αi)(α*j-αj)Κ(xi⋅xj)+1Cn∑i=1(α*i)2+1Cn∑i=1(αi)2)(2a)s.t.n∑i=1α*i=n∑i=1αi‚0≤α*i≤C‚0≤αi≤C‚i=1,⋯n(2b)所求的权向量w为w=n∑i=1(α*i-αi)xi(2c)普通克立格方法解决的问题可以表示为已知训练样本对(x1,y1),(x2,y2),…,(xn,yn),目的是根据这些训练样本对,对局部空间区域内的任何一个点x给出估计值y,并且估计值要写成已知样本点加权和的形式f(x)=n∑i=1λiyi.对于给出的估计而言,该估计量应该是线性无偏,并且估计方差最小.可以证明通过选择λi使其满足n∑i=1λi=1,则得到的估计量必是线性无偏的.而欲使估计方差为最小,需要使误差的方差最小化,即满足条件minE[y-f(x)]2.这是一个等式约束的最小化问题,可以借助拉格朗日乘子法求出其中的λλ=Σ-1(C+μΙ)=Σ-1C+μΣ-1Ι(3)将求得的λi代入估计式得到y=f(x)=λΤY=(Σ-1C+μΣ-1Ι)ΤY=C′(Σ-1)ΤY+(μΣ-1Ι)ΤY(4)其中Σ为随机向量y的协方差阵,在二阶平稳假设下可以写成变量x的函数,即cov(f(xi),f(xj))=C(xi,xj),C=[C(x,x1),C(x,x2),…,C(x,xn)]T.如果假设Ef(x)=0成立,可知约束n∑i=1λi=1将不起作用,此时(4)式变为y=f(x)=CΤ(Σ-1)ΤY(5)可以证明,在Ef(x)=0假设下,如果令K(x,y)=C(x,y),ε=0,C->∞,则由SVM方法得到的函数估计结果与由普通克立格方法得到的结果是等价的,即y=f(x)=CT(Σ-1)TY.如果令ε=0,则-εn∑i=1(α*i+αi)=0,如C取一个比较大的值,则(1Cn∑i=1(α*i)2+1Cn∑i=1(αi)2)→0.等于约束条件(2b)可以忽略,此时对偶问题(2)成为maxW(α,α*)=n∑i=1yi(α*i-αi)-12n∑i,j=1(α*i-αi)(α*j-αj)Κ(xi,xj)(6a)s.t.n∑i=1(αi-α*i)=0(6b)ε=0的结果使得所有偏离监督信号的输出都受到了惩罚(ε≠0时所有偏离监督信号的输出如果小于ε将不受惩罚),而C取一个比较大的值,使得对拟合误差的惩罚在总惩罚项(1a)占较大的比例.采用这两项简化后得到的二次规划问题(6)仍然对应着问题(2),得到的解仍然具有结构风险最小化的特点.采用拉格朗日方法,约束优化问题(6)转化为最小化minL(αi,α*i,λ)=n∑i=1yi(α*i-αi)-12n∑i,j=1(α*i-αi)(α*j-αj)Κ(xi,xj)-λn∑i=1(αi-α*i)(7)令βi=α*i-αi(i=1,…,n),将其代入(7)式得minL(β‚λ)=n∑i=1yiβj-12n∑i,j=1βiβjΚ(xi⋅xj)-λn∑i=1βi(8)(8)式相对于βi,λ求导,并令导数为0,则得Y-Ηβ-λΙ=0(9a)n∑i=1βi=0⇔β′Ι=0(9b)其中Y=[y1y2⋯yn]‚Η=[Κ(x1,x1)Κ(x1,x2)⋯Κ(x1,xn)Κ(x2,x1)Κ(x2,x2)⋯Κ(x2,xn)⋯⋯⋯⋯Κ(xn,x1)Κ(xn,x2)⋯Κ(xn,xn)],β=[β1β2⋯βn].如果H为正定阵,则H的逆存在并唯一.(9a)式两边同时乘以H-1并化简后得β=Η-1Y-λΗ-1Ι=Η-1(Y-λΙ)(10)将(10)式代入w的表达式(2c)得w=n∑i=1βixi=Xβ=X(Η-1(Y-λΙ))(11)故得到的拟合函数表达式为f(x)=Κ(x,w)+b=Κ(x,XΗ-1(Y-λΙ))+b=[Κ(x1,x),Κ(x2,x),⋯‚Κ(xn,x)](Η-1(Y-λΙ))+b(12)如果Ef(x)=0,则在二维情况下可以认为样本是均值为0,以原点为中心的分布(可以通过对数据进行预处理得到).估计问题变成在高维空间估计一条过原点的超平面.在这个假设下b=0,f(x)=K(w,x).如果b=0,这时约束条件(2b)将消失.经过以上简化后,则(12)式成为f(x)=[Κ(x1,x),Κ(x2,x),⋯,Κ(xn,x)]Η-1Y(13)若令K(x,xi)=C(x,xi)则有H=Σ.将其代入(13)式得f(x)=[C(x1,x),C(x2,x),⋯,C(xn,x)](Σ-1Y)=CΤ(Σ-1)ΤY(14)这样,采用SVM方法得到的函数回归形式(14)与克立格方法得到的函数回归形式便相互等价了.以上在(14)式中使用了(Σ-1)T=(ΣT)-1的假设,可以证明对于对称正定阵,该假设成立.如果假设条件Ef(x)=0不满足,两种方法得出的结论最多只相差一个常数.这就说明,如果在SVM中用协方差函数C(x,y)代替核函数K(x,y),这样得到的结果将具有克立格方法解的性质.因此,我们可以考虑在SVM中用协方差函数代替核函数K(x,y),这样得到的解将具有均方最小的意义.3估计变异函数在用支持向量机方法进行函数拟合时,径向基核函数经常被采用,其中的宽度参数σ对拟合的结果影响较大.由于目前对σ的取值一直是根据经验与试算,因此我们希望能够借助上述的等价性研究来解决该问题.我们尝试提出利用原始样本集合求取径向基核函数的宽度参数,用该径向基函数作为SVM的核函数.如果样本均值为零,则样本的方差为1,样本的协方差函数C(h)<=1.又由于函数exp(h,σ)<=1,故可以令C(h)=exp(h,σ),从而确定宽度参数δ.可以在这里假设变量满足二阶平稳假设,根据样本均值是否为0,分两种情况对径向基函数进行参数估计:1)假设样本的均值为0,则协方差函数满足0≤C(h)≤1,C(0)=1,C(h)=exp(-h22σ12)(15)2)假设样本的均值不为0,即0≤C(h)≤∞,C(0)=α,C(h)=αexp(-h22σ12)(16)所以,如果事先不对样本进行零均值化处理,则用第二种情况直接估计即可.如果事先已知样本为零均值,则用第一种情况直接估计.由于在许多实际工作中,协方差函数并不存在,例如一些自然现象和随机函数,它们具有无限离散性,即无协方差和先验方差.此时采用(15)和(16)式进行估计将没有意义,而采用变异函数1进行估计.在一维条件下的变异函数的定义为r(x,h)=12var[z(x+h)-z(x)]=12E[z(x+h)-z(x)]2-12{E[z(x+h)]-E[z(x)]}2(17)当变异函数r(x,h)与位置x无关,而只依赖于分隔两个样品点之间的距离h时,则有r(x,h)=12E[z(x+h)-z(x)]2(18)在二阶平稳假设下,可以推出r(h)=C(0)-C(h)(19)如果分别将(15),(16)式代入(19)式,则得r(h)=C(0)-C(h)=1-exp(-h22σ12)(20a)r(h)=C(0)-C(h)=α-αexp(-h22σ12)=α[1-exp(-h22σ12)](20b)因此,采用r(h)估计σ与用C(h)估计σ是等价的,而r(h)正是地质统计学中定义的变异函数.由于变异函数可以在更宽松的条件下得到,并且在统计学中关于r(h)的估计存在经验公式可以直接套用,因此选择变异函数进行核函数的估计较协方差函数更为方便.如果知道核函数的类型,可以选择适当的变异函数模型进行核函数参数的估计.这里我们选择了高斯模型作为变异函数的理论模型,在得到了模型参数的基础上进一步估计核函数参数.高斯模型的定义为r(h)={0,h=0C0+C(1-e-h2a2),h>0(21)若变量均值为0,则该模型与(20)式完全吻合.这样,在得到了变异函数模型的基础上,通过估计变异函数,就可以求得径向基函数的宽度参数σ.4svm拟合中的变异函数的应用本文探讨了SVM在条件(Ef(x)=0,ε=0,C->∞)下,用协方差