基于cpso的svm参数优化方法

基于cpso的svm参数优化方法

1混合核的权系数寻优支持向量机使用核函数技术将低维空间的数据映射到高维空间，并利用高维空间的线性方法解决低维空间的非线性问题。一个模型的很多特性都取决于核函数的类型。混合核函数就是为了提高支持向量机模型的精度而提出来的一种新型的核函数,它一般由一个高斯核和一个多项式核的线性组合而成,权系数的确定对混合核函数是否最优起着关键作用,所以有必要对其进行寻优。而目前有关混合核支持向量机寻优的文献中都只对惩罚系数C和核参数σ进行寻优,对混合核中的权系数一般只取经验值,这样的参数选取不是全局参数的最优组合。在这种情况下,本文提出对混合核的所有参数进行综合寻优的想法。而且实验表明这种综合寻优比只对{σ,C}进行寻优的普通寻优效果要好。本文采用的寻优方法是发展比较成熟的粒子群算法同混沌算法相结合的算法。混沌算法是新发展起来的智能优化算法,具有很强的随机性和遍历性,能弥补粒子群算法中早熟收敛的不足。由于支持向量机模型的复杂性,采用一种精确的方法进行优化成为一种必然要求,因此本文采用混沌粒子群寻优方法。2混合核的mercer模型将2个不同的核函数结合起来,使得混合后的核函数具有更适合建模问题的特性,这是混合核函数方法的基本思想。核函数的类型有许多,归结起来,核函数有2种主要类型,即局部性核函数和全局性核函数。RBF核函数就是一个典型的局部性核函数,它的表达式如下:k(x,xi)=exp[-‖x-xi‖2/(2σ2)](1)全局性核函数的一个典型代表是多项式核函数,其表达式如下:k(x,xi)=(x·xi+1)d(2)核函数结合的方法有很多,但最终的混合核要满足mercer条件。因为局部性核函数学习能力强、泛化性能较弱,而全局性核函数泛化性能强、学习能力较弱,因此,考虑把具有局部特性的RBF核函数与具有全局特性的多项式核函数结合起来,构造如下形式的混合核函数:kmix=mkpoly+(1-m)kRBF(0≤m≤1)(3)式中,kpoly,kRBF分别为多项式核函数及RBF核函数,本文kpoly中d=1;m为调节2种核函数对总的混合核函数影响的参数,即权系数。显然,当m=0时,混合核函数退化为RBF核函数;m=1时,混合核函数退化为多项式核函数。通过调节m,使混合核函数适应不同的数据分布,等效于在核函数的选择中,融入对具体问题的先验知识。这里需要确定最优权系数m∈(0,1)。3混沌优化算法目前,混沌算法和粒子群算法相结合的方法主要包括采用混沌系列初始化粒子的位置和速度,用对陷入局部极小点的粒子重新初始化。其中,混沌初始化算法只对个体粒子重新初始化,并没改变粒子群的当前结构,使粒子获得持续搜索的能力,保持了粒子群运算和结构简单的特点,本文就采用这种改进算法。这里采用经典的Logistic方程来实现混沌序列:yi+1=λyi(1-yi)(4)式中,yi为(0,1)的随机数;λ一般取4,此时Logistic方程处于完全混沌的状态。然后,通过下式:xij=aj+yij(bj-aj)(5)将其引入优化空间,就是将混沌变量的值域扩大到优化变量的取值范围上,其中,(aj,bj)为变量的取值范围。混沌优化的缺点是局部优化效果不理想,可与一般的局部搜索算法相结合,吸取各自方法的优点来改进优化算法。因此,可以将其引入到粒子群算法中,去求解优化问题。利用混沌初始化后,粒子群通过迭代找到最优解。在每一次迭代中,粒子通过跟踪2个极值(个体极值pbest与全局极值gbest)来不断更新自己在解空间的位置,从而找到问题的最优解。随着PSO优化算法的不断改进,现在常用的更新粒子速度与位置的公式如下:vid=wvid+c1r1(pbest-xid)+c2r2(gbest-xid)(6)xid=xid+vid(7)式中,d=1,2,…,n;i=1,2,…,m;n和m分别为搜索空间的维数和种群规模;xid表示混合核支持向量机参数{C,σ,m}的当前取值;v∈[-vmax,vmax]为粒子的速度,决定下一代{C,σ,m}的更新方向和大小;c1=c2=2;r1,r2为分布于(0,1)之间的随机数;ω为惯性权重。4实验结果的输出混沌粒子群算法的结合是以混沌初始化为前提,得到混沌序列,然后再进行粒子群寻优,是一个先后过程的结合。即先把PSO算法中xid(SVM中的{C,σ,m})及vid用混沌进行初始化赋值,然后再用粒子群算法寻优。算法具体步骤描述如下:1)混沌初始化算法①读取样本数据,并对数据进行必要的预处理。②随机产生上的d个随机数y11,y12,…,y1d,其中,d是xid的维数(实验中d取3,即要寻优参数的个数)。③以y1i(i=1,2,…,d)为初值,利用Logistic映射式(4)产生混沌序列y2i,y3i,…,yni(i=1,2,…,d),其中,n为种群中粒子个数(实验中n取20,即有20个{C,σ,m})。④将混沌序列用式(5)映射到对应变量的取值区间,即把初始化后的{C,σ,m}映射到它们各个的取值范围。⑤vid的混沌初始化方法同xid。2)更新粒子群算法①计算粒子群的适应值,并记忆个体与群体所对应的最佳适应值pbest和gbest,实验中用k-flod交叉验证误差值作为适应值。②在由混沌算法得到{C,σ,m}及vid的初始值后,根据式(6)对粒子的速度进行更新,利用式(7)更新粒子群众粒子的位置,直到满足最大迭代次数。③输出运行结果,程序结束。④利用处理后的样本数据及寻优到的最优{C,σ,m}对混合核支持向量机模型进行训练。5混合核参数优化方法用于双酚a软测量建模的仿真研究1原料回收单元的确定双酚A(BPA)是重要的有机化工原料,是苯酚和丙酮的重要下游产品。主要用于生产多种高分子材料,如环氧树脂(ER)、聚碳酸酯(PC)、酚醛不饱和树脂、聚砜树脂、聚醚酰亚胺、改性酚醛树脂,还可用以生产PVC热稳定剂、橡胶防老剂、油漆和油墨抗氧剂和增塑剂等。而反应生成的水是丙酮转化成BPA的抑制剂,所以副产物水的分离在原料回收单元的精馏塔完成。根据工艺原理和操作人员的经验,选择塔顶压力、塔顶温度、塔底温度、进料流量和回流流量作为软测量建模的辅助变量。数据通过DCS系统采集,每天定时进行一次水份含量的人工分析。汇总现场采集的数据,共得建模数据58组。2混合核svm的优化将采集到的58组数据经过数据处理后,按间隔法得到训练数据为38组,测试数据为20组。以最小化5-fold交叉验证误差为目标,利用混沌粒子群算法对RBF核参数σ、惩罚系数C以及权系数m进行选优。其中,混合核SVM采用ε=0.01的一次不敏感损失函数;σ,C和m分别在(0,50),(0,500)和(0,1)内混沌初始化;粒子群中vmax取100;w采用线性下降法;种群大小取20;最大迭代次数为1000次。经混沌粒子群优化算法寻优后,混合核支持向量机的参数确定如下:σ=0.0255,C=450,m=0.65。当m取文献中的经验值0.98时,寻优后的参数为σ=0.035,C=300。2组参数下混合核SVM的训练和测试比较图,分别如图1,图2所示。实验表明,对m的寻优和仅凭经验来确定它的值,模型的精度是不一样的,前者泛化能力有所提升。由图1,图2可以看出,对m寻优后的模型在拟合和泛化方面均比普通寻优的要好。为了更直观地比较这2种寻优方法的优劣,分别记录2种方法下的泛化误差,见表1。由表1可以看出,混合核寻优后的SVM模型比普通寻优