多目标输出SVM回归的参数优化和特征选择

1、作者简介：彭文伟 男1971无学位，Vsvm和Supercomputer软件创作者。作者简介 ： 彭文伟 男 1971 无学位 , Vsvm 和 Supercomputer 软件创作者。多目标输出SVM回归的参数优化和特征选择彭文伟湖南湘潭湘钢巴塘 17-18, 邮政编码 :411104.Email: HYPERLINK mailto:pww71 pww71, phone摘 要：目前多目标输出SVM回归的算法使用多阈值，其预测效果不理想，且运算量大。另外SVM算法的评价准则采用的是交叉验证的均方误差或相关系数，如果各目标的数据不平衡，这种统计方法无法用于评价

2、多目标输出SVM回归算法。首先，本文提出采用相同阈值的SVM多目标输出回归的算法，然后对交叉验证提出两种误差统计方法：一，各目标均方误差作均匀化处理，二, 使用马氏距离最小化的方法。最后，针对大型数据超大运算的问题，提出网络计算机并行运算算法。实验先用遗传算法,粒子群算法和自己的BFS算法分别对相同SVM模型作参数优化，然后用改进的序列极小化特征选择算法优化SVM特征。结果说明：选择 -SVR算法和Rbf核，和BFS算法的参数优化，交叉验证用均匀化的均方误差作评价准则，效果相对较好。关键词 ：支持向量机 ; 遗传算法 ; 粒子群算法 ; BFS 算法; 序列极小化特征选择 ;Abstract：

3、 At present, the multi-objective output SVM regression used multi-threshold strategy. However, its prediction result and computational complexity is not satisfactory. In addition, the parameter and feature selection generally used cross-validation as the evaluation criteria. Because of the imbalance

4、 data, the statistical methods used to evaluate the cross-validation error cannot always get the optimal effect. In this paper, an algorithm of the multi-objective output SVM regression using the same thresholds for the multi-objective is proposed. Moreover, two error evaluation methods for cross-va

5、lidation are proposed. Firstly, the mean square error for all objectives are treated homogeneously; Secondly, minimizing the Mahalanobis distance is used 。 Finally , data for large super-computing problem, the network computer parallel computing algorithm is proposed . experiment by using genetic al

6、gorithms, particle swarm optimization and own Breadth-first search algorithm separately on the same SVM model for parameter optimization, and then experiment by using the modified sequential minimal algorithm for featureselection. Results show that:e -SVR , Gaussian Radial Basis, parameter optimizat

7、ion is using Breadth-first searchalgorithm, cross-validation with homogenization of the mean square error for the purpose of evaluation criteria, the effect is relatively good.Keyword: svm; genetic algorithms; particle swarm optimization; BFS; The sequential minimal algorithm based on feature select

8、ion;一,引言支持向量机 （Support Vector Machines, SVM） 是 Vapnik 等人于 20 世纪 90 年代建立的，基于统计学习理论且推广能力非常好 的一种小样本学习方法 1，已成功应用于模式分类、回归分析等领域。SVM回归问题一般都是单目标输出2-3 （SV M回归问题的目标值只有一个）。而目前多目标输出（SVM回归问题目标值超过一个） 一般采用多阈值方式 4 ，不是共同的间隔，相当于用单目标预测方式重复预测多目标，实验效果不是很理想，故提出采用相同阈 值的多目标SVM回归算法。正如大多数学习机算法，支持向量机（SVM的性能与SVM参数和特征的选择有关5。不同的

9、数据类型用不同的SVM模型预测效果有一定的差异，而SVM模型不同其参数和参数范围也不同，因此对于不同的SVM模型，因根据其参数多少和范围来选择不同的参数优化方案。常用的参数优化办法是网格搜索6，但是其采用2的n次幕将范围切割为离散数，造成搜索范围不均匀分布，即使提高网格数搜索精度也不高，而且增加运算量。为了提高精度，本人提出启发式广度优先搜索。目前使用遗传算法和粒子群算法作参数优化的越来越多，但是针对不同的SVM模型，没有对众多参数优化方案进行综合的对比和评价，是缺乏说服力的。SVM参数和特征的优化过程需要一个评价准则。该准则大多采用k折交叉验证验证的均方误差或相关系数。先预先设定好某个 SV

10、M参数，然后进行k-折交叉验证（k-fold cross vaidation ）:将训练样本集随机地分成k个互不相交的子集，每个折的大小大致相等。利用 k-1 个训练子集，对给定的一组参数建立回归模型，利用剩下的最后一个子集的误差平均值 评估参数的性能。以上过程重复K次，因此每个子集都有机会进行测试，最后根据k次迭代后得到误差平均值。用该误差平均值来评价SVM勺学习能力和推广能力误差平均值采用均方误差: no采用相关系数:x=目标值,丫=预测值，0=r=1，越靠近1越好。这两种评价准则用于单目标输出预测没有问题，但在输出多目标预测的情况下，如果各目标的数据不小不同，产生的各目标误 差大小就不平

11、衡。用均方误差或相关系数是无法对误差进行综合评价的。在单处理器情况下，受 cpu和内存限制，大型数据的 SVM回归的参数优化将是一个漫长的过程。并行运算可以将问题求解规模 线性扩大7，因此，用并行运算求解大型数据下的多目标输出SVM回归问题是有效的解决途径。二, SVM算法及模型选择SVM的参数和参数范围与 SVM算法的类型和核函数的选择有关，目前多目标输出的SVM有两种， -SVR和v-SVR,核函数一般使 用三种，多项式核 Polynomial，高斯核rbf， sigmoid核。以下提出采用相同阈值的多目标输出SVM算法，同时分析它们在三种核函数下的参数以及参数范围：m目标数，n训练集数，

12、z特征数。已知训练集 t=（昭y）尽們左（XX呼其中 .工-一 一： 、一 亠二1， -SVR 算法：max:in n严n卫pX（毎-羽蚣罔）工個+ 上1 y=ii=i j=iz 典约束条件：1=1 JS1Ci i构造决策函数:m； j = 12i=i求出阈值变量b：- -b bm需要选择适当的00,以及核函数参数。参数 C取经验范围（0,1000】2 , v-SVR 算法：m nm nw（能）二 of） X宙毎JK魚）+何-心归1i=l）=i约束条件：m n lw-）=o 1=1 ji0 C C/nm n1=1 jsl1=1nt j=lX.D得出最优解;. T伸（f口冲 of） （i 二仁m

13、）Ulb = 3Yi+y?-任（E-斗飓曲）+厨-巧K0护Jg 需要选择适当的0v0,以及核函数参数。参数 C取经验范围（0,1000】。1-111构造决策函数:n1=1求出阈值变量b：（岸-+b（i = 1m； j = 12 .m n）3，核函数 弧闻）=poiynomiai :环：d是多项式核的度，经验范围选择【3, 7】的整数,r取经验范围【0，1000】RBF : exp（-Y|Xj-Xja）,y03, SigmoidTretiullbi+K is CPD After r in trin all: trimilai to R.BF for tun all a+in genertil n

14、ot ati good hh the +、) catte+objectivt； vlue of (b) oo arftei r large euoughthe cLjeutive value of (6) oor取经验范围【0, 1000】。Gamm取0,1.非正定核,其smo运算容易进入无穷迭代11,需加最大迭代限制，经验取200000次. 三，参数优化和特征选择算法注意：以下统计的算法复杂度是针对SVM算法作交叉验证的次数和序列最小最优化（seque ntial mi nimal optimizatio n,SMO）10运算中迭代次数无关。1，提出BFS启发式广度优先搜索。将各参数范围按均

15、匀步长分割成离散数组，然后遍历各参数数组取值，交叉验证运算，统计得出最佳参数后，重新在该参数附近分配步长大小的范围，将原步长缩小，重新分割各参数为离散数组，遍历取值，交叉验证运算，直到交叉验证的结果不再更新。例如：c的选择范围是1到1001，步长为100,则第一阶段参数c循环选择1,101,201,301.901,1001 ，其他参数作类似选择， 作交叉验证，比较交叉验证的结果，如果本阶段运算有新的最佳结果，其参数c=101,则递归进入第二阶段,c的选择范围重新定义为1到201,步长为4*100/（step num+4） ，step num是上阶段的步数，不停的递归运算，直到不出现新的最佳结果

16、。由于采用启发式深度递归运算，如果某参数搜索范围很宽，初始化步长可以加宽，减少运算量，进入递归后搜索细化，其搜索精度提高。一般递归阶段只有两个，而且递归越深，运算量越小，所以总的运算量并不大。其算法复杂度大约为：n初叩Pii=ln为参数数，p为参数范围分割步数，1.005是经验值。另外说明一点，本人在很多数据集中做实验，发现 C的最优参数往往在两个范围（0,1】和【1,1000】）之一徘徊，为了保证 搜索的全面性，参数 C的搜索分两个范围（0,1】和【1,1000】）进行。第一阶段 C的搜索阶段在【1,1000】,如果本阶段交 叉验证最优结果的参数 c的值为1,则递归到第二阶段时参数 c从【0

17、,1】搜索，否则第二阶段按常规递归运算。2，遗传算法。实验使用Galib 8设计以下遗传算法做参数优化:四种遗传算法：标准型（simple ），稳态型（Steady-State ），增量型（In creme ntal ），确定性拥挤（DCrowd in gGA。三种编码方式：实数编码，二进制编码，格雷码。五种交叉方式：均匀交叉，单点交叉，双点交叉，平均交叉，混合交叉。四种变异方式：随机翻转编译，均匀变异，高斯变异，边界变异。六种算子选择：随机选择，轮盘赌选择，锦标赛选择，确定性采样选择，无回放余数随机选择，随机均匀样本选择。五种适应度定标方式： 无适应度，线性尺度变换，Sigma截断尺度变换，

18、乘幕尺度变换，共享因子变换。为了保证参数C的搜索在两个范围（0,1】和【1,1000】）同时进行搜索。自定义初始化群体时，个体选择参数c在两个范围内的选择机率是相同的，也就是一半的个体的参数c的值是在范围（0,1】里，另一半个体的参数 c是在范围【1,1000】里。算法复杂度：n xpn为群体大小，p进化代数。3，粒子群算法。实验采用标准粒子群算法：师+1）C1=k知学习系数 采用经验值2C2老会学习系数采用经验值2惯性权重 W =(W-0.4)*( n- i ) /n + 0.4 ，初始值为1最大迭代次数n, i = 1 , 2,n。r1,r2 是(0 , 1)范围内均匀分布的随机浮点数。P

19、i=局部最佳位置Pg=全局最佳位置Vt=控制微粒的飞行速度算法复杂度：n xpn为群体大小，p迭代代数。4，提出二种网络并行运算常规下，SVM回归多目标输出的数据的特征和目标相对较多，因此参数优化过程的运算量也相对较大。因此对于大的数据集采用并行运算是必要的。并行运算(parallel computing )是指，在并行机上，将一个应用分解成多个子认为，分配给不同的处理 其，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解速度，或者求解应用问题规模的目的。实验利用C# .net的socket网络编程技术，利用网络平台大量计算机对BFS算法和遗传算法进行SVM参数优化的并行运算。1，B

20、FS广度优先搜索的并行运算：服务器将SVM各参数范围分解，发送给各客户端分解的范围和步长，客户端以BFS算法完成该范围内的参数优化运算，将最佳参数和交叉验证结果返回给服务器端，服务器端从各客户端统计最佳结果，保存最佳 结果的参数值。2，多群体遗传算法并行运算：服务器把SVM参数范围和遗传算法选项参数发送给各客户端，各客户接到消息后先做初始化群体运算，然后返回一定数量的最佳个体给服务器，同时接收服务器发送过来的来自其他群体的最佳个体，如果有最佳个体 客户端就先进行个体交换，将一定数量的最差的个体换掉，然后再进行个体间的交叉变异，进化群体一定代数后，再返回 一定数量最佳个体给服务器端，又开始接收服

21、务器发送的来自其他群体最佳个体，直到运算结束，返回最好个体和参数给服务器。服务器收到全部客户端运算结束的消息时，统计最佳结果保存最佳参数。5，特征选择作者改进了序列极小化算法9，改用交叉验证的误差值来决定特征维的去留。算法描述：，根据参数优化得出的最佳配置和参数对样本作交叉验证，得出误差结果。(原算法不包含该过程),如果误差小于历史最小误差，重新保存历史最小误差和特征数组。否则转过程(4)，T，训练样本，得出最优解；|5.-.，根据构造决策函数，出w越小对f (x)影响越小，计算权向量w=(w1, w2,，wn,)的分量并按大小排列：|w1| |w2| w |wn| 。(4),从小到大依次去掉

22、|wj|对应的特征xj,返回过程(1)重新运算(原算法：在此处预测样本，得到误差后转过程(2)。直 到所有特征都选择过(j=n )时运算结束。特征优化实验采用e-SVR rbf核，交叉验证采用均化均方误差作评价准则，并使用上述实验得出的最佳参数& ,gamma和c。四，评价准则为了解决交叉验证中各目标的误差不平衡问题，本人提出两个解决方案：1,将预测各目标的均方误差除以训练样本相应目标的平均值。2，采用马氏距离(Mahalanobis )。均化均方误差：先计算训练样本m个目标的平均值Average 1, Average 2, Average m ,然后作交叉验证得到 m个均方误差 1、 2 n

23、，均匀化均方误差 :e = ( 1/ Average 1+ s 2/ Average 2+s m Average m )/m。马氏距离：马氏距离是由印度统计学家马哈拉诺比斯于1936年引入的，故称为马氏距离。这一距离在多元统计分析中起着十分重要的作用，马氏距离有很多优点。它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中 心化数据(即原始数据与均值之差)计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。它的缺 点是夸大了变化微小的变量的作用。以下是各评价准则的推导过程: TOC o 1-5 h z x代表样本目标值，y代表预测目标值，n代表样

24、本数，m代表目标数。其中i= 1,2,m; l = 1,2,n。 丄4旳斗+冷口训练样本各目标的平均值： :v _+尸J? _ E切-p护训练样本各目标的方差：-6 =交叉验证的均方误差：伽|- 丹虑yd片畑-畑订伽-yn尸H1以下是实验采用的四个评价准则:相对均方差:相关系数:3，均化均方差:tnKn-yii)3/ . (21-vji)2/.(Krmi-ymiJz/他十5”t/Pm 4，马氏距离:卸f 号巧+縮一厲)7壮+知】-氐尸/叫五，实验列表对比各种参数优化方式的特点和特征选择效果。为了对各种参数优化方式做全面综合的对比，均使用5折交叉验证,并设置交叉验证随机种子，保证相同的种子时，交

25、叉验证时随机配对的样本顺序是相同的.这样就能公平的比较各种参数寻优算法的性能。另外使用随机种子也可以验证一下样本数据的可 靠性，一般情况下，如果训练采用不同的交叉验证顺序，得到参数优化结果差别很大，说明该样本数据集缺乏代表性。实验数据使用9个目标，32个特征，训练集30个样本，预测集10个样本。前三个目标值y1,y2,y3是实验产生的，中间三个是前三个目标值的平方构成，y4=y1* y1, y5=y2*y2 ,y6=y3*y3，最后三个是也是前三个目标值构成的，y7=y1*y2, y8=y1*y3 ,y9=y2*y3。Data set from an experiment at the pap

26、er plant Saugbruksforeningen,Norway. It were described and analysedin Aldrin (1996).为了公平对比效果，参数优化算法不同但运算复杂度基本上保持相等。因此遗传算法的群体大小设置为25,进化代数40，粒子群算法群体大小也是25，迭代次数40，运算复杂度均为1000次。广度优先搜索根据核函数不同选择相应的步数 ，保证运算复杂 度约为1000次。遗传算法配置和参数选择实验：使用s-SVR, rbf核，参数范围s (0, 1】，gamma(0, 1】和c (0，1】+【1，1000】。经过多次实验，发现遗传算法采用以下参数

27、配置相对较好：稳态型算法，实数编码，单点交叉，交叉率0.9，高斯变异，变异率0.01，轮盘赌选择算子，线性尺度变换的定标方式，进化群体替换个体数为4。在下列试验中均采用该方案配置遗传算法。1， 使用s -SVR情况广度优先搜索根据核函数不同选择相应的步数来保证算法复杂度大至相同。rbf核有三个参数，s (0，1】，gamma(0，1】和c (0, 1000】,平均每个参数10步，运算复杂度约为1000次。Polynomial核有五个参数，& (0, 1】四步,gamma(0, 1】四步，c ( 0, 10】五步degree【3, 5】三步，r【0,1】五步，运算复杂度约为1200次。由于该核的

28、运算量太大，所以只实验了均匀化均方误差，c的范围也缩小到(0, 10】。Sigmoid核有四个参数& (0, 1】四步,gamma (0, 1】五步，c (0, 1000】十步,r【0,1】五步，运算复杂度约为 1000次。评价准则和预测误差核函数RbfPolynomialSigmoid遗相对均方误差和预测均方误差1无穷大某些参数的svm运算量太大,1无穷大最优参数Y =0.185,C=365.9,& =0.5835主要是degree【3, 5】和cY =0.76,r=0.97,C=0.36, e =0.65传相关系数和预测均方误差0.126292900757的取值(0, 10越大，运算0.0

29、8467932.92314e+007最优参数Y =0.1,C=1001,e =0.001量激增。序列最小最优化运Y =0.52,r=0.87,C=802,e =0.037算均化均方误差和预测均方误差5384.091.2275算中迭代次数超过100万.因5502.861.18855最优参数Y =0.2949,C=0.097, =0.085此实验只用了广度优先搜Y =0.69,r=0.76,C=0.11,e =0.19法马氏距离和预测均方误差0.1949183288.49索，结果如下：degree = 5, y0.274021.34971最优参数Y =0.276,C=149.9, =0.152=1

30、e-8,r = 0, C =Y =0.075,r=0.46,C=0.46,e =0.23粒相对均方误差和预测均方误差1无穷大0.866667, e = 1e-8 ,0.9098474.81267最优参数Y =1.0,C=1.0, E=0.91均化均方误差 =5324.77,预测均方误差 =1.31198Y =1e-8,r=0.017,C=112,e =0.36子相关系数和预测均方误差0.001525381.113610.02682622.16589e+006最优参数Y =0.526,C=1,e =0.3Y =1,r=0.25,C=987,E =0.34群均化均方误差和预测均方误差5124.87

31、0.984939无穷大无穷大最优参数Y =0.049,C=1,E =0.001Y =0.08,r=0,C=438,E =1马氏距离和预测均方误差0.1750871.13245无穷大无穷大最优参数Y =0.036,C = 1,e =0.126Y =0.08,r=0,C=438,E =1广相对均方误差和预测均方误差0.9729983293801无穷大最优参数Y =0.1077,C=856.6,& =0.041Y =1e-8,r=0,C=1, =0.5度相关系数和预测均方误差0.1262929007570.0877591.09872最优参数Y =0.1,C=1001,e =0.001Y =1e-8,

32、r=0,C=1001,E =0.001优均化均方误差和预测均方误差5053.860.9175715308.931.26412最优参数Y =0.046,C=0.929, e =0.0048Y =1e-8,r=0.067,C=03,e =0.08先马氏距离和预测均方误差0.07962120.9992320.07542821.08688最优参数Y =0.0082,C=0.122, e =0.01Y =1e-8,r=0,C=901,E =0.001平均运算时间56秒10分钟78秒2 , 使用v-SVR情况广度优先搜索根据核函数不同选择相应的步数来保证算法复杂度大至相同。rbf核有三个参数，v (0,

33、1】，gamma(0, 1】和c (0, 1】,平均每个参数10步，运算复杂度约为1000次。由于该核的随着C 的增加而运算量激增，而实验过程发现 c的搜索范围在(0, 1】之间结果最好，速度最快，所以直接改变 C的搜索范围(0, 1】 提高速度。不然运算时间可达 5小时。Polynomial核有五个参数，v(0,1】四步,gamma (0, 1】四步，c (0,10】五步,degree【3,5】三步，r【0,1】五步，运算复杂度约为1200次。Sigmoid核有四个参数v (0, 1】四步,gamma (0, 1】五步，c ( 0, 1000】十步,r【0,1】五步，运算复杂度约为1000次

34、。评价准则和预测误差核函数Rbf (c的搜索范围(0, 1】)PolynomialSigmoid遗相对均方误差和预测均方误差1无穷大svm运算量太大,主要是1无穷大最优参数Y =0.718,C=0.176,v=0.453degree【3, 5】和c的取值Y= 0.76,r=0.8,C=0.23,v=0.5传相关系数和预测均方误差0.02825210.993172(0, 10越大，运算量激增。0.08199168.25674最优参数Y =0.39,C=0.86,v=0.72序列最小最优化运算中Y =0.12,r=0.36,C=0.45,v=1算均化均方误差和预测均方误差5350.071.2429

35、9v-SVR迭代次数比 -SVR迭8641.722.14777最优参数Y =0.103,C=0.04,v=0.859代次数更多.Y= 0.19,r=0.2,C=0.8,v=0.66法马氏距离和预测均方误差0.1953941.133630.1647371.22694最优参数Y =0.379,C=0.615,v=0.657Y= 0.25,r=0.4,C=0.05,v=0.77粒相对均方误差和预测均方误差1无穷大0.993101无穷大最优参数Y =0.379,C=0.001,v=0.831Y= 0.85,r=0.1,C=830,v=0.59子相关系数和预测均方误差无穷大无穷大0.08270411.7

36、2093e+007最优参数Y =0.0013,C=0.2,v=0.59Y =0.24,r=0.16,C=758,v=0.94群均化均方误差和预测均方误差9887.981.281794.69805e+0061.09922e+006最优参数Y =0.0083,C=0.001,v=0.438Y =1,r=0.13,C=703,v=0.66马氏距离和预测均方误差无穷大无穷大12968.820706.8最优参数Y =0.74,C=0.77,v=0.0424Y =1e-8,r=0.15,C=634,v=0.65广相对均方误差和预测均方误差1无穷大1无穷大最优参数Y =1e-8,C=1e-8,v=0.001

37、Y =1e-8,r=0,C=1,v=0.001度相关系数和预测均方误差0.03725711.311590.08756821.1169最优参数Y =0.9,C=1e-8,v=0.7Y =1e-8,r=0,C=901,v=1优均化均方误差和预测均方误差5232.811.087935310.31.26349最优参数Y =0.0256,C=0.076,v=0.948Y =1e-8,r=0.07,C=0.3,v=0.88先马氏距离和预测均方误差0.0697611.034240.07542821.1169最优参数Y =0.0061,C=0.151,v=0.848Y =1e-8,r=0,C=901,v=1平

38、均运算时间125秒无穷大23秒实验说明：针对该数据来说，如果采用rbf核，其参数少，只有或v,gamma和c,使用广度优先搜索的参数优化在速度和精度上相对高于 遗传算法和粒子群算法.不同的SVM模型以及其参数和参数范围大小，SMO运算迭代次数不同，运算时间相差很大，例如上面v-SVR算法实验中采用Rbf核的平均运算时间远大于Sigmoid核（之前见过一些论文，认为rbf核是参数最佳的选择，因为其参数少，运算量会少）。另外，不能保证四个评价标准中，采用均匀化的均方误差是最好的。只能是相对该数据集来说，该评价标准相对较好，因为本人用其他数据做实验时，有时候相关系数和马氏距离相对较好。对比多阈值的多

39、目标 SVM回归实验：采用多阈值e-SVR算法，rbf核,进行BFS参数优化，实验结果：预测均方误差=0.446566+0.872939+0.537695+0.798981+0.83864+0.702031+0.200677+1.01226+1.08314=6.492929（而单阈值结果：0.917571 ），说明单阈值的多目标回归算法其预测效果较好。特征选择实验：实验采用e-SVR, rbf核，采用上次实验得出的最优参数 ,gamma和c,使用交叉验证的均化均方误差做评价准则。实验结果：可去除的特征项为第一项，去掉后，重新训练和预测样本，预测样本的均方误差为0.790056。比原来提高了 0

40、.127515。并行运算实验实验在八台联网电脑上进行，采用 -SVR，Polynomial核有五个参数，&（0，1】，gamma（0,1】，c （0，1】degree【2，5】，r【0,1】。采用均化均方误差作评价准则。使用bfs广度优先搜索：五步,gamma八步，c十步,degree四步，r五步。总运算复杂度约为8000次。平均分配给八台电脑，每台电脑的运算复杂度为1000次使用多群体遗传算法：群体数目由联网电脑数目自动决定，设置群体大小25，进化代数40。总运算复杂度为8000次，每台电脑的运算复杂度 1000次。实验结果：bfs: degree = 5, y = 1e-8,r = 0, C = 0.866667,& = 1e-8，均化均方误差 =5324.77，预测均方误差 =1.31198Ga: y =0.103,C=0.04,v=0.859 , 均化均方误差=4990.78，预测均方误差=0.72049作者简介：彭文伟 男1971无学位，Vsvm和Supercomputer软件创作者。作者简介 ： 彭文伟 男 1971 无学位 , Vsvm 和 Supercomputer 软件创作者。实验证明，并行运算采用多群体遗传算法在性能上优于采用广度优先搜索。七，结论本文提出并介绍了在共同阈值下的两种多目标输出的支持向量机回归算法，同时对比三种参数优化算法