试验四支持向量机

1、实验四：支持向量机班级姓名学号指导老师.实验目的1 .了解基有关支持向量机的根本原理2 .能够使用支持向量机的代码解决分类与回归问题3 .了解图像分类的根本原理二、实验的硬件、软件平台硬件：计算机软件：操作系统win10应用软件：Java三、实验原理1. LIBSVM使用方法简介LibSVM是以源代码和可执行文件两种方式给出的.如果是Windows系列操作系统,可以直接使用软件包提供的程序,也可以进行修改编译；如果是Unix类系统,必须自己编译.LIBSVM在给出源代码的同时还提供了Windows操作系统下的可执行文件,包括：进行支持向量机练习的svmtrain.exe；根据已获得的支持向量机

2、模型对数据集进行预测的svmpredict.exe；以及对练习数据与测试数据进行简单缩放操作的svmscale.exe.它们都可以直接在DOS环境中使用.如果下载的包中只有C+勺源代码,那么也可以自己在VC等软件上编译生成可执行文件.2. LIBSVM使用的一般步骤是：1) 根据LIBSVM软件包所要求的格式准备数据集；2) 对数据进行简单的缩放操作；3) 考虑选用RBF核函数；4) 采用交叉验证选择最正确参数C与g;5) 采用最正确参数C与g对整个练习集进行练习获取支持向量机模型；6) 利用获取的模型进行测试与预测.3. LIBSVM使用的数据格式1)练习数据和检验数据文件格式如下：<

3、label><index1>:<value1><index2>:<value2>.其中<label>是练习数据集的目标值,对于分类,它是标识某类的整数(支持多个类)；对于回归,是任意实数.<index>是以1开始的整数,可以是不连续的；<value>为实数,也就是我们常说的自变量.检验数据文件中的label只用于计算准确度或误差,如果它是未知的,只需用一个数填写这一栏,也可以空着不填.在程序包中,还包括有一个练习数据实例：heart_scale,方便参考数据文件格式以及练习使用软件.可以编写小程序,将自己

4、.的数据格式转换成这种格式2Svmtrain和Svmpredict的用法L旧SVM软件提供的各种功能都是DO阶令执行方式.我们主要用到两个程序,svmtrain训I练建模和svmpredict使用已有的模型进行预测,下面分别对这两个程序的使用方法、各参数的意义以及设置方法做一个简单介绍：1Svmtrain的用法：svmtrainoptionstraining_set_filemodel_file一一一Options:可用的选项即表示的涵义如下-ssvm类型：SV根置类型默认00-C-SVC1-v-SVC2-一类SVM3-e-SVR4-v-SVR-t核函数类型：核函数设置类型默认20-线性：u&

5、#39;v1 -多项式：r*u'v+coef0Adegree2 -RBF函数：exp-r|u-v|A23 -sigmoid:tanhr*u'v+coef0- ddegree：核函数中的degree设置默认3- g函数设置默认1/k?rgama:核函数中的- rcoef0：核函数中的coefO设置默认0?-ccost:设置C-SVC-SVR的参数默认1?-SVR和- SVR勺参数默认0.5?-SVC,一类SVMff口-nnu:设置- SVR?-pe：设置的值默认0.1?中损失函数- mcachesize:设置cache内存大小,以MB为单位默认40- e:设置允许的终止判据默认0

6、.001?- hshrinking:是否使用启发式,0或1默认1- wiCC-SVCt的C默认1?weight：设置第几类的参数C为weight- vn:n-fold交互检验模式其中-g选项中的k是指输入数据中的属性数.option-v随机地将数据剖分为n局部并计算交互检验准确度和均方根误差.以上这些参数设置可以根据SVM勺类型和核函数所支持的参数进行任意组合,如果设置的参数在函数或SVM类型中没有也不会产生影响,程序不会接受该参数；如果应有的参数设置不正确,参数将采用默认值.training_set_file是要进行练习的数据集；model_file是练习结束后产生的模型文件,文件中包括支持

7、向量样本数、支持向量样采以及lagrange系数等必须的参数；该参数如果不设置将采用默认的文件名,也可以设置成自己惯用的文件名.（2） Svmpredict的用法：svmpredicttest_filemodel_fileoutput_filemodel_file是由svmtrain产生的模型文件；test_file是要进行预测的数据文件；Output_file是svmpredict的输出文件.svm-predict没有其它的选项.四、实验内容及步骤支持向量机算法练习分类器：1 .练习数据集：见文档“分类数据集.doc,前150个数据作为练习数据,其他数据作为测试数据,数据中“+1“-1分别表

8、示正负样本.2 .使用代码中的C-SVCB法和默认参数来练习分类数据集.doc中所有的数据包括练习数据和测试数据,统计分类查准率.m命令握示衿：'IsersMIdiiinistratDrXDesktopXlibsui3-20windowa>5vn-train,exe1.txt2ptimizationFinished,Biter=16*u-n,431029bj=-100.877288,rha=D.424462SU=132,nBSU=107DLdln£l>133：JJsersMldniinistratorXDesktopXlibsui3-20windows>sv

9、n-ppedict1.txt23ccuracy86.ftf>67vi<234/2?B)<c1ass1Ficatlon3 .在2的根底上使用k-折交叉验证思想来练习分类器并统计分类查准率：:BsersAdnini£tpatorDesktoplihsuin-3.20windov>s>s«n-train.exe-v10i.txt2ptimlsationfinljhtdjttltfri-133u=0.4S7663bj=-96,023257,rho=0.360977SU-1双nBEU-IBUotalnSU=125ptimlaattanfinl3htd,t

10、titfri,-172u=0.439324bj=-91.326460,rho=0.419186SU-120,nB£U-92otalnSU=120ptimlzattanrtuished,ttltfri1lb?u=0.449487bj=-9.364450.rho=0.475975EU-124,nB£U-96otalnSU=124ptimlsatianfinl4htd,ttltfti-132u=0.419548bj=-86,660809,rho=0.248152SU-115*nB£U-91otalnSU=115CrvSsUalidationAccurcv81,8519&

11、gt;4 .使用2中的设置在练习数据的根底上学习分类器,将得到的分类器在测试数据上进行分类预测,统计查准率5 .在4上尝试不同的C值“-c参数来调节分类器的性能并绘制查准率曲线.m晶令媪示符口：sersMldniinistratorDes<CopXlibsunt-3-20windows>su(ntrain.exe-c0.51.txt2ptinlzationfinishedAlter'131u=0.492462bj=-56.S2S4H1.pho=0.239152SU-14,nBSU-125otaln£U=144MsepssAdminL£tratDrxDes

12、ktopMihsum-320uindous>sumtpain.ext-c11.txt2ptinizati.anFin-1b2u=0.431029bj=-100.877288,rhu=0,424462EU-13Z,nBSU-107tainSU=132：MJ£apsAdnlnistv&tai*Deskt：dpMihsun-3«20uindnu&>sun-tnain-e1*51,txt2ptinizationFinished,ttiter=166u-0.,的6ysbj=-142.131581,pho=0.474903SU=126knBSV=97ot&#

13、171;ln£U-±2&C：ilsersdministFatorXDesktopXlihsuii-3.20windows>suin-train.exe-c21.txt2*aptimlzatianfiniislied,ttitar22t)nu=0.388793obj=-181,110841,rho=F),433596i£U-123.nBSU-90FotalnSU=123C：UseP5AdministFatDrxDe5ktoplihsuii-3.20uindous>sun)-trLain.exe-c2.51.txt2*aptinizationFin

14、ished*=239nu=0.377fll5obj=-218.307424,rho=0.453258iSU-12灯,nBSU-84FotalnSU=1206 .尝试不同的kernel函数“-t参数来调节分类器的性能并绘制查准率曲线,对每种kernel函数尝试调节其参数值并评估查准率.：MlsepsMldniinistpatc*rDesktQplibsui3,20windows>svn-tpain.exe-t01,txt2*ptifiizationfinishedrttiter=1010u=35另371bj-92,4733Et,pRb-SU=101,nBSU=88n“lnSU=101：SU

15、sepsdministratorSDesktopXlihsuii-3-20windows>sum-tpain.exe-t11.txt2ptimlEationfinishEd,ttitar14日u=0.605080bj=-131.800243,r加=-0,16568B£U-177,nBSU-15totalnSU=17?：U5ersAdministpatDrxDesktaplihsuin-3.20uindaus>Gun)-trLain.exe-t21.txt2ptinizationfinished,=162u-0.431029bj=-100.877288,rho=0.4244

16、62SU=132,nBSU=107ot«ln£U-132UverssAdministratDrXDesktapMibsum-3.20w±ndaws>svmtrain-t31«txt2Eiptimizationfinished,ttiter=157iu-0.43£762ibj=-110.099362,pho=-0.333939iSU=124,nBSU=11&otaln£U-124支持向量机算法练习回归方程：(1) .回归数据集：见文档回归数据集.doc,总共506个数据,数据中前13个属性作为输入,最后一个属性作为输出.：

17、MisersMflldninistratDrxDesJctopXlibsum-3.2Hwinidows>su>iTi-piiedict.exe2.txt2.txt.mode1;eansquarederror=9.681692<resjiressio>fi>quaredcorrelationcoefficicnt-0203485(repression>(2) .使用代码中的epsilon-SVR算法和默认参数来练习回归数据集.doc中所有的数据,统计回归方程在每个数据点输出的误差并进行误差分析.:：XJersHdministratorJ)eskltaibsvm

18、-3.20windawESun-train-exe-s3txtSptinizatianFinished,ttiter=90u=0.885835bj=-89,070542,rho=0.3B1291£U-125.nBSU-112.在2上尝试不同的epsilon值(“-p参数)来调节epsilon-SVR算法的性能.C：IJseFsMldiinistpatDrvJ)esktQplib3Ui3,20windows>5vn-trflin.ext-s3-p0.22.txt5N ptimizationfinisbed,ttiter=82nu=0.864823 bj-77.S34421,pBd

19、-0.339066nGU=121,nBSU=1的C：Jlsei*5dmlni£tpatDrLJ)esktapXlib£um-3.20uindnus>sum-train.exe-s3-p0.32.txt5* ptinizationfinishedPttitei'=75nu-0.847488 bj=-66.240874,rho=0.298788nSU=nBSV=107C：MIsepsMIdninitratorDesktopMibsuii-3_20windows>sv(n-tpain.exe-s3-p0.42.txt5K ptimizationfinislie

20、d,Kiter=81nu=0.830030 bj-55,164745Frho-&.233221nSU=114*nBSU=1&4C-SlllgarsAdministratDrM)esktaDlibsvin_3.2QwindawE>S'Jn_train-exer3-p052«txtSM ptinizatianfinisiedFttiter=86nu=0.?99?57 bj=-44.395639Arho=0.228635nSU-112,nBSU-95五、思考题：1 .阐述k-折交叉验证的思想,比拟1.2和1.3的性能.答：k-折交叉验证(k-foldcrossValidation)就是在机器学习中,将数据集A分为练习集(trainingset)B和测试集(testse