dmc之svm报告材料3 r实现

支持向量机（SVM）——R实现

汇报人：

姚启坤

目录一、基本说明二、支持向量分类器三、支持向量机

模型比较超参数选择四、参考文献

一、基本说明R包：e1071svm()函数：生成分类器基本形式如下：svm（formula,data,subset,na.action=na.omit,kernel,degree=3,gamma=1/数据维数,cost=1……）formula分类模型形式，y~x：即y相当于标签，x相当于特征data数据框subset可以指定数据集的一部分作为训练数据na.action缺失值处理，默认为删除缺失数据

一、基本说明svm（formula,data,subset,na.action=na.omit,kernel,degree=3,gamma=1/数据维数,cost=1……）kernel非线性边界：核函数，默认为高斯核常见核：线性核：u'*v多项式核：(gamma*u'*v+coef0)^degreeSigmoid(S型)核：tanh(gamma*u'*v+coef0)degree多项式核的次数，默认为3gamma除线性核外，其他核的参数，默认为1/数据维数cost设置惩罚项C：观测穿过间隔的代价

一、基本说明R包：e1071tune()函数：交叉验证调最优参数基本形式如下：tune(method,formula,data,kernel,ranges=list(cost,degree,gamma))svm

二、支持向量分类器模拟数据不能完全线性可分：案例数据取自：AnIntroductiontoStatisticalLearning

二、支持向量分类器set.seed(1)tune.out<-tune(svm,y~.,data=dat,kernel="linear",ranges=list(cost=c(0.001,0.01,0.1,1,5,10,100)))summary(tune.out)#bestparameters:cost0.1svmfit<-svm(y~.,data=dat,kernel="linear",cost=0.1,scale=FALSE)summary(svmfit)plot(svmfit,dat)code

二、支持向量分类器Call:svm(formula=y~.,data=dat,kernel="linear",cost=0.1,scale=FALSE)Parameters:SVM-Type:C-classificationSVM-Kernel:linearcost:0.1gamma:0.5NumberofSupportVectors:16(88)NumberofClasses:2Levels:-11

二、支持向量分类器生成测试集评价最优模型（cost=0.1）svmfit=svm(y~.,data=dat,kernel="linear",cost=0.1,scale=FALSE)Truthpredict-11-1101118正确率：90%

三、支持向量机非线性边界数据：案例数据取自：MachineLearningforHackers

三、支持向量机逻辑回归好不好？logit.fit<-glm(Label~X+Y,family=binomial(link='logit'),data=df)logit.predictions<-ifelse(predict(logit.fit)>0,1,0)mean(with(df,logit.predictions==Label))#[1]0.5156mean(with(df,0==Label))#[1]0.5156模型比较（一）

三、支持向量机svm.fit<-svm(Label~X+Y,data=df)svm.predictions<-ifelse(predict(svm.fit)>0,1,0)mean(with(df,svm.predictions==Label))#[1]0.7204模型比较（一）

三、支持向量机模型比较（一）

三、支持向量机不同核函数模型比较：模型比较（二）

三、支持向量机调最优参数提高分类正确率：####polynomial####degree####分别展示degree=3、4、6、8超参数选择（一）

三、支持向量机超参数选择（一）Parametertuningof‘svm’:-samplingmethod:10-foldcrossvalidation-bestparameters:degree4-bestperformance:0.1432364-Detailedperformanceresults:degreeerrordispersion130.43840230.02715377240.14323640.01130042350.43841550.02715559460.19274840.01322402570.43558550.02745985680.23165020.01406628

三、支持向量机超参数选择（二）####radial####cost####分别展示cost=0.001、1、1000

三、支持向量机cost=c(0.001,0.01,0.1,1,10,100,1000)超参数选择（二）

三、支持向量机####sigmoid####gamma####gamma=seq(0.1,1,length.out=10)超参数选择（三）

三、支持向量机超参数选择（三）####sigmoid####gamma####分别展示gamma=0.5、0.8、0.3

四、参考文献[