机器学习SVM实验报告

1、实验报告实验名称：机器学习：线性支持向量机算法实现学 员：张麻子学 号： *个*个*培养类型：硕士年 级：专 业：所属学院：计算机学院指导教员：*职 称：副教授实验室：实验日期：一、实验目的和要求实验目的：验证SVM支持向量机机器学习算法学习情况 要求：自主完成。二、实验内容和原理支持向量机（Support Victor Machine, SVM的根本模型是在特征空间上找到最 正确的别离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的 有监督学习算法。通过引入了核方法之后SVM也可以用来解决非线性问题。但本次实验只针对线性二分类问题。SVM算法分割原那么：最小间距最大化，即找距

2、离分割超平面最近的有效点距 离超平面距离和最大。对于线性问题：w*x + b = 0假设存在超平面可最优分割样本集为两类，那么样本集到超平面距离为：|wTx + b| 3P = niin . -. .I|W| l|w|需压求取：amax：.T7l|w|s.t y/wrx + b） a由于该问题为对偶问题，可变换为：1 ?min -|w|ps.t, yj（wTM + b） 1可用拉格朗日乘数法求解。但由于本实验中的数据集不可以完美的分为两类，即存在躁点。可引入正那么 化参数C,用来调节模型的复杂度和训练误差。min：|w|2 + ces.t Vi（WK + b） 1 - Ej 0作出对应的拉格朗

3、日乘式：冷5 =刃同F +i=l街3何七+砂_+&)_工跚心17对应的KKT条件为：V = 二 R UiArXj = 0= 2二内咬 = 一7=1 功=0Ue 叫了 =， 叫 + Bi = cVi Qj (力(d) 丁Kj + 舌)_ 1 _ &) = 0 CLj V 力(?丁、/ _ Z?) = 1 一&Vi 民& = 0/! = 0 V & = 0故得出需求解的对偶问题:min otiOtjyjyjCxiXj) 一、 s.t. ay = o, c乏叫兰a本次实验使用python编译器，编写程序，数据集共有2 7 0个案例，挑选其中 70%作为训练数据，剩下30%作为测试数据。进行了两个实验

4、，一个是取C值为1, 直接进行SVM训练；另外一个是利用交叉验证方法，求取在前面情况下的最优C 值。三、实验器材实验环境：windows7操作系统+python编译器。四、实验数据关键源码附后实验数据：来自UCI机器学习数据库，以Heart Disease数据集为例。五、操作方法与实验步骤1、选取C=1，训练比例7：3，利用python库sklearn下的SVM()函数进 行训练，后对测试集进行测试；2、选取训练比例7：3，C=np.linspace(0.0001, 1, 30)。利用交叉验证方法 求出C值的最优解。六、实验结果与分析实验一得出结果：C值：1训练集正确率：0. 86”肛867小

5、86测试集正确率：0. 82160493821605测试集预测结果：L 1. 2. / L 1. 1. 1. 1. L 1. 2 如 2. 2 1. 1. 2. 2. 1. 2. 1.旗 Z1. 1, 1. 1. 1. 2, 1. 1. 2, 1. 2. 2. 土 2. 1, 1. 2. 1. 1. 2. 1. 1. 2. 1,2. 2. 2. 2. 1. 1. 2. 1. 1. 2. 1. 2. 1. 1. 1. 1. 1. 2. 2. 2. 1. 1. 1. 1.2. 1. 2. 1. 2. 1. 1. 2. 2.测试集真实结果.Ltl. 1, 1. 2. 1. 1. 2. 1. 1. 1

6、. 1, 1. 1. 2. 2. 1. 1. 2. 2. 2. 2. 1. 2. L2. 1. 1. 1. 1. 2. 1. 1. 2. 1. 2. 2. 2. 2. 1. 2. 2. 1. L 2. 1. 2. 1. 1.2. 2. 2. 1. 1. 2. 1. 1. 1. 2. 1. 2. 1. 1. 1. 1. 1. 2. L 2. 1. 1. 1. 1.2. 1. 2. 1. 2. 1. 1. 2. 2.可见，训练集的正确率是0.8677248677248677,小于1,说明训练集存在躁点， 需要选择性的排出，才能得到较好的训练效果，测试集正确率到达了 0.82716049382716

7、05,还须进一步提高。实验二得出结果：最优参数；C: 0. 0690536206S96551S,1 kernel :1 linearprecisionrecall fl-scoresupport1. 00. S70.850. 86482. 00. 790.820. 8133avg / total0. 840.040. 0481可见，在上述情况下，当C=0.06905862068965518时，可得到较好的训练效果。七、问题与建议(可选)本次实验只是对SVM在线性空间的应用，还有非线性问题，多分类问题等。通过研究了解到，对于非线性问题，需要参加核函数；对于多分类问题，需要重新 调整模型八、附录源

8、代码import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mplfrom sklearn import svmfrom sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.metrics import classification_reportdef LoadData(path):data = np.loadtxt(path dtype=float, delimiter=) r

9、eturn datadef Once_SVM(data, c=0.1, train_rate=0.7):x, y = np.split(data, (13,), axis=1)x_train, x_test, y_train, y_test = train_test_split(x, y,random_stat =0, train_siz =train_rate)clf = svm.SVC( =c, kernel=linear, decision_function_shap =ovo) clf.fit(x_train, y_train.ravel()print (uC 值：，c)print(u

10、训练集正确率：，clf.score(x_train, y_train) # 精度print(u测试集正确率：，clf.score(x_test, y_test)print(u测试集预测结果：)y_hat = clf.predict(x_test)print(y_hat)print(u测试集真实结果：)print (y_test.T)x_train, x_test, y_train, y_test = train_test_split(x, y, random_stat =0, train_siz =train_rate)tuned_parameters=kernel: linear, C : np.linspace(0.0001, 1, 30)#构造这个GridSearch的分类器,5-foldclf = GridSearchCV(svm.SVC(), tuned_parameters, cv=5, scoring=accuracy)clf.fit(x_train, y_train.ravel()(u最优参数：) print(clf.best_params_)y_true, y_pred = y_test, clf.predict(x_tes