机器学习SVM(支持向量机)实验报告

1、.实 验 报 告实验名称： 机器学习：线性支持向量机算法实现 学 员： 张麻子 学 号： * 培养类型： 硕士 年 级： 专 业： 所属学院： 计算机学院 指导教员： * 职 称： 副教授 实 验 室： 实验日期： 一、实验目的和要求实验目的：验证SVM（支持向量机）机器学习算法学习情况要求：自主完成。二、实验内容和原理支持向量机（Support Vector Machine, SVM）的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法。通过引入了核方法之后SVM也可以用来解决非线性问题。但本次实验只针对线性二分类问题。SVM算

2、法分割原则：最小间距最大化，即找距离分割超平面最近的有效点距离超平面距离和最大。对于线性问题：wTx+b=0假设存在超平面可最优分割样本集为两类，则样本集到超平面距离为： = min|wTx+b|w| = a|w|需压求取：maxaws.t. yi(wTx+b)a由于该问题为对偶问题，可变换为：min12|w|2s.t. yi(wTx+b)1可用拉格朗日乘数法求解。但由于本实验中的数据集不可以完美的分为两类，即存在躁点。可引入正则化参数，用来调节模型的复杂度和训练误差。min12|w|2+Cis.t. yi(wTx+b)1-i, i0作出对应的拉格朗日乘式：对应的条件为：故得出需求解的对偶问题

3、：min 12ijyiyj(xiTxj)-is.t. iyj = 0 , Ci0,本次实验使用python编译器，编写程序，数据集共有个案例，挑选其中70%作为训练数据，剩下30%作为测试数据。进行了两个实验，一个是取值为，直接进行训练；另外一个是利用交叉验证方法，求取在前面情况下的最优值。三、实验器材实验环境：windows7操作系统+python编译器。四、实验数据（关键源码附后）实验数据：来自UCI机器学习数据库，以Heart Disease数据集为例。五、操作方法与实验步骤、选取，训练比例：，利用python库sklearn下的SVM()函数进行训练，后对测试集进行测试；、选取训练比例

4、：，np.linspace(0.0001, 1, 30)。利用交叉验证方法求出值的最优解。六、实验结果与分析实验一得出结果：可见，训练集的正确率是0.8677248677248677，小于，说明训练集存在躁点，需要选择性的排出，才能得到较好的训练效果，测试集正确率达到了0.8271604938271605，还须进一步提高。实验二得出结果：可见，在上述情况下，当0.06905862068965518时，可得到较好的训练效果。七、问题与建议 (可选)本次实验只是对在线性空间的应用，还有非线性问题，多分类问题等。通过研究了解到，对于非线性问题，需要加入核函数；对于多分类问题，需要重新调整模型八、附录

5、（源代码）import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mplfrom sklearn import svmfrom sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.metrics import classification_reportdef LoadData(path): data = np.loadtxt(path, dtype=float, delimite

6、r= ) return datadef Once_SVM(data, c=0.1, train_rate=0.7): x, y = np.split(data, (13,), axis=1) x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0, train_size=train_rate) clf = svm.SVC(C=c, kernel=linear, decision_function_shape=ovo) clf.fit(x_train, y_train.ravel() print(uC值:

7、, c) print(u训练集正确率: , clf.score(x_train, y_train) # 精度 print(u测试集正确率: , clf.score(x_test, y_test) print(u测试集预测结果：) y_hat = clf.predict(x_test) print(y_hat) print(u测试集真实结果：) print(y_test.T)def CrossValidation_SVM(data, train_rate=0.7): x, y = np.split(data, (13,), axis=1) x_train, x_test, y_train, y_

8、test = train_test_split(x, y, random_state=0, train_size=train_rate) tuned_parameters = kernel: linear, C: np.linspace(0.0001, 1, 30) # 构造这个GridSearch的分类器,5-fold clf = GridSearchCV(svm.SVC(), tuned_parameters, cv=5, scoring=accuracy) clf.fit(x_train, y_train.ravel() print(u最优参数：) print(clf.best_params_) y_true, y_pred = y_test, clf.predict(x_test) print(classification_report(y_true, y_