




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、实验报告实验名称:机器学习:线性支持向量机算法实现学 员:张麻子学 号: *个*个*培养类型:硕士年 级:专 业:所属学院:计算机学院指导教员:*职 称:副教授实验室:实验日期:一、实验目的和要求实验目的:验证SVM支持向量机机器学习算法学习情况 要求:自主完成。二、实验内容和原理支持向量机(Support Victor Machine, SVM的根本模型是在特征空间上找到最 正确的别离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的 有监督学习算法。通过引入了核方法之后SVM也可以用来解决非线性问题。但本次实验只针对线性二分类问题。SVM算法分割原那么:最小间距最大化,即找距
2、离分割超平面最近的有效点距 离超平面距离和最大。对于线性问题:w*x + b = 0假设存在超平面可最优分割样本集为两类,那么样本集到超平面距离为:|wTx + b| 3P = niin . -. .I|W| l|w|需压求取:amax:.T7l|w|s.t y/wrx + b) a由于该问题为对偶问题,可变换为:1 ?min -|w|ps.t, yj(wTM + b) 1可用拉格朗日乘数法求解。但由于本实验中的数据集不可以完美的分为两类,即存在躁点。可引入正那么 化参数C,用来调节模型的复杂度和训练误差。min:|w|2 + ces.t Vi(WK + b) 1 - Ej 0作出对应的拉格朗
3、日乘式:冷5 =刃同F +i=l街3何七+砂_+&)_工跚心17对应的KKT条件为:V = 二 R UiArXj = 0= 2二内咬 = 一7=1 功=0Ue 叫了 =, 叫 + Bi = cVi Qj (力(d) 丁Kj + 舌)_ 1 _ &) = 0 CLj V 力(?丁、/ _ Z?) = 1 一&Vi 民& = 0/! = 0 V & = 0故得出需求解的对偶问题:min otiOtjyjyjCxiXj) 一、 s.t. ay = o, c乏叫兰a本次实验使用python编译器,编写程序,数据集共有2 7 0个案例,挑选其中 70%作为训练数据,剩下30%作为测试数据。进行了两个实验
4、,一个是取C值为1, 直接进行SVM训练;另外一个是利用交叉验证方法,求取在前面情况下的最优C 值。三、实验器材实验环境:windows7操作系统+python编译器。四、实验数据关键源码附后实验数据:来自UCI机器学习数据库,以Heart Disease数据集为例。五、操作方法与实验步骤1、选取C=1,训练比例7:3,利用python库sklearn下的SVM()函数进 行训练,后对测试集进行测试;2、选取训练比例7:3,C=np.linspace(0.0001, 1, 30)。利用交叉验证方法 求出C值的最优解。六、实验结果与分析实验一得出结果:C值:1训练集正确率:0. 86”肛867小
5、86测试集正确率:0. 82160493821605测试集预测结果:L 1. 2. / L 1. 1. 1. 1. L 1. 2 如 2. 2 1. 1. 2. 2. 1. 2. 1.旗 Z1. 1, 1. 1. 1. 2, 1. 1. 2, 1. 2. 2. 土 2. 1, 1. 2. 1. 1. 2. 1. 1. 2. 1,2. 2. 2. 2. 1. 1. 2. 1. 1. 2. 1. 2. 1. 1. 1. 1. 1. 2. 2. 2. 1. 1. 1. 1.2. 1. 2. 1. 2. 1. 1. 2. 2.测试集真实结果.Ltl. 1, 1. 2. 1. 1. 2. 1. 1. 1
6、. 1, 1. 1. 2. 2. 1. 1. 2. 2. 2. 2. 1. 2. L2. 1. 1. 1. 1. 2. 1. 1. 2. 1. 2. 2. 2. 2. 1. 2. 2. 1. L 2. 1. 2. 1. 1.2. 2. 2. 1. 1. 2. 1. 1. 1. 2. 1. 2. 1. 1. 1. 1. 1. 2. L 2. 1. 1. 1. 1.2. 1. 2. 1. 2. 1. 1. 2. 2.可见,训练集的正确率是0.8677248677248677,小于1,说明训练集存在躁点, 需要选择性的排出,才能得到较好的训练效果,测试集正确率到达了 0.82716049382716
7、05,还须进一步提高。实验二得出结果:最优参数;C: 0. 0690536206S96551S,1 kernel :1 linearprecisionrecall fl-scoresupport1. 00. S70.850. 86482. 00. 790.820. 8133avg / total0. 840.040. 0481可见,在上述情况下,当C=0.06905862068965518时,可得到较好的训练效果。七、问题与建议(可选)本次实验只是对SVM在线性空间的应用,还有非线性问题,多分类问题等。通过研究了解到,对于非线性问题,需要参加核函数;对于多分类问题,需要重新 调整模型八、附录源
8、代码import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mplfrom sklearn import svmfrom sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.metrics import classification_reportdef LoadData(path):data = np.loadtxt(path dtype=float, delimiter=) r
9、eturn datadef Once_SVM(data, c=0.1, train_rate=0.7):x, y = np.split(data, (13,), axis=1)x_train, x_test, y_train, y_test = train_test_split(x, y,random_stat =0, train_siz =train_rate)clf = svm.SVC( =c, kernel=linear, decision_function_shap =ovo) clf.fit(x_train, y_train.ravel()print (uC 值:,c)print(u
10、训练集正确率:,clf.score(x_train, y_train) # 精度print(u测试集正确率:,clf.score(x_test, y_test)print(u测试集预测结果:)y_hat = clf.predict(x_test)print(y_hat)print(u测试集真实结果:)print (y_test.T)x_train, x_test, y_train, y_test = train_test_split(x, y, random_stat =0, train_siz =train_rate)tuned_parameters=kernel: linear, C : np.linspace(0.0001, 1, 30)#构造这个GridSearch的分类器,5-foldclf = GridSearchCV(svm.SVC(), tuned_parameters, cv=5, scoring=accuracy)clf.fit(x_train, y_train.ravel()(u最优参数:) print(clf.best_params_)y_true, y_pred = y_test, clf.predict(x_tes
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 电子商务对地方经济抗风险能力的提升效应
- 促进跨学科合作推动高校美育教育的深化
- 湖南省凤凰县2024-2025学年物理八上期末统考试题含解析
- 河南省平顶山市舞钢市2024年七上数学期末达标检测试题含解析
- 2025至2030中国水果制品市场供应规模及发展行情走势预测报告
- 疫情防控期间场地租赁合同安全防护与疫情防控协议
- 资产重组财务顾问保密合同模板
- 新兴生物安全行业发展趋势预测报告
- 2025至2030中国自卸拖车行业市场深度研究及发展前景投资可行性分析报告
- 2025至2030中国自动润滑系统行业市场深度研究及发展前景投资可行性分析报告
- 2025河南郑州市新郑市投资集团招聘25人笔试参考题库附带答案详解
- 十八项医疗质量安全核心制度-2025版考核试题
- 管培生合同或协议模板
- 2025年军事理论与国防教育课程考核试卷及答案
- 第38届中国化学奥林匹克(决赛)第二场参考案
- 生态水利工程学的研究范式创新与实践需求分析
- SJG 130 – 2023《混凝土模块化建筑技术规程》
- DB37-T5321-2025 居住建筑装配式内装修技术标准
- 《视网膜色素变性》课件示例
- 2025-2030中国火箭发动机行业市场发展趋势与前景展望战略分析研究报告
- T-CHSA 090-2024 年轻恒牙根尖诱导成形术操作专家共识
评论
0/150
提交评论