《数据挖掘与数据分析（财会）》支持向量机（SVM）及应用

大智移云下的财务管理创新思维

问题的提出在平面上有这样的两组数据，如何将他们进行分类，以便于在将来新的数据加入进来能将新的数据划分到某一方：SVM原理以及基本概念1.什么是SVMSVM（supportvectorsmachine，SVM，支持向量机）支持向量机（又名支持向量网络）一种二类分类模型，它的基本模型是的定义在特征空间上的间隔最大的线性分类器，是一种机器学习算法。SVM中最关键的思想之一就是引入和定义了“间隔”这个概念。SVM的学习策略就是间隔最大化。核心：超平面，核，训练与测试SVM原理以及基本概念2.SVM原理要进行分类，则要将两类尽可能的分开，且误差最小。SVM的目标是：寻找距离最大化的边界。边界定义为：分离面（决策边界）与其最近的训练样本之间的距离现在问题就变成了：如何确定与分离面距离最近的样本？

SVM原理以及基本概念2.1点到分离面的距离总结

SVM原理以及基本概念

分隔平面我们假设这个平面的方程是：

将这个方程写成向量的形式就变为：

这两个平面就变成了边界现在的问题就变成了如何找到这个平面？X的位置X的垂直分量X在平面内的分量

2.2最大间距SVM原理以及基本概念

SVM求解

Python求解SVM现有一系列企业，我们把这些企业根据营业额度，税前利润，交税，存利润四个维度划分为四类，这四类我们分别标注为：1,2,3,4。现在有一些新的企业，如何将这些企业进行分类呢？进行预测的步骤1.导入需要用到的包2.导入样本数据和预测数据3.对样本数据进行分析4.校验预测的精度4.利用分析的结果对未来进行预测5.显示预测结果利用SVM进行分类准备工作：本次实验，需要装载数据，并且对数据进行处理，因此需要使用numpy和pandas包绘图需要用到pyplot包进行训练和预测，需要用到sklearn包中的svm第一步，导入包：importnumpyasnp#计算所用包importmatplotlib.pyplotasplt#绘图用importpandasaspd#计算所用包fromsklearn.svmimportSVC#算法fromsklearn.model_selectionimporttrain_test_split#用来分离测试数据与训练数据导入数据：init_data=pd.read_excel("i:/myjupyter/ceshi.xlsx")将数据和标签分别取出：data=init_data.loc[:,["value","profit"]]label=init_data.loc[:,"label"]将数据进行标准化stand_data=StandardScaler().fit(data).transform(data)创建向量机linear_svc=SVC(kernel="linear")将原始数据进行分割，分为训练和测试x_train,x_test,y_train,y_text=train_test_split(data,label,test_size=1/5,random_state=33)创建一个SVC实例，并应用数据进行训练linear_svc=SVC(kernel="linear")linear_svc.fit(x_train,y_train)对测试数据进行测试，查看测试精度test_predic=linear_svc.predict(x_test)linear_svc.score(x_test,y_test)直观查看，绘图a=-linear_svc.coef_[0,0]/linear_svc.coef_[0,1]b=-linear_ercept_[0]/linear_svc.coef_[0,1]x_min,x_max=data["value"].min(),data["value"].max()y_min,y_max=data["profit"].min(),data["profit"].max()plt.xlim(x_min,x_max)plt.ylim(y_min,y_max)x=np.linspace(x_min,x_max,1000)plt.scatter(x_train.loc[:,"value"],x_train.loc[:,"profit"],c=y_train)plt.plot(x,a*x+b,c="r")plt.plot(x,a*x+(linear_svc.support_vectors_[1,1]-a*linear_svc.support_vectors_[1,0]))plt.plot(x,a*x+(linear_svc.support_vectors_[0,1]-a*linear_svc.support_vectors_[0,0]))plt.scatter(linear_svc.support_vectors_[0,0],linear_svc.support_vectors_[0,1],s=100)plt.scatter(linear_svc.support_vectors_[1,0],linear_svc.support_vectors_[1,1],s=100)plt.show()线性不可分的情况以上我们看到的情况是两类有明确的分隔平面，这个属于线性可分。用一个线性函数把两类样本分开,比如二维空间中的直线、三维空间中的平面以及高维空间中的线性函数但是，当线性不可分呢？例如下图！现在我们将图像由二维转向三维，z轴我们可以考虑由x和y组合而成。假设z=x*y0,31,22,13,0线性不可分的情况0,31,22,13,00,3,03,0,01,2,22,1,2现在我们将图像由二维转向三维，z轴我们可以考虑由x和y组合而成。假设z=x*y核函数

核函数：

fromsklearn.model_selectionimportGridSearchCVparameters=('kernel':(linear','rbf'),'C:[1,2,3,4,5,6,7,8,9,10],'gamma:[0.01,0.02,0.03,0.04,0.05,0.10,0.2,0.3,0.4,0.5]}svr=svm.SVC()grid=Grid