基于Python的支持向量机分类算法研究分析 计算机科学与技术专业

摘要在大数据盛行的时代背景下，机器学习这门学科的广泛应用。并且列举运用Python语言进行数据处理的优势，将其与传统语言进行对比，充分体现了Python语言在语言简洁，效率高等方面的优势。这也是本文最后选择Python语言实现SVM算法的主要原因。本文主体内容阐述了支持向量机算法(SVM)的基本内涵，并且用图示和数学方法形象具体讲解了SVM的基本原理。具体分析了SVM算法中线性可分数据、线性不可分数据和含有outlier点的数据集的分类方式。通过对偶问题求解法、核函数、及SMO算法等实现了对最优超平面的求解。并且完成了二分类问题向多标签分类问题的推广。文章通过，使用手写数字数据集在Python上进行SVM模型的训练与测试，体会SVM算法如何解决实际问题。具体的表现了用Python语言实现SVM算法的优势，直观的展现了实验成果。关键字：机器学习PythonSVM最优超平面核函数AbstractIntheeraoftheprevalenceofbigdata,machinelearningiswidelyusedinthisdiscipline.AndenumeratetheadvantagesofusingPythonlanguagefordataprocessing,compareitwithtraditionallanguages,andfullyembodytheadvantagesofPythonlanguageintermsofsimplelanguageandhighefficiency.ThisisthemainreasonwhythisarticlechoosesthePythonlanguagetoimplementtheSVMalgorithm.ThemaincontentofthispaperexpoundsthebasicconnotationofSupportVectorMachine(SVM),andexplainsthebasicprincipleofSVMconcretelywithgraphicandmathematicalmethods.Theclassificationoflinearlyseparabledata,linearlyindivisibledata,anddatasetswithoutlierpointsintheSVMalgorithmisspecificallyanalyzed.Thesolutiontotheoptimalhyperplaneisachievedthroughthedualproblemsolvingmethod,kernelfunction,andSMOalgorithm.Andithascompletedthepromotionofthetwo-classificationproblemtothemulti-labelclassificationproblem.Passingtheendofthearticle,usingthehand-writtendigitaldatasettotrainandtesttheSVMmodelinPython,tounderstandhowtheSVMalgorithmsolvespracticalproblems.ThespecificperformanceoftheSVMalgorithmusingPythonlanguageadvantages,intuitivedisplayoftheexperimentalresults.Keywords:machinelearning,Python,SVM,optimalhyperplane,kernelfunction第一章绪论1.1机器学习随着互联网计算机技术的普及应用与发展，随处可见的数据信息数量日益庞大，数据与信息与人们的生活愈发的息息相关。数据量的不断扩大和信息获取方式的不断增多，带来了信息处理日益困难的问题。伴随着硬件性能的快速增长，人们寄希望于计算机可以帮助人类处理越来越庞大的数据。因此，机器学习在近年来得以迅速兴起与发展。机器学习(MachineLearning,ML)是集合了多种领域知识的一门学科，涵盖统计学、概率论、算法复杂度理论等多个领域。用于研究计算机通过模拟人类的学习行为，并且由此去的新知识和技能的能力。机器学习是计算机人工智能的核心，被应用于人工智能的多个领域。顾名思义，机器学习是使用机器来模拟人类学习行为的一项技术。具体来说，机器学习是一门训练机器获取新知识或新技能，包括获取现有知识的学科。这里所说的“机器”，指的就是计算机、电子计算机、中子计算机、光子计算机或神经计算机等等。机器学习已经在很多领域进行了广泛应用，例如：计算机视觉、DNA序列测序、语音识别、手写识别、医学诊断。机器学习算法是一种能够从数据中进行持续学习的算法。Mitchell(1997)为其提供了一个简洁的定义：对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习是指，通过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升。其中任务T指的是人们希望机器可以实现的功能。在分类、回归、异常检测、转录、机器翻译等任务上，机器学习已经有了广泛的应用。而获取经验E的过程可以分为无监督算法和有监督算法。两者的区别在于是否对数据集中的数据样本给予标签。1.2支持向量机在监督学习中，支持向量机是影响力最大的机器学习方法之一。支持向量机由CorinnaCortes和Vapnik等人于1995年提出，其创新的核技术使其不再局限于对线性数据的处理，在对于非线性数据的分类上也有了良好的表现，并已被广泛应用于文本识别、手写字体识别、及时间序列预测等小型分类任务中。支持向量机(SupportVectorMachines，SVM)这种机器学习方法是以统计学理论、VC维理论和结构风险最小化原理为基础的。在解决特定问题，如小样本、非线性和高维模式问题时表现优异，并且大大优化克服了机器学习中会遇到的“维数灾难”问题与“过学习”问题。SVM具有如下特点：(1)以非线性映射为理论基础，利用内积核函数实现由低维空间到高维空间的非线性映射。(2)以寻找最优超平面为目标，核心思想为最大化分类间隔。(3)以少数支持向量为训练结果，去除了大量冗余样本，具有良好的鲁棒性。(4)理论基础坚实、数学模型简单明了，可以归结为一个受约束的二次型规划(QuadraticProgramming，QP)的求解问题。(5)可以运用牛顿法、内点法等经典优化算法，方便快捷地求得最优解。SVM作为一类二分类模型，可以处理以下三类数据：(1)线性可分数据。使硬间隔最大化，进行线性分类器学习(2)近似线性可分数据。使软间隔最大化，进行线性分类器学习(3)线性可分数据。使核函数与软间隔最大化，进行非线性分类器学习。平面内的直线，对应线性分类器；平面上的曲线，对应非线性分类器。硬间隔虽然可以将线性可分数据集中的样本正确分类，但是受到outlier样本的很大影响，不推荐使用。软间隔可以对近似线性可分数据和非线性可分数据进行分类，离超平面很近的outlier点可以允许被错误分类，从而可以更广泛的应用。1.3Python语言Python这门语言已经产生并发展了30余年，是目前最受欢迎的程序设计语言，也是通用编程语言中最接近自然语言的。Python侧重于求解计算问题，其具有语法简单，语言表达层次高等特点，这与计算机问题解决中的思维理念相吻合。Python语言将问题和问题的解决方案进行简化，从而达到问题的自动化求解，是当下最直观的利用计算机解决复杂信息系统的工具。Python语言的适用群体广泛，任何需要使用计算机来解决计算问题的人群都可以使用，即使是非计算机专业从业人员。Python语言是一种轻化语法，弱化类型的计算机语言，同C语言等相比较，不需要指针和地址等计算机系统内必须的结构元素；可以不定义变量就直接使用（解释器会自动匹配）；语言内部通过UTF-8编码来实现，字符串类型独立，操作多语言文本时，语言大大简化，可以优秀的支持中文；运用变长列表代替定长数组，可以将多种数据类型进行兼容并可以灵活地表示集合长度。Python语言除了有基本语法，还是一个脚本语言，直接运行源代码便可以执行，这可以让程序运行和源代码相融合。这种模式的优势在于：(1)有利于源代码维护。(2)可以跨操作系统操作。(3)可以实现代码的交流与设计。Python具有简洁的语言代码，能支持两种设计方法，即：面向过程与面向对象这两种设计方法，且不需要通过函数封装程序，因此代码长度仅为C语言代码长度的十分之一到五分之一。综合以上所谈，总结Python语言的优点如下：(1)Python这种解释语言可大大方便编程。解释语言具有先天优势，即：不需要编译时间，可以大大提高工作效率。(2)Python有很多非常成熟的库可以利用，开发生态优秀。如：NumPy（存储和处理大型矩阵）、SciPy（高效的数学运算）、pandas（处理数据的函数和方法）、matplotlib（数据操作、聚合和可视化）等。(3)Python的运行效率不低。与Python友好的库可以提高程序运行的速度，在团队的有力支撑下，库的效率可比程序员用C语言调试优化一个月的效率还高。在本文中，介绍了支持向量机可解决的线性数据分类、近似线性数据分类和非线性数据分类这三类问题，并且通过使用具有编写效率高、语言简洁和可直接使用的第三方支持库种类全面等特点的Python来实现SVM算法，快捷便利地实现数据样本的分类问题，展现了SVM与Python在机器学习方面的优势所在。1.4论文主要研究内容本文分析了在信息化飞速发展的大数据背景下，运用Python语言处理数据的优势与可行性，重点讲解了SVM算法的基本原理，和在面临不同数据集的分类问题时所用的具体方法，对此进行了详尽的数学分析和原理阐述。并最终用Python语言实现了多标签的SVM分类训练。第二章支持向量机的原理2.1线性可分问题对于一个给定的数据样本集D={x1,y1,x2,y2,…,x如图2.1所示，在如下的二维平面中，将两种不是同一类型的数据分别用图形O和X进行表示，对于线性可分的两类数据，可以用一条直线将两类数据分开。这样的直线就是一个超平面。将这条直线一侧的数据点标记为y=-1

，另一侧的数据点标记为y=1。图2.1如图2.2所示，在一个给定样本空间中，超平面可由式(2-1)表示：WTx+b=0(2式中，用W=(W1;W2;…;Wd)表示超平面的法向量，位移项则用常数b表示。由法向量W图2.2对于数据集里任意数据点，当yi=1时，有WTxi+b>0,当yWTxi+b≥1,当式中等号成立的时候，xi2.2函数间隔与几何间隔通过观察WTxi+b的符号与yi的符号一致与否可判断分类超平面是否选取正确，所以，可以用yi(WγF=yWTx+b据此，在超平面(W,b)中关于样本集D中的所有样本点xi,yiγF=minγFi(i=1,…,n)但是，当W和b成比例改变时，函数间隔的值也会成比例变化，如W和b变化为3W和3b时，函数间隔的值也会变为原值的3倍，所以如此定义的函数间隔是不完全正确的，还需要引入几何间隔(Geometricalmargin)这一定义。样本集D中任一点xi到超平面(W,b)的距离，定义为几何间隔。如图2.3所示，在二维空间上有一点xi和超平面(W,b)（在此为直线），xxi=x0+dw图2.3式(2-6)中的||W||为向量W的L2范数，即将向量W中的各元素求平方和后开根号所得的值。将点xi代入超平面方程式(2-1)WTx0将式(2-6)两边同时乘上WT，又由WTW=||w||2d=WTx由于间隔一般为正值，因此将几何距离与类别y的乘积定义为几何间隔，即：γG=γF|W由式(2-8)可看出，函数间隔乘向量W的L2范数就可以得到几何间隔。2.3最大间隔分类器如图2.4所示，对于一个样本集D，存在多个满足分类条件的超平面，这些超平面与数据点之间的间隔不一，甚至部分几乎紧贴数据点。对数据点进行分类的时候，为了提高分类的可靠性，需要寻找最优超平面(OptimalHyperPlane)，使得超平面的两侧的数据点与超平面的间隔，即图2.5中的GAP的值尽可能大。图2.4图2.5如图2.5所示，最优超平面用图中的实线来表示，此条实线到位于其两侧的虚线的距离相等，此距离等于几何间隔，两虚线之间的距离为几何间隔的2倍。在超平面确定之后，再等比例地放大或缩小W和b，WTx+b的值也会随之放大或缩小，所以函数间隔对于使间隔值最大化没有意义。而几何间隔为函数的间隔的||w||-1，可以使得几何间隔在放大或缩小为了方便公式的推导，令式(2-8)中的函数间隔γF为1γG=1|W|目标即为求在约束条件yiWmaxγG=max2.4用拉格朗日乘数法求最大值由上文可知，SVM的原目标函数为几何间隔的两倍，即：max2γG=max2|W|为了求解方便，将目标函数转换为：min|W|22s.t.yiWT图2.6(2-13)现有的目标函数式(2-12)为二次函数，约束条件为线性条件，该问题可以使用拉格朗日对偶性(LagrangeDuality)转换为优化对偶变量(Dualvariable)(2-13)L令：θW=maxα当约束条件不被满足，即yiWTxi+b-1＜θW=W22，满足约束条件+∞，不满足约束条件由式(2-14)，目标函数可转换为：minW,bθW=minW,b其中，p*为问题的最优解，为方便求解，根据对偶性，将式(2-15)转换为：maxαi≥0min其中，d*为新式的最优值，且d*≤p*，当满足一定条件时等号成立，d*为p*的近似解。2.5对偶问题求解(1)假设α为定值，求min(2-18)首先对W、b，分别求偏导数，且令偏导数值为0(2-18)∂(2-19)将式(2-18)的结果代入式(2-13)(2-19)L=推导过程如下：L===-=-==(2)根据(1)，变量W和b已被消去，只有α未知，由式(2-19)，求minW,bLmaxs.t.αi≥0(2-(2-21)求得最优解αi，记作αi*。根据KKT(2-21)W求得最优超平面为：WTx+b*=0第三章线性不可分3.1核函数在实际应用的求解中，原始数据往往是线性不可分的。如图3.1所示的二维空间内，有若干红球与篮球，显然，无法找到一个超平面（直线）将这两类小球进行分类。对于这种线性不可分的情况，在SVM中，可以使用核函数和松弛变量来求解这类问题。图3.1数据在原始空间内不线性可分的问题，可以通过将其投射到高维空间这一办法来解决。其原理是当数据线性不可分时，SVM会优先在低维空间中进行计算，然后使用核函数将原始空间映射到高维空间，达到在高维空间中找到最优超平面的效果，成功地实现在低维空间本身将不能分类的非线性数据分类。如图3.2所示，这些数据在二维空间中无法进行线性分类，因此将原始数据投射到三维空间中进行分类。图3.2然而，若一遇到非线性数据就将其投射到高维空间，那么一个原始二维空间经映射将成为一个五维空间；一个原始三维空间经映射将成为一个19维度空间。新空间的维数呈爆炸式增长，带来了庞大而困难的计算量。并且，在无穷维的情况下，无法进行计算。核函数的优势在于，由于在SVM的求解过程中只用到内积计算，而核函数的值恰好等于其在高维空间内的内积值，因此可以大大简化SVM的计算过程。此外，与传统算法Logistic回归算法、DecisionTree算法相比，利用核函数进行数据分类时，效果更加完美。在图3.3中的三种分类方式效果对比图可以很直观的体现这一优势。图3.3如表3.1所示，常用的核函数有多项式核函数、高斯核RBF函数、Sigmoid核函数。表3.1常用核函数核函数名称核函数式多项式核函数K高斯核RBF函数KSigmoid核函数K在选择核函数时，需要依靠先验领域知识或交叉验证等方法，若没有更多信息，普遍选用高斯核函数。3.2松弛变量在前文中，已经讨论了线性可分数据和非线性可分数据的处理方式，即当数据为线性可分时，可找到一个超平面将数据直接进行分类；当处理非线性数据时，可以使用核函数将原始数据投射到更高维空间后进行分类。然而，还是存在一些特殊情况对于以上两种方法都不适用。如图3.4所示有若干蓝色小球与粉色小球，其中有一个蓝色小球(outlier)M偏向于粉色小球堆。黑色虚线为根据数据计算得到的超平面，此时该超平面严格地将红色小球与蓝色小球进行了分类，然而GAP的值却变得很小。甚至在某些情况下，当蓝色小球M混入粉色小球堆中，SVM无法找到一个合适的超平面将两类小球进行分离。如果将偏离的蓝色小球忽略后进行分类，可以获得图中的GAP更宽的红色超平面。MM图3.4为了应对这样的由于个别数据点严重偏离大多数数据点所在区域的情况，SVM允许有个别数据点偏离超平面，即某些数据点的函数间隔小于1。在实际应用中，引入松弛变量(slackvariable)ξi≥0，考虑outlier后的WTxi+b式(3-1)亦可表示为：yi(WTxi+b)由式(3-2)，显然当ξi取无限大值时，所有超平面都可以满足条件，因此，在原目标函数上添加一项，使ξi的和也取得最小值。随之，SVM的目标函数由式(2-13)转化为式(3-3ms.t.yiWTxiξi其中，C为权重值，用于在最大化GAP和最小化数据偏差之间平衡。(3-4)同样，在约束条件前乘以拉格朗日乘子α，从而将目标函数与约束条件融合为一个函数表达式，构造得到新的拉格朗日函数：(3-4)L为求得最优解，令L对W，b，ξi的偏导数都为0∂L∂W=0将解代入式(3-4)得目标函数：maxs.t.0≤α将式(3-6)与式(2-20)对比可知，含有outlier的分类问题中的αi多了上限C的约束条件。而在核函数中也只需把xi,xj替换成Kx3.3高斯核函数与松弛变量的综合应用综合核函数与松弛变量的使用，可以更好的解决分类问题。如图3-5所示有若干红球与绿球，且个别红色小球混入了绿色小球堆中，而个别绿色小球混入了红色小球中。通过使用高斯核，获得超平面后映射回原空间中，得到曲线将两类小球分离，而通过引入松弛变量，允许有个别小球偏离超平面。在已经使用高斯核的基础上，选择不同的C和ξ可以获得不同的分类效果，观察图3.5(a)和图3.5(e)、图3.5(b)和图3.5(f)、图3.5(c)和图3.5(g)、图3.5(d)和图3.5(h)四组图片可知，惩罚因子C越大，意味着对outlier点约重视，越不愿意放弃outlier点；而观察图3.5(a)、图3.5(d)和图3.5(e)、图3.5(h)两组图片可知，ξ值越大，意味着outlier点的数量和GAP值越小。在实际应用中，需要选择合适的核函数、惩罚因子C与松弛变量ξ的值以获得合适的超平面。图3.5(a)图3.5(b)图3.5(c)图3.5(d)图3.5(e)图3.5(f)图3.5(g)图3.5(h)相关代码如下所示。3.4多标签分类(multilabelclassification）多标签分类可以转换为单标签分类。其中一种方法是将每个多标记实例的所属标记联合起来创建为一个新的标记。这种方法被称Label-Powerset。由此，多标签分类问题转换为了单标签分类问题。转换后的分类问题可以使用任何分类器进行分类。另一种方法是采用一对多(OAA)策略：训练针对类别i的二元分类器，将类别i训练样本与其他样本分离。在分类过程中，x被分为了多标签类。其中n为类别数。这种方法称为二元相关方法，此方法是单标签一对多策略的扩展。

3.5SMO求解对偶问题在第三章中得到了SVM的目标函数式(3-6)，为了实求解结果同时适用于线性可分与线性不可分问题，首先将目标函数式(3-6)中的xi,xj替换为核函数Kmins.t.0≤αi≤C该目标函数需要求解向量α的n个参数(α1,α2,α3,…,αn),有多种算法可以求解该目标函数，但序列最小优化算法SMO假设已经固定了n-2个参数(α3,α4,αmin(3-8)(3-9)其中M为常量，Ki(3-9)为了求解该子问题，首先将目标函数中的等式约束转换为：α则α1=y1(ζ-α2y2∂ψ(α2)可求解得到α2，带入式(3-9)得α1，分别记作α2new和α1new。由于ζ的值难以计算，对式(3-根据式(2-21)的超平面表达式可知，新的数据点的预测值为：fx=i=1nαi则v1与vv1=f将其带入式（3-10），并令K11+Kα2new=α2old由于此时获得的α2new在计算中未考虑约束条件，将α2new记作α2new,unclipped，而约束条件在二维平面中的表示为图3.6，最优解必须在图中的线段上取得，因此L≤α2LL=max0,α1经过上述约束条件的修剪即可获得最优解α2α2new=H,α2获得α2new后，根据α2new与α图3-6而b的值首先需满足如下条件：b=b1,0<α更新格式为：b1new=b2new=当α1与α2更新后，b和E的值也同时需要更新，当所有α都更新后，即可获得分类平面函数式(3-以上所述为已选择两个乘子后，对两乘子的求解过程。而乘子的选择的步骤为：扫描所有乘子，将第一个不满足KKT条件的乘子进行更新。在所有满足KKT条件的乘子中寻找满足条件minE

第四章SVM分类实例4.1使用Python运行SVM分类实例在前文中介绍了SVM分类算法的基本理论。SVM的基本思想为寻找样本空间的超平面并在最大化数据间隔的基础上进行分类。当处理非线性问题时，SVM引入了核函数，将低维数据映射至高维数据后使其变为线性可分后进行分类。考虑到数据样本中可能存在“噪声”，引入了松弛变量，使分类器有一定的容错能力。本章通过使用mnist手写数字数据集在Python上进行SVM模型的训练与测试，体会SVM算法如何解决实际问题。Mnist手写数字数据集是机器学习的一个典型数据集，其数据来源于250个不同的人的手写数字，共包含70000张28*28像素的图片。如图4-1所示为一个典型的手写数字，对于人眼而言可以轻易地识别出该数字为“0”——高度比宽度稍长的一个椭圆。然而对于计算机而言很难将人类的这种直观感受用算法表达出来。图4.1手写数字图表4.1分类器结果预测值实际值PositiveNegative正TPFN负FPTN机器学习通过大量样本学习认知规律这一方法与人类类似，但其具体地学习认知规律的过程与人类有所不同。对于SVM，解决本问题的思路是首先读取大量带有标签的手写数字，之后寻找出可将不同标签数据进行分类的超平面，即获得了预测函数——可以识别出新的手写数字的规则。此外，随着样本数量的增加，SVM可以学习到更准确地认知规律。然而，当样本数过多时，也可能出现过拟合的情况，即模型过度地拟合了训练数据，而对于测试数据而言，其分类效果却较差。图4.2为样本集中的部分图像，由于mnist手写数字数据集原始数据为图像，而SVM