支持向量机(SVM)2演示报告PPT

SVM分类器Contents1.线性SVM分类器原理

2.非线性SVM和核函数

3.SVM手动推导

4.SVM分类器上机演示5.总结目录假设在一个二维线性可分的数据集中，我们要找到一条线把两组数据分开。但哪条直线是最佳的？也就是说哪条直线能够达到最好的分类效果？大小颜色梨苹果PART01SVM分类器原理支持向量机做了什么？支持向量机的分类方法，是在一组分布中找出一个超平面作为决策边界，使模型在数据上的分类误差尽量接近于小，尤其是在未知数据集上的分类误差（泛化误差）尽量小。支持向量机分类器是如何工作的？在几何中，超平面是一个空间的子空间，它是维度比所在空间小一维的空间。如果数据空间本身是三维的，则其超平面是二维平面，而如果数据空间本身是二维的，则其超平面是一维的直线。在二分类问题中，如果一个超平面能够将数据划分为两个集合，其中每个集合中包含单独的一个类别，我们就说这个超平面是数据的“决策边界”。什么是超平面？什么是线性可分？

以右图为例，在一个二维平面内，有两个类别的离散样本点，一条直线将两类样本分开。如果一个线性函数能够将样本完全正确分开，这些数据即是线性可分的。线性可分？SVM分类器概念1支持向量机（SupportVectorMachine,SVM）是一类按有监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对样本求解的最大边距超平面。

支持向量机就是要使超平面和支持向量之间的间隔尽可能的大，这样超平面才能将两类样本准确的分开，而保证间隔尽可能的大就是保证我们的分类器误差尽可能的小，尽可能的健壮。

间隔主要目标1支持向量机的主要目标是得到一条能用于分组的最佳分界线。这并不像听上去那么简单，因为能用于分组的分界线可能有多条。

为了找出最佳分界线，首先需要从一组中找出距离另一组最近的外围数据点，然后在两组的外围数据点之间画出最佳分界线。由于这些外围数据点在寻找最佳分界线的过程中起了支持作用，因此它们叫作支持向量。

理解SVM的工作原理1在训练初期，分类器只看到很少的数据点，它试着画出分隔两个类的最佳决策边界。随着训练的进行，分类器会看到越来越多的数据样本，因此在每一步中不断更新决策边界。随着训练的进行，分类器可以看到越来越多的数据样本，因此越来越清楚地知道最优决策边界应该在哪里。在这种场景下，如果决策边界的绘制方式是“–”样本位于决策边界的左边，或者“+”样本位于决策边界的右边，那么就会出现一个误分类错误。理解SVM的工作原理1根据在训练阶段学习到的决策边界，在测试阶段，我们想知道新数据点（?）应该属于哪个类。如果问号的位置再靠左边一点，那么我们就可以确定对应的目标标签是“+”。但我们知道所有的“+”样本都位于决策边界的左边，所有的“–”样本都位于决策边界的右边。这3个决策边界都能完成任务，它们都将训练数据分成两个子集。理解SVM的工作原理1一个SVM最有可能选择实线，因为这是“+”类和“–”类数据点之间的最大间隔的决策边界。结果表明，为了找到最大边界，只需要考虑位于类边界上的数据点。这些数据点也被称为支持向量（supportvector），这也是SVM这个名字的由来。（1）收集数据（6）使用算法

(5）测试算法（4）训练算法

SVM的大部分时间都源自训练（3）分析数据（2）准备数据SVM的一般流程1PART02非线性SVM和核函数支持向量机做了什么？处理非线性可分数据的基本思想是创建原始特征的非线性组合。这与我们想要把数据投影到一个高维空间（例如，从2D到3D）是一样的，在高维空间中数据变得线性可分了。如何处理线性不可分？非线性SVM的引入2将数据从低维空间投影到高维空间，使其线性可分；如果数据在原始输入空间不能线性可分，那么我们可以应用映射函数φ(•)，将数据从2D投影到3D（或者一个高维）空间。在这个更高维的空间，我们可能找到一条线性决策边界（在3D中是一个平面）来拆分数据。SVM通过选择一个核函数，将低维非线性数据映射到高维空间中。核函数2简单地说，核函数是计算两个向量在隐式映射后空间中的内积的函数。核函数通过先对特征向量做内积，然后用函数K进行变换，这有利于避开直接在高维空间中计算，大大简化问题求解。并且这等价于先对向量做核映射然后再做内积。在实际应用中，通常会根据问题和数据的不同，选择不同的核函数。当没有更多先验知识时，一般使用高斯核函数。PART03SVM数学原理手动推导

SVM最优化问题手动推导

SVM原理手动推导

PART04SVM分类上机实现

上机实现部分通过

录屏展示PART05SVM分类器总结❏小数据集：由于支持向量机依靠支持向量确定决策边界，因此样本量少意味着用来对分界线进行准确定位的数据也少。❏多组数据：支持向量机每次只能对两组进行分类。如果存在两个以上的组，则需要对每组都应用支持向量机，以便将其从