支持向量机PPT课件

1、支持向量机（SVM） 什么是支持向量机？什么是支持向量机？ l 图A给出了一个线性可分数据集（可以在图中画一条直线将两组数据点 分开） l 图B、C、D分别给出了一条分隔的直线，那么其中哪一条最好？是不是 有寻找最佳拟合直线的感觉？ l 支持向量机（SVM）就可以用来寻找此线性可分情形下的最优分类面。 （有人说SVM是最好的现成的分类器） 12021/6/7 什么是支持向量机？什么是支持向量机？ 支持向量机（Support Vector Machine）是一种非常流行的监督学习 算法，简称为SVM 。该算法可以针对线性和非线性的数据。它利用一种 非线性转换，将原始训练数据映射到高维空间上。在新

2、的高维空间中， 它搜索线性最优分类超平面。或者说是搜索一两个不同类型之间分离的 决策边界。通过非线性映射将数据映射到一个足够高的维度上，来自两 个不同 类的数据总可以被一个超平面所分离。SVM使用支持向量(基本训 练元组)和边缘(由支持向量定义)来发现超平面。 右图中，将红蓝两类数据分隔开的直线称为 分隔超平面，在更高维数据集中，将数据分隔开 的对象称为超平面，也就是分类的决策边界。 右图中圆圈标记的数据点，也就是距离分隔超平面 最近的那些点，称为支持向量（support vector）。 22021/6/7 支持向量机（支持向量机（SVM） 支持向量机理论：支持向量机理论： SVM是从线性可

3、分情况下的最优分类面发展而来。 最优分类面就是要求不但能将两类正确分开，而且使得分类间隔最大。 SVM考虑寻找一个满足分类要求的超平面，并且使得训练集中的点距离分类 面尽可能的远，也就是寻找一个分类面使它两侧的空白区域（margin）最大。 过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本 就叫做支持向量（support vector）。 目前，支持向量机已在人脸识别、文字识别、图像处理和时间序列预测等领 域获得了比较广泛的应用。 32021/6/7 两分类问题两分类问题 n 线性线性分割分割情形情形 第 1 类 第 2 类 n许多决策边界可以分割这许多决策边界可以分割这 些

4、数据点出为两类些数据点出为两类 n我们选取哪一个我们选取哪一个? 42021/6/7 l 坏的决策边界的例子坏的决策边界的例子 第 1 类 第 2 类 第 1 类 第 2 类 52021/6/7 l 好的决策边界好的决策边界: 间隔最大间隔最大 Maximum Marginal n决策边界离两类数据应尽可能远 n最大化间隔 m 第 1 类 第 2 类 m 62021/6/7 1、数学模型描述：、数学模型描述： 72021/6/7 2、支持向量机求解：、支持向量机求解： 通过引入拉格朗日函数将上述最优化问题转化为其对偶问题，则可以得到 82021/6/7 3、解的性质、解的性质 92021/6/

5、7 a6=1.4 4、几何解释、几何解释 第1类 第2类 a1=0.8 a2=0 a3=0 a4=0 a5=0 a7=0 a8=0.6 a9=0 a10=0 102021/6/7 112021/6/7 122021/6/7 n线性线性不可分的不可分的情形情形 两分类问题两分类问题 132021/6/7 n关键思想关键思想: 为了解决非线性分割问题, 将 xi 变换到一个 高维空间。 n输入空间: xi 所在的空间 n特征空间: 变换后 f(xi) 的空间 n如何变换如何变换 ? n利用一个适当的变换f, 使分类变得容易些。 n特征空间中的线性算子等价于输入空间中 的非线性算子。 142021/

6、6/7 左图是一个典型的线性不可分情形， 但是当我们把这两个类似于椭圆形的点映射到一个高维空间后，映射函 数为： 用这个函数可以将上图的平面中的点映射到一个三维空间（z1,z2,z3)，并 且对映射后的坐标加以旋转之后就可以得到一个线性可分的点集了。 152021/6/7 变量 z 恒大于零。 原始图中，红圈数据分布在原点附近 它们的 z 值比较小； 而星星数据则远离原点区域，它们具有较大的 z 值。 162021/6/7 n变换可能出现的问题变换可能出现的问题 n难以得到一个好的分类且计算开销大 nSVM同时解决这两个问题同时解决这两个问题 n最小化 |w|2 能得到好的分类 n利用核函数核

7、函数技巧技巧(kernel trick)可以进 行有效的计算 f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f() f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( ) 特征空间输入空间 172021/6/7 什么是核函数？ 核函数定义：核函数是一个对称函数，对所有的x , y X ，满足： 这里f() 是X到內积空间F的映射。 n核函数举例核函数举例 nd 阶多项式核：阶多项式核： n具有宽度具有宽度 s s的径向基函数核：的径向基函数核： n相当接近于径向基函数神经网络 n具有参数具有参数 k k and q q 的的S

8、igmoid 核核 182021/6/7 核函数技巧核函数技巧(kernel trick) n核函数 K 与映射 f(.) 之间的关系是 n作为核函数技巧这是已知的 n在应用中, 我们指定K, 从而间接地确定 f() 以代替选取 f() 。 n直观地, K (x,y) 表示我们对数据 x 和 y 之间相似性的一 种描述， 且来自我们的先验知识 。 n为了f() 存在， K (x,y) 需要满足 Mercer 条件。 192021/6/7 202021/6/7 非线性非线性SVM算法算法 n将所有的将所有的内积改为核函数内积改为核函数 n训练算法训练算法: 线性的线性的 非线性的非线性的 212021/6/7 222021/6/7 232021/6/7 描述函数的值描述函数的值 12456 第第2类类 第第1类类第第1类类 242021/6/7 支持向量机应用：人脸识别 252021/6/7 人脸识别系统框架图 262021/6/7 总结 支持向量机优缺点： 优点：SVM理论避开高维空间的复杂性，直接用內积函数即核函数，来解决决策问题。 同时SVM是基于小样本统计理论的基础上的，符合机器学习的目的 并且比神经网络具有更好的泛化推广能力。 缺点：对参数调节和核函数的选择敏感。 支持向量机的应用： 支持向量机已在人脸识别、文字识别、图像处理和时间序列预测等领