数据挖掘导论--第5章-分类-5.5-SVM-2017

1、5.5支持向量机，支持向量机，SVM)统计学习理论的早期工作起源于瓦普尼克和切尔沃内基斯。第一篇论文是博瑟、盖恩和瓦普尼克的文章。它们不容易过度适合。支持向量机还提供了学习模型的一种简洁表示。SVM可以用来预测和分类它们。它们已被应用于许多领域，包括手写数字识别、目标识别、说话人识别和参考时间序列预测测试。支持向量机，两个线性可分的类找到这样一个超平面，所以所有的正方形都位于这个超平面的一边，而所有的圆都位于它的另一边。这种超平面可能有无限多的“最大边”，也就是说，希望在正确分离两类数据点的前提下，找到的决策边界将具有相应分类器的最大边。这可以使新测试数据被错误分类的概率尽可能小。如下图所示，

2、情况(b)比情况(a)和(c)具有更强的泛化能力，因为其接口与两类样本中最近邻样本之间的距离最大。(a)，(b)，(c)，判定边界的边缘，表示1表示-1、也就是说，给出了判定超平面，并且给出了更多的例子。应考虑以下因素：经验风险最小(样本误分类最少)最大泛化能力(新样本误分类可能性最小)，决策边界的边缘，表示1表示-1、决策边界的边缘，表示1表示-1、更多示例：决策边界的边缘，表示1表示-1，更多示例：决策边界的边缘，表示1表示-1、所有决策超平面但是应该选择哪个作为最优决策超平面呢？更多示例：决策边界的边缘、分类器边距、注释1、注释-1、将线性分类器的边距定义为在到达数据点之前边界可以增加的

3、宽度。更多示例：决策边界的边缘，最大边距，表示1表示-1、最大边距线性分类器是具有，嗯，最大边距的线性分类器。这是一种简单的svm(称为lsvm)，线性SVM，更多的例子：决策边界的边缘，表示1表示-1、最大边距线性分类器是具有最大边距的线性分类器。这是最简单的一种SVM(称为LSVM)，支持向量，线性SVM，更多的例子：决策边界的边缘，决策边界和SVM的边缘，线性分类器的决策边界可以写成如下：wx b=0，其中w和b是模型的参数，边缘，块的类标签是1，类标签为1z的圆的类标签y调整决策边界的参数w和b。两个平行超平面bi1和bi2可以表示如下：bi1: wxb=1bi2: wxb=1。可以证

4、明边d、边导数和w的方向垂直于判定边界。如果xa和xb是位于判定边界上的任意两点，则wxa b=0，Wxb b=0，因此w (xbxa)=0。由于xbxa是决策超平面中的任意向量，w的方向必须垂直于决策边界，因此x1是bi1上的数据点，x2是bi2上的数据点。用bi1和bi2代替减法，w (x1x2)=2通过u=w，v=x1x2，Get | | w | | | | x1x2 | | cos (w，x1x2)=2，边缘求导(续)，| | w | | | x1x2 | | cos (w，x1x2)=2同时| | x1x2 | | cos (w，x1x2)=d，然后|。在SVM的训练阶段，从训练数据

5、中估计决策边界的参数w和b，以最大化边缘d并满足wxi b1。如果yi=1 wxib 1，如果yi=1，即yi(wxi b)1，最大化d等价于最小化，这是一个凸二次优化问题。它可以通过标准的拉格朗日乘子法，SVM(续)，拉格朗日算子来求解，其中参数I被称为拉格朗日乘子，以找到关于W和B的Lp的偏导数，并使它们等于零。因为拉格朗日乘子I是未知的，所以仍然不能得到W和B的解，(5-38)，(5-39)，(5-40)使用卡鲁-库恩-图舍尔(KKT)条件：I 0i yi (wxib) 1=0 (5.42)，除非训练实例满足等式yi(wxi b)=1，否则拉格朗日乘子I必须为零。i0的训练实例位于超平面

6、bi1或bi2上。它们被称为支持向量(5.39)和(5.40)，并被代入公式(5.38)，这是Lp的对偶问题(最大化问题)。它可以用数值计算技术来求解，如二次规划，(5-43)，SVM(续)，I求解后，w由(5.39)得到，然后(0.39)在数据污染和近似线性分类的情况下可能没有最优线性决策超平面；在噪声数据的情况下，为了保证所有训练数据的准确分类，可能会导致过度拟合，不可分：软边SVM，不可分：软边SVM，不可分：软边SVM，因此，有必要允许在一定范围内“误分类”，而软边SVM的最优分类面具有较大的边界面积，允许通过引入松弛变量和惩罚因子在一定程度上误分类样本，从而增加分离距离。寻求分类准确

7、性和泛化能力之间的平衡，不可分的情况：软余量)SVM，引入松弛变量I，其中c和k是用户指定的参数，将惩罚k=1添加到错误分类训练示例中，并根据模型在确认集拉格朗日算子上的性能选择c，其中前两项是要最小化的目标函数，第三项表示与松弛变量相关的不等式约束，最后一项是要求I的值为非负的结果。KKT条件I 0，I 0，I 0 I yi (wxib) 1 I=0 I=0、不可分的情况：软余量)SVM，其中c是罚因子，c越大，分类越严格，错误的样本越有限。虚线和实线是由C=1和104求解的决策超平面。不可分的情况：软边SVM，软边SVM的基本工作原理：在数据污染和近似线性分类的情况下，可能没有最优线性决策

8、超平面；当存在噪声数据时，为了保证所有训练数据的准确分类，可能会导致过度拟合。因此，有必要允许最优决策超平面具有一定程度的“误分类”和较大的边界区域，即软区间支持向量机。软区间支持向量机通过引入松弛变量和惩罚因子，允许在一定程度上对样本进行错误分类，从而增加区间距离。寻求分类准确性和泛化能力之间的平衡。可分离性情况：软余量)SVM，非线性SVM，使用非线性变换示例：样本可以通过映射到高维空间而线性分离，非线性SVM:从低维空间映射到高维空间，样本可以通过映射到高维空间而线性分离。、 :x (x)，非线性SVM:从低维空间到高维空间的映射。因此，对于非线性问题，样本X可以映射到高维特征空间H并在

9、H中使用。非线性SVM优化问题的约束条件是：(W(Xi)B)1，I=1，2，非线性支持向量机的基本工作原理对于非线性可分问题，可以通过核变换将原始样本映射到高维特征空间，从而将低维特征空间中原本非线性可分的样本映射到新的高维，非线性SVM，核技术，美世定理：核函数K可以表示为k (u，v)=(u) (v)，当且仅当任何函数g(x)满足g(x)2dx是有限的，那么K(x，Y) g(x) g(y) dx dy0。满足定理5.1的核函数称为正定核函数，它具有SVM的特征。SVM学习问题可以表示为凸优化问题。因此，已知的有效算法可用于寻找目标函数的全局最小值。SVM通过最大化决策边界的边缘来控制模型的

10、能力需要提供其他参数，例如所使用的核函数的类型、引入松弛变量所需的成本函数C等。每个分类属性值都用一个虚拟变量处理，并转换成一个二进制变量。例如，如果婚姻状态有三个值单身、已婚、离异，可以在每个属性值中引入一个二元变量，这可以扩展到多类问题。SVM是为二等问题设计的，有些方法也是针对二等问题的。如何处理多类问题？培训订单Y=y1，y2，yK是一组类别标签。1-r方法：分解成k类ii问题，每个类伊一产生一个类ii问题，其中属于yi的所有样本被认为是正类，而其他样本被认为是负类。1-1方法3360构建k (k 1)/2个ii类分类器，每个分类器用于区分一对类别(。当为类(yi，Yj)构造类ii分类

11、器时，不属于yi或yj的样本被忽略。常用的SVM程序，LIBSVM:.tw/cjlin/mySVM http:/www-ai.cs.uni-dortmund.de/SOFTWARE/MYSVM/SVM-光/People/tj/SVM _光/，在MATLAB中使用SVM函数，1。数据预处理，2。数据加载和规范化，3。训练SVM分类器，4。分类的可选步骤：交叉检验，选择最佳核函数和参数，SVM训练和支持向量机分类函数，训练支持向量机分类器语法和调用参数：svmstruct=svmstrain(训练，组)sv

12、mstruct=svmstrain(.内核函数，内核函数值，)SVMStruct=svmtrain(.径向基函数，径向基函数值，)SVMStruct=svmtrain(.多订单，多订单价值，)SVMStruct=svmtrain(.Mlp_Params，Mlp_ParamsValue，)SVMStruct=svmtrain(.方法、方法值、)SVMStruct=svmtrain(.四进制数值，四进制数值，)SVMStruct=svmtrain(.SMO光电，SMO光电，)SVMStruct=svmtrain(.BoxConstraint、BoxConstraintValue、)SVMStruct=svmtr