《机器学习-Python实战（微课版）》课件 第七章 支持向量机

第七章支持向量机本章主要讲述支持向量机算法的基础知识、线性以及非线性情况下的支持向量机和支持向量回归机的算法知识。学习目标通过本章学习可以：支持向量机的基本知识线性可分下的支持向量机线性不可分下的支持向量机支持向量机的核函数多类分类支持向量机支持向量回归机支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述支持向量机(SupportVectorMachine，SVM)是一种按照监督学习方式对数据进行二元分类的广义线性分类器(generalizedlinearclassifier)，其决策边界是对学习样本求解的最大边距超平面(maximum-marginhyperplane)。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供一种更为清晰，更加强大的方式支持向量机概述算法思想找到集合边缘上的若干数据（称为支持向量），用这些点找出一个平面（称为决策面），使得支持向量到该平面距离最大。支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述硬间隔、软间隔硬间隔软间隔硬间隔指的是完全分类正确，不能存在分类错误情况。软间隔指的是允许一定量的样本分类错误。支持向量机概述svm算法，就是找一分割线将两类样本分开，问题是如图三条颜色都可以把点和星分开。但哪条最优呢？假设一条直线为W•X+b=0为最优的分割线，把两类分开如下图所示，那我们就要解决的是怎么获取这条最优直线呢?及W和b的值；在SVM中最优分割面(超平面)就是：能使支持向量和超平面最小距离的最大值；目标是寻找一个超平面，使得离超平面比较近的点能有更大的间距。也就是我们不考虑所有的点都必须远离超平面，我们关心求得的超平面能够让所有点中离它最近的点具有最大间距。支持向量机概述间隔超平面

如图所示，支持向量到超平面的距离为d，其他点到超平面距离大于d。每个支持向量到超平面的距离可写为：支持向量机概述间隔最大化根据支持向量到超平面的距离d，其他点到超平面距离大于d。于是得到如下公式：我们令d=1（令它为1，为了便于推导和优化，且不会影响目标函数的优化）将以上方程合并，简写为：至此得到最大间隔超平面的上下两个超平面：支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述函数间隔

支持向量机概述几何距离

支持向量机概述函数距离VS几何距离从函数间隔和几何间隔的定义可以看出：几何间隔就是函数间隔处理||w||,而且函数间隔y*(wx+b)=y*f(x)实际上是|f(x)|，是人为定义的间隔度量，而几何间隔|f(x)|/||w||才是直观上的点到超平面的距离。函数间隔作用：表示分类预测的正确性的准确度函数间隔缺点：当w和b成比例改变，超平面没有改变，但是函数间隔改变了函数间隔改进：几何间隔几何间隔的特点：当w和b成比例改变，几何间隔不会改变。函数间隔和几何间隔的关系：支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述线性可分下的支持向量机线性可分SVM正负样本之间的间隔叫做“硬间隔”，也就是说在这个“隔离带”里面，肯定不会出现任何训练样本：若没有红圈里那两个点，可以分割成如下图：支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述线性不可分下的支持向量机学习的函数间隔和几何间隔都是在说样本的完全线性可分或者大部分样本点的线性可分。但实际业务会碰到的一种情况是样本点不是线性可分的上图所述的这个数据集，是用两个半径不同的圆圈加上了少量的噪音生成得到的，所以，一个理想的分界应该是一个“圆圈”而不是一条线（超平面）。这种情况的解决方法就是：将二维线性不可分样本映射到高维空间中，让样本点在高维空间线性可分支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述非线性的支持向量机假设现在你是一个农场主，圈养了一批牛群，但为预防狼群袭击牛群，你需要搭建一个篱笆来把牛群围起来。你很可能需要依据牛群和狼群的位置建立一个“分类器”，比较下图这几种不同的分类器，我们可以看到SVM完成了一个很完美的解决方案。支持向量机概述非线性的支持向量机对于在有限维度向量空间中线性不可分的样本，我们将其映射到更高维度的向量空间里，再通过间隔最大化的方式，学习得到支持向量机，就是非线性SVM。我们将样本映射到的这个更高维度的新空间叫做特征空间。支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述非线性的支持向量机之核函数在低维空间计算获得高维空间的计算结果，满足高维，才能在高维下线性可分。我们需要引入一个新的概念：核函数。它可以将样本从原始空间映射到一个更高维的特质空间中，使得样本在新的空间中线性可分。这样我们就可以使用原来的推导来进行计算，只是所有的推导是在新的空间，而不是在原来的空间中进行，即用核函数来替换当中的内积。支持向量机概述非线性的支持向量机之核函数核技巧用核函数替换原来内积即通过一个非线性转换后的两个样本间的内积。具体地，𝐾(𝑥,𝑧)是一个核函数，或正定核，意味着存在一个从输入空间到特征空间的映射，对于任意空间输入的𝑥,𝑧有:支持向量机概述非线性的支持向量机之核函数在支持向量机学习的对偶问题中，用核函数K(x,z)替代内积，求解得到就是非线性支持向量机支持向量机概述非线性的支持向量机之核函数常用核函数有：线性核函数：多项式核函数：高斯核函数：这三个常用核函数中，只有高斯核函数需要调参支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述多类分类支持向量机支持向量机分类算法最初只用于解决二分类问题，缺乏处理多分类问题的能力。后来随着需求的变化，需要svm处理多分类分为。目前构造多分类支持向量机分类器的方法主要有两类:“同时考虑所有分类”方法。主要思想是在优化公式的同时考虑所有的类别数据组合二分类器解诀多分类问题。基本思想是通过组合多个二分类器实现对多分类器的构造，常见的构造方法有“一对一”(one-against-one)和“一对其余”(one-against-therest两种。支持向量机的基本知识超平面间隔与间隔最大化函数间隔和几何间隔不同情形下的支持向量机线性可分下的支持向量机线性不可分下的支持向量机非线性支持向量机非线性支持向量机之核函数多类分类支持向量机支持向量回归机支持向量机概述支持向量回归机支持向量机(SVM)本身是针对二分类问题提出的，而SVR（支持向量回归）是SVM（支持向量机）中的一个重要的应用分支。SVR回归与SVM分类的区别在于，SVR的样本点最终只有一类，它所寻求的最优超平面不是SVM那样使两类或多类样本点分的“最开”，而是使所有的样本点离着超平面的总偏差最小。SVM是要使到超平面最近的样本点的“距离”最大；SVR则是要使到超平面最远的样本点的“距离”最小。支持向量机概述支持向量回归机支持向量机概述支持向量机超参数

1.（单选）关于支持向量机SVM，下列说法错误的是（

）？A.L2正则项，作用是最大化分类间隔，使得分类器有更强的泛化能力B.Hinge