SVM精简版概括

1、SVM精简版概括（一）相关概念：VC维对于一个指示函数（即只有0和1两种取值的函数）集，如果存在h个样 本能够被函数集里的函数按照所有可能的种形式分开，则称函数集能够把h 个样本打散，函数集的VC维就是能够打散的最大样本数目h。学习精度和推广性推广能力（或“泛化能力”）：学习机器对未来输出进行正确预测的能力过学习:在某些情况下，训练误差过小反而导致推广能力的下降学习精度和推广性之间似乎是一对不可调和的矛盾,采用复杂的学习机器 虽然容易使得学习误差更小,却往往丧失推广性。推广性的界根据统计学习理论（SLT）中关于函数集推广性界的理论，对于指示函数集中 所有的函数，经验风险和实际风险，之间至少以

2、概率满足关系 式其中，h是函数集的VC维,n是样本数。结构风险最小化（SRM）准则把函数集构造为一个函数子集序列，使各个子集按照VC维的大小排列;在 每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实 际风险的最小。宣信范囹经验风险欠学习m学习a 医险哀实凤险的界函数巢予棠：，U&U5图1SRM准则实现SRM原则的两种思路1每个子集中求最小经验风险，然后选择使最小经验风险和置信范围之和 最小的子集。2设计函数集的某种结构使每个子集中都能取得最小的经验风险，然后只 需选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是 最优函数。支持向量机方法实际上就是这种思路

3、的实现. Support Vector MachineSVM的主要思想概括为一下两点：1针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从 而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；2基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得 学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上 界。简单地说，就是升维和线性化.升维，一般情况下会增加计算复杂度，甚 全引起“维数灾难”，SVM应用核函数的展开定理，在高维特征空间中建立线性 学习机，几乎不增加计算的

4、复杂性，从而在某种程度上避免了 维数灾难.选择不同的核函数，可以生成不同的SVM，常用的核函数有以下4种：线性核函数K(x,y)=xy；多项式核函数K(x,y) = (xy) + 1d；径向基函数 K(x,y) = exp(-|x-y|A2/d2)二层神经网络核函数K(x,y)=tanh(ay) + b).其中K就是核函数，起作用在于将低维度线性不可分样本向高纬线性可分 样本作映射。X = K(w, X) + b;将低维度的X映射到了高纬度上的X(2)SVM的主要特征(1)基于结构风险最小化(SRM,structuralriskminimization)原则，保证学习机器具有良 好的泛化能力；

5、(2)解决了算法复杂度与输入向量密切相关的问题；(3 )通过引用核函数，将输入空间中的非线性问题映射到高维特征空间中在高维空间 中构造线性函数判别；（4）是以统计学理论为基础的,与传统统计学习理论不同。它主要是针对小样本情况, 且最优解是基于有限的样本信息，而不是样本数趋于无穷大时的最优解；（5 ）算法可最终转化为凸优化问题，因而可保证算法的全局最优性，避免了神经网络无 法解决的局部最小问题；（6）有严格的理论和数学基础，避免了神经网络实现中的经验成分。（3）SVM的主要应用领域 手写数字识别、语音识别、人脸识别、文本分类 HYPERLINK /25-to-life/archive20ll/l

6、1/lZ2246430.html /25-to-life/archive20ll/l1/lZ2246430.html HYPERLINK /linglingbaby/article/details/5732310 /linglingbaby/article/details/5732310 HYPERLINK /v_july_v/article/details/7624837 /v july v/article/details/7624837支持向量机补充机器学习本质上就是一种对问题真实模型的逼近，支持向量机是机器学习 的一个分支。支持向量机（Support Vector Machine）是 C

7、ortes 和 Vapnik于 1995 年 首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势， 并能够推广应用到函数拟合等其他机器学习问题中。小样本，并不是说样本的绝对数量少（实际上，对任何算法来说，更多的样 本几乎总是能带来更好的效果），而是说与问题的复杂度比起来，SVM算法要 求的样本数是相对比较少的。非线性，是指SVM擅长应付样本数据线性不可分的情况，主要通过松弛变 量（或惩罚变量）和核函数技术来实现。高维模式识别是指样本维数很高，例如文本的向量表示，主要是因为SVM 产生的分类器很简洁，用到的样本信息很少,仅仅用到那些称之为支持向量的 样本，使得即使样本维数很高

8、，也不会给存储和计算带来大麻烦。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理 基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度） 和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最 好的推广能力（或称泛化能力）。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多 分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂 （即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂 的分类函数（它的VC维很高），能够精确的记住每一个样本，但对样本之外的 数据一律分类错误。经验风险最小化原则，适用的大前提是经验风险要确实能够 逼近真实风险才行。一般的，如果一个线性函数能够将样本完全正确的分开，就称这些数据是线 性可分的，否则称为非线性可分的。该线性函数也称为超平面。参考文献链接 HYPERLINK /zhenandaci/archive/200902/13254519.html /zhenandaci/archive/200902/13254519.html HYPERLINK /25-to-life/archive2011/11/1N2246430.html /25-to-life/archive2011/11/1N2246430.html HYPERLINK /linglin