支持向量机学习总结_第1页
支持向量机学习总结_第2页
支持向量机学习总结_第3页
支持向量机学习总结_第4页
支持向量机学习总结_第5页
已阅读5页，还剩12页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、商柳 2013.1.17Vladimir Vapnik和Corinna Cortes于1995年首先提出支持向量：简单来说，就是支持或支撑平面上把两类类别划分开来的超平面的向量点机（machine,机器）：算法。在机器学习领域，常把一些算法看做是一个机器，如分类机(也叫做分类器)，而支持向量机本身便是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。在解决小样本、非线性及高维模式识别中表现出许多特有的优势y=1y=-1函数间隔(Functional Margin) 定义函数间隔为： 定义超平面(w，b)关于训练数据集T的函数间隔为：超平面(w，b)关于T中所有样本点(xi，yi)的函

2、数间隔最小值 问题：当w和b成倍增加时几何间隔（Geometrical Margin） 对法向量w加些约束条件，使其表面上看起来规范化 点到超平面的距离目标函数 SVM SVM 通过使用通过使用最大间最大间隔分类器来隔分类器来设计设计决策决策最最优分类优分类超平面超平面 支撑两个超平面的点支撑两个超平面的点叫做支持向量叫做支持向量supportsupportvectorvector使用通用的QP优化包来求解通过拉格朗日对偶变换到对偶变量进行求解 更加高效简单的求解方法 可以很自然地引入核函数，进而推广到非线性分类问题问题满足KKT条件，所以d*=p*得到关于a的优化问题：SMO算法这里的形式的

3、有趣之处在于，对于新点x 的预测，只需要计算它与训练数据点的内积即可（这里 , 表示向量内积）所有非 Supporting Vector 所对应的系数 都是等于零的，因此对于新点的内积计算实际上只要针对少量的“支持向量”而不是所有的训练数据即可。前面介绍了SVM处理线性可分的情况对于非线性情况： 选择一个核函数 ( , ) ，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题假设原始的数据是非线性的，我们通过一个映射 ?( ) 将其映射到一个高维空间中，数据变得线性可分了 维数呈爆炸性增长，出现计算问题 其实只关心在高维空间中内积的值核函数：接受两个低维空间里的向量，能够计算出经过某

4、个变换后在高维空间里的向量内积值映射到高维空间之后还是线性不可分不是数据本身的非线性结构，outliersSVM允许一些点到分类平面的距离不满足原先的要求(软间隔)其中 被称为松弛变量目标函数变为 其中C 是一个参数，用于控制目标函数中两项（“寻找 margin 最大的超平面”和“保证数据点偏差量最小”）之间的权重需要求解的优化问题变为支持向量机就是使用了核函数的软间隔线性分类法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法特别针对线性SVM和数据稀疏时性能更优Sequential Minimal Optimization A Fast Al

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论