《LSSVM概述》PPT课件.ppt_第1页
《LSSVM概述》PPT课件.ppt_第2页
《LSSVM概述》PPT课件.ppt_第3页
《LSSVM概述》PPT课件.ppt_第4页
《LSSVM概述》PPT课件.ppt_第5页
已阅读5页,还剩7页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、支持向量机(SVM)与最小二乘支持向量机(LSSVM),1 SVM概述 2 LSSVM概述 3 SVM与示意图 4 SVM相关名词解释 5 LSSVM估计算法,1 SVM概述 支持向量机(Support Vector Machine)是 Cortes 和 Vapnik 亍1995 首先提出的,它在解决小样本、非线性及高维模式识 别中表现出许多特有的优势,能够推广应用到函数拟合等 其 他机器学习问题中。 支持向量机方法是建立在统计学习理论的 VC 维理论和 结构风险最小原理基础上的,根据有限的样本信息在模型的 复杂性(即对特定训练样本的学习精度,Accuracy)和学习 能力(即无错误地识别仸意

2、样本的能力)之间寻求最佳折 衷,以期获得最好的推广能力(戒称泛化能力)。并用交叉 验证的方法进行支持向量机参数选择。,2 LSSVM概述 Suykens J.A.K提出一种新型支持向量机方法最小二乘支持 向量机(Least Squares Support Vector Machines,简称LS-SVM)用 于解决模式分类和函数估计问题等。 最小二乘支持向量机方法是采用最小二乘线性系统作为损 失函数,代替传统的支持向量机采用的二次规划方法。 LS-SVM方法简化了计算的复杂性。另外,由于LS-SVM采用 了最小二乘法,因此运算速度明显快于支持向量机的其它版 本。,3 SVM和示意图 最优分类函

3、数为: 这就是支持向量机。 概括地说,支持向量机就是 通过用内积函数定义的非线性变 换将输入空间变换到一个高维空 间,在这个空间中求最优分类面。 SVM分类函数形式上类似于一个神经网络,输出是中间节点的线性组合, 每个中间节点对应一个输入样本于一个支持向量机的内积,因此也就叫做支持 向量网络。,4 相关名词解释 VC 维理论: 为了研究经验风险最小化函数集的学习一致收敛速度和推广性,SLT 定义了一些指标来衡量函数集的性能,其中最重要的就是VC维(Vapnik- Chervonenkis Dimension)。对于一个指示函数(即只有0和1两种取值的函 数)集,如果存在h个样本能够被函数集里的

4、函数按照所有可能的2h种形 式分开,则称函数集能够把h个样本打散,函数集的VC维就是能够打散的 最大样本数目。 所谓 VC 维是对函数类的一种度量,可以简单的理解为问题的复杂程 度,VC 维越高,一个问题就越复杂。正是因为 SVM 关注的是 VC维,后 面我们可以看到,SVM 解决问题的时候,呾样本的维数是无关的(甚至 样本是上万维的都可以,这使得 SVM 径适合用来解决文本分类的问题, 当然,有这样的能力也因为引入了核函数)。,核函数: 根据泛函的有关理论,只要一种核函数K(xi,xj)满足Mercer条件,它 对应某一变换空间中的内积。因此,在最优分类面中采用适当的内积函数 K(xi,xj

5、)就可以实现某一非线性变换后的线性分类,而计算复杂度却没有 增加。 其中,K是核函数,其种类主要有:,线性核函数: 多项式核函数: 径向基(RBF)核函数: 两层感知器核函数: 例子:意大利葡萄酒种类识别,SVM方法的特点 非线性映射是SVM方法的理论基础,SVM利用内 积核函数代替向高维空间的非线性映射; 对特征空间划分的最优超平面是SVM的目标,最 大化分类边界的思想是SVM方法的核心; 支持向量是SVM的训练结果,在SVM分类决策中 起决定作用的是支持向量。 SVM 是一种有坚实理论基础的新颖的小样本学习 方法。它基本上不涉及概率测度及大数定律等,因此不 同于现有的统计方法。从本质上看,它避开了从归纳到 演绎的传统过程,实现了高效的从训练样本到预报样本 的“转导推理”(transductive inference) ,大大简化了通常 的分类和回归等问题。,5 最小二乘支持向量机(LSSVM)估计算法 支持向量机主要是基于如下思想:通过事先 选择的非线性映射将输入向

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论