统计学习理论和支持向量机演示文稿

统计学习理论和支持向量机演示文稿当前第1页\共有33页\编于星期四\7点（优选）统计学习理论和支持向量机当前第2页\共有33页\编于星期四\7点13.1机器学习问题的表示

当前第3页\共有33页\编于星期四\7点13.1.1机器学习与模式识别的关系机器学习——让机器拥有类似人类的学习能力；机器学习是人工智能的重要分支；模式识别可以看作是机器学习的特例。如果在人工智能上有所突破，以至于机器能够学习，那么它将价值10个微软。——B.Gates，2004当前第4页\共有33页\编于星期四\7点13.1.2机器学习的发展历史起源:上世纪50年代中叶

70年代中叶——80年代中叶：探索各种学习方法;50年代中叶——60年代中叶：研究各种自适应系统；

代表作:Samuel的下棋程序60年代中叶——70年代中叶：模拟人类的概念学习过程;

代表作:Winston的结构学习系统

当前第5页\共有33页\编于星期四\7点13.1.2机器学习的发展历史（续）90年代中叶——当前：分类器集成、海量样本学习、增强学习、学习复杂随机模型、核机器学习等;吸引了越来越多的学者进行机器学习研究;1980年,在卡内基-梅隆大学（CMU）:召开了第一届机器学习国际研讨会,标志着机器学习研究在全世界兴起。

80年代中叶——90年代中叶：主要研究人工神经网络;当前第6页\共有33页\编于星期四\7点13.1.3机器学习研究领域的细分即人工神经网络（ANN）学习今天要讲的内容当前第7页\共有33页\编于星期四\7点13.1.4机器学习问题的表示已知：

学习样本及其相应的目标值使期望风险最小

三类最基本的学习问题：

分类：

回归：

密度估计：损失函数当前第8页\共有33页\编于星期四\7点13.2统计学习理论的发展历程

当前第9页\共有33页\编于星期四\7点13.2.1统计学习历程发展历程简介20世纪60年代由Vapnik等人开始研究。这一阶段的研究成果见教材第7章；这一阶段的成果理论艰涩，实践性差，没有引起关注；20世纪90年代开始形成一个较完善的理论体系。同时人工神经网络（ANN）的研究则遇到重要困难（过学习等），因此统计学习理论受到关注；1992年在统计学习理论的基础上发展出一种新的模式识别方法———支持向量机；当前统计学习理论正成为机器学习和模式识别领域新的研究热点；当前第10页\共有33页\编于星期四\7点13.3统计学习理论的主要内容

当前第11页\共有33页\编于星期四\7点经验风险：期望风险：13.3.1期望风险与经验风险（理想）（现实）（不易计算）（易计算）尽管在n趋于无穷大时能保证趋近于，但n有限时上述结论不一定成立。当前第12页\共有33页\编于星期四\7点13.3.1期望风险与经验风险（续）例：直线拟合01230.010.010.010.220.010.010.220.010.010.220.010.010.220.010.010.01012312345当前第13页\共有33页\编于星期四\7点13.3.1期望风险与经验风险（续）损失函数：经验风险：期望风险：经验风险最小化（ERM）：通过使最小求a和b。当前第14页\共有33页\编于星期四\7点13.3.2VC维的概念VC维是衡量函数集分类能力的指标，也是到目前为止对函数集学习性能的最好描述。打散（shattering）：一个含h个样本的样本集能够被一个函数集中的函数按照所有可能的2**h种形式分为两类（即函数集对样本集具有完全二分能力），则称函数集能够把样本数为h的样本集打散。函数集的VC维：函数集中的函数所能够打散的最大样本集的样本数目。2维直线构成的函数集的VC维是3。

当前第15页\共有33页\编于星期四\7点13.3.2VC维的概念（续）对于两类分类问题，以下结论以概率成立：简记为：置信范围上式表达了期望风险、经验风险与VC维三者间的关系；(h是VC维)当前第16页\共有33页\编于星期四\7点13.3.3结构风险最小化s1s2s3期望风险的上界：当前第17页\共有33页\编于星期四\7点13.4最优分类面当前第18页\共有33页\编于星期四\7点13.4.1最优分类面的概念

最优分类面H：（1）H能完全分开样本集；（2）H使得H1、H2间的距离最大。其中H1、H2为过各类样本中离H最近的点且平行于H的直线。最优分类面非最优分类面当前第19页\共有33页\编于星期四\7点X2MarginMarginWNote:13.4.2最优分类面的求取样本：类别：分类面：（2）（3）（1）（0）当前第20页\共有33页\编于星期四\7点13.4.2最优分类面的求取（续）将（3）式代入（2）式，可得（1）式的对偶规划maxs.t.解上式可得最优的

代入（3）式可得权向量代入（0）式可得分类面（4）当前第21页\共有33页\编于星期四\7点13.4.2最优分类面的求取（续）当前第22页\共有33页\编于星期四\7点例：求两个样本间的最优分类面13.4.2最优分类面的求取（续）已知条件约束优化问题：mins.t.分类面：mins.t.当前第23页\共有33页\编于星期四\7点13.4.2最优分类面的求取（续）maxs.t.对偶规划maxs.t.（1）（2）将（2）式代入（1）式，同时将已知条件代入max分类面：权值：当前第24页\共有33页\编于星期四\7点13.5支持向量机的基本原理当前第25页\共有33页\编于星期四\7点13.5.1支持向量机的基本思路首先将样本从输入空间映射到高维空间中，然后在高维空间中求取最优分类面；当前第26页\共有33页\编于星期四\7点13.5.2支持向量机原理与拓扑结构min样本：类别：样本：类别：min当前第27页\共有33页\编于星期四\7点13.5.2支持向量机原理与拓扑结构（续）核函数：当前第28页\共有33页\编于星期四\7点13.5.2支持向量机原理与拓扑结构（续）当前第29页\共有33页\编于星期四\7点13.5.3支持向量机与径向基函数网络的比较SVMRBF网络当前第30页\共有33页\编于星期四\7点13.5.4支持向量机当前的研究状况与其它学习模型的等价性SVM快速算法多类SVM分类机LS—SVM与LP—SVMSVM与其它分类器的融合

算法改进与性能分析核函数设计及模型选择

“科研反哺教学”；当前第31页\共有33页\编于星期四\7点算法改进与性能分析13.5.4支持向量机当前的研究状况（续）例：剪辑支持向量机原始样本集SVM初分类去除错分样本与重叠区样本