大数据十大经典算法SVM讲解

数据挖掘十大算法之SVM程广兵

2014.12.22分类概念：通过构造一个分类函数或分类器的方法，该方法能把数据库中的数据项映射到给定类别中的某一个，从而可以用于预测未知数据。数据：线性可分线性不可分什么是SVM全名：SupportVectorMachine（支持向量机）支持向量：支持或支撑平面上把两类类别划分开来的超平面的向量点。机：一个算法基于统计学习理论的一种机器学习方法。简单的说，就是将数据单元表示在多维空间中，然后对这个空间做划分的算法。SVM的特点SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性之间寻求最佳折衷，以期获得最好的推广能力（或泛化能力）。

核函数松弛变量线性分类1线性分类1线性分类最优标准：分类间隔对于给定的训练数据集T和超平面（w,b），定义超平面（w,b）关于样本点（xi,yi）的函数间隔为对于给定的训练数据集T和超平面（w,b），定义超平面（w,b）关于样本点（xi,yi）的几何间隔为||w||叫做向量w的范数,WX的p范数为||w||p=(X1^p+X2^p+...+Xn^p）^(1/p)函数间隔和几何间隔的关系ɤ=ȓ/||w||（1）最优标准：分类间隔H2与H之间的间隔便是几何间隔。其中H1：wx+b=1；H2：wx+b=-1；定义超平面（w,b）关于训练数据集T的函数间隔为超平面（w,b）关于T中所有样本点（xi,yi）的函数间隔之最小值，即同理最终问题转化成为求最大ɤ值。（ps:我的理解在找到几何间隔ɤ后，就要使H1和H2尽可能的离H远，这样分类就更有说服力）在H1和H2上的点就叫做支持向量H1和H2之间的距离称为间隔，间隔依赖于法向量w,等于2/||w||,H1和H2称为间隔边界由等式（1），可将问题写为求最大的ɤ由于函数间隔ȓ不影响最优化问题的解，这样可以取ȓ=1，由于最大化1/||w||和最小化1/2*||w||*||w||问题是等价的于是问题便转化成了求很容易看出当||w||=0的时候就得到了目标函数的最小值。反映在图中，就是H1与H2两条直线间的距离无限大，所有样本点都进入了无法分类的灰色地带解决方法：加一个约束条件求最大的ɤ我们把所有样本点中间隔最小的那一点的间隔定为1，也就意味着集合中的其他点间隔都不会小于1，于是不难得到有不等式：yi[<w,xi>+b]≥1(i=1,2,…,l)总成立。于是上面的问题便转化成了求条件最优化问题：约束条件这是一个凸二次规划问题，所以一定会存在全局的最优解，但实际求解较为麻烦。实际的做法：将不等式约束转化为等式约束，从而将问题转化为拉格朗日求极值的问题。

（2）

（3）最优问题的求解为了求解线性可分支持向量机的最优化问题（2）~（3），将它作为原始最优化问题，应用拉格朗日对偶性（参考李航的统计学习方法附录C），通过求解对偶问题得到原始问题的最优解，这是线性可分支持向量机的对偶算法。

最优问题的求解引入拉格朗日乘子（ps:之所以，>=0是因为如果不做限定，因为要求极大值，而，那么可以取负无穷，这样目标值就会无穷大，其实当点是支持向量时>0,其他的点=0）利用Lagrange乘子法：当点是支持向量时y(wx+b)=1当点不是支持向量时y(wx+b)>1这样Lagrange函数的第二项始终为零凸二次规划问题求解代入L(外w,如b,庆a)仿:问题哗转换够为凸二屿次规葵划问闷题求踏解凸二肾次规纸划问饮题求夹解更多戚细节尾请参名照李采航的板统计傅学习盒方法SV烟M这一迁章凸二局次规卫划问秋题求费解为了例题例题线性砍分类目标参函数加：梢约律束条气件：目标储函数茎：炉约战束条崖件：拉格惰朗日继乘数伏法可按将问坏题转声化为来对偶见问题戒：目标芹函数疫：字约捧束条镇件：线性梅分类巧妙渠之处新：原池问题=>二次闹凸优狠化问仅题=>对偶商问题对偶检问题有求解怠：更巧肉妙的艇地方艳：未知疏数据x的预握测，碗只需坐要计拆算它隐与训像练数回据点葵的内症积即脑可非线互性分致类对于怜以上折所述镇的SV窄M，处签理能拜力还杨是很贼弱，贝仅仅罗能处缴理线拜性可舱分的源数据撇。如掏果数衫据线学性不朵可分据的时放候，号我们题就将章低维纽奉的数刘据映凶射向分更高扫的维鞋次，催以此君使数母据重掏新线出性可愤分。谊这转拦化的唉关键江便是茫核函锄数。非线倍性分挡类找不蜘到一亮个超进平面成（二考维空盆间：荷直线醒）将翅其分升割开亚来，茅而很猎自然奴的想猛到可恶以用贩一个哀椭圆嗓将数左据分牌为两众类Z1=X1,Z2=X12,Z3=X2,Z4=X22,Z5=X1X2(X1,X2)笼—赞—>(Z1,久Z2,葬Z3,诵Z4,搂Z5,)即将才：R2空间疯映射露到R5空间葱。此时界，总饥能找片到一昆个超隔平面wTZ统+钻b阔=半0wT=绢{a1，a2，a3，a4，a5}T，b听=熊a6使得滥数据劳很好及的分勿类。映射材过后土的空帆间:非线好性分狠类令：Z1=X1,Z2=X12,Z3=X2,Z4=X22,Z5=X1X2(X1,X2)践—悲Φ—勺>(Z1,弦Z2,氏Z3,量Z4,乳Z5,)则：首对于艺样本x1=古(η1,η2),扇x2=勾(ξ1,ξ2)Φ(踩x1)避=稻[η1,η12,η2,η22,η1η2]TΦ(亡x2)美=邪[ξ1,ξ12,ξ2,ξ22,ξ1ξ2]T内积:我们葛注意而到：非线下性分亲类我们担注意树到：若令Φ(衫x1)悲=寺[√2η1苹,η12,√2η2砍,η22,√2η1η2授,1]T则：那么崖区别摄在于天什么祥地方代呢？1.一个忽是将转低维汤空间语数据撕映射码到高称维空怖间中聋，然敞后再使根据动内积照的公给式进喇行计场算；另一股个则恶直接卫在原誓来的低维匪空间泼中进傍行计夕算，而不需圆要显狭式地写敞出映墨射后派的结挂果。当样嗽本空稳间处寨于高钩维度础时，竟第一特种方古法将圈引发维度劳灾难，第纪二种确方法绞仍然跨能够速从容析处理核函承数核函珠数：概念捧：x,素z∈庭X,挽X属于Rn空间,非线垫性函数数Φ实现荐输入侵空间X到特巡寿征空晋间F的映少射,其中F属于Rm，n<项<m。核与函数拼技术程接收2个低充维空面间的胀向量养，能阻够计红算出和经某焦变换雾后高盛维空哭间里祝的向车量内拳积值绕。根据蜓核函旧数技翻术有撕：K(廉x,停z)翁=他<氧Φ(际x)五,Φ甘(z芽)扁>其中鞋：<,惰>为内身积,K追(x叠,z嚷)为核全函数夺。例如削：加入摇核函禽数以钓后的揪分类踩函数外为：核函笛数核函贯数应装用广嗽泛的更原因膛：核函塑数的物引入含避免橡了“维数哗灾难”,大大减小乐了计舟算量。而心输入赛空间详的维图数n对核爽函数器矩阵祥无影遣响，能因此缺，核留函数园方法早可以街有效散处理躁高维铺输入家。无需刘知道返非线毯性变凑换函叹数Φ的形引式和香参数核函复数的大形式临和参峰数的辩变化瞒会隐抢式地吓改变滋从输狭入空捷间到厦特征淘空间纺的映泛射，心进而夏对特炊征空提间的星性质唐产生爷影响教，最权终改论变各蓬种核汗函数旬方法贱的性星能。核函挡数方避法可驱以和条不同锋的算兔法相宾结合增，形虚成多陵种不咏同的庸基于毙核函茶数技拖术的塔方法驳，且采这两部的分的债设计祥可以斗单独念进行，并别可以项为不同于的应涛用选落择不旬同的邪核函牧数和算糖法。常用赚的核调函数多项彩式核陷：线性壳核：高斯孩核：总结线性阿可分胡：求解唉使得壮超平跨面具息有最献大内兽间间雕隔的wT，b参数兆。将问洪题转谋化为纹对偶块问题嚷进行宣快速旧求解液。改进挽：加卖入松挡弛变任量巾和惩轨罚因开子C的SV兴M松弛缴变量舍允许步实际骆分类古中一您定的托不准爷确性宜的存侄在，腊引入茄松弛斯变量身后原掘先的书约束扑条件良变为兼：惩罚猪因子浆C则仰是为星了避慌免系滨统轻扮易放卸弃一折些重剪要的瓜数据母，减呢小系绕统损拍失。霜引入比C后帮目标长函数旦变为年：总结线性薪不可雹分：将数休据空仇间映也射到鲜高维握空间何，使鼻原本殃线性握不可毯分变猛为线求性可退分。引入锣核函雾数，纵简化霸映射殖空间训中的各内积收运算允。它避开罢了直认接在出高维乎空间孟中进淡行计始算，而礼表现辞形式其却等价笔于高拐维空山间。不同虹的样配本结活构与趁不同钥的核冻函数乔结合丸，达怖到很穷好的涌分割锋效果因时律间有嫁限，厅先介棚绍这连么多久，如艰果有硬兴趣祥进一蚊步学柏习的辈同学番，很扯开心次找我拔们可齐以课像下讨桐论参考雨资料1.哀《支持迟向量似机导住论》，[美]锯Ne中ll遗o葡Cr劲is鱼ti断an锤in蜘i敬/搂Jo版hn乞S幻玉ha麻we积-T工ay第lo阻r著；2.支持妹向量叨机导臭论一凯书的架支持夺网站背：ht拘tp厨:/朵/w威ww拒.s摄up盆po还rt已-v墨ec境to巾r.拔ne田t/；3.荒《数据贷挖掘辆导论》，[美]能Pa阵ng馆-N傻in舍g旬Ta膊n争/赚Mi雾ch先ae某l贼St栽ei歇nb光ac因h磁/择Vi世pi能n澡Ku袋ma希r著；4.况《数据抵挖掘钳：概陵念与旬技术》，(加)J躺ia沙we蛇i柔Ha朱n;衬Mi宵ch缓el积in培e覆Ka给mb袜er著；5.旷《数据祸挖掘资中的辛新方名法：吊支持搁向量互机》，邓辱乃扬肥田脏英杰幼著疲；6.沈《支持怖向量厕机--理论产、算崇法和简扩展》，邓舌乃扬额田悦英杰金著扬；7.蹈《模式暂识别忙支持控向量紧机指父南》，C.淹J.爬C划Bu泼rg迎es著；8.漆《统计版自然眨语言词处理》，宗尖成庆羽编著丢，第仇十二掠章、笋文本器分类妇；9.跌S境VM入门兰系列奖，Ja扔sp治er：ht躺tp动:/签/w虚ww更.b撑lo忆gj终av因a.情ne殿t/突zh闻en昼an亭da要ci提/c专at腊eg愈or暮y/散31葱86闸8.条ht应ml；10池.数据陪挖掘城掘中弃所需急的概朋率论殿与数争理统卧计知楚识、杂上；11