（应用数学专业论文）支持向量机算法研究及在高炉煤气识别中的应用.pdf

摘要 支持向麓规( s u p p o r tv e c t o rm a c h i n e s ，简称s v m s ) 赔模式识副领域瞧新方法，怒基于统计 学习理论的，是主要月= i 予解决分类问题和回归问题的新工具，它已经在很多领域有了广泛的应用 如：人脸识别，心脏瘸诊断，经济预测等本文就支持向擞机的算法模型殿其应用展开讨论 本文鲍主要研究工手# 絮下： 1 核函数中的参数选择照支持向量机中的一。个很重要构问题，它直接影响模型的推广能力通过 最速下降法求l 0 0 上界的极小点来确定核参数是一种新的核参数选择方法但此方法易陷入局部 最优解一本文提出一季申勰于混合避倦算法求解l 0 0 上莽极小点的核参数选铎方法。实验证明。通 过该方法选择出来韵棱参数能够提高分类精度，具有实鲻性。 2 针对争分类问题提出了两种新的支持向最机多分类模型( k l s v c r $ z k l s v c r ) 3 - 曾次将支持向量辊方法晓用弱高炉煤气豹模式识到穗鳆，针对十字测滠投得到的数据并结台专 家所给的意见。我们采取了先将数据聚类在进行分类的荣略，通过数值实验，我们得到了较好的 结果，在切实解决实际问题的同时，进一步拓广了支持向摄机的应用领域， 关键词 火算法 支持向量机 多分类支持向最机，核函数，l 0 0 界， 混合遗传算法，模拟退 b p 人工神经网络算法高炉煤气盼模式识别问蹶 a b s t r a c t t h es u p p o 蛙v e c t o rm a c h i n e s v m s ) i st h ep a t t e r nr e c o g n i t i o nf i e l d sn wm e t h o d ，w h i c hi s b a s e do nt h es t a f i s t i c a l s t u d yt h e o r y ，a n di sm a i n l yu s e di n t os o l v et h e c l a s s i f i c a t i o na n d r e g r e s s i o n sn e wt o o l ，w h i c ha l r e a d yh a dw i d e s p r e a da p p l i c a t i o n si nm a n yf i e l d s f o re x a m p l e ：f a c e d e t e c t i o n ，t h eh e a r td i s e a s ed i a g n o s e s , e c o n o m i c a lf o r e c a s ta n ds oo n 。t h i sa r t i c l ew i l lu n f o l dt h e d i s c u s s i o n i n b o t h t h es u p p o r t v e c t o r m a c h i n e a l g o r i t h m m o d e la n d i t sa p p l i c a t i o n t h ef o l l o w i n gp a r t sa r em a i nw o r k s ： 1 。k e m e l - p a r a m e t e rp l a y s a l li m p o r t a n tr o l ei ns u p p o r tv e c t o rm a c h i n e ，i th a sag r e a ti n f l u e n c eo n t h em o d e l sa p p l i c a t i o n m i n i m i z i n gt h el e ou p p e rb o u n di so n eo fe f f i c i e n tm e t h o dt os e l e c t k e r n e l * p a r a m e t e r u s u a l l y , t h es t e e p e s td e s c e n ta l g o r i t h mi su s e dt of m dt h em i n i m u mo f l 0 0 u p p e r - b o u n d h o w e v e r , i to f t e ng e t sl o c a lo p t i m a ls o l u t i o n t oo v e r c o m et h i ss h o r t c o m i n g ， b a s e do nh y b r i dg e n e t i ca l g o r i t h man wk e r r , e l - p a r a m e t e rs e l e c t i o nm e t h o dh a sb e e np r o p o s e di nt h i s p a p e r f u r t h e r m o r e ，s o m ee x p e r i m e n t sh a v eb e e nm a d ea n dt h er e s u l t si m p l yt h a to u rn e w m e t h o di sv e r ye f f i c i e n t 2 + t om u l t i - c l a s sc l a s s i f i c a t i o n ，w ep r o p o s e dt w of l e ws u p p o r tv e c t o rm a c h i n ef o rm u l t i - c l a s s c l a s s i f i e a t i o n 。 3 w ef i r s t l yt r yt os o l v et h eb l a s t f u f i l a c eg a ss t r e a mp a r e mr e c o g n i t i o n sp r o b l e ma p p l y i n gi n s u p p o r tv e c t o rm a c h i n em e t h o d s ，i nv i e wo f t i l ed a t ao b t a i n e df r o mt h ec r o s sm e a s u r e st h ew a r mm e t e r a n dt h ee x p e r t so p i n i o nw h ow i l lg i v e ，w ea d o p t e dt h es t r a t e g yo f f i r s t l yc l u s t e r i n gt h ed a t ab e f o r e c l a s s i f y i n gt h ed a t a t h r o u g hn u m e r i c a le x p e r i m e n t , w eo b t a i n e dab e t t e rr e s u l t w h i l ep r a c t i c a l l y s o l v i n ga c t u a lp r o b l e m , w ef u r t h e re x t e n dt ot h es u p p o r tv e c t o r m a c h i n e sa p p l i c a t i o nf i e l d k e yw o r d s ：s u p p o r tv e c t o rm a c h i n e ，s u p p o r tv e c t o rm a c h i n e ，b a s e do nm u l t i - c l a s sc l a s s i f i c a t i o n ， k e r n e l ，l 0 0 ，u p p e b o u n d ，h y b r i dg e n e t i ca l g o r i t h m ，s i m u l a t e da n n e a l i n ga l g o r i t h m ，b p a l g o r i t h mb a s e do na r t i f i c i a ln e u r a ln e t w o r k s ，t h eb l a s tf u r n a c eg a ss t r e a mp a r c r nr e c o g n i t i o n s p r o b l e m i i 独创性声明 本入声瞬所呈交的论文怒我个又在导薅指导下送行豹研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 久已经发表或撰写过豹研究成果，也不包含为获得中国农业大学或箕它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所徽的任俺贡献均 西在论文中作了明确的说明并表示了谢意。 研究生签名；斋冬泉 辩闯： 枷年簿b 目 关于论文使用授权的说明 本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权 像窝送交论文的复印纷帮磁盘，允许论文被轰阀和借阕，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同 媒体上发表、传播学位论文的全部或部分内容。 保密盼学馒论文在解密瑟应遵守诧协议， 研究生签名：寺墓永 时间： 扣。f 年f 月f z 日 导师签名 研仍扔 时间 b ( 晕日亿已 u 中爵程妊太学礴士学位论文辫一章鳍论 第一章绪论 支持商量帆( s u p p o r tv e c t o rm a c h i n e s ，s v m s ) 是2 0 世纪9 0 年代由v a p n i k 等人提出的一种 基于统计学习理论的新的机器学习i 1 】方法，它是基于结构风险最小化原理的矧“，而不是我们熟 知的传统的经验风陵最小化原则( 比如。最小二乘法就是菸子经验风陵最小亿原则的) ，辫有徽多优 点，例如可参看雕： ( 1 ) 毫；是专f 1 钟对有限样本情况的，其醑标怒得刭现有信息条佛下鲍最优解蔼不仅仅是样本个 数趋于无穷对的最优解 2 ) 写樟缝鼹终算法不麓，支持蠢赣机算法簸后转化冀一个最傀化闼躯，避免了多辫性 ( 3 ) 利用m e r c e r 定攥实褒线健算法的j # 线性他。 4 ) 舆有稀琉憾，鄂臭青步量样本的支持彝擞石为零就摊广性两言。较少鲍支持向量数在统 计意义上x 或较好的推广能力，从计算角度看，较少的支持向摄个数，能够有效的减少计算量 ( 5 ) 算法的复蠹 度岛样本维数无关 近几年，支持向量无论在其理论研究和还妊在算法实现方面都已经取得突破性进聪，弗逐渐 成为克服”维数灾难一和”过学习一等传统困难的有利工具，如今已经出了很多有关的专著和文 集”“，在实际中也也经有了襁多成功的应用，如文本识剐i n - 1 5 i 、人脸谈捌盼1 7 | 、图像处理 t 8 - “、辩随序歹4 预测铡、粮食蓣警潍“、基标识羽# 等 本章安摊如下t 营先给穗支持惠擞祝簿法的理论背景，熟藤给出几种与本文霄关静支撩趣爨 规模型；最詹蹬出本文婀研究内骞和结 每安目 1 。l 机器学习与统计学习理论 机器学习”是继专家系统之后人工智髓应用的又一蘸要研究领域，是研究如何使厢机器来模 攘人类学习滔鐾酶- - f 学科冀蒜本惹想为( 可参看m “) ：酋先扶麓涮数据出发寻找规律，辆用这 些栽霉对来寒数据蔽无法观测的数据进字亍瑗测可般表示为，变爨y 卑。存在一定瓣未知依赖 关系。目p 遵循某一的联食概率f ( x ，们( 注意；该联合分布也是来知的) ，机器学习阅题就是根据z 个 独立同分布观测样本 如l ，”1 ) ，( 沈，驰) ，一一，( 观，矾) ， 在一组函数，( ，w ) 中求一个最优的函数f ( x ，w o ) 对依赖关系进行估计，使期望风险 ， r i f 卜7 ( 乳，( z w ) ) d f ( x 鳓( 1 1 ) j 最小箕串， ，( 稿”) 称俸臻测黼数集，”为藤数的广义参数， ，* ) 可表示任俺茵数集； 弘，( 。，) ) 为由予用，( 羁 ) 对# 进杼硬测雨造成姆损失，赣作按失函数，不同类型的学习离题 有布周的损失菌数学习的翻的是使期望风险最小化，但联合分布是未知的，无法计算( 11 ) 式的 期撬风险，因此传统的方法采用的是经验风险最小化( e r m ) 的准则，即使用样本定义疑验风险 1 上 置。卅p 【， = 7 ：上( 执，扣s ，叫) ) ( 12 ) 。：； ( 1 _ 2 ) 式佟为对f l 1 ) 式懿佑诗，设计棼法使它最夺纯。俚辩枣敝襻本萌言，经验风险最，l 、与耨望 风险最小并不戆等价的，学习机器的复杂性应与有限数目的样本相适应因此我们急需要一种在 小样本情况下进行学习的理论 统计举习理论就是研究小样本统计估计和预测的理论，萁中，最有指导性的理论结果是推广 的界，与此相关的个概念是v c ( v a p n i k * c h e r v o n e n k i sd i r a e t l s i o n ) 维 2 8 , 2 7 】 v c 缳辨蛊斌定义为：对一个稽乐透数集，如果存在h 个榉零魑够被番数集中薛螭敷按所有 可能的2 “释澎茂分开，到函数条黠够把h 个样本打散；函数榘睡v c 维就是它赣打救的簸大样本 数目h 若对任意数目的样本都有函数能将它们于丁散，则函数粥盼v c 维是无穷大裔界实函数的 v c 维可以通过用一定的闰值将它转化成指示函数来定义v c 维反映了函数集的学习能力，v c 维越大则学习机器越复杂( 容量越尢) 统计学习理论i 系统地研究了对予各种类玺靛函数集，经验风险和实际风险之阅的荚系，鄄 推广性於赛。荧予辑类分类l 霹题，绪论鼓：对指示函数集中静所有煎数泡播使经验斑黢最小静番 数x 经验风睑嚣。， ，】和实际风陵挖 ，l 之闻以至步1 一d p ( 0 ，1 t ) 的概率满是如下关系； 咒【，】曼r 。p ，】十；( ( f n 等+ 1 ) 十l ”；) ( 1 - 3 ) 其中h 是递数榘的v c 维，燕榉举欺遗结论从理论上说嘲了学习机器构实琢风浚摄盎嚣部 分组成鳇；燕经验风睦国| 练误i 黔，毋一部分称作鬟倍范疆，它释学习槐器斡v c 缭最潮练棒李 数有关在考臌训练样本情嚣下，掌雄槐器的v c 雏越巍，燕爨倍藏围越大，导致真裳风除譬经验 风险之间可能的差g 目越大这就是为什么会出现过学习现象的原因机器学习过程要使实际风险 的上界最小，这种思想成为结构风险最小化( s r m ) 准则只有蜜现结构风险最小化，才能取得较 小的实际风险，即对未来样本有较好的携广性 1 , 2 支持内羹氍 支持向鬣机正是基于统计学习瑷论的新的机器学习，法，其主要是用来解擞分类问题和回! 鞋 问题。以分类问题为例，其基本思想为；柱进行分类时，对于线性不可分的样本首先通过个非线 性映射将原空间的样本映射到个高维的特征空间( 也称桉奎蛳) ，使得在核空间中变的缱性可分 或近似线性可分，然后在棱空闼中进行线性分类 或其他线性算法) 扶嚣实现相对平敷盎越的非 线性算法。下蠢# 瞰分类问题，套缮a 种竞持辩量杌算法( 在专蛰中，有这几释支持海基撬算 法鳆详鲻夯缩) ， 2 塞塞垒燮璧耋耋! ! i 璧。：董= 塞! 蹩 1 2 1 囊持淘量分类机 分类闰趣根据绘定翡 l 练集t = ( 瓢，y 1 ) ，靴，辍) ，x3 ，) 2 ，其巾。；搿= 舻，雏 y = l ，一1 ) ，i = 1 ，- ，j ，寻找茁= 詹“上的一个实值函数9 ( 。) ，蚍便用疑策函数 ，( ) = 8 9 n 扫和) ) ，( 1 4 ) 推断任一模式$ 相对应的口值由此可觅，求解分类问题，实质上就怒找到一个把舻上的点分 成两部分嚣规则。 l 。2 1 1 c 一支持商量分类规 已知训练热 t 芒 ( z l ，耵1 ) ，( 札，础 xy ) ( 1 5 ) 冀中n z r n , y te y = f l ，一1 ， = 1 ，一，t 对于这样的分类问题，支持向量机首先引进从输 入空间最“到h i l b e r t 空趣铡盼交换 圣= f 耋c 兄”二：。， e t s ， 把譬f | 练策? 映射为 t ； ( x 1 ，y 1 ) ，一，( x i ，瓤) = f 婚和) l ，y 1 ) ，一，( 圣( 。) ，辘j 。( 17 ) 然后在t t i t b e r t 空间妊中搀遗原始翘题： 堋m i n ( w 拈扣n g 毫毫， ) s t 玑( ( w x t ) + b ) 三1 一靠， ( 19 ) 矗0 ，l 一1 ，2 ， ，f l 1 0 1 萁申w 笼，b r ，专裟( 6 ，垂) ，冗。，c o ( 1 一1 8 ) 一( 1 1 0 ) 的对倡问题为 砖n ；娄塞执鲍a 妈甄即，一塞， p 圳 s t 虢哦=8(1-12j 0 s 啦c ，= 1 、2 ，- 一， ( 1 - 1 3 ) 其中甄鳓，却) 为对应于变换( 1 6 ) 的核函数 k ( x l ，$ j ) = ( 西( 鳓币q ) )( 1 1 4 ) 通过求解上述砖偶闯题得鼓优瓣矿= ( ，a ) ，选取。+ 的一个蔽分爨噶 o ，并据鹧钟算霹值 l 扩嚣张一辨8 ：符扛，蛳) ， ( 1 l 鄞 t = l ( 1 1 6 ) 最后得别决策蛹数 设算法称为c - 支持向量机 1 ，( 。) = s g n ( 耐y i k ( x , 瓤) + 6 + ) j o l 1 2 1 2 c - 盘特向量分类机的一种变形 原始问蹶( 1 - 1 8 ) 一( 1 1 0 ) 申。 繇就交为撵 瓣r ，静= ；i w l t 2 + e 尊 o l s 。t 扰( ( w 鞋) + b ) 1 囊， 其中w ，b r ，s = ( f l ，矗严帮，g 0 原始秘题( 1 - 1 9 ) - l2 0 ) 的对偶辩嚣为 m 。i “ i 蚤聂辨珊啦q 扣”印卜薹吩 jl s t 辫啦= 0 n ；0 ， 一1 ，2 ；一，z ；， 萁中 ( 11 7 ) ( 1 一l 踯 ( 11 9 ) ( 1 2 0 ) f 】一2 1 ) f l 一2 2 ( 1 2 3 ) 妫( ，q ) = 蟊( 瓤，) + 去南，( 1 - 2 4 ) 岛一r 置 s ， 通过求解上述对偶问疆得到最优解n + 一( o ；，d ；) ，选取扩的个正分燎哦 o ，并据诧计算断篷 肚鲫一“- 5 - ) 一毫蜮脚捣) ， ( 1 _ 2 6 ) 构造决策丞数 鼬) = s g a ( a t y i k ( ：# , 韪) 十矿) ( 1 - 2 7 ) i # 1 4 闻 始原 。 替代求学 ；：l 时 兼 幻 ；：i g 2 l 一2 鼹 数 函桥目 中国农业大学礴士学位论文 第一章绪论 1 2 2 按薮数 在使用s v m 求解模式识别问题时，为了搬高性能，一个常用的方法是将样本通过非线性映射 变换到高维甚激无穷维空间求解上碱的优化阀题，分析上面优化问题就会发现，最优超平面且与 巍篷的肉积有关，瓣站在变换空阉，并不需要照式计算撵本的象，强篙簧计算象静内积。圣藕是逡 群一个将样本变换裂簌空闯静非线性变换，根据辩生按藉氟佳梅斑阉( r e p r o d u c i n gk e r n e lh i l b e r t s p a c e ) 理论，存在满足m e r c e r 条件的函数( 一) 使得( 垂( 甄) ，茧( 町) ) 一k ( 嘞) ，因此，在上面得 到的结果中使用k ( 2 7 ，z 7 ) 替代对应的内积就实现了在新空间中的避算，这样的蛹数称为核函数 下面给出一蝥掌翅静菝蘑数： 1 ) 多项式棱， k ( x ，) = ( - 甲，d = 1 ，2 ，( 12 8 ) k ( 2 7 ，) = ( ( z z ) + 1 ) 8 ，d 一1 ，2 ，( 12 9 ) 2 ) 高斯狡辩瓣捩 ( 叩，) = e x p ( 一譬华) 、( 1 - a o ) 3 ) 多层感知器，又称s i g r a o i d 核 k ( 2 7 ，一) _ t a n h ( k ( ，胡+ 。) 。 1 - 3 1 ) 其中k 0 0 4 ) 样条核函数 戳r 为节轰鳇p 酚有隈襻象藤散如下： p n k ( 州) 一。”+ 0 一勺) ；( 7 一p ( i3 2 ) 1 = 0 j l 奠中 = ： 睁。s ， 1 2 。3 支持i 蟊】量回归机 罄归闻矮：设给定硼练集 t 篇 ( 2 7 1 ，啦) ，- r - ，( 研，柳) ( 刀y ) ，( 1 - 3 4 ) 其中。；爿= 舻，y l y = r ，4 1 ，z ，假定训练集是按爿y 上的某个术知的概率分布 p 融) 选取的独嶷润分雍数样本点，又设给定损失辫敷c k 孰，) 试寻求一个蘧数，缸) ，燕得期缀 风睑 ， r i f 】i c ( $ ，f ) d p ( x ，口) ( 1 - 3 5 ) 选刘极小。 5 中国农且跌学硬士学位论文第一章绪论 1 2 3 1 s 一支持向量回归机口一s v r 设基知训练集l _ 3 4 ，选撵遗囊的正数s 帮c ；选辑台巍的筷k ( x ，。) ；擒造势求辩最优记阏题 fl ；( ；一锄) ( 哼一娜) 西( ) + s ( n ；+ a ，) 一瓤( 口；一n ，) ，( 1s s ) ，j = 1 ol3l 圭( 啦嗍。， ( 13 7 ) o 兰a 。，“；孚，i 一1 ，2 ，一，( 1s s ) 褥蓟簸傥解厅= ( 诹，哦，- ，戡，群尹； 构造决策函数 z ，( z ) ；( a ；一a ，) ( ( ) ) + 6 ， ( 1 3 9 ) i = l 其中5 按下列方式计算，选择不为零的嘞或若选到的是西，则 若选刻的是酲，则 l 。2 3 ，2s m o 5 一琢一( 磊；一5 q ) ( k ( v i ， ) + ；( t - 4 0 ) i = l 5 = 帐( a ；一6 ，) ( ( 坼) ) 一 l ；l f l 一4 1 ) 透过上一节静算法奔绍，我髓寓遘，支持离量壤算法最詹辩决嚣是一个凸二次巍趣闻题，氇 在处瑗实际悯题时，由予对存储鞴计算量两方萄的要求帮很高，用普通的鹅决二旋规期问题的方 法常常会先散原因在于e 这蝗苒法都要储存与训练集栩成的h e s s e n 矩阵，然而储存h e s s e n 矩阵 所需嚣的内存与训练集中的样本点个数j 的平方成正比的当样本的个数2 以成千计时所需的内 存大的像人， s m o 算法l 嚣l 是种解决支持恕量糖中鲍优化问题的傥庭算法，它撮好的剃耀了该阉疆懿特 殊镌( 注慧t 支持建量槐中盼挽他麓搓，是一类特辣的簸优化朗疆，它翻具膏一些非常好静特性魏 解的稀琉性和最优化问题静凸性等，这些性质使褥我们梅造使用较少存储的快速专用算法成为可 能) ，其拣率思想为：将大规模的原问题分解为若干小规模的于问题，按照某种选代策略，反复求 解予问题，构造出原问题的谶似解，并使该近似解逐渐收敛到原问题的最优解 算漩1 2 1 ( 序列最小最优化算法s m o ) ( 可参看文献 4 ” ( 1 ) 给定耩度，a o ，令k o ； ( 2 ) 逑取忧诧交量a ，a ，解折臻勰荧于两个变量盼最捷他阍题，得雾| 最优鳙n p z ；。；”，据站更薪 。褥鼙i a + 1 ： 8 翰 吼 旺i 3 ) 若在精度# 内满足 0 锄s ei = 1 ，l 骆e 壹i = 1 峨辫t 缸，秘，+ 稀 i i 骆( 峨辫( 缸，秘) + 6 ) = 1 l 则转第( 4 ) 步；否则，令女= + l ，转第2 1 步 ( 锄取近似解矿= 。+ 1 1 3 论文的研究内容 轨8 i = 0 ， 峙= 0 ， ，码i o a j o ，魁拳先给慧的参数，k ) 羟孩爨数设( a ，酽，5 ) 聚随毯 3 1 1 ) 一( 3 1 3 ) 豹最目潍， 梅造决策荫数魏下： i ，z ) = $ 辨( ( 函一磁) 耳( 氙，) 十5 ) ( 3 1 4 ) = 1 1 3 中国农监太学硬士学位论文第三掌麓决雾粪阿嚼抟新方法 此外，s v c 通过算法推广，也可以用来解决回归问题，相荧的算法称为s v r 算法根据给 定的训练集 t = ( 。l ，孽1 ) ，融，轨) 搿y ) 】( 31 5 ) 其中。i 膏= 舻。辫= 琏；= l ，遵过整曩s 一不敏感攫失蠡数 i ，( ) 一引e = m x ( 0 ，f y 一，( z ) i 一) ( 3 1 6 ) 相关的线性规划模型为z 蹿。声，癣，6 f 玑( 岛一巧) k ( 唧，观) 一b + 前 j = l 隗，成，讯，啸o ，i l ，2 ，w ，t ， f 3 1 7 1 ( 3 一1 8 ) ( 3 - 1 9 ) ( 3 2 0 ) 其中d 0 ，s 0 是事先绘定的参数，群( - ) 是核参数设( 雾，伊，i ，矿，两是( 3 - 1 7 ) 一( 3 2 0 ) 潞馥 酶最住解，构造决策函数如下： f ，曲) = ( 扁一羼) k 和 ，) + 5 t = i ( 3 - 2 1 ) 基于k s v c r 模型及上面剐刚搬到的关于支持向量机分兴和回归的线性规划模型，我们将它们 结合在一起，爨趣了线性提糍形式的k s v c r 算法( 蜀一l s v c r ) ，考虑训练集( 3 一1 ) ，搬纯怒黢辩 下； a d ，e ，”，矿，h f 32 2 1 t s t ， 亟( 芝二( o j 噶) ( 南，面，) + b ) 1 一矗，i = l ，2 ，h 十 2( 32 3 ) ，l l ( 哟一噶) k ( 劫，童；) + 5 1 臻，= i + f 2 _ 1 ，一，；2 4 ) j = l ( 哟一噶) ( 每，盈) + b 8 一啸 j 。l o t ，“；，仇，哺0 f 32 6 1 其中c - d 0 ， o 是事先给定瓣参数，k ，- ) 是挨蛹数设( 矗，己日，矿，砩是两趣f 3 一 1 4 啦 o ，v 0 1 】为事先给是的参数，耳，* ) 是桉函数设( g ，君，目，矿，5 ，习i s 为最侥讫l 珥蹶 ( 3a 4 ) 一( 33 7 ) 鲍簸优解，梅逢凑策蕊数为： ，( # ) = ( 厦犀) ( z ) + 5 ( 3 3 8 ) 我魏把上述掰个模墼结合在一起，提出了萋于线性艇籀形式静v - k l s v c r 葬法，考虑 l l | 缘 集( 3 - - 1 ) 优化问题如下； 。q r a 。i n 蜘，。善( 时a 孙e 瓤1 扣哪) ， 1 + b 捌百1 。磊l + ，( 啸州s ) ( 3 - 3 9 ) ( 34 0 ) s t 嚣嗡+ 噶) = 1 ，( 3 - 4 1 ) 雪( ( 哪一a ；) ( 劫，磊) + 6 ) p 一靠，i = l ，2 ，一，l 斗妊 ( 34 2 ) j 2 1 f 如。一噶j 耳( 劫，氟+ 6 兰e + 霉；i = f l + 岛+ 1 ，z( 3 4 3 ) ( 哟一q ) ( i ，i 。) + b o ，n ：，f ，啡，琅，p 兰# 0 ，t = 1 l + 如+ 1 ，一，z 1 8 塞塞窒錾奎耋翼耋兰塞冀耋篓三耋丝篓堡塑燮 其申c , d 艺0 。l ，沲燕事先给是的参数，( ，一) 楚棱函数设晦，a + ， ，开t 矿，5 ，甸是最傀纯 问题( 3 - 4 0 ) 一( 34 5 ) 的最优鹪，构造决策函数如下； ，锈，扛) = 冀中 + l ，如果9 ( ) e ； 一1 ，如果g ( x ) 一；( 3 4 6 ) o ，其它， 9 ( g 净( 讯一a ；) 符g + 5 ( 3 4 7 ) 4 = 1 根据姆一祷) 程( 3 - 4 7 ) ，骞易看出，必要游怒( 函或) o ，弼号悲对应的训练榉率托鄹为支持肉 墩 3 3 2 ( e j ， k ) 分类器的性能 在这一节中，我f r 了将指出u - k l s v c r 中的与m k - s v c r 算法中的有类似的性错酋 先，我嬲跨出边界错误敷的定义# q ：鲤果训练集中瓣榉零点款瀵足 i ：y + g ( z i ) e ，t 篇z 1 2 + 1 ，1 ( 3 4 8 ) 萁中9 ( ) 同( 3 - 4 7 ) 则称该样本点为错分的样本，它们的总和称为边界错误数，容易看出：被错分 孵样率分嚣种情况：1 。翅槊样本点是寒鑫其中嚣类，不是来自余类静襻率点，边界锻误熬撩薛是 那些或者被错分或者在e 一带内的样本点的样本数2 如果样本点是米自余类，边界错误敬指的 怒在s 一带班终郄些样零点酶总和。 我们把边界错误敷与样本总数的比率称为边界错误搴，公式为： l f m e = ：y i g ( x + ) g ，江f 】2 + 1 ，- - ，引) ) ，( 3 - 4 9 ) 熊中9 简( 黔4 7 ) 定理3 。3 。1 设绔逛刊练点集( 31 ) ，用一k - l s v c r 进行分类，若脬释的鞠p 满足p # o 。 删下面结论成立： j ) 。垫地；然是边券错溟辜的土羿， ( i l ) 塑地 ! 她是支持向擞的个数所占总样本点数的份额的下界 证翳：证明过程可参见 3 3 。3u - k - l s v c r 算法 口 这凰提出的z z - k - l s v c r 模型是把处理分类问题的v - s v c 线性规划模型和处理嘲归阏题的 s v r 线性规蜘横型缩合在一超考虑的算法，对两粪( o j ，8 k 1 向越应用了线性规茸j 形式的s v c ( 3 - 2 8 卜( 32 s ) ，其申雏一圭1 ( 3 - 4 2 ) ；辫对余类翦翔题，则是应用线性规期澎式的s v r ( 3 - 3 4 ) 一( 3 3 4 ) ， 其中虮= 0 其投票规则与k l s v c r 算法的投票规则相同 1 9 ，ll_，、tiili、 算法3 3 2 。* k - i 。s v c r 算法 1 设已知训练集t = ( z 1 ，口1 ) ，蛳，搬) y 九其中a 搿= 舻，y 。y 一 ( 1 ，2 ，m ，i = l ，f ； 2 对每两类( 嘭，0 k ) 可题。选择适当的正数gd ，t z 2 ；选择遗当的核村扣，# ，) f 3 构造并求解问题( 3 - 4 0 ) 一( 3 4 5 ) ，得刘最优解( 西，a “，若日，矿，5 ，g ) 4 构造搬策函数( 3 - 4 6 ) ；最后得刹k 僻一1 ) 2 个决策函敬； 5 对新的输入x ，