测井时间序列的支持向量机回归预测2

测井时间序列的支持向量机回归预测摘要统计学习理论是针对小样本情况下的机器学习理论，其核心思想是通过控制学习机器的复杂度实现对学习机器推广能力的控制。支持向量机能够尽量提高学习机的推广能力，即使由有限数据集得到的判别函数对独立的测试集仍能够得到较小的误差。因此，本文把支持向量机用于测井时间序列的回归预测。首先，介绍了时间序列和支持向量机的基础理论。其次，详细介绍了支持向量机的回归原理和算法。最后，本文根据石油地质勘探的实际问题，将支持向量机运用测井曲线预测储层参数——孔隙度。结果表明，该方法预测精度高，方法稳定有效。支持向量机较好的解决了小样本测井勘探的实际问题。关键词：支持向量机；时间序列；回归预测LoggingtimeseriessupportvectormachineregressionAbstract:Statisticaltheoryisacaseofmachinelearningtheorywhichisbasedonsmallsample.It’scoreideaisthemachinebycontrollingthecomplexityoflearningtoachievethepromotionoftheabilityoflearningmachinecontrol.Supportvectormachinetomaximizethegeneralizationabilityoflearningmachine,evenifalimiteddatasetobtainedfromthediscriminantfunctionontheindependenttestsetwillbesmallerstillerror.Therefore,thesupportvectormachineisusdtologgingtimeseriesregression.Firstofall,thisarticleintroducesthetheoryofthetime-seriesandthebasisofsupportvectormachine.Second,itintroducesdetailedinformationonthereturnofsupportvectormachinetheoryandalgorithm.Finally,thisarticleinaccordancewiththeactualgeologicalexplorationofoilwillbetheuseofsupportvectormachinepredictionofreservoirparameterslogging-porosity.Theresultsshowthathighpredictionaccuracyofthemethod,astableandefficientmethod.Supportvectormachinetoresolvebetterthesmallsampleofthepracticalproblemsloggingexploration.底Keywo渗rds欠：有sup月port渔vecto尽rmac先hines板；蓝time鹅serie高s邮；婶regr胁essio童n目录腰第瓣1章况前男言声1.1马选题意义竹本课题的主陵要目的是研钓究支持向量醋机预测储层臂岩性参数问浑题。在估计跌孔隙度的过早程中，测井质的数目往往硬是固定且有猴限的，后支持向量机伴在解决小样灯本问题中表舞现出许多特滨有的优势S慌VM方法的众几个主要优逮点有：烫1.是专门黄针对有限样脖本情况的，李其目标是得浮到现有信息棵下的最优解俩而不仅仅是陆样本数趋于且无穷大时的辽最优值；穗2.算法最右终将转化成陷为一个二次愁型寻优问题痒，从理论上注说，得到的辱将是全局最留优点，解决唤了在神经网铃络方法中无晴法避免的局疮部极值问题摔；胞3.算法将捆实际问题通查过非线性变菌换转换到高男维空间，在方高维空间中弱构造线荒性逼近函数虫来实现原空叠间中的非线鹿性逼近函数顶，特殊性质摧能保证学习补机有较好的泄推广能力，技同时，它巧呜妙地解决了繁维数问题，恳使其算法复踩杂度与维数和无关。雪对于小样本巴的分类问题阵,士SVM岩具有调节参闷数较少、运将算速度快等壁优点。通过袖地震或测井加等信息进行恼油气预测是腐一种典型的仪非线性分类气器设计问题咽,它具有已硬知样本数较逢少、属性空穿间维数高、闸没有明确的誉对应关系模尽型等特点。洋因此，选择档支持向量机邻对其进行预截测。衣1.2柏研究现状遍近十几年来寿的测井技术咐，特别是2晶0世纪90奸年代后，取举得了重大进晨展。按照传洋统的观点，俭测井技术在侵油气勘探与值开发中，仅黎仅对油气层皇做些储层储筛集性能和含斜油气性能(辱孔隙度、渗父透率、含油逮气饱和度和徐油水的可动铃性)定量或致半定量的评研价工作，这束已远远跟不鼻上油气工业库迅猛发展的择需要。而当燥今测井工作记中评价油气吴藏的理论、援方法技术有戚了长足的发幻展，解决地茄质问题的领下域也在逐步售扩大。90泡年代，统计汤学习理论洲(及Stati痕stica葵l物Learn暮ing弃T斤heory挡，SLT苦)是一种处糠理小样本的演统计理论，厌为研究有限艳样本情况下施的统计模式桐识别和更广担泛的机器学值习问题建立绞了一个较好笑的理论框架诱，同时发展直了一种新的扶方法卵——峡支持向量机塞(学Suppo棍rtVe宵ctor炕Machi曾ne赔,简宰称衔SVM特)，能较好床地解决小样进本学习问题僚。由于神经批网络等较新木兴的机器学魂习方法的研昨究遇到一些敌重要的困难恰，比如如何佛确定网络结轿构的问题、同过学习与欠汤学习问题、哈局部极小点斜问题等，使竟得湾SVM美迅速发展和左完善，在解墙决小样本、团非线性及高怀维模式识别谱问题中表现略出许多特有恶的优势，并寨能够推广应有用到函数拟疮合等其他机斗器学习问题零中。告支持向量机活(库SVM惯)是数据挖万掘中的一个劲新方法，能计非常成功地荒处理回归问生题(时间序掘列分析)和柏模式识别(思分类问题、俗判别分析)攻等诸多问题访，并可推广贱于预测和综昆合评价等领榨域。鞠1.3秩论文内容荡具体来说，今《圣测井时间序伪列的士支持向量机霸的回归预测羡》愈的研究内容辉包括以下脾四亲章：躬第一章：前激言。倡阐述支持向历量机在测井匪属性参数预响测地质属性机数据中的应巷用研究课题浅提出的目的啦和意义，在犹综合查阅各异类相关文献指和分析专利例检索及手工侵检索结果的障基础上评述掏国内外研究虑概况和存在怎的问题，确我定本文研究记内容的意义危和研究方法煮的可行性。凶第二章：测柄井时间序列泉。主要讲述喇了时间序列俭的意义以及筒时间序列的廉预测方法，盛测井数据可岗以把它看成豪为时间序列汁。租第三章：支出持向量机的端原理和方法音。本章介绍维了支持向量妙机的基本原缩理，支持向练量分类，以洒及支持向量琴回归。拥第四章：测上井时间序列退的支持向量裂机回归渣预测。本章女是说研究的重点掩，主要依据睬测井属性参垦数用支持向屈量机预测储闯层属性孔隙疫度，爱并得到预测东结果。土第仔2雅章塑测井时间序还列盖2.1熊时间序列概换述铺时间序列预庄测研究始于米20世纪8马0年代初期暖。时间序列嫩预测方法从劫广义上可减以分为定性阻预测和定量犬预测。定性凡预测是由预龄测者利用以授往的经验，盆凭借直觉封做出的预感霉和猜测，具孕有较大的主爹观性。定量役预测是指运竖用数学或统亮计方法建感立数学模型正，对历史统倦计数据进行承分析，从而懒对未来的发蹄展做出预测找，预测结尖果的准确性换与数学模型麻的选择密切卫相关。长期注以来，国内贱外学者对时骄间序列预测唤的理论和方挤法已做了拴大量研究，计提出了各种未各样的预测魄建模方法，坛这些方法大乘致可分为两滴大类，一类章是以时间序磁列法为代表言的传统方法挂，另一类是房以人工神经意网络法为代嘴表的新型人绳工智能方法窗。传统方法散中主要有时漏间序列法、尼多元线性回绞归法及傅立较叶展开法等腹，传统方法遵比较成熟，广算法简单，迟速度快。然糟而，传统方要法都是线性佩模型方法，馋因此在遇到拖本质非线性彼问题时就显剑得无能为力飞。支持向量膨机在处理非恢线性问题时酷，首先将非吸线性问题转狮化为高维空清间中的线性待问题，然后掘用一个核函炸数来代替高昼维空间中的坚内积运算，证从而巧妙地催解决了复杂厌计算问题，见并且有效地议克服了维数裤灾难及局部猫极小问题。侧时间序列是烦指按时间顺卫序排列的一仓组数据。从部统计意义上腊讲，所谓时笋间序列就是肥将某一个指恳标在不同时减间上的不同煤数值，按照固时间的先后可顺序排列而心成的数列。踩这种数列由棚于受到各种盏偶然因素的么影响，往往安表现出某种庆随机性，彼和此之间存在狸着统计上的臭依赖关系。沃从数学意义至上讲，如果鸟我们对某一撇个变量或一插组变量若进行观察测舟量，在一系亚列时刻QUOTE咱得到的离散钓有序数集合QUOTE轮称为离散数裙字时间序列向，即随机过棕程的一次样扰本实现。设QUOTE鸣是一个随机茄过程，QUOTE扯是在时刻凯i脚对过程诉的观测值，管则QUOTE乞称为一次样爸本实现，也香就是一个时土间序列。从帜系统意义上置讲，时间序滤列就是某一随系统在不同迅时间（地点泊，条件等）抓的响应。这筛时间序列具喉有如下的特伯点：首先，下系序列中的乒数据或数据粪点的位置依寇赖于时间，废即数据的取尤值依赖于时鲁间的变化，垂但不一定是故时间屋t镇的严格函数吸。其次，每挖一时刻上的截取值或数据撞点的位置具例有一定的随董机性，不可缓能完全准确珍地用历史预仗测值。再次郑，前后时刻半（不一定是功相邻时刻）晌的数值或数由据点的位置艳有一定的相伟关性，这种忍相关性就是痒系统的动态幅规律。最后饲，从整体上地看，时间序辣列往往呈现悦某种趋势性角或出现周期辛性变化的现样象。饮2.2阔时间序列的队预测方法切铲时间序列线援性预测方法甩一般来说，陪时间序列受效趋势变化因碗素、季节变间化因素、循框环变化因素杜与不巾规则因素等亩四种因素的惑影响。70进年代，由于于Box－J阅enkin斩s劣模型的内提出，使得蹲时枯间序列方法四得以迅速发丢展，并很快嫩成为预测领竿域的主要方店法之一。主桥要方法有：肚1.移动平他均法摆移动平均是连预测技术中蔽的一种古老软方法。它对纵一组给定的私历史数据，餐计算其引平均值，并兵将这一平均怎值作为下一厦时期的预测映值。移动平欲均分为移动寇算术平均挎与移动几何已平均，以及炕移动加权平评均。这种方捧法非常简单荷但其预测精饲度是捡比较低的。棒2.分解方速法复分解方法也业是一种历史仙悠久的方法折，它的基本迫思想是将预萝测数据分解艇为季控节因子、趋推势因子、循惰环因子和误雪差或随机因刮子。这种方期法单独使用蛮效果并不将好，但是它拜作为识别数纹据特性的一哈种方法，仍困然有雄其深刻的影必响力。目前芳的一垦些调整方法愿可视为是在松其思想上的幸延伸。泪3.季节系损数法首周期性演变炸的活动是常冤见的事情。测随着季节变告化而发生的职周期性的需价求变草化就是例子酱，如水果、患蔬菜、四季商服装、啤酒明、冷饮的销躲售量、火车笼乘客、旅游黎观光的人数凝等。反映在烤时间序列资窄料上，统计脊数据呈现明楚显的有规律扭的季节妙变动。季节宏系数法就是言根据这一规踪律进行预测趋的方法。在秩实际预测时污，要用季室节系数修正诊没有考虑季仁节影响的预败测值。发4.叹Box－J扇enkin生s盾方法湾由于核Box网和Jenk呀ins的开与拓性工作，伐自回归移动舌平均(AR企IMA)模全型仍是时间饰序列分换析的中心课骨题，Box灭和赠Jenki影ns描的著作《T愉imes问eries辨Anal型ysis：蛛Forec炸astin英g脆andC补ontro腾l》，曾一早度成为时间寺序列分析的画主要方法。释Box-J蓝enkin抖s方法在统辰计学寨上是完善的挣，有牢固的痕理论基础，娇有一套完整捞的程式化的字建模方法。搅但同时这管种方法是复须杂的，对数维据的性质也骡有一定的要老求。另外它充还要求研究威者有较高翁的专业知识丸，对问题有黄深刻的认识压。关于Bo释x-Jen堂kins方边法的预测精以度，对于不堵同的运用环刮境有着不同仓的结论。但校是这些方法宴大都侧重于走理论研究，投追求理论上赴的完善，以拨至于成许多方法很抵不实用，真净正能够用于流解决实际问倦题的很少。跨例如用于时视间序列分析俭的大多数方肠法Box-伴Jenki茎ns方法，总均假设各变盾量之间是一细种线性关系笼，这种局限烧性使其在实亭际应用中很层难准确地进遇行分析和预病测。因为在悲实际的经济党系统或工程虫系统中，总债是或多或少峰地含有非线颈性因素，当者非线性因素衬影响较小，劫或在某一范绳围内影响较敲小时，可以第采用线性模星型来描述或挪逼近。但当荡这种描述或附逼近得不到秩满意的结果冈时，就应该狭应用非线性撑时序模型，闷或其它适宜秘的非线性方裂法。同时，请结构的复杂朵给应用上带李来了很多困挎难，在预测萝效果上也未牵有一致性的税进展。因此刷，近年来学团者熔们更加注意榨解决在实际联中存在的具础体问题。军迹时间序列的姻非线性预测脆方法扬在过去的半捆个多世纪里甚，时间序列忠分析、预测猫得到了迅速检的发展。特析别是对线性继时间序列分宫析的研究，蜘己经取得了氏系统和丰富墓的成果。但爷是对于非线神性时间序列滋分析的研究复，仅在近二受十多年里才对逐渐被重视痕起来。目前驼，非线性时列间序列已成沸为时间序列彩分析及预测搂理论发展的难一个重要研旦究方向。混非线性模型敬范围极广，源形式多样，腊应用起来难书度较大。目课前应用较广玉，成果较多搬的有双线性叼模型(热Bilin异ear厚)，条件异要方差模型(番ARCH抢)，和门限蕉自回归模型夹(垫TRA蠢)等。这些脚是传统牲的非线性时调间序列预测受方法，均属趟于模型驱动缩的方法，即开首先研究系配统的演化行德为，设定预迹测模型，估扶计、检验模岁型参数，最瓶后找出最佳禽模型。篮纵观国内外样在这一方向湖上的研究，渗前期工作大疗多局限于对肺几类典型非钻线性时间序眉列模型的参感数辨识算法筒和建模方法纤等进行研究腊，一些代表短性的工作如蛋：射Nicho材l挥ls你和伟Quinn筐(浊1982)冒对随机系数汪自回归模型年的讨论，势Grang抹er,An软derso勿n挡(1978坟)，以及弃Subba轨RaoG倒abr纤(1984掠)对双线性恰模型的分析粘，辅Hagga叶n,Qza奇ki失(1981棍)关于指数等自回归模型脖的讨论，此偷外还有却Ton风g(泼1983)蝇关于门限自唉回归模型的乏研究，吉Pries镇tley裳(1980溪)的状态依容赖模型等。装慨自回归移动循平均(际ARMA桶)模型述在建立一个政实际时间序蚕列模型时，溜可能既有自麻回归部分，幻又有移动平暖均部分，如份：饮或者写成算吼子形式：鸟简记此模型驶为肠，括号中的是第一个数据侍是自回归阶毁数，第二个胆数据改是勿移动平均的谊阶数，故称抱之为竿阶的自回归咸移动平均模收型。实际应英用中层、前的值很少超例过3。脊对颗模型，我们东总假定梅和惜（作为变量节为倍的多项式）届无公共因子杯，分别满足勉平稳性条件渡和可逆性条顺件。如果聋满足平稳性抽条件，称捡是平稳的；手如果僵满足可逆性政条件，称腹是可逆的。具对平稳的鸦模型，辣可表示为过最去各期误差店的线性组合鼻；对可逆的模模型，胜可表示为过帐去各期数据焦的线性组合兴。拥由于自回归球模型不存在畜其它自变量状，不受模型配变量桨“澡相互独立傅”俊假定条件的毁约束。因此榆，用正AR奇模型及其原素理可以构成矮多种模型以培消除或改进胶普通回归预兔测中由于自顿变量选择、径多重共线性毙、序列相关规等原因所造遗成的困难。屿此外，在乌AR某模型中，各士种因素对预活测目标的影挪响是通过它尤们在爆时间过程中目的综合体现热被考虑的，堪是将序列历记史观察值作础为诸因素影就响与作用的令结果用于建诊立其本身的愚历史序列线押性回归模型村的，因此，全用普通最小型二乘法就可狸以对模型进享行估计和求填解。这一点堪,AR定模型比其它窝类型的时间兽序列模型都吨优越，应用拌得梅也最广泛。狸仅适用于描叛述平稳的时记间序列，而攻实际应用中狮遇到的时间建序列往往是穿非平稳的，距尤其是在经贞济管理中碰砌到的时间序辟列。尽管从亩实际应用的漏角度看，用准适当的自回骗归模型去近疾似一个稳定响或不稳定的码时间序列，炎在理论和方琴法上都是可锤行的，但我饰们常用差分铲化的方法将呜非平稳的序呀列化成平稳式序列来求解茄。掉在时刻t用QUOTE畅对QUOTE币的取值进行衣预测，而QUOTE消是困一个未知的金随机变量，衔由于QUOTE寨之间具有相喘关性，QUOTE士的概率分布灾是有条件的歌（即在QUOTE迈已给到定的条件下佣）。QUOTE你的期望也是警有条件的，寺一个直观的很想法就是用QUOTE握的条件期望幕作为QUOTE知的预测值，除即：汤为了利用条贞件期望计算匹预测值，需铃要先了解有誓关时间序列落和随机扰动薯的条件期望追所具有的性策质：剂常量的条件其期望是其本续身。魄对ARMA绣序列而言，侦现在时刻与塘过去时刻的迹观测值及扰邀动的条件期振望是其本身冠，即：野2)未来扰登动的条件期祖望为零，即塔：蒸3)未来取滑值的条件期厦望为未来取品值的预测值粒，即：稻ARMA冰（勺n,m狭）模型预测茧的一般结果鄙：扯由吗ARMA工模型:魔可将QUOTE押表示为：浩非模始凯销晶猎炕年庙沫屑洒(2.猫1)朋利用条件奥期望的性质纲对（2.1武）求条件期冷望，当QUOTE迅时有：御细气彻涂坐QUOTEQUOTE部刮赠铅(2.2垂)筝当k>m时趋，上式中的铃滑动平滑部艺分全部消失云，有：QUOTE央析少规(2.3)瓶式（2.3北）的通解为西（即预测函组数形式）为桨：QUOTE锯转萍伯获(2.曲4)悠这里QUOTE扫,其中QUOTE湖的形式由酷模型特征方多程：模的根决定。写当预测原点锁t给定时陶，系数QUOTE诸都是常数，励并由模型的吸滑动平均部绿分确定，随汗着预测原点轰的变化，这堂些系数也将杜改变，以使枪预测值适应茶于序列已观因测部分的特御性。综上所丧述，对于棋ARMA(朱n,m)鸣模型，自回姓归部分决定冠了预测函数历的形式，而女平滑部分则填用于确定预抖测函数中的宗系数。绩有些时间序锁列常呈现出槐一种特殊的蝇非平稳性，揪称之为齐次土非平稳性：仙只要进行一计次或多次差担分就可以将产其化为平用稳序列。差育分的次数称勿为齐次化的咳阶。这样的论时间序列可穴用求和自回皆归－移动平贱均模型来描爹述。定义差分料引入差分算盐子盼。涝阶差分可定凡义为坚，如二阶差奶分=或者次阶求和勇自回归庆—载移动平均模咏型为（2.5）武亦即质是绪序列印。其中宋为求和阶数贪，匀、时分别为勾序列的自回冬归和移动平板均的阶数。吊式（难2.掏5歇）所示的求喝和自回归－颂移动平均模颗型用记号技表示。悦对这类非平江稳的序列，励我们假定数从1开始戏才有定义，研并且假定存的前礼个随机变量干是均值为零浓，方差有限抖且与思不相关，因老而也与袄不相关。序活列爆可用它的初渴值债及平稳序列娘表达。事实攀上，由于差从分的逆运算碎是求和，所喝以禾，鸭提（宇2.门6刷）敢其中槐。我们不去农推导上述公晓式，仅仅讨陡论两种最简应单的情况。i)，此时，米从而式醉（僚2.似6驴）成立。师ii)勒，此时由上什式知俱同理有扯，代入整理晕知，皱对于乓序列，它可言以通过风阶差分化成眯平稳的普序列。骂绒季节型模型稀在许多的实昼际问题中，刊时间序列会固显示出周京期变化的规违律，这种周尺期性是由于介季节变化或诵其他物理因摇素所致，我卫们称这类序脉列为季节性巡序列。季节蜜性时间序列掘的重要特征葵表现为周期固性。沃对于闻含有季节性蹲周期的时间告序列，也可嫁用季节差分李的方法将之嫂化成平稳序贴列。例如，辩对月度波动健，可以用月麦度差分称对北作运算片对季度波动歌，可以用季老度差分播消除数据中窃的季节性影穴响。鲍克斯尘—逼詹金斯季节崭模型为（2.7）棋若取锄，则上述模板型可展殃开为蝇有时随机干省扰项范也是与季节菌相关的。这钳时，可以用催模型枝来描述。例岸如堆就描述了一棍个既有线性芒发展趋向、核又含月度周治期变动的随帆机型时间序振列模型。如逆能预测到般的长期趋势宪时，扩就是零均值槽了。换第哗3北章支压持向量机的乐原理和方法桂3.1疼SVM的基埋本思想像SVM双是从线性可度分的情况下巷的最优分类乒面发展而来塔的，其基本勿思想可用图堵3币-1何所示的二维净情况说明。朵图3-1趴最优分宇类面的示意毕图驱图3磁-1郑中，实心点叶和空心点代稳表两类数据朽样本，雀H煌为分类希线，爱H巧1奉,H看2避分别为各类间中离分类线稻最近的数据俱样本且平行科于分类线的畜直线，他们还之间的距离养叫做分类间新隔（聋margi泽n骑）。所谓最挽优分类线，献就是要求分电类线不但能菜将两类正确熄分开，使训葡练错误率为灶0满，而且还要屠使分类间隔运最大。前者剃保证经验风逮险最小；使培分类间隔最巩大实际上就孩是使推广性或界中的置信咏范围最小，协从而使真实瞎风险最小。捉推广到高维体空间，最优叫分类线就成保了最优分类赏面。糟附最优分类面利设有两类线件性可分的样贷本集合：脉,座线性判别函崭数的一般蚂形式为恨，对应的分泻类面方程如搬下：刚将判别函数抢进行归一化桃，使两类所返有样本都满芽足邮，此时离分量类面最近的正样本脆，要求分类叠面对所有样主本都能正确溉分类，即满丽足：（3.1）圆此时分类间门隔等于诉，间坟隔最大等价晕于予最小。，满巨足式（3侍.1殿）且使傅最小的分类糖面就是图3垄-1捏中的最优分品类线目H兄,确H1,H串2均上的数据样核本叫做支持葱向量（及Suppo域rtVe递ctor,麻SV爬），因为他掌们支撑了最谅优分类面。蓝因此，最优慎分类面问题苗可以表示成培如下的约束输优化问题，体即在式（3脊.1沫）的约束下气，求如下函电数的最小值弱：畏吗s傲.t.青瞧冠动肆(值3递.2)驴为此，定义提如下的弟Lagra罪nge娘函数：（3.3）暑式中，违为然Lagra岂nge谣乘子。为求产Lagra待nge让函数式（法3祥.3贤）的最小值怨，分别对葛求偏微分并减令他们等于疼0葱，于是有：不根据上式和寄（饥2.2惭）的约束条括件径，可以将上粮述最优分类屠面的求解问于题转化为如考下的凸二次挺规划寻优的步对偶问题：杠s.t.思抱席宿羽(嚷3完.4)潜式中QUOTE千为对应的玻Lagra曲nge刮乘子，这是淋一个二次函吸数寻优的问叙题，存在唯鱼一解。若QUOTE娃为最优解，震则有：QUOTE辞式中QUOTE架不为零的样超本，即为支伙持向量。因珍此，最优分贯类面的权系疤数向量是支葬持向量的线袋性组合。QUOTE讯是分类阈值孕，可由约束唐条件晃求解治，解上述问历题后得到的沈最优分类面体函数为：形妹广义的最优张分类面衡上面的方法姜在保证训练诸样本全部被颠正确分类（顿即经验风险提为零）的前碌提下，通过配最大化分类款间隔来获得绞最好的推广喜性能。当最员优分类面日不能把两类压点完全分开剪时，如果希口望在经验风李险和推广性类能之间求得亡某种均衡，肆则可以通过笋引入松弛因文子接，允许错分窝样本的存在膨，此时的分妻类面装满足：（3.5）诱当贪时，样本点情正确分类；球当遗时，侍样本点师被蛙错分。为此勺，在最小化谣目标作中加入惩罚翁项胜，引入以下福目标函数：（3.6）神式中，奇C狐是一个正素常数，称为这惩罚因子。汽与线性可分冶情况类似。扎上式可通过明如下的二次突规划来实现模：s.t.伤冲万惨引丧(惰3洲.7)矛对非线性分述类问题，若救在原始空间还中的简单最爸优分类面不撤能得到满意励的分类结果却，则可以通飘过非线性变仇换转化为某金个高维空间筛的线性问题仪。在变换空荐间求最优分宰类面。变换糠可能比较复谱杂，在一般躁情况下不易昏实现，返SVM贫通过核函数厕变换巧妙地崭解决了这平个问题。鸡3.2甜支持向量回间归只树SVM朵回归原理埋SVM游回归问题与纳分类问题有哥一些相似，追给定的数据晴样本集合为倡：，其中，QUOTE针回归问题就赛是寻找QUOTE慎上的一个函快数奇，以便用弟来推断任一浆输入x所y仪对应的y值休。同支持向量的扔方法应用到彼回归问题中驰，保留了最左大间隔算芽法的所有的速主要特征，浪非线性函数仅可以通过核殿特征空间的哗线性学习器猾得到。电SVM除回归算法要立最小化一个花凸函数并且例他的解是稀迫疏的。还需蜻要定义一个掌损失函数，尺即饶不敏感损失焰函数，该函朋数可以忽略晶真实值某个竹上下范围内凑的误差。痰匆线性支持向纽量回归佩设数据样本网为n维向量燃，某区域的友k壮个数据样本奏及其值的表沾示为:别线性函数设厉为:竟优化问题即讨最小化：读约束条件为蛇：QUOTEQUOTE历其中QUOTE梯使函数更为渠平坦，从而制提高了泛化琴能力，QUOTE千为减小误差辱，常数C对由两者做出折须中。QUOTE扇为一正常数灿。QUOTE蓄与QUOTE念的差别小于想时不计入误要差，大于QUOTE险时计为QUOTE恢。这也是一计个凸二次优态化问题，引厚入拉格朗日敲函数：其中，QUOTE膜函数L应对QUOTE起最小化，对QUOTE左最大化。函丹数L的极值熔应满足条件劈：泡从而得到：甚(3.8)迈(给3.9置)酸熄涂QUOTEQUOTE颈由以上各式铁可以得到优丸化问题的对日偶形式，最兽大化函数：其约束为:天巨非线性支持准向量回归及非线性回归息与线性回归糊分类相似。缴首先，使用评一非线性映送射把数据映稼射到一个高准维空间，再丸在高维空间蹦进行线性回着归。钢其关键问题未是核函数K棕(x,y)古的使用。这趴里，优化问岭题的最腥大化函数为逝：猫约束条件为荣：惠函数图可直接表示蝇成为：惯按照Kuh餐n絮–翠Tucke凳r定理有：QUOTE以（3.缴10隐）QUOTE岩（3.撞11籍）QUOTE令（3.略12延）区由着（3.攻10刘）（3.锻11碰）箩可得QUOTE收,即任何一后组QUOTE奔和QUOTE请都不会同时幕为非0.仪由漆(3.芒8浊)壶(姜3.涝9牢)及(3热.舱12灰)唐可得：酷由此可见，持对应于QUOTE彩或QUOTE耗的QUOTE记与QUOTE顷的误差可能琴大于QUOTE愚，对应于QUOTE饭或QUOTE匠的QUOTE伙与QUOTE门的误差必然疾等橡于QUOTE乞，即QUOTE糖或QUOTE盗，因此有：斑由以上两式习可以求得b斜QUOTE杨支持向量回狸归建根据某种概贯率分布QUOTE隙生成的样本幼：艰支持向量回财归（SVR领）问题就是减希望找到适骆当的实值函再数QUOTE桨来拟合这些崖训练点，使浪得：蔑最小，其中遭c为损失函赤数。使观测值QUOTE趁与函数预测寄值QUOTE唉之间的误差文，我们用QUOTE血不敏感函数汽：哀来度量，即伤当楚x么点的观测值QUOTE塘与预测值QUOTE妖之间的误差帖不超过事先饶给定的小正悔数QUOTE叨时，认为该稳函数对这些脸样本点的拟鸦合是无差错亩的。吐由于QUOTE俘未知，不能茫直接最小化QUOTE易。因此考虑折最小化：星肯燕胳恭眠凑才姿胖而搞（倍3.屯13纷）弹其中QUOTE具表示函数QUOTE衬的复杂性，府后一项表示该训练集上的和平均损失，月常数C则体尝现了函数类诵的复杂性和棚训练集上的貌平均损失之霉间的折中关乒系。汇最小化（眠锅-1古）等价于最盲优化问题：QUOTE卧（3.枯14铁）逐上述问题的造对偶形式为浸：棒（浪3.班15房）领其中，QUOTE绵为核函数。始问题伴（咐3.掠15狱）仆的解为QUOTE花,从而：陶其中QUOTE飘的计算公式课为：QUOTE卖普通最小二信乘和岭回归页都是QUOTE新的一种特殊罗情况，从这送个意义上讲QUOTE凝是前者的一辉个推广。容SVR啊是基于结构绸风险最小化舌，而不是传笛统意思上的栏经验风险最她小化，可以宾保证良好的住预测能力。余筋v激-QUOTE物支持向量回杯归则在QUOTE敲中，需要实欣现确定损失销函数中的参升数丙。本节引能裤自动计算QUOTE依的QUOTE众。考虑下面械的最优化问钳题：QUOTE刚其中，标是一个非负球的常数。上访述问题的对辣偶问题为：凤其中，QUOTE幅和C为常数你。估计式为跪：弊墓费借验雪(深3.劈16刑)QUOTE层具有以下性乎质:泰如果问题(菌3.纸16或)得到的QUOTE快不为零，则QUOTE食,其中p为为错误样本的壤个数，q为勤支持向量的额个数。它如柳果QUOTE许的解为QUOTE介,而标事先取QUOTE辅为QUOTE姓和QUOTE侧相同的C值乏，那么QUOTE怜得到的解为搞。QUOTE座3.2.吊6绿时间序列分次析姿基于QUOTE却的时间序列票预测问题的战数学描述如撑下：设逢为时间序列判数据以及周筹期为k的输衣入：北定义预测函妄数：浑支持向量蒙机时间序列聪预测模型的舰最优化问题收为：其中函数:QUOTE位钞（民3.17槽）幸为QUOTE聋不敏感损失架函数。猪（筛3.17甩）的对偶形蔑式为听：登其中，QUOTE令为核函数，雄可以释为输寻入样本QUOTE衰的相似度。农上述问题是学凸二次规划过，有唯一的薯全局最优解贫。如果采用创线性核函数另，基于SV凉R的时间序舒列预测问题结的决策函数诚就是：印即统计学上道的K阶自回盾归模型（A些R[K]）竹3.3裳支持向量算若法甲辞支持向量机言的训练甘算法狗支持向量机封的最终求解烧问题归结为乔一个有约束图的二次型规孤划（驳QP挪，师Quadr男atic混P期rogra设mming理）问题。可纺以利用标准板二次型优化德技术来求解集这个优化问偏题，如牛顿升法、共轭梯甜度法、内点盲法等。但是袋，这些方法身只适合小样泽本情况，当煤样本数目较而大时，算法灶复杂度会急陕剧增加，而牢且占用极大闪的系统内存寨。为降低计赖算资源、提意高算法效率升，已经提出周许多针对大弄规模样本集轮的训练算法激：五（1）分块宏算法（啦Chunk徒ing）舌（秆Corte蛛sand赞Vapn咽ik筝，1995习）膏1995年好，拘Corte豪s脂和窑Vapni喜k纪给出了一种权求解支持向热量机二次袄规划（巴QP佳）问题的分桐块算法。其遣依据是支持竞向量机的最剧终求解结果软只与支持向捷量有关，与使非支持向量旁无关。其实逐现过程是将惜初始据QP让问题分解为丸一系列小规离模的兵QP总子问题，不茅断的求解鸡QP撕子问题，保趴留解中的支史持向量，并尽加入到新的付QP雀子问题中。忠每个业QP输子问题都采贪用上次求解自的结果作为剥初始值。直刻到所有的端QP屠子问题求解兼完毕。这种价方法可以大煤大减小算法昼占用的系统千内存。然而僵，当样本集浮中的支持向原量数目很大名时，其算法朽复杂度仍然忧很大映（2）子集财选择算法衰(网Subse爽tSel点ectio赚nAlg纲orith票ms往)(拍Osuna辫,1997身;园Joac溪hims珠,1998蛋)为加快支授持向量机的凤训练速度，箩Osuna译（1997泡）提出了子庸集选择算法双。该方法首励先将数据集俯分块，从分籍块数据中提营取支持向量颠，并加以保秀留，然后补除充新的样本宽，反复运算垦，直至所有凯的样本都满多足KKT（爸Karus毁h-Kuh钟n-Tuc抵ker,f级orsh馅ort:K育KT诚）（圈Vapni敌k技，1995队）收敛条件探。1998象年，兴Joach丸ims姿指出，采用旧启发式迭代递策略会提高男算法的收敛烛速度，并提高出一种称为音SVMli离ght夫的支持向量陶机分解学习流算法。该算唱法实际上是对子集选择算仪法的推广。篮（3）序列既最小优化算醒法（持SMO，S基e日quent贡ialM谜inima潜lopt诚imiza市tion锯）竭（针Platt概，1998酸）1998诚年，Pla毅tt提出了衡更为有效的丸支持向量机多训练算法，弊即序列最小亏优化算法。篇其基本思想梦是把一个大订数据量的授QP棍分解为一系久列最小的劫QP浪子优化问题撑。该算法是称分解算法的犯一个极端特拨例。其实现元过程为，每狮次针对两个耀样本的二次胆规划问题，创直接采用解乒析方法求卖其最优解，梳以提高死QP喊问题的求解至速度。疤Platt笔设计了一个嫌两层嵌套循烘环过程实现芒其算法。在鸡外环中采用庙启发式方法哨寻找违背喇KKT链最优条件的弊样本，在内怒环中对该样判本的相应狸Lagra周nge唯乘子进行分奴析窄求解，完成蒸一次优化。找不断重复此烟过程，直至药所有样本都零满足KKT煮条件。序列匪最小优化算语法将工作样饭本集的规模侦减少为两个秘，直接导致薯了迭代次数脚的增加。所蜻以序列最小庭优化算法实雕际上是将求探解优化问题龙的耗费转嫁重到迭代运算执上。傻Platt亭指出，通过延核优化方法皂可以大幅提院高序列最小阵优化算法的最性能。该算归法在训练线室性支持向量森机时，可以语获得非常好煮的性能，但环在训练届非线性支持以向量机时，表算法速度会动大大减慢。形由于每一个著子规划问题卷的解可以精搜确地给出，弓因此序贯极猾小优化算法架既不需要额碎外的矩阵存到储，而且不土用调用求解笛二次规划的恋数值迭代程猴序，从而使怪它的收敛速辣度咱显著提高。限SMO叫算法包括三颗个要点：最炸优性KKT揭条件、计算宰解析解、工垒作样本的选负择。枕SMO绕算法中所需包的计算机内膀存与训练样哗本数成线性拖关系，猪SMO疾算法已成为年训练支持向黑量机使用稳立定的算法川。孝（4）增量院式算法（揭Cauwe熟nberg船hs宝，2001脉）泊Cauwe晕nberg讲hs索（2001荷）提出了一玉种增览量减量式学拥习方法，考剪虑了增加或序减少一个训奖练样本对青Lagra炼nge专系数和支持畏向量机的影括响，实验表汁明算法是有歌效的。在减泪少一个样本裹时，给出了耍模型选择算杠法步LOO（L伸eave豪oneo洒ut宁）的形象解仿释。平Ralai伏vola夏（2001恭）提出觉了另一种增讽量式学习方吐法。其思想杀为基于高斯斯核的局部特灰性，只更新滑对学习机器挣输出影响最面大的Lag疑range老系数，以减病少计算复杂溪度。另外，酒Suyke甚ns繁（2001戚）提出了一贵种周期最小煤二乘支持向父量机用于时泛间序列的预扩测。炒3.着3.2故C跃-SVM桐算法及其变支形算法请对于非线性扣分类问题，菜一方面通过苗引进松弛变切量放松约束榜，另一方面气引进输入QUOTE测到耐Hilbe腹rt废空间资H偷的变换QUOTE歌把数据样本矮集济：QUOTE宜映射为:QUOTE驳,得到如幻下的原始问报题：QUOTE疼世奇槽仇（3.萍17惯）凯若对应于变砌换QUOTE聋的核函数为QUOTE转,则原始问持题的对偶问禽题为：锯若暗K顿是正定核，乘则上式对偶毕问题必有解寨，且其解为QUOTE片,使得：帖其中，系数QUOTE汽只有当相应碧的数据样本墓点QUOTE姻刚好使约束请式(扎3.17熄)等号成立蒜时才可能为缘零。凭由上述分析摩可建立窝C-裤支持向量机浙(C-SV拆M)当，其对应的羞数学描述如昂下：五设已知样本扔数据集QUOTE隐，其中捏；QUOTE文选取适当的糕核函数QUOTE惨和适当的参完数谁C荡，构造并求枕解最优化州问题：忙求得最优解QUOTE胳。扶选取QUOTE雄的一个正分泛量QUOTE女,并据此计逮算阈值廉：素限北构造决策函洋数猜：昏在上述算化法的原始问押题中，目标为函数是糟：陆也可以用QUOTE坟来代替QUOTE阅，这样原始灵问题就变为犯：QUOTEQUOTE曾容易证明，植该问题等价扩于问题：毁且上面2式扶关于掏的解均非负惨。象与前面的分驳析推导类似妖，上面最优伍化问题的对捞偶问题为：脾其中QUOTE叹4屠)中的原始敢问题对QUOTE敏的解为QUOTE相可表示为：鞋据此可建立浇如下的匹C-呢支持向量分桃类机的一种球变形。途C-百支持向量分灿类机的变形导算法如下:排设已知训练海集溪：QUOTE范选取适当的丈核函数QUOTE书和适当的参椒数忌C稠,构造并求注解最优化问油题：盐其中QUOTE站求得慎最优解QUOTE占。膝(映3及)留选取QUOTE弟的一个正分哨量QUOTE柴,并据此计伶算塔阈值苏：蜜(4)构造衰决策函数：占第4育章测井时怒间序列的支锦持向量机回吹归令预测祥4.1伸引言扑储层参数是蹄含油气性的旁一个重要标三志，储层岩豪石渗透率和甚孔隙度分布衣的不均匀性测直接影响油形气分布、运嫩移和开采。搅对于勘探区赵块，可以提形高钻井成功竞率，减少勘妥探成本；对事于开发区块洁，则为优化掘钻采方案提竭供了必要条问件。因此许局多地质工作柱者致力于储偶层参数的研掩究和预测。哨由于储层分牲布的多相性电和非均匀性梦，因此无论颠是直接或间怪接的测量孔捆隙度和渗透担率都是一个滨非常困难和躬代价昂贵的律工作漫储层参数与驴测井曲线或忙地震数据之专间关系是非嫩线性的，没楼有明确的一钻一对应关系屈自从199鄙5年Vap糕nik及其饱合作者提出郊支持向量机炎[6～10论]的思想以约来捡,该算法已鸽经在模式识故别领域得到坟了广泛的应童用,并且已品经在文本分株类、图像识埋别、手写字您识别、蛋白惩质同源检测旦及基因表达声[64]等银方面取得了苦巨大的成功历，对于小样矿本的分类问诸题,蹦SVM拣具有调节参营数较少,运狗算速度快等渐优点手。哨通过测井等绒信息进行油逢气预测是一蚀种典型的非项线性分类器弄设计问题,脏它具有已知语样本数较少树等特点。目宝前国内有学献者已致力于盲支持向量机酷预测含油气祖性这一领域圈的研究，其俯中最早的有聋：姚凯丰，聪李衍达；乐高友喜，袁全护社，其中这霉些预测所选罗择的核函数壁是多项式核膊。模由测井数据绪预测储层参屈数最常用的诉过程包括：甘①遥沿测井资料观的目的层计公算出反映翁其特性的若舍干测井属性乱(振幅、频县率、相位等界)；赔②少通过该层的携井中测试储桨层参数结果墙（孔隙度）鸽建立井中测舍井属性与井军中测试结果因的关系；类③妨利用这一关课系推断出未御知井所有井书中储层参数兔的结果。我凑们首先获取仿学习样本的痕信息，对于寒由测井属性散预测孔隙度止和渗透率的殃问题，对得窑到的测井数认据，首先选纯择一口或多哭口井，依据租深度开一窗叼口，在此窗香口内每个一昏定的深度有女一组测井属垄性数据，我哈们以此点深弱度和测井数元据组成训练干样本点认，以此点对逃应的孔隙度滑或渗透率为吼，如果以多危口井为训练妇样本我们在鸟训练样本点抬加上此井的择水平坐标。吴支持向量机誉通过对训练拣样本的学习蛛获得一定的定预测能力，殿训练后将预乔测的测井属岩性数据作为龟输入、输出轿结果便是这蔽一深度孔隙泉度。支持向池量机企预测纽流程如图因4枕.1。测井属性数据的获取测井属性数据的获取预测井属性数据孔隙度SVM学习训练SVM的预测预测井孔隙度的输出行图4.1啊支持向量辣预测流程虾4.2煎应用实例拳测井是一门扫边沿学科，笛它是将电磁酿学、声学、微核物理学、标热学、光学牲、力学等学仁科的基本理筋论和测量方肆法，用于油稿气井和其它特矿井中，依垃靠获取的大码量信息进行饥资源评价。波在石油地质庙中，通常根行据不同的测逢井曲线划分逝沉积相，预狂测储层孔隙辣度、渗透率局、预测岩性野、评估储层笨油气含量等蝇。根据测井将理论及其方成法，与孔隙已度相关的测硬井方法有声嗽波测井、中腥子密度测井信和再岩石密度测容井。表4-1通井标锐益致腔有繁效深度出捡岗算样本数槽x13少3226.痒6——32疯78.5国84质x19罚3279.喜8——33毒12.5改132节x22膀3300腥.9——3链330.9担91喇x40日3以299.6料——333默3.1颠130心x43拆3410欧.1——3没462.9冰糠208拳每个深度点岸有测井数据寺，其中测井坡有深度、声淡波时差、自苏然电位、自吸然伽玛、补茧偿中子、岩先石密度、电觉阻率等11上种属性。孔电隙度范是断断续续罢岩芯实测值竭。依据根据哀测井理论及梯典型相关性律分析优选出索与孔隙度相泪关的6种属忆性，分别影为深度、声沉波时差、自臭然伽玛、岩鄙石密度、电煤阻率、补偿帖中子。然后爸将其分别标园准化，我们翁用单一的测掘井作为训练指样本，但预雨测效果不是钓很好。蜂定量的预测搅结果见样图蕉4-1嫂，图4-2已,图4-3仆：障图4-1讨以x43，慰x13为训腥练样本，S商VM预测x垃19井报图4-2黎以x43，艰x13为训婚练样本，S烤VM预测x桂22井姻图4-3着以x43，忽x13为训门练样本，S沸VM预测x黎40井惠从上面的图甘及表中可以缠看出，支持截向量机预测拔x22时效准果最好糠，还预测x40计井时效果最清差永。眼>>edi愚tsvm范train陈>>edi拖tsvm法class道ify捧>>edi谢tsvm遣predi扬ct叨funct滥ion[祝svm_s狠truct拣,svI伏ndex]燕=sv刮mtrai温n(课train砖ing,炭group誓names钱,var杆argin军)京%SVMT利RAIN贺train降sas禁uppor饶tvec籍torm寻achin涉ecla钉ssifi婆er灭%S里VMStr携uct=肉SVMT旧RAIN(狸TRAIN鲁ING,G陡ROUP)艰trai崭nsa蒸suppo返rtve累ctor仙machi姻ne乖%c绢lassi捷fier烛using却data龄TRAI盈NING杨taken叙from灶two讽group娇sgiv各enby答GROU袭P.谅%S南VMStr轧uctc瓣ontai号nsin钳forma词tion睁about害the淋train加edcl去assif芳iert昆hati产s衰%u夜sedb网ySVM摇CLASS勿IFYf记orcl玉assif亏icati岗on.G分ROUP筛isa蜡colum蕉nvec遇toro闪f司%v撞alues跳oft司hesa仁mele苹ngth协asTR逼AININ蜘Gtha得tdef带ines枯twog暖roups渗.Eac劝h示%e墨lemen向tof旺GROUP魄spec者ifies榆the隐group聋the始corre堤spond鼠ingr敬owof艰TRAI怀NING搅%b破elong储sto.久GROU亦Pcan播bea大nume俱ricv考ector茅,as袄tring容arra纱y,or盆ace催ll闻%a而rray勺ofst赢rings岸.SVM巡TRAIN途trea近tsNa北Nsor倘empt惩ystr醋ings火inGR货OUPa熄s慢%m斯issin剩gval会uesa联ndig卷nores批the喝corre洞spond拴ingr扒owso痛fTR隆AININ牧G枯%S掉VMTRA呈IN(..稍.,'KE挑RNEL_轨FUNCT拒ION'尾,KFUN孩)all贫owsy仗outo全spec错ifyt视heke唇rnel涝%f华uncti夸onKF旱UNus吃edto惯map问thet询raini恭ngda骂tain罚toke出rnel奇space并.The袄%d扒efaul燕tker惜nelf需uncti舒onis咽the厦dotp内roduc拉t.KF改UNca短nbe涉oneo壮fthe户%f组ollow抢ings随tring丝sor宋afun皱ction臭hand基le:%烧%周'l听inear登'马Lin机ear两kern伞elor鸣dot良produ垃ct堂%调'q益uadra榴tic'胖Qua席drati贴cker水nel沫%卫'p蕉olyno饺mial'权Pol种ynomi歇alke狠rnel狮(defa章ulto军rder阀3)俭%丙'r喉bf'虎眉Gau酬ssian艘Radi乞alBa咳sisF致uncti混onke驻rnel森%逗'm赖lp'缝弯Mul丘tilay尝erPe侧rcept扩ronk霞ernel观(def脉ault衫scale恶1)信%肉遥func宏tion贡戴Aker村nelf满uncti很onsp露ecifi清edus社ing@登,鱼%劣宋贩乎for膜exam丽ple@刑KFUN,售ora肯nano纠nymou棒sfun橡ction%台%A报kern韵elfu馅nctio滋nmus歌tbe现ofth袄efor逝m%桌%希旬funct词ionK虏=KF短UN(U,捕V)%茧%T疑here谎turne塌dval些ue,K渔,is忙amat血rixo薪fsiz勒eM-b居y-N,息w温here驴Uand抓Vha观veM魔%a驱ndN拒rows渡respe饮ctive每ly.伏IfKF南UNis译para谁meter控ized,抵you发canu搞se霜%a烦nonym宿ousf奔uncti搬onst网ocap越ture纱thep膨roble吃m-dep腥enden苗tpar额amete趟rs.F届or貌%e莫xampl缓e,su问ppose段that明your病kern呢elfu佳nctio穿nis%案%贵fu索nctio转nk=热kfun丢(u,v,维p1,p2塞)椅%楼帝k=斧tanh跑(p1*(替u*v')行+p2);%侵%Y槽ouca哲nset哑valu塞esfo梨rp1旬andp锁2and扁then势use曾anan创onymo顷usfu误nctio哄n:腔%贫@(霞u,v)炊kfun(昏u,v,p匆1,p2)步.%湾%S增VMTRA辞IN(..携.,'PO顺LYORD缓ER',O伤RDER)江allo辞wsyo根uto描speci征fyth泰eord话erof减a粱%p加olyno括mial想kerne燃l.Th踢edef忠ault罢order情is3验.%茫%S圆VMTRA貌IN(..答.,'ML烦P_PAR废AMS',跟[P1P式2])a覆llows虚you养tosp请ecify铜the爹%p践arame凉ters视ofth浅eMul娃tilay扑erPe偶rcept赞ron(斗mlp)险kerne霜l.Th蜻emlp蝴kern部el更%r栋equir倡estw猛opar企amete炭rs,P忠1and蜡P2,遵where畏K=茶tanh(赠P1*U*雹V'+裤P2)a始ndP1瓶%>闯0an灰dP2胁<0.纲Defau瓣ltva少lues郑areP稼1初=1右andP辟2=-存1.%绞%S冈VMTRA娘IN(..赞.,'ME先THOD'醉,METH撕OD)a销llows懂you吩tosp拐ecify肯the间metho刑duse永d态%t态ofin促dthe询sepa曾ratin住ghyp畅erpla势ne.O乳ption皇sare%秆%泳'Q焦P'Us妈equa连drati筑cpro拆gramm灾ing(责requi样rest结heOp絮timiz享ation劫Tool滋box)省%图'L汽S'Us坦elea酿st-sq醉uares宇meth驾o钟d%肤%I蝴fyou哲have云the哪Optim与izati漆onTo俯olbox黄,the筛nthe愿QPm葱ethod未ist稳hede科fault期%m蹈ethod摔.If珠not,尿theo拥nlya抖vaila虏blem堆ethod愧isL制S.%执%S胞VMTRA版IN(..济.,'QU音ADPRO饿G_OPT贤S',OP蜘TIONS蓬)all屋owsy厅outo限pass袄anO杠PTION卷S寻%s吃truct光urec辣reate高dusi甲ngOP样TIMSE帽Tto削theQ境UADP态ROGf算uncti筑onwh伴enus俱ing涛%t伪he'Q瘦P'me膨thod.独See灭help柳optim泼setf早ormo辉rede岂tails鸣.%姐%S馒VMTRA想IN(..站.,'SH螺OWPLO寇T',tr水ue),匙when冬used谢with驳two-d忌imens属ional惨data罢,寄%c语reate诸sap匆loto芳fthe淋grou委pedd删ataa伐ndpl欺otst笛hese笔parat狐ingl欧inef墨or低%t充hecl覆assif滑ier.%董%E断x乌ample碑:血%对%巨Load咽thed弃ataa岂ndse伙lect铃featu休resf拾orcl介assif仙icati拉on垫%歇lo挥adfi担sheri索ris闷%优da经ta=深[meas叮(:,1)绑,mea冒s(:,2虾)];抓%的%末Extra晃ctth要eSet瓣osac榨lass套%弄gr读oups亏=ism苗ember展(spec美ies,'打setos匪a');捆%建%朋Rando痒mlys陶elect男trai哥ning始andt恋est笋sets撑域%黄[t杀rain,菌test盟]=c弟rossv特alind码('hol里dOut'均,grou希ps);联%掌cp帝=cl柴asspe煌rf(gr海oups)定;顶%谅%检Usea猫line蜓arsu协pport页vect摩orma希chine策clas拴sifie穿r役%滨sv升mStru餐ct=亚svmtr今ain(d劝ata(t充rain,艇:),gr轮oups(横train赔),'sh旁owplo找t',tr脖ue);拒%讯cl岗asses露=sv婚mclas篮sify(谦svmSt踩ruct,罪data(欲test,翼:),'s剃howpl辩ot',t如rue);撞%编%裁Seeh皆owwe僵llth粥ecla开ssifi刘erpe娇rform毯ed寒%规cl俩asspe移rf(cp秤,clas盛ses,t困est);御%馒cp零.Corr末ectRa苍te%潜%S铜eeal句soCL横ASSIF反Y,KN袖NCLAS乖SIFY,揭QUAD赴PROG,骡SVMC睁LASSI如FY.妹%C景opyri滴ght2设004T橡heMa聪thWor怎ks,I吼nc.辛%$步Re兴visio煮n:酸家2顷.1$时$Dat坐e:20木04/12淋/242桂0:43:臣35$哑%R昆efere赢nces:旁%穗[1]则Kecma躁n,V,链Lear讨ning冬andS访oftC炎omput旧ing,稿%债黄MITP待ress,术扬Cambr中idge傻,垂MA上.200厘1.殖%盟[2]星Suyke匠ns,J住.A.K.探,Van是Gest叠el,T刘.,De扬Brab万anter井,J.,首DeM名oor,酷B.,竟%牙灾Vande刺walle敬,J.徒,Lea午stSq础uares校Supp垃ortV拖ector爽Mach渔ines,旧%袖劳World优Scie贸ntifi率c,灵Singa葬pore众,200幻2.径%围[3]门Schol触kopf,督B.,妇Smola踢,A.J将.,Le县arnin傍gwit捧hKer饥nels,丛%铜理MITP渗ress,昼锣Cambr和idge牙,贩MA闯.200供2.%阅%S投VMTRA倍IN(..且.,'KF结UNARG笨S',AR箭GS)a府llows躺you碧topa忌ssad屡ditio赴nal闸%a削rgume耽ntst祥oker亲nelf转uncti趁ons.排%set怎defa女ults跃plotf瘦lag=顾fals喊e;球qp_op状ts=尖[];股kfuna净rgs=遭{};哑setPo丽ly=分false批;use废Poly依=fal核se;您setML僵P=f惕alse;迟useM培LP=译false膀;进if~i企sempt键y(whi呼ch('q开uadpr伴og'))很u仰seQua横dprog卡=tr纺ue;else挂u街seQua职dprog匹=fa青lse;end蔬%兔set巴defau焰ltke壳rnel伤funct罩ion竖kfun躁=@li雨near_俯kerne鸡l;命%che铸ckin偶puts批ifna脑rgin分<2东e字rror(情nargc喇hk(2,榨Inf,n吉argin拾))end馆numop略targs束=na陕rgin勉-2;蓬optar司gs=棕varar寿gin;葵%grp虫2idx昌sorts遍anu技meric装grou低ping文vara丙scend睬ing,宾anda协stri首nggr迈oupin销g史%var姿byo戚rder呆off傅irst掀occur柏rence微[g,gr晒oupSt移ring]艘=gr垦p2idx敢(grou瓦pname泽s);赖%che勿ckgr捎oupi眉sav俘ector疮--t盯hough蠢char幕inpu呼tis技speci夺al...昏if~i公svect吹or(gr故oupna冷mes)年&&~i极schar雕(grou嗽pname派s)畅e叠rror(奴'Bioi侧nfo:s重vmtra脸in:Gr得oupNo枕tVect波or',.宣..同贷'G咱roup三must萌bea例vecto荡r.');end闻%斗make看sure退that浪the烛data弱isco佛rrect羊lyor滴iente恼d.淘ifsi窝ze(gr轮oupna伯mes,1授)==庙1扎g蚀roupn言ames疤=gro增upnam谊es';end杠%mak份esur波edat菊ais案ther持ight场size蔽n=l百ength润(grou惨pname膨s);绳ifsi雷ze(tr地ainin楼g,1)纸~=n第i魂fsiz挎e(tra辰ining旨,2)=堆=n苦缩tr洒ainin头g=t乐raini志ng';else体朋er呆ror('踏Bioin亿fo:sv然mtrai尺n:Dat蔽aGrou木pSize输Misma篮tch',测...株言半'GR愤OUPa江ndTR喘AININ倍Gmus篮thav午ethe欧same陡numb粘erof搜rows卡.')假e岛ndend铺%NaN墓sare即trea锁teda剂sunk微nown位class继esan抢dare烘remo汽vedf胳romt忍hetr柴ainin挎g惠%dat封a屑nans篮=fin叶d(isn凯an(g)磨);逆ifle拘ngt姨h(nan扒s)>悼0椅t苦raini情ng(na越ns,:)迈=[]妻;熔g呼(nans捕)=[头];end沟ngrou予ps=院lengt姑h(gro薪upStr弹ing);创ifng效roups栋>2超e混rror(寻'Bioi投nfo:s词vmtra抹in:To净oMany金Group翠s',..者.妹穷'S贪VMTRA蔑INon前lysu歉pport巾scla尤ssifi泉catio指nint忧otwo尽grou无ps.\n扒GROUP毕cont段ains恰%ddi睛ffere扛ntgr僵oups.东'连,ngro疏ups)end膝%con格vert士to1,受-1.永g=1带-(2荐*(g-断1));域%han救dleo急ption喝alar固gumen栗ts施ifn域umopt劲args川>=1消i共frem吃(numo捉ptarg表s,2)=紫=1洽稿er菊ror('筐Bioin姥fo:sv乳mtrai善n:Inc被orrec闷tNumb完erOfA沟rgume塑nts',精...脆魔转'In黑corre敲ctnu钩mber游ofar绍gumen踪tsto著%s.'今,mfil喊enam辟e);饲e强nd鸽o揉kargs裁={'公kerne辫l_fun愁ction墨','me房thod'烂,'sho嗽wplot然','kf件unarg份s','q谦uadpr尤og_op膏ts','暗polyo豆rder'摆,'mlp赞_para原ms'};完f甜orj=笔1:2:n拿umopt液args浮究pn慢ame=斥opta大rgs{j自};柄蝶pv壶al=悲optar奏gs{j+艇1};可妖k狱=str西match炸(lowe辞r(pna醋me),跟okarg哨s);%#另ok固ifis酸empty颠(k)坊惯扎err超or('B桥ioinf帝o:svm来train到:Unkn强ownPa冤ramet术erNam搞e',..横.慈伞稼浇'Unk箩nown命param般eter用name:主%s.'肌,pnam碌e);鞠戏el咳seif犯lengt禁h(k)>援1泉竭悠err芬or('B撒ioinf塔o:svm惧train践:Ambi刺guous获Param旨eterN屯ame',斥...蹦唇挣抚'Amb沸iguou靠spar宵amete窄rnam好e:%s摸.',pn温ame);培赢el蛮se谜吼缴swi煎tch(k负)叔例迷唐case耽1%翻kern通el_fu晒nctio拐n板树虑进丢ifis理char(择pval)虎密产挠益o握kfuns雅={'差linea珍r','q如uadra捎tic',反...而井健幕伍滨'r秘adial篇','rb镜f','p箱olyno雹mial'热,'mlp奶'};杜筋棵拉机f到unNum炼=st劳rmatc棍h(low珍er(pv搭al),锦okfun以s);%#索ok搅伯名舅净i孩fise历mpty(猾funNu炸m)灯亦柔壁旷庆fu做nNum柱=0;腿猫歉张亦e蕉nd页扭劲过占s叼witch馅funN任um%庆maybe冠make挥this维less腊stri差ctin府the大f错uture恰体月刷汽幸ca靠se1因遮跌补怨圆佩kfu凳n=@朵linea燕r_ker足nel;蔽拦修肯罗工ca说se2拴特雨斤彩遣月kfu咽n=@煤quadr蚀atic_也kerne恨l;待夏摸状摊渔ca焰se{3背,4}沙k帮fun=烤@rbf捏_kern兆el;阔铅搜坑婚燃ca当se5骆烛巧巩拜轮艺kfu盯n=@胖poly_脉kerne黎l;障保叫吐喉表面use果Poly掏=tru创e;板乘帅秆糊淘ca舒se6港待拥墨咬葵麻kfu狂n=@很mlp_k丝ernel扑;惕胃勺疮挂us皆eMLP帖=tru魄e;嗽司培北踩扇ot理herwi裹se君翻须鉴誉毒忧err吐or('B撞ioinf户o:svm年train商:Unkn趟ownKe睡rnelF室uncti绸on',.邪..核姐价郑烫捧坡触'Unk踪nown芽Kerne受lFun封ction夸%s.'乓,kfun驴);end侦矩波运讲elsei签fisa狼(pva棒l,'f异uncti奔on_ha墓ndle'躬)琴悄屑名办k疏fun=长pval您;洲谜咬蹄总else坏纳前介筒e匙rror(符'Bioi惑nfo:s流vmtra竿in:Ba尺dKern俱elFun凝ction桐',...梨有返涉阶悦'T栗heke货rnel烘funct尺ioni朗nput追does猜no哈tapp倡eart品obe填afun辰ction摸hand解le\no不rval稳idfu摩nctio限nnam袍e.')把子烫晨敢end络松覆要case赖2%洞meth喘od广毒轨共欧ifst掀rncmp楚i(pva枯l,'qp氏',2)门递漫冤行u拳seQua文dprog间=tr算ue;四继颂抗尽i宇fise肠mpty(技which渣('qua任dprog义'))辆梅芝送肆器wa领rning磁('Bio晒info:竿svmtr坡ain:N狮oOpti妥m',..倚.裁涌店叔栏保扬'Th钩eOpt陷imiza州tion慌Toolb象oxis冲requ膨ired拼tous走ethe轿quad有ratic巴prog季rammi罢ngme详thod.普')死瓦钢份娘扰us惜eQuad顽prog回=fal悉se;end舒炒适祖振elsei缘fstr唇ncmpi超(pval城,'ls'狭,2)犬脚贴勾廊u骑seQua趁dprog岂=fa浊lse;烤危妨奋课else煌群渐坡唇e劣rror(看'Bioi灿nfo:s恨vmtra爸in:Un乳known选Metho投d',..置.寺妥红辉贩树'U贯nknow宇nmet延hodo尸ption铺%s.采Valid都meth步odsa渡re''覆QP''勤and'聚'LS''膜',pva迎l);永份旧脏崖end糟经冲山case币3%浑disp槐lay环钞窑冬茶ifpv速al~=团0匹编肯护乖i接fsiz溉e(tra妙ining泪,2)=板=2惯瑞畜汤棚畏pl巩otfla践g=t董rue;寿蚕收灵朴e渗lse赏浅铲敲微warn妖ing('敌Bioin呢fo:sv壁mtrai晃n:Onl亡yPlot艺2D',.委..汗率亏男锈闸咏'Th饶edis纷play征optio芦ncan么only探plot贸2Dt催rai