决策树技术培训课程

决策树技术

DecisionTrees组员：贾小彦邓蓓蓓戴维内容提要简介决策树基本概念决策树的优缺点经典算法简介决策树和决策规则是解决实际应用中分类问题的数据挖掘方法。一般来说，分类是把数据项映射到其中一个事先定义的类中的这样一个学习函数的过程。由一组输入的属性值向量(也叫属性向量)和相应的类，用基于归纳学习算法得出分类。学习的目标是构建一个分类模型，通常也叫分类器。它可以根据有效的属性输入值预测一些实体(所给样本)的类。是一个在样本其他属性已知的情况下预测另外一个属性(样本的类)的模型(分类的结果)。(方a)决匀策富树盒方壁法惰的更起数源流是醉概锻念惑学览习辱系弄统C勺L骆S(b)机筒器极学湿习葵领恭域慕前混辈向及童大拦牛晋之畜一Q掏u蚊i判n拒l颗a皮n彼,惨J毛.施R协,在1忙9震8虫3提暗出I葵D聋3决调策禁树帽算该法昼；1序9再9俊3年圈正悦式炎提坛出其了c脂4帐.球5算忙法,并反公落布勿了究源租代谨码2敏0绝0满2年帐发颠表C波5乳.设0（S掩e运e巨5）死商禾业库版决鹿策界树素的纯另肺一有类掘家舱族牧：C何A哗R器T听1垄9盆8戚4，F佩r岂i依e旦d深m削a骗n我&递B蛮r纱e馋i沸m锦a奇n决争策荒树效基铺本腾概拌念决成策惯树阵是趴一严种其典揉型禾的久分屿类穗方仓法樱，确首贼先跃对踢数都据长进拌行辅处衰理攀，犁利鲜用握归诸纳捧算马法身生贸成扛可渠读备的气规戚则垫和英决读策耀树半，申然勒后踢使畅用阶决鄙策迷对搭新桌数浴据出进器行险分衣析侵。蛋本哗质语上荣决请策匆树古是液通准过雾一陆系络列惨规辟则彻对拿数叠据仍进声行健分缩慧类气的鸣过痕程滔。下过图是一滥个京简呀单奸的脏决孕策订树航。黑该华问巴题饱有梅两霜个惨属跃性X畅,侨Y。或所洪有重属霜性锋值X弯>明1和Y贩>牢B的将样笔本唱属竖于轨类2。糖不族论勒属泄性Y的丘值顾是亡多商少祥，凶值X联<锹1的膏样礼本裹都嫁属嫌于姥类1。决览策痰树磁的拜表稻示决野策冶树匆的爹基莲本勇组摊成拔部凉分恳：辉决风策至结做点甲、裁分铁支训和棉叶卸子递。决战策棍树烧中沸最揭上梁面默的纯结皆点亮称愁为穿根苏结激点乌是阿整组个豆决筹策闹树刺的琴开摸始肺。凭每括个乎分释支秤是欺一吧个阔新科的宫决志策踪蝶结冬点尾，铲或挤者净是镇树歇的宜叶抛子痕。每污个岁决伙策掏结壶点救代乔表羽一斯个水问筋题蛾或肉者筐决重策冬通废常肉对云应换待矩分奥类损对炭象挂的绣属县性扑。每仙个童叶嫁结煌点向代圾表贝一永种纪可丛能拾的费分禾类舌结罚果在旁沿承着授决球策亮树宏从效上宵到蔬下扁的号遍遭历勇过那程障中躁，床在贝每菜个趋结怎点堪都商有隙一贿个傍测纱试恨。乔对达每令个镰结漫点级上镰问挨题均的远不捎同方测雪试斗输的出华导倦致骆不联同避的这分绵枝抹，壶最夸后童会愧达跳到培一湾个平叶救子激结闪点胆。筋这茫一付过凝程果就妈是苹利葡用可决面策效树甘进型行狗分恐类严的今过斤程拦，伶利狗用储若亭干蓝个辽变贩量纠来腥判采断灰属鄙性可的晃类诱别决关策初树杠的偏优师点1、傲推缎理状过猪程催容价易流理刷解残，晋决骂策纠推越理快过宅程槐可蚁以商表权示摸成I望f尽T寻h德e溜n形彼式魄；2、含推箩理然过踢程曾完戒全袜依配赖绪于裁属咐性目变择量处的惯取厘值彻特事点笨；3、推可它自破动食忽身略包目祖标乘变浮量句没拐有黎贡设献障的箱属酒性笛变严量袜，贡也术为立判区断先属种性毕变括量稀的缸重尾要丛性洁，妨减鱼少北变阀量疮的眉数碌目青提捞供衬参嚼考事。决站策述树万的缺眯点1、对稀连呼续厘性齿的昆字欣段危比购较桌难辱预鞋测2、当化类彩别屯太妈多忍时朱，络错贩误菠可眯能栋会反增苦加演的尺比修较盯快3、一颜般好的职算杀法茂分辞类野的陪时决候资，报只播是尿根路据须一它个闪属宵性柜来锻分森类剂。不科是额全障局俱最首优卸。决访策摧树铃的芽优、缺待点经岭典殖算赠法—犯—晌I册D捎3学泼习悟算谱法决己策货树味的遥生害成基抽本欺算傅法自顺上早而樱下腰分盈而慰治冷之氧的鸭方滋法开防始纪时手，足所忌有掌的盗数孩据泻都匙在蛇根妖节伴点属巩性健都砌是呼种堪类县字购段(如长果疾是疗连土续毫的菊，算将尺其饱离痰散速化)所就有事记顶录过用僻所凯选素属些性动递想归摊的山进身行宝分够割属要性千的吗选况择葬是浮基虚于侨一阀个火启悔发拳式凑规驴则仗或基者班一鱼个萍统者计首的恩度访量停侍止络分平割其的搞条策件一斤个财节誓点保上蜡的闹数吗据鸭都胁是母属寒于督同朋一香个慕类冰别没另有按属仰性锻可脸以竖再票用网于鹅对锯数完据防进郊行剥分芬割重闲要比问督题很：翠哪垃个逢属换性纽奉作块为献当嘱前旋的意测菠试遵节勺点信辟息促论洲相宜关袜内花容S倡h摘a职n概n失o任n木1扛9槽4凡8年萄提闹出丑的客信爸息算论业理房诚论李。沈事株件ai的捡信盐息I（ai）识可诱如恐下烤度纺量雪：其辆中p衔(塌ai)表野示题事偿件ai发吵生香的屑概叹率府。假与设腿有n个宪互陆不朱相往容肉的树事面件a允1词,突a块2珍,泉a拘3妈,棍…模.然,为a塑n票,它仍们悠中绪有霸且叮仅笛有跪一就个伯发验生压，乌则假其滚平像均嫩的掀信举息贼量承可羞如稠下笛度事量迷：上泼式盆，匪对缠数来底祖数绣可厦以各为公任缠何粗数俘，汇不脊同牙的冷取淡值六对饶应骄了溉熵简的个不柿同前单无位烈。通叹常祥取2，采并产规特定借当p晶(故a窗i含)上=宅0时=店0公丘式1在垃决立策昆树脖分千类其中役，办假焰设S是饱训苗练棉样廊本搞集驻合备，|槽S乡丰|是机训宗练禽样抱本叫数啊，被样俊本举划柔分则为n个窄不棋同驶的蚊类C桌1警,鸽C油2位,蕉…饱.俱C不n，想这宅些长类且的来大知小屡分抛别牢标挣记悼为|姐C王1银|，|怠C御2六|，…味.级.建,如|挨C罢n递|。边则高任饰意寺样添本S属飘于旬类C底i的箱概叨率难为解：E评n白t寨r筝o径p有y（S，A）=各∑（|竹S肥v蹦|原/辩|策S津|）门*E壶n蒜t拥r僻o渔p嗓y唱(哥S羊v披)公析式2∑是您属甜性A的洞所商有柏可响能古的鸣值v全,拖S阶v是险属册性A有v值辣的S子求集|镇S淡v裂|是S血v中集元雕素组的潮个润数慎；|刻S终|是S中馋元绩素可的生个准数缩慧。G廊a迟i摊n（S，A）鹅是紧属真性A在秘集吗合S上饮的吴信停息穴增垄益G辩a残i唉n（S，A）=E鼻n石t负r箩o妻p锐y湿(券s疲)可-E递n明t动r担o顷p安y（S，A）公佩式3G狱a誓i屿n（S，A）事越术大任，努说棒明努选剥择蚕测烤试嫂属畜性卡对能分绍类合提眠供宿的喂信钞息显越泼多熵狮的疗计侄算E储g象1眉:E显g播2叹:假镜定暂公蓬司俘收洞集蝴了盐左盾表谢数列据懂，景那欧么慰对杨于茫任牵意缸给秆定坚的锐客凝人优（歌测美试精样圾例跌）姜，辞你悉能独帮汗助雨公店司必将南这的位戏客塞人溜归拼类时吗严？即圆：本你在能皆预冶测傅这辜位勉客济人允是京属缸于夸“权买如”悠计饼算伸机晨的彻那逝一阴类齿，选还慢是即属闪于秤“骨不室买决”消计钟算基机掉的庙那进一煎类柱？又业：原你币需键要步多想少饮有难关顽这例位畏客郊人领的碌信雾息诵才因能诱回兄答竟这属个煎问茎题丧？计数年龄收入学生信誉归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1老中否优买第1步疫计愿算战决蛇策完属森性追的顽熵决朱策泄属蒸性薯“吵买宜计乞算击机柴？圾”腾。壤该被属众性刊分两彼类离：毙买/不萄买S贪1棕(买)管=菜6用4断1S鹿2（扯不授买石）=客3喷8激3S叶=裳S柜1敲+高S踩2百=拢1躺0拘2唇4P隆1虽=姑6秩4剩1料/喝1贿0岂2探4基=轨0轻.蚕6脂2梯6队0P猫2巾=脊3是8肤3驶/妹1发0据2闸4虏=汉0苍.产3艇7草4炮0I丢(训S唇1获,避S捧2涌)管=传I筋(浑6谢4自1梦,爹3展8尚3哥)=峰-她P掉1嫩L到o脂g2P诸1自-慰P北2缠L万o酒g2P丛2=沿-馋(够P济1姿L醒o迎g2P独1乎+芳P激2芽L狐o摇g2P越2岭)=炕0厅.驾9液5究3竿7计数年龄收入学生信誉归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1老中否优买第2步驻计加算盐条矛件拣属诊性慰的框熵条毁件篮属钻性旧共逢有4个排。距分因别播是吩年附龄话、收穴入逆、缴学娇生闹、油信盗誉输。分桑别龄计缝算疫不瓣同童属雪性嫂的奴信柴息赤增衡益时。第2见-无1步新计犬算叼年刑龄抹的韵熵年徐龄刑共厕分僵三虹个泽组段：青则年净、既中烘年伞、窜老糠年青惰年罚买辜与棒不匆买须比肤例拣为1钢2翻8茧/按2辫5辣6S南1吓(买)城=盏1止2贤8S势2（健不坡买鱼）=扶2狠5键6S逝=葡S笨1蔑+糠S叨2牢=历3桌8裕4P究1挥=滴1白2里8众/弄3萄8饭4P酸2膛=滴2条5惧6示/崭3膜8戒4I友(舒S若1狐,寻S拣2澡)甚=动I懒(掀1王2耳8阿,意2枯5脏6统)=祥-墓P笛1震L直o税g2P初1蹄-弟P被2圈L狗o挖g2P守2=肠-延(闻P班1剪L谊o诸g2P慌1睁+陕P虽2失L弃o验g2P观2漂)=弟0脚.气9足1江8弓3第2吗-罢2步卡计阅算茶年识龄莲的罪熵年遮龄叠共到分障三碑个期组钞：青磨年像、靠中毛年绳、从老坦年中圈年它买宰与誓不然买衡比曾例办为2屋5贡6呜/楚0S讯1冲(买)蹦=盐2霸5合6S馒2（饼不豆买黑）=伪0S茅=跳S叶1凳+沙S粱2锻=稀2邻5籍6P窑1育=舅2唤5撇6五/容2棕5筒6P府2仆=仗0岂/吗2窜5赚6I收(镇S唯1益,声S锋2榆)眨=即I胆(纪2闭5东6，0教)=搅-稍P吼1醋L溜o职g2P亲1厚-隙P盛2那L锄o杂g2P射2=宾-帆(相P究1厦L写o买g2P竭1赞+社P旦2卧L雅o禽g2P莫2信)=敞0第2特-绕3步侮计愉算赤年多龄堆的胜熵年酒龄让共旧分亭三响个度组蚀：青劳年拴、润中芦年模、贫老旗年老欢年燥买裙与哥不手买醉比吓例驶为1祖2吗5太/陵1难2聚7S倘1饮(买)摇=凝1叛2涨5S伐2（爬不唤买胀）=帽1涨2膀7S辰=异S听1鲜+云S配2品=时2蛾5芽2P肆1驻=础1胡2蹲5指/停2牙5扣2P夫2横=摧1毕2犬7也/格2糕5鉴2I艘(关S登1房诚,劳S齿2灾)减=续I京(墨1起2俊5，1亦2鸭7易)=喂-贵P坑1猜L牌o俘g2P肯1疮-怜P次2谎L率o额g2P棕2=物-拥(祥P朽1辅L拔o疲g2P线1悄+缺P饱2故L观o湿g2P翅2访)=造0救.爪9啄1串5究7第2你-鲜4步蕉计牢算昏年炎龄火的风熵年送龄佛共泻分垫三比个批组罪：青都年扬、聋中供年说、鸣老爱年所元占滋比撑例青蓝年约组3叹8炎4膊/坦1皂0延2朴5坦=裤0广.足3敞7淹5中晓年灰组2棒5勤6项/与1痒0熟2矛4坟=遍0批.鸦2根5老听年终组3捕8游4衫/傲1奥0便2婚4锈=刻0晨.翁3感7蛮5计篮算刮年米龄允的绣平责均忍信畜息台期蒜望E（宋年秤龄谨）=陪0匠.稼3耻7富5旺*香0禁.壮9颂1翅8纽奉3莫+狐0崇.退2稼5莫*回0股+桌0询.闹3捕7阴5矿*寸0顷.液9期1豪5指7=荷0萝.抽6漏8颠7槽7G（耍年皂龄至信猴息完增猫益涉）=罚0墙.着9拖5努3炒7糠-脸0倘.狂6羊8苍7认7=邀0漂.敬2流6聚6昼0（1）计数年龄收入学生信誉归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1老中否优买第3步辫计雷算逃收肃入梅的谊熵收想入醒共渠分中三惨个熔组旦：高裤、醋中昆、脸低E（肥收翠入凑）=日0味.笔9丙3瘦6肃1收匠入凡信享息投增僚益=哄0泼.把9徒5懒3预7净-壶0档.债9递3耻6动1幸=挑0趣.志0帖1田7机6(歉2涝)第4步次计蚕算软学驳生邪的豪熵学寨生钢共骂分机二丘个版组类：学棋生虚、情非融学证生E（骆学酬生蒸）=穿0夕.暖7锻8客1访1年球龄艰信宽息摧增哪益=汤0挨.消9校5谈3幻玉7顶-今0珠.描7熄8谨1叠1谅=能0渣.致1坐7泪2融6（3）第5步秘计耻算周信启誉弯的赵熵信粗誉羡分落二抗个颂组弃：良叶好使，惯优宋秀E（婆信铃誉轧）=晌0粪.伞9翻0量4躲8信校誉宏信呜息那增炮益=惜0口.边9教5树3固7笼-定0巾.速9却0扰4隙8结=荒0融.剂0泽4竭5塘3（4）第6步穗计楚算矩选悲择趁节金点年皂龄伏信例息强增筑益=首0答.岛9妖5府3疑7馅-步0院.康6熄8旗7王7=驾0查.洒2逮6迅6钥0（1）收拜入坊信脑息蝇增曾益=煎0最.邮9玩5屋3备7辣-斩0垃.企9够3师6阴1=蔑0逆.枣0岸1亡7骨6（2）学没生信哭息锡增油益=樱0百.漠9客5测3种7生-菜0泳.僚7壁8范1磁1=禁0犹.辆1匪7瓣2杰6（3）信坟誉寸信织息迟增床益=纵0烦.梳9万5饺3臣7继-臭0挺.分9程0向4拥8=输0治.碍0透4走5闸3（4）计数年龄收入学生信誉归类：买计算机？64青高否良不买64青高否优不买128青中否良不买64青低是良买64青中是优买年枯龄买/不司买买/不面买买青颜年中期年老振年叶奴子计数年龄收入学生信誉归类：买计算机？64青高否良不买64青高否优不买128青中否良不买64青低是良买64青中是优买青督年支买食与绕不室买您比肯例肆为1雀2挺8华/先2这5止6S毅1蒜(买)咽=扇1趁2爷8S今2（位不捷买鲜）=泼2宾5巴6S肌=希S灰1藏+数S凑2痒=勤3谁8研4P肥1两=拒1羽2百8勇/咽3刘8架4P互2骨=雄2碗5虫6指/愁3控8略4I怀(这S驳1估,步S骡2鸡)见=秋I骄(声1妄2移8雨,掘2松5麻6谈)=槐-供P鞋1饮L厕o蜜g阵2扮P府1圾-上P歪2奴L奖o约g核2伟P右2=西-轧(涉P屿1余L编o已g尾2丈P堵1纠+直P遇2挡L灵o酒g窃2散P耳2弹)=菜0泛.孕9应1刊8羽3计数年龄收入学生信誉归类：买计算机？64青高否良不买64青高否优不买128青中否良不买64青低是良买64青中是优买如魔果悦选乘择赔收校入灿作祝为敢节速点集分专高东、同中完、仔低I爱(盾0星,界1榴2柔8稿)准=脏0比选例:代1家2哭8柴/面3滴8宇4横=斜0称.退3哑3劝3就3I宪(滔6垫4苦,冶1柜2摧8芳)组=喷0健.童9衬1嫁8躺3比算例:歌1值9柔2构/胁3悼8液4雪=转0惊.检5I毛(迹6赌4仇,甚0伟)忠=循0比雪例:绑6焦4阵/葬3张8岩4累=灯0穿.崖1听6害6餐7平旱均够信势息宁期营望搁（拍加妄权洲总规和喇）艺：E笛(收妈入柏）=暮0豆.骆3穴3女3码3融*茎0粉+腾0上.郑5骗*恩0建.湿9被1邀8元3罢+枯0获.所1陕6魔6崖7耍*吼0境=版0曲.逮4赶5度9宾2G蚁a随i宏n烦(收开入)杨=I截(办1痒2耀8劣,佛2眉5乡丰6耽)-存E偷(收斯入)框=0落.劳9血1泄8久3–0臭.蜓4葬5御9离2纽奉=碗0乌.溉4敲5拾9