机器学习决策树学习

决策树学习编写：张磊决策树决策树是实例（表示为特征向量）的分类器。结点测试特征，边表示特征的每个值，叶结点对应分类。

可表示任意析取和合取范式，从而表示任意离散函数和离散特征可将实例分到多个分类(2)可以重写为规则，用析取范式（DNF）形式

red^circle->positive

red^circle->A

blue->B;red^square->B

green->C;red^triangle->C2001年6月2日决策树学习实例用(属性-值)对表示。离散值处理简单，连续值可以划分区间。输出可以是离散的分类，也可以是实数（回归树）。能有效处理大量数据可处理噪声数据（分类噪声，属性噪声）属性值缺失，亦可处理2001年6月2日基桐本刚决唱策逐树蒙算香法训赚练蹈数只据瘦批单处庸理工，妙自警顶欢向吊下烤递救归吼构冠造撤决聚策忽树D怀T碰r宏e杆e蜘(衰e遮x砖a村m蜜p赴l练e侍s拳,繁a液t汪t竹r撤i永b裤u坊t悬e买s岁)I节f所毒有展样巾本杨属禾于晴同令一酷分晶类笛，译返有回宜标吗号牧为岸该旅分恶类伶的碍叶篇结我点E喂l挣s皇e郊i纲f属克性犯值看为语空舅，汗返天回担标立号分为物最毫普应遍去分桃类睡的吸叶蹦结棒点E虎l寨s芒e选庭取吴一灾个乒属洒性智，A蛛，作饱为催根多结傲点F柱o筒rA的汇每貌一统个株可劳能海的愤值vi令e社x返a际m械p各l贫e数si为湾具购有A=vi的粱样住本虾子省集咳从勤根锋结秃点术出努发驱增督加惑分至支蜻（A坟=嫩vi)如究果e者x捷a耗m域p洋l砍e丧si为抗空惊则沫创伐建恋标本号汤为纹最头普肾遍掀分御类毒的物叶秃结竭点丧否贿则员递政归亮创买建订子睁树琴—屡—禾调馋用D呼T复r涨e验e滤(教e索x塞a尝m跳p伐l民e租si,拾a端t移t夫r食i雄b巡寿u现t汗e勉s预-扒{料A蔽}但)2律0侨0仁1吵年晃6趣月纹2遭日根玩属纵性物的盐选英取决诊策厨树臂要低尽绑可桨能且小寻农找巧一展组预数龟据亚对蚀应礼的垮最市小煌决城策迎树卡是N钢P耕-负h舱a奴r停d的简瞎单厕递蹦归毛算零法蓝是罚贪走婪队启床发耀式旺搜惠索贸，枣无浇法握保虏证垮最魔优子毕集雹应遵尽蔽可杨能去“哑纯先”型，棕从呢而永易汇于催成朽为灭叶唯结叼点最伤常赤用宇的吵启停发剃规汤则鸽是红基缓于极信刊息敲增讯益持(I钞n途f悟o雁r季m饼a握t黎i速o妄n醋G白a糠i埋n筋)2摄0如0匹1泽年迅6饲月瓣2已日熵形(附E弓n配t死r漆o缝p沿y候)一挣组晕样肃本S对南于生二钻元控分方类乔的绒熵区(黄混裕淆抄度耐)那为串：蚀其杯中p+和p-为屋S叨中念的四正骂例、反线例萌所似占滑比推例若译所谜有僚样望本辉属拒于糟同昌一费分松类舟，催则夫熵汁为版0低(少定寨义价0l皇o疮g你0妇=牧0)若块样淋本停平赌均冠分摘布枣(p+=捎p-=寻0虾.购5鸭)，则方熵汁最度大纺(咳=块1蚁)可肌把决熵匹视清为宰对本样更本工集殃分西类床进膝行缎编谦码脆所恩需虎的全平错均蹲二劣进圾制保位跨数迁，零采贺用斜哈氧夫劳曼厅编奶码议压奏缩棒，烧越木普鸣遍搏的里分呜类壳编门码伞越纵短对粘于善多斯分打类吐问瓜题不（齐假口设欣有c个啦分壳类帐）缠，小则他熵杯的彻推承广召定炕义轨：麻其床中pi为卵属箭于双分牛类i的老样餐本大在S中皮所凑占是比遮例2叙0逝0粘1举年拥6炭月母2件日信盘息腊增辟益属吗性易的岔信围息垒增仔益文是跃按油该熟属端性咸分爽割病后惹熵白的砖消议减滔期裙望醒值笛：瞎其葵中Sv是S中情属烘性A值愿为v的北子恭集例让子宵：b第i求g麦,恨r楼e写d揪,米c绵i驻r敲c吹l屋e没:捐+s挠m姓a洲l梨l观,欢r朽e傍d境,许c为i勇r侨c秤l惹e捆:尾+s蛙m鼻a砖l妨l亦,集r伸e续d需,说s摆q蒙u属a刚r探e满:降-b登i暂g违,担b纺l骂u沸e砖,言c俩i六r跃c辨l哀e艰:签-2刷0具0路1使年揭6杆月陵2散日决库策蠢树垒归机纳翻中忆的保假怒设献空讽间决谁策垒树鸣可糊以乒表搜示避任军何思离曲散昆函拍数围，散归庄纳庄就扭是摘在谣此肢空扎间借内修的艇搜慈索创文建双与津数丙据秃一捎致寺的和单恩一系离毙散造假介设荡，捧所升以高无远法限提朗供步置诸信博度卧或坏构刘造妨有馒用丈的坟查迫询爬液山次式足搜型索寺存祸在壶局示部番最规优坦问荒题存。修它蓄可理以报保防证仪找庙到挣符狼合毁任虫何炉无涨噪佩声档数宜据乌集膝的姨树涨，崇但膏未希必乞是奇最滚小洒的批葡量渐学街习暂。焦每器项福决纷策赴需刚要盲一斥次可数假据坛集樱扫纯描飞，短可湿提位前腰结吧束港学贡习幸以胃减膊少欣噪洗声索影筝响2许0膨0绣1卵年安6古月萝2手日决养策霞树火学别习巩中暂的症误趣区树流的婚深膨度傻应幼尽山量住小嚼。寄但页贪勒婪穗搜临索被可鞭能般无专法甘找床到忆最白小警树约，构顶仔层政结奸点骡可摩能努不肝是涌高位区粪分碗度苍的2玩0绸0耗1熟年用6坏月烤2释日计区算室复蛙杂渡度最旷坏跟情两况唯是移构礼造贪出舰一跃棵汉完物全捞树原，印每动条处路痒径亮都倚测志试秃了汽所把有维特西征各踪蝶层浮i眨要晋对箩剩感下很的躬|哨A泽|杨-寺i吃个课属耕性超计母算每最案佳掠分更割一运般丘来瞎说妈，耍性凳能甜与岛属翼性碌个早数偷成塌线俊性系关轰系2础0胖0框1松年袜6虹月切2梨日决老策宫树委研劝究项的粒历司史1狼9阴6续0垫’糟s意：植H欧u多n逢t胸的吓完因全做搜状索削决摩策址树冻方芦法庸（颗C聋L纯S协）步对舰概历念教学流习版建轮模1参9奶7零0港后奴期捐：画Q瞧u担i算n蜻l什a坛n疗发腐明黄用研信像息胆增局益央作齿为誉启棒发脂策腾略煌的竟I话D圾3包方锣法刺，看从拆样离本匆中旦学斩习粘构烤造衔专妄家总系饰统同乏时竹，鞠B爽r虎e之i码m帝a织n杨和衫F缓r勾i嫌e炭d叠m童a救n沟开昏发我的唇C凝A睡R圾T默（歌分北类移与蓬回速归勉树学）聋方贿法进类汗似绣于片I慎D缸31陪9简8则0少’布s闪：诸对短噪壳声用、夕连崇续嚼属肃性请、捎数稠据缺缺药失酒、驰改愧善树分挪割除条团件纽奉等学进风行昆研陕究1夕9悄9妇3详：唐Q瞎u沫i悟n狸l价a如n革的站改壮进鸦决幼策损树拨归酒纳饶包粒（龟C稳4气.革5绿）欲，位目添前税被税普逐遍陈采素用2渴0台0援1州年帐6锈月尽2蜘日过样度私拟忆合妥和取修徒剪通咽过果学散习槽训何练纤数妖据那来卡构牙造太分孕类壤树番，田可绍能参无呜法蓝达偿到榴最嗽好汗的叨泛仿化玻性意能竿，暴因屑为噪嘴声壁数杯据强的保影共响某歪些偿决信策砍仅裕基乡丰于云少详量宗数笑据堤，盆与渔客漂观渡事缘瑞实嘱不尼符袍合一狮个主假宝设H被挡称跪为芬对洞于游训蝇练适数莲据对是辱过押度增拟惑合膨的堂，韵指撒的药是哨如纪果桌存雨在奴另雁一可个撒假践设H愈’亚，在快训债练智集勾上扶H女的柴误绩差夜比谊H‘昌小咸，昼但修在仿测库试间集航上H硬’的炮误红差袭比H小2押0揭0锤1芽年环6旨月顽2抗日过肯度羡拟映合匙与迹噪培声分隙类挖或没属枕性返噪烫声锣都势会毛导蚂致惜过杯度活拟粉合澡增沉加钞噪遵声滴实泻例施<最<钞m汁e还d葬i米u扶m垒,妇g愁r早e讯e华n薄,助c托i印r叨c多l破e爸>骂,违+移>烤（尝实惹际份为劫-处）噪欲声破也注会商直捷接喊导狱致产样节本航的织冲章突鞋(瞎相总同绪描谋述栏，极不放同沃分世类漠)美。陷应请将冷叶爷结坏点陆标颂号亩为郊主灶要赚的讯分约类闯<鸭<邪b哪i询g脑,灾r池e誉d诸,先c酱i构r叔c稼l腔e驱>轧,悄-菌>辞(打实叉际疫上码为潜+搭)若纱属巡寿性工不巾完蛙备匆且刘不绞足售以副判丈别凶分茎类裁时番，绞也芹可平能国导勾致稼样择本青的室冲易突2糖0腰0威1烟年苗6怒月搬2庸日避态免颈过付度座拟践合北的职方加法需亮要哑修来剪拉时民的膀两煌个危基泽本韵方跃法预洽修藏剪：登支武持基度曲不雁够漏则逐停开止飞树无的作增健长后喊修哑剪：爬置堆信雾度虫不冒够邮则矮修流剪鸦掉蛙该往分砌支子芽树宾是五否艳需胳要丽修脸剪州的后判系别鹅方只法霸：交桶叉脆检窝验：筛保然留挖部唐分选训迷练侍数肾据线用知于处验霸证统扇计恢测袜试：柔通丽过停训催练鸭集脂的打统罪计满来援判标别最林小纽奉描旅述桐长德度线(M拒D千L仰)：判碑别猛该振假每设讲的矩复汁杂递度镜是胳否勉比陷记焦忆罗例盯外乎情惹况糊的娃复惩杂狂度清更嗓高2重0法0旱1塑年耳6骗月剑2炕日减肾小道误暮差婚的袭修尺剪一港种贸后雀修掘剪欧，滨交拒叉伏验照证句的素方弯法侄将总训誉练框数潜据光分捆割垃为迈两陕个晴集妄合袜：妈“旦生节长叛”义和拥“园验博证区”捎用制“羊生蠢长千”鼻数眼据恩构禽建稿一隐棵块完戚全址树U具n每t羊i粥l验旁证镇数最据国集午合袋上型的哪精脆度掌降遥低d旨o使：熊F昌o斑r结e盲a抗c吓h树运中杀非还叶丝式结秩点n临快时聪修笛剪刘掉n下棵子斜树敞，成用菌标侵号难为鹿主锦要仇分专类全的锻叶爱子赌代联替祖在作验茧证劝集匠上部计右算买该屠树晕的中精悉度谷修捡剪撞掉岗那紧些率对鹅精茂度唤影舌响伸最攻大鬼的串分仗支当广训搂练众集液很昼小葛时葱，牢可国能此会拒严撕重确损氏害鸭分虹类俊精嫁度最净好停能缠给蹦定拌合弱适嚼的避结攀点丸数志，川达由到崇最顺佳指折忘衷2傲0姐0断1爱年吵6扮月渗2扔日连捷续加属才性用股分难区园方算法责，仅将缎连骨续野值馆映慎射抖为锁离令散龙值结彻点野分然裂泄，培以握获得得道最掌大惹信腰息异增估益达体到浸最僚大锈信园息廊增职益竹的庙单怎阈叛值险分典裂孤算袄法F恼o取r刑e厌a净c钢h连彩续环特拌征Ai根首据Ai的志值济对园样罚本跪排脂序F好o刘r慌e活a尾c似h序棍列延中箭的誉每烛对Xi,肺Xi任+房诚1I伍f呆Xi和Xi在+界1的分疤类亲不初同谱将Xi和Xi勇+辅1的笨中很点后作页为反可内能届的稼阈锐值液进湿行爷检钓验尊，雷即例屿如都：姥长粗度阿(L信)肢:况1蛮0照1颠5肤2薄1早2算8亦3错2榆4攀0世5悟0找(已亏排绵序)揉分萝类痒:欣-丸+迁+闪-喷+堡+宇-检鹊查踪蝶阈斧值证：L篮<狱1境2疯.贵5铜,疫L裁<绝2浸4冒.武5剩,旗L法<郑3洲0土,敲L酒<医4先52悦0玩0脾1规年尽6己月泽2矩日替代代碑属摆性痰选程取姜启扩发阳策惩略缓(板增它益谎比权率吐)信牲息忧增评益教缺淡点讯：趣偏兽爱育那址些杰有纲大售量杆值傅的范属切性犯，工产畜生炒很厉多洲小腿而其纯辫的算子纱集刷，勇如副病话人I抗D节、姓稳名早、隔日渗期其等要希降素低诸这轮些址情鹊况月下屡的朝增圆益首腔先舟计削算同与凝分述类佩无进关部属销性著的预信朋息赌量阻，蜂即词该去属吓性捞的钢熵死其平中Si为S中顿具余有暗属问性A第i个临值玻的愿子并集验。良某抱属耽性怜按绞值涂分辈割矩样扎本周越捎平肝均迁，太则S仓p金l殿i奴t储I锻n胀f贷o越兼大增抓益赖比送率净利千用S懂p幻玉l盆i贱t窜I述n逗f倘o来典避仍免右选虽择忆这适些海属援性2摊0遣0厕1回年邻6撒月阳2萝日增映益道比拐率拴细架述然够而苗，棕当袄|Si|圈=妈|剩S键|时S郑p象l白i邻t首I壮n裤f南o可初能扫很谈小馅甚必至味为何0秘，尽从减而抢导座致很信料息识比借率挣过陶大座甚仆至炉溢扮出C乞4胸.展5凡对件此枝进目行静了骡改搅进民，秘它估计绞算希每期个肿特左征岸的宣信著息收增嫁益我，筋对南于艳超卸过菌平壁均颤增肢益龟的础特今征层，沙再御进沿一毯步友根检据趴增骑益纸比进率茂来床选厚取混特明征2辅0话0脸1仪年逝6昨月株2获日缺狮失卡的奖属运性向值属光性团值大可变能从未扫完绑全愚给麦出一泼种母解湾决吉方题法中是获根俘据帽已件有央样涂本毕属股性村值腹的溉先槽验羽概纷率牙来蒜对败样愈本殊计凤算限属幻玉性辨值唉分呈布莲百貌分佛比在呢训教练虏时畅，逆缺矛失舍的铜属啦性窄会女按负照亏其挂分区布治百片分养比伴逐思个副计求算礼。例织如届，明给涛定朴一恭个设缺为失缺了裤颜愈色吼属棒性抢值竟的逝正司例流，锋它璃将窝被君视终为茎0食.茎6吩个浪r冻e士d弄正辈例蠢、朵0弓.摊2县个时b润l效u驳e曲正值例瞧和私0赛.吉2资个搭g故r锐e治e傻n娃正摧例夸。2题0衫0谢1孙年铸6昆月抱2亡日测辆试吼时受的州值便缺介失若稠属舌性台值盟未山给创出卵，蓝则巩设锤定棋为草?友?晚(歇通孩配畜符我)合，厚然丸后纸多纹路粮径萝到裕达兵叶幕结卵点常，酸最叮后套计影算辫分姥类心结权果梢的田各民分幸类侨权华重例洞如众，桶<旋b暴i如g慢,弓?旬?仔,由c宣i膝r晓c画l职e希>疾将菜得膝到购0耕.残6瞎个齿正阴例妈，勿0驱.扔2附+乘0悔.捆2犬=榜0浪.撑4糖个樱反纽奉例铺<线b典i货g梳,私r血e拢d献,率?期?王>鉴将荷得潜到堂0粗.昏2蛋个籍正触例晚，讨0惑.是5锡+京0捐.隶3日=抽0涌.盖8海个绒反夸例记<真b涂i寨g毛,馆?挣?抬,总?破?惠>镰将巴得赤到聚0绒.扭6醉x该0包.拦2盐=滩0筛.禁1唇2廉个童正隶例寺，这0坟.天2渴+顿0任.廊2傅+稿0仰.身3惹+伯0嗓.匆1券8奖=形0动.婚8珍8惠个豆反威例2培0电0住1做年完6命月德2盾日属宾性宏开站销有堵些栽领滩域膝中初，喂某椅些粒属敌性劈燕比伶其课它筛属妖性千更辜容脂易低获翠取沃其叫值蜂(是例五如殖病倡人楚的盼体盲温捧比哀其脊胆席固曲醇企水慰平烧更似容腿易附得含到辞)尽牧可睬能堤采繁用投那图些瞒低宫开猴销寺的敬属唇性伍来怕分握类在血信凯息界增岂益状中击增悄加词属葬性遍开挨销准是源有愁效机的渣:在技不绣降幻玉低祖精受度屈的学同细时邮降彩低塔了王平龙均还开矩销2怖0忍0镰1忍年别6包月费2仔日递师增张式忘的口决外策插树粱归愤纳I叛D花4像和剃I奶D裹5烧可起以副递先增素更溪新舒已角有小的崇树I胃D藏4慌有利时邻会喜丢卖弃日某勾些孙实链例蒙，掠不贵保生证孟和尿历省史辩训米练皮样高本摘一尾致I腹D辛5慨则石保举证值和迈I摇D左3捏的届决月策肉相馒同I开D气4片速擦度处快鞋，斯但屡精榴度胶降各低I压D绸5吹速顿度裂较款快穴且压精廉度择不被变2报0原0颂1过年精6歉月锦2拳日决田策此树怠中笨的预重红复犹部蒙分决贺策倦树傲比筑D移N训F吧更缩慧复赚杂箭，觉因系为酒它当常荡常厉存怕在低重康复租部棵分忍范供式升必爱须品分劈燕解川为引析禁取作范色式害，荣导类致疯了粘重滔复稼子册树天的暮出肆现解稿决犁：彩使镇用葡复历杂裂特胶征令或赖决招策老图构画造挤性某归矿纳扇：季原喷子捆特球征稍的富逻请辑泄组钥合闲或脂算召术趋组颤合2禾0燥0页1短年崇6随月浩2雄日边具缘窝算鹊法决马策探树江构膜造轰性呀归凤纳模的雅叠坐代群算膛法边溜缘柱算条法洋（蒸总这是灰沿繁着虑树亮的物边勇缘驰走构）明U挪n跨t步i卵l喝没笔有闹新衫的沫特铅征艘被垦创咽建茫或葵到布达共限布定开值躲d锋o恋使细用隆当划前喇的伸所窑有闹特狮征林从竹训夺练缘瑞集沟构删造水决粥策亦树闲从盾边仇缘碗末稳端粮(馅正浮例津)答两挣个里特贱征州的挪联诵合筐来挖创骂建灰新万特易征拳将刃这痰些言新程特怪征脆加行入狮现毛有库特新征望集股中趋，替同很时献扩油展早每偏个熔样瞒本妥的絮描潮述探以附包映含猴所怒有铜新各特赚征2秒0溪0衬1番年斧6奥月柄2永日边与缘纷示句例2载0秧0口1饶年帐6忙月时2由日多判重保模卸型学璃习昏概酱念萝的轨多堡重垂候嗓选浩定矿义最迹终愿决膊策佳是纯基贷于其多导个半学茂习懂模型型汇的功(衬加夫权过)煌投每票2盖0越0坚1险年膛6孙月奶2杂日装形袋泪(就B首a按g疤g校i倒n姨g波)用测训俭练仪集冶的拣不滨同决样崭本卷来洽训帖练泽同厅一姿个通学迷习险者板，件来谨创摄建透多债重剃模择型忌(昌B总r鱼e问i劈燕m性a书n批,摘1夫9便9枕6否)给栽定呼训厉练壶集好大惜小壤为迈n辣，贫通壳过靠从它原凭始魂数授据胆取尘样催(厚用哑替雄换铃方喝法州)圈，努创货建饼m钟个刑不房诚同佣的帐训谋练蒙集种(例大网小巧为特n亭)用邀简辽单把的雕投朗票俯方繁法腹来料合泰并石这臂m访个行模袭型可罪用潮于伍任坡何纪学榆习巧方风法减轨少遣了旦不谢稳票定勾学务习纠算偶法劈燕的欲一案般养化傍错阁误状，舍即堆当永训辟练日数颈据秒轻育微垄改珠动飘时枯会父导臣致灶决帽策刘结渔果淋剧仔烈叶变响动食的等那膛些豪学重习锣方欺法2势0蓄0滨1导年塌6坡月尺2们日引万导步(景B恨o眨o密s痰t略i脱n遇g模)另执一何个稳生奔成已多慰重河模抽型射的它方润法贪—捏—伙重命复浸更抓改施同先一蚂个签学养习渔算罗法忧的婚数脚据对私弱旷学赏习捕算约法宽(纲假阻设父的周精貌度鼓只绩要倡超坦过妖1样/辟2钟即哨可粱)扬能抄保启证网性筛能秤的驱改杀