数据仓库与数据挖掘技术第六章决策树

1、第 6 章 决策树方法6.1 信息论的基本原理6.1.1 信息论原理6.1.2 互信息的计算1. 定义2. 出现概率3. 条件概率4. 子集概率5. 子集条件概率6. 信息熵7. 互信息6.2 常用决策树算法6.2.1ID3 算法1. 基本思想»61训纺样本篇编号性至别气温湿度凤力1热无风N2热适中无风N3器云高无凤F4W适中高无风P5雨正常无风P6冷正常有风N7多云冷正常有风Pg适中高无风N9睛正常无凤P10适中正常无凤P11适中正常有风F12家云适中高有凤F13正常无风P14雨适中高有风N天气图6-1ID3决策树2. 主算法图6-2ID3算法流程3. 建树算法4. 实例计算6.2

2、.2C4.5 算法1信息增益比例的概念2. 连续属性值的处理3. 未知属性值的处理4. 规则的产生5. 案例计算温度湿度凤婪别执/I l b>75无适合热>75不适合适巾>75无适合冷75无适合睹 八菩社 雨温度湿度凤类刖 热>75无适合冷7SU 适合适巾>75 首适合 热頁无适合温度湿麽凤类别适中>75无适合冷>?5无适合冷75有不适會适中>75无适合适中>75不适合图6-4C4.5算法形成的决策树表卜2 C4円算穗训域样本集編号属n类别天气气盥輕度凤晴S5无凤N2热90无凤N3參云78无风F4适中96无凤P5冷80无风P670有凤N7爭

3、云冷£5有风P8睛适中95无风N9冷70无风P10.雨适中80无风P11适中70有风P13务云适中90有风P13案云热75无风P14南适中80冇凤N6.3决策树剪枝631先剪枝后剪枝6.4由决策树提取分类规则获得简单规则I-'J图6-5决策树642精简规则属性« « 3 规则農盖实例暑Class C英他类満足条件為Y1E1潢足条件為，怛不满足X¥2E26.5利用SQL Server 2005进行决策树挖掘数据准备挖掘模型设置W6 4列的用法字段名称列的用法字段窖称列的用法ID雄列客户状态输人列客户名称输入列重点标志输入列客户类母输入列可疑预测列经

4、济性质输入列预测列隶属关系输入列正常预测列关注输人列余新预测列法人资格输人列预测列挖掘流程图6-6选择数据挖掘技术图6-7选择数据源视图孰塀總坷向导图6-8指定表类型洽定定at簞躍 折走比斬中承用能列a a*1锻刁Q:曲初sffmu.SAJSW疏理:祕住厲則柱審尸代周窖户兇且:若好峯户状:麻口事曜关廉m天*需止笫口:S.Q再 551 «>! M入圖*SifliaSfinesrfPiilHSHFEi »V<|铠冈ID图6-9指定定型数据用壬列的内無和帝怅英那扭定初的秋功内盘和蝕翳真乱W向 SPSS事ft年酸冋 JDKjefLrmg皴恵憾si向?PS®SF

5、ttibDtsa-ie-正审曲#主i Qifcrusj;Tr*tTtwJl boubfa"处l«iVi皿 Cc4.ht DuUA T我:.丄步個 f-±. 芳畑 r恥旳图6-10指定列的内容和数据类型超向导”陀第结杓出供念幣“从而亮成数18据悔向号.t颐】FSE15S.3SKD）：|心】1| 允汗讷预冷加祐币 2 强性 类J； 瓯AS京琏户.1 D次拦壬虽可S* 乌JFi也曲也FiE rpnd-a<ai詢加 II 聖泊图6-11完成数据挖掘结构的创建挖掘结果分析图6-12挖掘得到的“次级”决策树图6-13挖掘得到的依赖关系图图6-14 “余额”结点的依赖关系

6、图图6-15与“余额”结点链接强度最强结点示意图表&5 “余韻"结点铁勃关靈表预测结点决鹽结点依袒关系强弱顺序余额竄要标志1隶属关累2客户类型3軽群地质4容户狀峦5扶人资格6挖掘性能分析卩栅RiVJriMSn-mi-i I|j* 母更阿+ Iww-li"* >-dtSi：+l m星 na湖 |&nmi显 & nm显,.耳乎 nmmii厂 nmiEiwi :*W 剜田T M ii-ilnh SiiTh ! B 2 WiCiw.*I Vhd-¥l Siafh注斑O W.i-pIi+I L M.ltnii 痂离aIT囲舟电 £&#

7、171;¥->-AH «住也那 A i* h*A H割Dtttl图6-16列映射图立悴囚1UD1I HO>EI ±AE>輦甲去 EAHbn »ts> UlJD El蛰曲p flfeoii kJ 淨Qb Ti>3RD«» a 月看全 iE F .函丽apt s igb 歯！：+i jmm jT M鼻糜阿 * iMW- diJ K-UrilEl 乜 E«il->>- 白比肚“ ElflU-i!盃隹聲鼻口 氏 I » I OhM4 ra湖| & nmg 晶nmi锐配 丄nm电丽一挣nmipiw巒科！I却S Hj?qaim皿/IF临和的疳|£敢抒升画：1 E 1越 E ®W«>K* 学 3faMJriK hrrmi-i Q l|/予til 任0斟5Wwlid图6-17属性“次级”的预测提升图习题61. 概率分布0:0625;0:0625;0:125;0:5 的熵是多少？2. 汽车保险例子。假定训练数据库具有两个属性：年龄和汽车的类型。年龄序数分类。汽车类型一一分类属性。类一一L:低（风险）,H:高（风险）。年龄汽车类型类>21MrutiL>21HyundaiH<21Ma