《数据分析技术》

1、编辑ppt编辑ppt专一化差别化总成本领先战略目标被顾客承认 底成本地位兵兵兵兵帅帅兵兵将将士士士士炮炮卒卒卒卒编辑ppt编辑ppt编辑pptn纳什均衡n一个博弈可能有多个纳什均衡n每个参与者把其他参与人的策略当作是给定的n允许了不可置信的威胁的存在编辑ppt进入者不进入进入在位者斗争默许（0，300）（-10，0）编辑ppt编辑ppt325,325,325215,5,2155,215,2155, 5, 3322,322,3223, 5, 55, 3, 5215,215,5编辑ppt编辑ppt编辑ppt编辑pptQueryObserveDataAnalysisAnalyzeInformatio

2、nData miningPredictKnowledge从数据到知识编辑ppt编辑ppt编辑ppt编辑ppt决定战略目标决定战略目标资源有效利用资源有效利用完成具体活动完成具体活动编辑ppt编辑ppt编辑ppt编辑ppt19601965197019751980主文件报表太多主文件数据库-所有处理的单一数据源联机高性能事务处理单一数据库既用于事务处理，又用于DSS编辑ppt选择标准抽取程序编辑ppt蜘蛛网数据缺乏可信性生产率低编辑ppt编辑ppt编辑ppt数据仓库是一个（Subject Oriented），（Integrated），（Nonvolatile），（time Variant）数据集合

3、。用于支持管理决策 编辑ppt小 粒度 大综合程度低回答查询种类多数据量大性能低综合程度高回答查询种类少数据量小性能高编辑ppt一个月内客户的每个电话记录每月200个记录，40000个字节一个月内客户电话汇总(电话次数、平均通话时间、长途电话次数)每月1个记录，200个字节能回答不能回答上周张三给他在上海的女朋友打电话了吗？能回答能回答 性能低上月人们从华盛顿打出的长途电话平均次数？编辑ppt编辑ppt源数据库源数据库数据抽取、转换、装载数据抽取、转换、装载ETL工具数据建模工具中央元数据数据集市数据集市数据访问和分析工具数据访问和分析工具终端用户终端用户DW DW 工具工具中央数据仓库中央数

4、据仓库中央数中央数据仓库据仓库中间层中间层数据数据集市集市数据数据集市集市局部元数据局部元数据局部元数据元数据交换终端用户终端用户DW DW 工具工具终端用户终端用户DW DW 工具工具多维数据库关系数据应用包历史数据外部数据数据清理工具关系数据库关系数据库DW管理工具编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑pptSpread SheetTable110151012109106103Size vs SpeedAccess Time (seconds)10-910

5、-610-310 010 3CacheMainSecondaryDiscNearline TapeOfflineTapeOnlineTape10410210010-210-4Price vs SpeedAccess Time (seconds)10-910-610-310 010 3CacheMainSecondaryDiscNearline TapeOfflineTapeOnlineTapeSize(B)$/MBExtracting +Visualizing编辑ppt199019911992ALLRedBlue050100150200150-200100-15050-1000-50编辑ppt

6、sumM T W T F S S AIRHOTELFOODMISCF() G() H()编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑pptSkyline：更高、更靠近河流的建筑编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑pptsumJ1J2J4sum批发批发 .sum零售零售J3北京北京.上海上海广东广东维+度量编辑ppt编辑ppt编辑ppt产品名称产品名称地区地区销售量销售量冰箱冰箱 东北东北冰箱冰箱西北西北冰箱冰箱华北华北冰箱冰箱总和总和彩电彩电 东北东北彩电彩电西北西北彩电彩电华北华北彩电彩电总和总和空调空调 东北东北空调空调西北西北空调

7、空调华北华北空调空调总和总和总和总和 东北东北总和总和西北西北总和总和华北华北总和总和总和总和编辑ppt东北东北西北西北华北华北总和总和 冰箱冰箱彩电彩电空调空调 总和总和 输入成员输入成员 输入成员输入成员 导出成员导出成员 导出成员导出成员编辑pptSales SummaryModelYearColorUnitsChevy 1994black50Chevy 1994white40Chevy 1994ALL90Chevy 1995black85Chevy 1995white115Chevy 1995ALL200Chevy ALLALL290SELECT Model, Year, Color,

8、 SUM(Sales)FROM SalesWHERE Model = ChevyGROUP BY Model, Year, ColorUNION SELECT Model, Year, ALL, SUM(Sales)FROM SalesWHERE Model = ChevyGROUP BY Model, YearUNIONSELECT Model, ALL, ALL, SUM(Sales)FROM SalesWHERE Model = ChevyGROUP BY Model编辑ppt DATA CUBE Model Year Color Sales ALL ALL ALL 942 chevy

9、ALL ALL 510 ford ALL ALL 432 ALL 1990 ALL 343 ALL 1991 ALL 314 ALL 1992 ALL 285 ALL ALL red 165 ALL ALL white 273 ALL ALL blue 339 chevy 1990 ALL 154 chevy 1991 ALL 199 chevy 1992 ALL 157 ford 1990 ALL 189 ford 1991 ALL 116 ford 1992 ALL 128 chevy ALL red 91 chevy ALL white 236 chevy ALL blue 183 fo

10、rd ALL red 144 ford ALL white 133 ford ALL blue 156 ALL 1990 red 69 ALL 1990 white 149 ALL 1990 blue 125 ALL 1991 red 107 ALL 1991 white 104 ALL 1991 blue 104 ALL 1992 red 59 ALL 1992 white 116 ALL 1992 blue 110 SALES Model Year Color Sales Chevy 1990 red 5 Chevy 1990 white 87 Chevy 1990 blue 62 Che

11、vy 1991 red 54 Chevy 1991 white 95 Chevy 1991 blue 49 Chevy 1992 red 31 Chevy 1992 white 54 Chevy 1992 blue 71 Ford 1990 red 64 Ford 1990 white 62 Ford 1990 blue 63 Ford 1991 red 52 Ford 1991 white 9 Ford 1991 blue 55 Ford 1992 red 27 Ford 1992 white 62 Ford 1992 blue 39CUBE编辑ppt总行数= (model个数+1) * (

12、theyear个数+1) * (color个数+1) = (2 + 1) * (3 + 1) * (3 + 1) = 48CHEVY FORD1990199119921993REDWHITEBLUEByColorByMake&ColorByMake&YearByColor&YearByMakeByYearSumThe Data Cube and The Sub-Space AggregatesSumREDWHITEBLUEChevy FordByMakeByColorCross TabREDWHITEBLUEByColorSumGroup By (with total)SumAggregate

13、编辑pptSELECT SUM(units_sold), model, theyear, color FROM my_cube GROUP BY model, theyear, color WITH CUBE编辑pptCREATE VIEW auto_cube(units, model, theyear, color) AS SELECT SUM(units_sold), CASE WHEN (GROUPING(model)=1) THEN ALLELSE ISNULL(model, ?)END,CASE WHEN (GROUPING(theyear)=1) THEN ALLELSE ISNU

14、LL(theyear, ?)END, CASE WHEN (GROUPING(color)=1) THEN ALLELSE ISNULL(color, ?)ENDFROM my_cubeGROUP BY model, theyear, color WITH CUBE编辑pptSELECT unit_sold = SUM(units_sold), model=CASE WHEN (GROUPING(model)=1) THEN ALLELSE ISNULL(model, ?)END, theyear= CASE WHEN (GROUPING(theyear)=1) THEN ALLELSE IS

15、NULL(theyear, ?)END, color= CASE WHEN (GROUPING(color)=1) THEN ALLELSE ISNULL(color, ?)ENDFROM my_cubeGROUP BY model, theyear, color WITH ROLLUP编辑ppt编辑ppt编辑ppt编辑ppt 产品代码产品代码 产品维表产品维表地理维表地理维表销售事务表销售事务表销售渠道维表销售渠道维表 邮邮 政政 编编 码码 产品代码产品代码 销售商代码销售商代码 邮政编码邮政编码 总收益总收益 销售数量销售数量 财政星期序号财政星期序号 销销 售售 商商 代代 码码 时间

16、维表时间维表 财政星期序号财政星期序号编辑ppt地理维表地理维表销售事务表销售事务表 销售渠道维表销售渠道维表 城市名称城市名称 国家国家 地区地区 邮政编码邮政编码 产品代码产品代码 销售商代码销售商代码 邮政编码邮政编码 成本成本 总收益总收益 销售数量销售数量 财政星期序号财政星期序号 销销 售售 商商 代代 码码 当前时间当前时间 财政星期序号财政星期序号 财政年度序号财政年度序号时间维表时间维表财政年度表财政年度表财政星期表财政星期表 财政星期序号财政星期序号 财政星期名称财政星期名称 财政年度序号财政年度序号 财政年度名称财政年度名称 财政星期序号财政星期序号 邮邮 政政 编编 码

17、码( (续续1) 1) 零售商代码零售商代码 零售商名称零售商名称 销售店代码销售店代码 销售店名称销售店名称零售商表零售商表零售商店表零售商店表编辑ppt商标表商标表公司表公司表产品表产品表产品小类表产品小类表产品类表产品类表 产品代码产品代码 产品名称产品名称 产品小类代码产品小类代码 产品小类名称产品小类名称 产品类代码产品类代码 产品类名称产品类名称 公司代码公司代码 公司名称公司名称 商标代码商标代码 商标名称商标名称 商标代码商标代码 公司代码公司代码 产品类代码产品类代码 产品小类代码产品小类代码 产品代码产品代码 产品维表产品维表 产品代码产品代码( (续续1) 1)编辑ppt

18、编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt购买商品购买商品Y Y的交易的交易同时购买商品同时购买商品X X和和Y Y的交易的交易购买商品购买商品X X的交易的交易编辑ppt购买商品购买商品Y Y的交易的交易同时购买商品同时购买商品X X和和Y Y的交易的交易购买商品购买商品X X的交易的交易编辑ppt Item1 Item2 置置信信度度C 支支持持度度S A B 1 0.33 B A 0.33 0.33 B C 0.33 0.33 B D 0.66 0.66 C B 1 0.33 C D 1 0.33 D B 1 0.66 D C 0.5 0.33 交交易易号号 顾顾客客号号 商商品

19、品号号 数数量量 日日期期 1 甲甲 A 14 3/4/95 甲甲 B 3 3/4/95 2 乙乙 C 2 5/6/95 乙乙 B 3 5/6/95 乙乙 D 13 5/6/95 3 乙乙 B 10 8/6/95 乙乙 D 12 8/6/95 编辑ppt编辑pptMin.support50%Min.confidence50%support = support(AC) = 50%confidence = support(AC)/support(A) = 66.6%support = support(AC) = 50%confidence = support(AC)/support(C) = 10

20、0%编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt数据库事务数据D最小支持度min_sup=2编辑ppt扫描D，对每个候选记数比较sup.与min_supC1L1编辑ppt由L1产生C2扫描D，对每个候选记数C2C2编辑ppt比较sup.与min_supL2由L2产生C3C3编辑ppt使用Apriori性质剪枝C3扫描D，对每个候选记数C3比较sup.与min_supL3编辑ppt编辑ppt编辑ppt编辑ppt编辑ppt训练数据NAME RANKYEARS TENUREDMikeAssistant Prof3noMaryAssistant Prof7yesBill Profess

21、or2yesJimAssociate Prof7yesDaveAssistant Prof6noAnneAssociate Prof3no分类算法IF rank = professor OR years 6THEN tenured = yes 分类器(分类模型)编辑ppt分类器测试数据NAMERANKYEARS TENUREDTomAssistant Prof2noMerlisa Associate Prof7noGeorge Professor5yesJoseph Assistant Prof7yes未知数据(Jeff, Professor, 4)Tenured?编辑ppt编辑ppt编辑ppt编辑ppt编辑pptiipp log编辑ppt编辑ppt编辑pptmiiimppsssI1221)(log),.,(编辑pptmiijijmjjjppsssI1221)(log),.,(vjmjjjmjjjsssIssssAE12121),.,(,.,)(编辑pptageincome studentcredit_ratingbu