SQL2005与数据挖掘

1、.twWWW.CDMS.ORG.TWTechnology Review杂志杂志（麻省理工学院（麻省理工学院2002年年1月出刊）月出刊）Protocols: Loosely CoupledAPIs: Tightly Coupled分析服务分析服务(Data Mining)整合性服务整合性服务(SSIS)SSIS 分析服务分析服务报表服务报表服务资料来源资料来源检视表检视表(DataSourceView)定义企业问题定义企业问题资料准备资料准备资料检视资料检视模型的建立模型的建立模型评估模型评估布属与应用布属与应用资料源资料源Data Mining整合微

2、软商业智能方案资料源资料源DM处理流程CRISP-DM定义企业问题(CRISP-DM)电信用户忠诚度逐年下降.产品良率持续下降零售点库存情况成长保户诈欺状况不断升高卡户剪卡比例增加客户呆帐发生数暴增客户转贷频率提升资料准备(CRISP-DM)资料检视(CRISP-DM)模型的建立(CRISP-DM)TrainingValidationTest模型的评估(CRISP-DM)TrainingValidationTest使用训练资料集训练资料集建立预测模型.使用鉴效资料集鉴效资料集来避免模型对于训练数据集产生记忆效应使用测试资料集测试资料集来选择模型以及测量模型在预测未知数据的能力模型的评估使用测试

3、数据(CRISP-DM)模型的评估之累积增益图(CRISP-DM)模型效益评估之错差矩阵(CRISP-DM)布署与应用(CRISP-DM)Reports (动态动态 & Ad hoc)Data MiningBusiness KnowledgeEasy Difficult使用容易度使用容易度OLAP Reports (静态静态)商 业 价 值资料来源资料来源:Microsoft TaiwanSQL Server 2000已提供文字数据采矿文字数据采矿透过提供企业所有所有成员商业洞察力，以提升企业组织能够更快速、更正确的产生营运决策 整合异质数据来源:文本文件大型主机电子表格关连式数据库快

4、速更新数据仓储与数据超市加载数据前可以清除错误数据可以高效率进行在线交易处理系(OLTP) 与在线分析处理的数据(OLAP)转换作业回报作业成功与失败的状态透过整合服务可以不用在资料转换过程中需要暂存数据库处理作业包含数据自动管理功能CRM: semi structuredLegacy data: binary filesApplication databaseETLWarehouseReportsMobiledataData miningAlerts & escalation数据整合与数据仓储建立过程中需要额外的暂存性数据区数据整合与数据仓储建立过程中需要额外的暂存性数据区(Stag

5、e)与作业与作业(如汇总如汇总)数据处理需要不同多种工具数据处理需要不同多种工具(如如CRM系统的文字采矿工具系统的文字采矿工具) 且工具间且工具间有有相容相容性性问题存在问题存在回报机制与问题层级提升的速度缓慢回报机制与问题层级提升的速度缓慢数据过多时往往会造成该策略无法运作数据过多时往往会造成该策略无法运作HandcodingStagingText MiningETLStagingCleansing&ETLStagingETLCRMSemi-structured dataLegacy data: binary filesApplication databaseAlerts &

6、; escalation使用使用Integration Services可以在作业过程将原需要数据库处理的部分，直接处理完毕可以在作业过程将原需要数据库处理的部分，直接处理完毕.所有的作业包括文字采矿、汇总、合并、资料比对等都可以整合在同一个服务中所有的作业包括文字采矿、汇总、合并、资料比对等都可以整合在同一个服务中分离增加数据库与分离增加数据库与ETL工具的作业范围，强化数据库的高可用度工具的作业范围，强化数据库的高可用度直接透过直接透过Integration Services进行问题的警示与回报进行问题的警示与回报SQL Server Integration ServicesText mi

7、ningcomponentsCustomsourceStandardsourcesData cleansingcomponentsMergesData miningcomponentsWarehouseReportsMobiledata设定数据源可以是多种不同来源，也可以包含客制化来源或是设定档如设定数据源可以是多种不同来源，也可以包含客制化来源或是设定档如 *.udl使用转换作业进行数据转换如使用转换作业进行数据转换如Merge、Aggregate、Sort等等数据可以根据规则进行分类或是合并如数据可以根据规则进行分类或是合并如Multicast、Conditional Split等等数据处

8、理流程可以根据企业规则复杂化但是不影响资料的同时性存取数据处理流程可以根据企业规则复杂化但是不影响资料的同时性存取最后资料可以同时写入到不同的档案格式如最后资料可以同时写入到不同的档案格式如Excel、Flat File、Database等等数位仪表板数位仪表板固定式报表固定式报表BI 前端工具前端工具EXCEL电子表格电子表格Ad Hoc 报表报表AnalysisServicesMicrosoft Office Business Scorecard Manager 提供组织以下的功能提供组织以下的功能强化的计分卡平台强化的计分卡平台洞悉企业问题洞悉企业问题协同组织分析与协调作业协同组织分析与

9、协调作业提供前端使用者强大分析功能提供前端使用者强大分析功能扩充性平台扩充性平台SQL Server 2005 提供提供 Business Scorecard Manager 以下功能以下功能集中化管理与指标集中化管理与指标多维度计分卡多维度计分卡提供提供KPI 给前端应用程序给前端应用程序利用利用UDM整合数据处理整合数据处理监控指标监控指标分析问题分析问题协同作业协同作业定义目标定义目标SQL Server 2000已提供文字数据采矿文字数据采矿采矿模型检视器采矿模型检视器放大 /缩小复制图Cluster在群集2中，则无”0-1 Miles”的资料在群集3中 ”0-1 Miles”的比例最

10、高，有74%群集图表群集图表群集设定档群集设定档说明：说明：了解各群集中，各变量的分布比例，以图中为例，群集2中，距离为”0-1 Miles”的有0.4%、”1-2 Miles”的有25.7%、”2-5 Miles”的有13.6%、”5-10 Miles”的有32%、”10+Miles”的有28.3%采矿模型检视器采矿模型检视器鼠 标 右 键检视检视BukeBuyer的比例及其条件式的比例及其条件式观察属于该节点之观测值观察属于该节点之观测值相依性网络相依性网络主要目的在于了解各产品间的关联性项目项目Touring-3000 = 现有的, Water Bottle = 现有的Road Bott

11、le Cage = 现有的群集设定档群集设定档列出各群集中所有产品比例仅列出各群中比例较高之产品 及 其 比 例各 群 集 之 个 数预测期数显示预测误差区间趋势图、预测图各变数之系数该时间序列方程式Input类神经网络类神经网络模型模型OutputNaive Bayesian can only accept categorical attributes.You need to discrete the numerical Attributes into the categorical one.No parameters need to be adjusted in SSAS.线性回归系数线性

12、回归模型资料来源资料来源:Microsoft Taiwan词汇索引前 置 处 理既有词汇撷取文件新生词汇撷取关键词汇筛选及排名(Ranking)概念式分类/分群多国语言中(简繁体字)英日德俄 词库式断词专家断词领域相关经验法则指引式文件分类文件自动分类(相似)信息截取(InformationExtraction)概念式搜寻信息分享统计断词关联与相依分析(Association &Dependent Analysis)专家校正图形模式贝氏机制自动分群/分类类别1类别2类别n专家分类器分类器议题关联相关议题关联相关议题法则议题法则法则推论法则推论文献文献相似分析相似分析/ /相依原理相依原

13、理法则逻辑推论法则逻辑推论选择“vTargetMail(dbo)”勾选需要比较之模型说明：说明：在进行模型效益评估前必须先选入数据表，并在模型中勾选要进行评估比较之模型分类矩阵分类矩阵藉由分类矩阵进一步比较，判别两模型的预测能力，由决策树模型发现，预测正确的资料有7103+5857=12960；而群集分析模型的正确预测数据为5395+5308=10703，也可看出决策树决策树分类结果较群集分析群集分析分类结果好增益图增益图增益图：增益图：主要展现在整体的百分上所累积的效益状况收益图收益图收益图：收益图：可根据所设定之固定成本、单位成本以及单位营收加以计算，找出最佳获利点散布图散布图散布图：散布图：了解各模型之预测值、预测趋势以及实际值Microsoft Office Business Scorecard Manager 提供组织以下的功能提供组织以下的功能强化的计分卡平台强化的计分卡平台洞悉企业问题洞悉企业问题协同组织