数据挖掘的标准流程与工具

1.数据库与数据仓库从数据库到数据仓库什么是数据仓库数据仓库中的数据组织数据仓库体系化环境从数据库到数据仓库传统的数据库技术——以单一的数据资源为中心，着重事务处理，竞争环境要求科学、准确、快速的决策。传统数据库不适宜DSS：处理的性能特性不同事务处理：数据的存取操作频繁，响应要求高、并发性好分析处理：占用系统资源多，运行速度慢，用户少数据集成问题事务处理：只需与自己相关的数据分析处理：要求数据全面数据动态集成问题分析处理：需要数据动态集成事务处理：只具备静态集成、无法动态集成历史数据问题事务处理：只处理当前数据分析处理：必须对历史数据进行详细分析数据的综合问题事务处理：涉及数据细节过多分析处理：需对数据进行各种综合从数据库到数据仓库20世纪中后期开始出现数据仓库思想的萌芽1992年W.H.Inmon在BuildingtheDataWarehouse一书中提出数据仓库的概念。1992年，E.F.Codd提出数据仓库多维分析的概念，和12条OLAP的准则各大数据库厂商纷纷推出自己的产品IBMOracleInformixSybase什么是数据仓库“数据仓库是作为DSS服务基础的分析型DB，用于存放大容量的只读数据，为制定决策提供所需的信息”“数据仓库是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的、面向主题及不可更新的数据集合。”数据仓库将分布在企业网络中不同信息岛上的业务数据集成到一起，存储在一个单一的集成关系型数据库中，利用这种集成信息，可方便用户对信息的访问，更可使决策人员对一段时间内的历史数据进行分析，研究事物发展走势数据仓库之父W.H.Inmon：”数据仓库是集成的面向主题的数据库集合，用于支持决策支持功能，其中每个数据单位都与时间相关。”操作型数据与分析型数据的区别操作型数据分析型数据细节的综合的、或提炼的在存取瞬间是准确的代表过去的数据可更新不可更新预先知道操作需求预先不知道生命周期符合SDLC声明周期不同对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求数据仓库的四个基本特征数据是面向主题的什么是主题（是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象）面向主题的数据组织方式（是在较高层次上对分析对象的数据的完整、一致的描述，能完整、统一地刻画各个分析对象所涉及地企业的各项数据以及数据之间的联系）数据是集成的数据不可更新数据随时间不断变化面向应用进行数据组织的特点对相关组织、部门进行调查，收集数据库的基础数据及其处理过程，重点在于数据和处理反映一个部门内数据的动态特征，即表达数据流程数据库中的数据模式与实际业务中的数据有很好的对应关系数据的组织方式没有体现数据库的原本意图——数据与处理的分离。面向主题的数据组织抽取主题确定每个主题所应包含的数据内容。大纲

什么是数据挖掘数据挖掘的标准流程：CRISP－DM

数据挖掘工具——SPSSClementine简介第一部分：什么是数据挖掘？数据挖掘都干了些什么？英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。。。。。。使直邮的回应率提高了100％数据挖掘都干了些什么？GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。。。。。。通过数据挖掘的方法使库存成本比原来减少了3.8%数据挖掘都干了些什么？汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。。。。。。营销费用减少了30％数据挖掘都干了些什么？美国国防财务部需要从每年上百万比的军火交易中发现可能存在的欺诈现象。。。。。。发现可能存在欺诈的交易，进行深入调查，节约了大量的调查成本数据挖掘都干了些什么？美国国内税务局需要提高对纳税人的服务水平。。。。。。合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务通过数据挖掘您可以发现最有价值的客户通过数据挖掘您可以使组合销售更有效率通过数据挖掘您可以留住那些最有价值的客户通过数据挖掘您可以用更小的成本发现欺诈现象通过采用自动或半自动的手段，在海量数据中发现有意义的行为和规则的探测和分析活动。数据挖掘能够帮助你选择正确瞄准潜在目标，向现有的客户提供额外的产品，识别那些准备离开的好客户。什么是数据挖掘电信

：流失银行：聚类（细分）,交叉销售百货公司/超市：购物篮分析

（关联规则）保险：细分，交叉销售，流失（原因分析）信用卡：

欺诈探测，细分电子商务：

网站日志分析税务部门：偷漏税行为探测警察机关：犯罪行为分析医学：

医疗保健数据挖掘应用领域数据挖掘效益分析(直邮）(BigBank&CreditCardCompany)目的：发现新客户数据挖掘以前数据挖掘以后差别发信的数量1,000,000750,000(250,000)成本$1,000,000$750,000($250,000)响应的数量10,0009,000(1,000)每个响应的毛利$125$125$0总毛利$1,250,000$1,125,000($125,000)净利润$250,000$375,000$125,000建模的费用040,000$40,000最终的利润$250,000$335,000$85,000第二部分：数据挖掘标准流程

——CRISP-DMCRISP－DM简介

CRISP－DM是CRoss-IndustryStandardProcess－DataMining的缩写

由SPSS、NCR、Daimler-Benz在1996年制定

CRISP是当今数据挖掘业界通用流行的标准之一它强调数据挖掘在商业中的应用，解决商业中存在的问题，而不是把数据挖掘局限在研究领域CRISP－DM

商业理解数据理解数据准备建立模型模型评估模型发布商业理解（BusinessUnderstanding)

找问题－确定商业目标对现有资源的评估确定问题是否能够通过数据挖掘来解决确定数据挖掘的目标制定数据挖掘计划数据理解(DataUnderstanding)

确定数据挖掘所需要的数据对数据进行描述数据的初步探索检查数据的质量数据准备(DataPreparation)

选择数据清理数据对数据进行重建调整数据格式使之适合建模建立模型（Modeling)对各个模型进行评价选择数据挖掘模型建立模型模型评估(Evaluation)

评估数据挖掘的结果对整个数据挖掘过程的前面步骤进行评估确定下一步怎么办？是发布模型？还是对数据挖掘过程进行进一步的调整，产生新的模型模型发布（Deployment）把数据挖掘模型的结果送到相应的管理人员手中对模型进行日常的监测和维护定期更新数据挖掘模型数据挖掘和数据仓库的关系数据源数据仓库数据集市数据挖掘集市数据仓库和数据挖掘的区别数据挖掘大部分需要把数据从数据仓库中抽出数据挖掘也可以通过把几个事务数据库导入一个只读数据库中进行数据挖掘数据挖掘和在线分析处理（OLAP）的关系OLAP是先建立一个假设，然后证实或者推翻这个假设，是演绎推理的过程数据挖掘通过探索和寻找模型，是归纳的过程二者具有互不性，OLAP通过对数据的深层分析使数据挖掘更为有效数据挖掘的基本方法数据挖掘技术和算法数理统计方法决策树：分类神经网络：聚集，偏差分析…

归纳逻辑程序遗传算法模糊逻辑约略集roughsetconceptlearning概念学习简单的基于规则的推理数理统计与数据挖掘数据挖掘的本质是很偶然的发现非预期但很有价值的信息，其过程本质上是实验性的数据挖掘是几门学科的综合，当然包括数理统计数理统计的核心问题就是在观察了样本的情况下如何去推断总体数理统计的几个常用的方法回归分析聚类分析主成分分析回归分析数据挖掘的软件实现第三部分：数据挖掘工具—SPSSClementine简介Makeadifferencewiththepredictivepowerofdatamining应用Clementine达到你数据挖掘的目标

图形化的界面、数据流的形式建立模型，保证了应用Clementine进行数据挖掘关注商业更甚于关注技术本身开放式的技术是更好的保护您的投资的保障高度的扩展性保证对数据库中大量的数据进行挖掘业界领先的发布技术使数据挖掘结果更好的传递到相应管理人员手中把你的商业经验溶入数据挖掘过程是数据挖掘成功的关键Better

dataminingresults!InsightBusinessproblem?What

youknow丰富的数据挖掘算法Prediction

Neuralnet,C5.0Classification

Neuralnet,C5.0Segmentation

Kohonen,Kmeans,C5.0Association

Apriori,GRI,WebgraphSequence

CaprI,NeuralNet,Regression与SPSS及AnswerTree无缝集成提供更多的算法LogisticRegressionDiscriminantAnalysisFactorAnalysisManymore...C&RTCHAIDExhaustiveCHAIDQUEST使你在数据仓库上的投资得到最大的回报SybaseDB2InformixOpenIngressOracleSQLServer+ODBCdriversforothers+ODBCsocketfornativedrivers开放的建模性能在Clementine中通过CEMI加入新的算法Clementine的系统结构

1.Performmany

operationsin

thedatabase.2.Performtherest

onapowerful

server.3.Usetheclient

processorfor

viewingresults.ClementineServerdelivershugeperformancegainsGeneratinga

distributiongraph995secondswhenprocessedonthedesktop69secondswhenprocessedontheserver19secondswhenpushedbackintothedatabase

In-databaseprocessingdeliversbetterperformanceasdatasetsgetlargerShedatabaseClementineServercuts

modelbuildingtimeupto90%Modelbuildingtimeneededfo