数据挖掘和环境保护.ppt

1. 数据库与数据仓库,从数据库到数据仓库 什么是数据仓库 数据仓库中的数据组织 数据仓库体系化环境,从数据库到数据仓库,传统的数据库技术以单一的数据资源为中心，着重事务处理， 竞争环境要求科学、准确、快速的决策。 传统数据库不适宜DSS： 处理的性能特性不同 事务处理：数据的存取操作频繁，响应要求高、并发性好 分析处理：占用系统资源多，运行速度慢，用户少 数据集成问题 事务处理：只需与自己相关的数据 分析处理：要求数据全面 数据动态集成问题 分析处理：需要数据动态集成 事务处理：只具备静态集成、无法动态集成 历史数据问题 事务处理：只处理当前数据 分析处理：必须对历史数据进行详细分析 数据的综合问题 事务处理：涉及数据细节过多 分析处理：需对数据进行各种综合,从数据库到数据仓库,20世纪中后期开始出现数据仓库思想的萌芽 1992年W.H.Inmon在Building the Data Warehouse一书中提出数据仓库的概念。 1992年，E.F.Codd提出数据仓库多维分析的概念，和12条OLAP的准则 各大数据库厂商纷纷推出自己的产品 IBM Oracle Informix Sybase,什么是数据仓库,“数据仓库是作为DSS服务基础的分析型DB，用于存放大容量的只读数据，为制定决策提供所需的信息” “数据仓库是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的、面向主题及不可更新的数据集合。” 数据仓库将分布在企业网络中不同信息岛上的业务数据集成到一起，存储在一个单一的集成关系型数据库中，利用这种集成信息，可方便用户对信息的访问，更可使决策人员对一段时间内的历史数据进行分析，研究事物发展走势 数据仓库之父W.H.Inmon：”数据仓库是集成的面向主题的数据库集合，用于支持决策支持功能，其中每个数据单位都与时间相关。”,操作型数据与分析型数据的区别,数据仓库的四个基本特征,数据是面向主题的 什么是主题（是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象） 面向主题的数据组织方式（是在较高层次上对分析对象的数据的完整、一致的描述，能完整、统一地刻画各个分析对象所涉及地企业的各项数据以及数据之间的联系） 数据是集成的 数据不可更新 数据随时间不断变化,面向应用进行数据组织的特点,对相关组织、部门进行调查，收集数据库的基础数据及其处理过程，重点在于数据和处理 反映一个部门内数据的动态特征，即表达数据流程 数据库中的数据模式与实际业务中的数据有很好的对应关系 数据的组织方式没有体现数据库的原本意图数据与处理的分离。,面向主题的数据组织,抽取主题 确定每个主题所应包含的数据内容。,大 纲 什么是数据挖掘 数据挖掘的标准流程：CRISPDM 数据挖掘工具SPSS Clementine简介,第一部分：什么是数据挖掘？,数据挖掘都干了些什么？,英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。,使直邮的回应率提高了100,数据挖掘都干了些什么？,GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。,通过数据挖掘的方法使库存成本比原来减少了3.8%,数据挖掘都干了些什么？,汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。,营销费用减少了30,数据挖掘都干了些什么？,美国国防财务部需要从每年上百万比的军火交易中发现可能存在的欺诈现象。,发现可能存在欺诈的交易，进行深入调查，节约了大量的调查成本,数据挖掘都干了些什么？,美国国内税务局需要提高对纳税人的服务水平。,合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务,通过数据挖掘您可以,发现最有价值的客户,通过数据挖掘您可以,使组合销售更有效率,通过数据挖掘您可以,留住那些最有价值的客户,通过数据挖掘您可以,用更小的成本发现欺诈现象,通过采用自动或半自动的手段，在海量数据中发现有意义的行为和规则的探测和分析活动。 数据挖掘能够帮助你选择正确瞄准潜在目标，向现有的客户提供额外的产品，识别那些准备离开的好客户。,什么是数据挖掘,电信 ：流失 银行：聚类（细分）, 交叉销售 百货公司/超市：购物篮分析 （关联规则） 保险：细分，交叉销售，流失（原因分析） 信用卡： 欺诈探测，细分 电子商务： 网站日志分析 税务部门：偷漏税行为探测 警察机关：犯罪行为分析 医学： 医疗保健,数据挖掘应用领域,数据挖掘效益分析(直邮） (Big Bank & Credit Card Company),目的：发现新客户,第二部分：数据挖掘标准流程 CRISP-DM,CRISPDM简介,CRISPDM是CRoss-Industry Standard ProcessData Mining的缩写 由SPSS、NCR、Daimler-Benz在1996年制定 CRISP是当今数据挖掘业界通用流行的标准之一 它强调数据挖掘在商业中的应用，解决商业中存在的问题，而不是把数据挖掘局限在研究领域,CRISPDM,商业理解 数据理解 数据准备 建立模型 模型评估 模型发布,商业理解（Business Understanding),找问题确定商业目标 对现有资源的评估 确定问题是否能够通过数据挖掘来解决 确定数据挖掘的目标 制定数据挖掘计划,数据理解(Data Understanding),确定数据挖掘所需要的数据 对数据进行描述 数据的初步探索 检查数据的质量,数据准备(Data Preparation),选择数据 清理数据 对数据进行重建 调整数据格式使之适合建模,建立模型（Modeling),对各个模型进行评价 选择数据挖掘模型 建立模型,模型评估(Evaluation),评估数据挖掘的结果 对整个数据挖掘过程的前面步骤进行评估 确定下一步怎么办？是发布模型？还是对数据挖掘过程进行进一步的调整，产生新的模型,模型发布（Deployment）,把数据挖掘模型的结果送到相应的管理人员手中 对模型进行日常的监测和维护 定期更新数据挖掘模型,数据挖掘和数据仓库的关系,数据仓库和数据挖掘的区别,数据挖掘大部分需要把数据从数据仓库中抽出 数据挖掘也可以通过把几个事务数据库导入一个只读数据库中进行数据挖掘,数据挖掘和在线分析处理（OLAP）的关系,OLAP是先建立一个假设，然后证实或者推翻这个假设，是演绎推理的过程 数据挖掘通过探索和寻找模型，是归纳的过程 二者具有互不性， OLAP通过对数据的深层分析使数据挖掘更为有效,数据挖掘的基本方法,数据挖掘技术和算法 数理统计方法 决策树：分类 神经网络：聚集，偏差分析 归纳逻辑程序 遗传算法 模糊逻辑 约略集rough set concept learning概念学习 简单的基于规则的推理,数理统计与数据挖掘,数据挖掘的本质是很偶然的发现非预期但很有价值的信息，其过程本质上是实验性的 数据挖掘是几门学科的综合 ，当然包括数理统计 数理统计的核心问题就是在观察了样本的情况下如何去推断总体,数理统计的几个常用的方法,回归分析 聚类分析 主成分分析,回归分析,数据挖掘的软件实现,第三部分：数据挖掘工具 SPSS Clementine简介,Make a difference with the predictive power of data mining,应用Clementine达到你数据挖掘的目标,图形化的界面、数据流的形式建立模型，保证了应用Clementine进行数据挖掘关注商业更甚于关注技术本身 开放式的技术是更好的保护您的投资的保障 高度的扩展性保证对数据库中大量的数据进行挖掘 业界领先的发布技术使数据挖掘结果更好的传递到相应管理人员手中,把你的商业经验溶入数据挖掘过程是数据挖掘成功的关键,丰富的数据挖掘算法,Prediction Neural net, C5.0 Classification Neural net, C5.0 Segmentation Kohonen, Kmeans, C5.0 Association Apriori, GRI, Web graph Sequence CaprI, Neural Net, Regression,与SPSS及AnswerTree无缝集成提供更多的算法,Logistic Regression Discriminant Analysis Factor Analysis Many more.,C&RT CHAID Exhaustive CHAID QUEST,使你在数据仓库上的投资得到最大的回报,Sybase DB2 Informix OpenIngress Oracle SQL Server,+ ODBC drivers for others + ODBC socket for native drivers,开放的建模性能,在Clementine中通过CEMI加入新的算法,Clementine的系统结构,Clementine Server delivers huge performance gains,Generating a distribution graph 995 seconds when processed on the desktop 69 seconds when processed on the server 19 seconds when pushed back into the database,In-database processing delivers better performance as data sets get larger,Selecting cases seconds required for millions of records when processed on the server v. in the database,Clementine Server cuts model building time up to 90%,Model b