数据挖掘系统研究报告课件

1、数据挖掘系统研究报告报告人：朱建秋 2001年10月08日提纲数据挖掘概述数据挖掘文化数据挖掘过程数据挖掘系统数据挖掘系统的发展趋势实验室研究方向数据挖掘概述本文观点来自Robert Grossman 关于作者：the President of Magnify, Inc. (Chicago, Ill.) and the Director of the National Center for Data Mining at the University of Illinois at Chicago. He has been a leader in the development of high-p

2、erformance and wide area data mining systems for over 10 years. 数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构 数据挖掘大部分的价值在于利用数据挖掘技术改善预言模型 数据挖掘文化举例说明假设移动电话用户根据其转换到其他通信公司的风险，被分成低、中、高三组一个数据挖掘系统可能抽取出一条规则，比如：“一天至少接到两个电话的用户有低的更换率”。继续这个例子，一个预言模型可能给每个用户分配两个分数：一个分数在0和1之间，表示用户可能更换通信公司的概率，另一个暗示该用户在下一年可能会给公司带来的利润。 数据挖掘过程步骤步骤

3、名称 描述 1数据仓库Data Warehouse数据仓库管理用于决策支持的数据。在该步骤内，数据从操作型系统以及第三方的数据源聚集、清洗、以及转换到数据仓库中，供决策分析使用。 2数据挖掘Data Mining在这个步骤中，数据从数据仓库抽取出来，用来产生预言模型或者规则集。该步骤可以自动化。 3预言模型Predictive Modeling在该步骤内，为了产生一个优化的模型，一个或多个预言模型被选择或者联合。这些预言模型可能从数据挖掘系统产生，也可能从统计模型中产生，或者通过第三方购买 。4预言记分Predictive Scoring在这个步骤中，选择的预言模型对操作型数据或者交易数据进行

4、记分（score） 。 数据挖掘系统代特征数据挖掘算法集成分布计算模型数据模型第一代数据挖掘作为一个独立的应用支持一个或者多个算法 独立的系统单个机器向量数据第二代和数据库以及数据仓库集成多个算法：能够挖掘一次不能放进内存的数据数据管理系统，包括数据库和数据仓库同质/局部区域的计算机群集有些系统支持对象、文本、和连续的媒体数据第三代和预言模型系统集成 多个算法数据管理和预言模型系统intranet/extranet网络计算支持半结构化数据和web数据第四代和移动数据/各种计算数据联合 多个算法数据管理、预言模型、移动系统移动和各种计算设备普遍存在的计算模型数据挖掘系统第一代数据挖掘系统 支持一

5、个或少数几个数据挖掘算法，这些算法设计用来挖掘向量数据（vector-valued data），这些数据模型在挖掘时候，一般一次性调进内存进行处理。许多这样的系统已经商业化。第二代数据挖掘系统 目前的研究，是改善第一代数据挖掘系统，开发第二代数据挖掘系统。第二代数据挖掘系统支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性。例如，第二代系统能够挖掘大数据集、更复杂的数据集、以及高维数据。这一代系统通过支持数据挖掘模式（data mining schema）和数据挖掘查询语言（DMQL）增加系统的灵活性。 数据挖掘系统接口第二代数据挖掘系统提供数据仓库和数据挖掘系统之间的有效的接口

6、第三代系统另外还提供数据挖掘系统和预言模型系统之间的有效的接口 数据管理系统和数据挖掘之间的接口，可以作为如何标记合适的数据挖掘原语的一个研究问题。数据挖掘原语能够在数据仓库或者数据库内部执行以改善数据挖掘系统的性能。 PMML是数据挖掘系统与预言模型系统之间的一个标准接口。 数据挖掘系统实施策略如果使用多个预言模型，或者预言模型需要经常修改，那么应该选择正在出现的第三代数据挖掘系统，以支持这些功能，当然第三代系统也能与数据库或者数据仓库集成。第三代数据挖掘系统和预言模型系统的一个重要的优点是由数据挖掘系统产生的预言模型能够自动地被操作型系统吸收，从而与操作型系统中的预言模块相联合提供决策支持的功能。 目前在公司的日常营运中，移动计算越发显得重要，第四代数据挖掘系统能够在这儿起关键的作用。将数据挖掘和移动计算相结合是当前的一个研究领域。 第一代数据挖掘系统仍然未发展完全，第二代、第三代数据挖掘系统已经出现。目前