计算机网络与信息系统集成调研报告

1、计算机网络信息系统集成课程研究报告姓 名：阳 涛学 院：湖北工业大学班 级：控制工程班学 号： 520130114时 间： 2013 年 8 月 12 日10基于数据仓库的数据挖掘技术分析研究摘要基于数据仓库的数据挖掘技术是一种对数据仓库中的数 据进行深层次的加工和处理的过程 ,也是一种实现数据仓库 决策价值的方法和工具。文中分析了数据仓库、数据挖掘等 概念 ,并结合数据挖掘在实际决策支持系统中的应用 ,说明了 数据挖掘的基本方法、主要过程以及发展方向。关键词 ：仓库，储存，数据采集目录摘 要 错误！未定义书签。目 录 3引 言 41 数据仓库及其体系结构 52 基于数据仓库的数据挖掘技术 6

2、 3数据挖掘在实际决策支持系统中的应用 84.结束语 9参考文献 10引言随着数据库技术的广泛应用 ,以及人们对当今社会信息 的高层次需求 ,以事务处理为核心、 支持业务操作环境与平台 的数据库技术已不能适应人们在分析和决策层次上的需要。 为了有效地为企业和政府的管理与决策过程提供重要的信 息,需要根据决策的需要收集来自企业内外的有关数据,并加以适当的组织处理 ,以形成一个综合的面向决策的环境。1 数据仓库及其体系结构20 世纪 90 年代初期 ,W.H.Inmon 在 5Building the Data Warehouse6 一书中第一次提出了数据仓库 (Data Warehouse,简称

3、DW)的概念併将它定义为：面向主题的、集 成的、与时间相关的、稳定的数据集合。所谓面向主题 ,是指 按主题来组织数据 ,按不同的决策和分析来综合和归并数据 ; 所谓集成 ,是指将来自不同数据库中的数据进行统一和综合 ; 所谓与时间相关是指可以根据决策的需要不断地添加一些 新的数据 ,删除一些旧的数据 ;所谓稳定是指集成以后的数据 在内容上保持较长时间的不变。与传统数据库显著不同的是 , 数据仓库是一种服务于 高层决策的数据库 ,它不仅采集、 组织和存储大量的来自地理 位置分散、 构造各异的信息源的数据 ,而且还通过对这些历史 数据的加工和变换 ,得到一系列用于决策分析的数据 ,利用这些数据可以

4、更好地为用户提供决策支持。其次,数据仓库是一种面向主题的数据库，它按主题来组织数据，按决策和分析的 需要来提炼和净化数据。另外,数据仓库是一种包含历史数据 的数据库,其中的数据不仅用于检索等基本操作 ，还用于分析 整个组织的运行状态，以及未来的发展趋势。构建数据仓库的关键是ETL(Extract,Transform,Loading)技术，即如何准确、安全、可靠地从各种不同的业务 数据库中抽取数据并经转换、清洗以及集成后载入数据仓Vk*IL- 库。自数据仓库的概念提出以后界上不少著名的计算机公司(如IBM,Oracle等)都纷纷对此展开深入的研究，并相继提 出各自的研究方案。虽然这些方案各有特色

5、，但基本的框架一载入数据工所示)。般都是通过数据采源的数据集成并数据丈件数据飜图1.数据仓库基本框架图(1) 数据源。可以为普通的业务数据库，也可以是特定的数据文件或其他的数据源。(2) 数据采集和处理。负责从各数据源中抽取数据，并经转换、集成后载入数据仓库。(3) 数据仓库。存储两类数据。一类是元数据，它是数据仓库的基本构成单元，主要用于记录数据的结构以及数据 仓库的变化；另一类是实视图，它是供决策人员分析处理用的 数据。(4) 应用。主要是服务于决策的在线分析 (On-Line Analytical Processing, 简称 OLAP) 和数据挖掘 (Data Mining, 简称 D

6、M) 。由上述基本框架图可以看出 ,数据仓库不是一种软件 产品 ,而是一种综合的解决方案。 它将原始的数据处理并转换 成服务于决策的综合数据 ,并提供一组功能强大的分析工具 对其进行多层次、 多方位的分析处理。 其次 ,数据仓库要提供 高质量的数据和服务 ,必须注意数据的一致性、 完整性、 准确 性以及可用性。现有的数据仓库模型未能充分考虑到这一 点。通过扩展元数据库的方式 ,在元数据库中融入质量维度的 质量模型 ,建立系统化的测量和提高数据质量的方法体系,可以较好地解决数据仓库的质量问题。2 基于数据仓库的数据挖掘技术 构建数据仓库的最终目标是为了从各类海量数据中 提取出对有关决策和管理活动

7、具有重要指导意义的规律性 知识。但是 ,由于各类数据是分散于若干业务数据库或其他数 据源中 ,因此,要得到对各类决策分析有用的知识 ,必须具有相 应的从海量数据中提取价值信息的工具。数据挖掘就是用来 挖掘价值信息的工具。数据挖掘这一概念是由 G.Piatetsky-Shapior,W.J.Frawley 等人在 1989 年 8 月召开 的第 11 届国际人工智能学术会议上提出的。它是数据库技 术和人工智能、 数理统计等学科相结合的产物 ,是一个多学科 相互交叉的具有广泛应用前景的新兴研究领域,并利用人工智能和数理统计中一些较成熟的方法和技术，如规则推理、人工神经网络、决策树、邻近搜索等。因此

8、，也有人把它称为数据库中的知识发现(Knowledge Discovery in Database, 简称 KDD)。对数据挖掘这一概念的定义 ，一般认为是一种从大量 数据中获取潜在规律和知识的方法和技术，是一个从大量数据中发掘潜在的、新颖的、可用的以及最终可理解的模式的 咼级过程。面向主题、数据集成、与时间相关以及稳定是数据仓库区别于数据库的显著特点，实现决策支持是数据仓库的最终应用目标，而数据挖掘则是实现数据仓库最终目标的有数据仓库密不可分。力工具。因此，在实际应用中L * ，十I . j 数据仓库是数据挖掘的基础和平颌识申为数据挖掘提供必要的 数据准备,数据挖掘则是在数据仓库的基础上进一

9、步发掘对 实际决策过程有益的知识和信息。i数据挖掘系统的基本理一2所示。wor s图2.数据挖掘系统结构图(1) 数据采集与处理。根据数据挖掘的目标，从数据仓库中选取相关的数据集合，并对其进行数据一致性和数据完 整性的检查。(2) 知识库。主要用于数据挖掘和知识评价。利用知 识库中提供的有关知识，可以指导数据挖掘过程中的搜索操作,以及评价挖掘所得的结果数据 (这些数据可以是概念，也可 以是规则或模式 )的兴趣度。(3) 数据挖掘。主要是对数据仓库中提取的有关数据 进行聚类、估值、分类、预言、关联和描述等分析处理。a. 聚类。将相似的数据置于一类 ,目的在于描述数据 的共同特征。b. 估值。处理

10、未知连续变量的输出。c. 分类。 描述离散变量的输出。 典型的有线形回归分 类、决策树分类、基于规则的分类以及神经网络分类等。d. 预言。通过估值或分类得到模型 ,以用于未来未知 变量的评估。e. 关联。挖掘数据或特征间的内在联系。f. 描述。表示数据挖掘的结果。(4) 知识评价。以兴趣度作为衡量标准来查找和选择 对最终决策活动有益的知识 ,并以概念、规则、规律、模式、 约束或可视化的形式来表示结果知识。基于数据仓库的数据 挖掘是一种对数据仓库中的数据进行深层次的加工和处理 过程 ,也是一种实现数据仓库决策价值的方法和工具。通过对数据仓库中大量历史数据的更高层次的抽象 ,不仅反映了数 据间的内

11、在联系和特性 ,同时也获得了许多直接用于决策分 析的有用信息。3 数据挖掘在实际决策支持系统中的应用数据挖掘是在数据仓库的基础上进行的深层的数据 分析过程 ,它能揭示大量数据中隐含的、 潜在的、 有用的和感 兴趣的信息 ,并为用户提供较好的决策支持。自数据仓库和数据挖掘技术出现至今 ,许多大公司、 大企业纷纷构建自己的数据仓库 ,并通过对数据仓库中大量 历史数据的挖掘 ,得到许多有用的信息 ,以支持企业内部的生 产经营管理过程中的决策控制。实际的数据挖掘过程一般包 括以下几个步骤 :(1) 了解行业背景 ,熟悉基本数据 ;(2) 确定数据挖掘的目标 ;(3) 选取数据仓库中相应的数据集合 ;(

12、4) 给出合适的挖掘算法 ;(5) 进行实际的数据挖掘 ;(6) 对所得的结果知识进行评价并输出。目前 ,数据挖掘的主要应用领域有 :市场分析和预测 ; 生产过程优化 ;股票分析和预测 ;金融风险分析 ;气象预报等。 例如 ,针对本单位的人力资源管理需要 ,构建本单位的人力资 源数据仓库 ,并利用选择树分类器对其进行数据挖掘。 针对旅 游业的管理需要 ,构建旅游业数据仓库 ,并利用决策树分类器 挖掘其中的深层次规则。 针对零售连锁业的发展需要 ,构建连 锁超市数据仓库 ,并通过对其进行数据挖掘实现连锁超市销 售分析与预测。虽然这些基于数据仓库和数据挖掘技术的实际决策 支持系统的设计各有特色 ,但其基本的框架可以用一个简单 的模型来刻画 ,如图 3 所示。图3.决策支持系统模型图在实现实际的决策支持系统时，系统首先通过数据采 集与加工模块将各数据源中数据载入数据仓库，然后各用户再通过数据挖掘和在线分析来分析处理来自数据仓库的数 据，并得到一系列用于实际决策过程的有用知识和信息。其中,数据挖掘是系统的核心部件，是决定数据仓库决策价值的关 键环节。4结束语数据挖掘是一个基于数据仓库的有效的辅助决策支持工具,利用它可以发现数据仓库中许多未知的、