高级数据库技术1

第二十讲

数据仓库、联机分析处理和数据挖掘1 学完本讲后，你应该能够了解：数据仓库的定义；数据仓库的特点是：面向主题的、集成的、非易失的和随时间变化的；OLAP的特点和基本操作:上钻（drillup）、下钻(drilldown)、切片(slice)、切块（dice）和旋转（Pivot，rotate)OLAP的三种实现方式：ROLAP，MOLAP，HOLAP数据挖掘的定义及与传统知识处理技术的不同本讲主要目标武汉大学国际软件学院2

一．数据仓库的定义和特点 二．数据仓库的体系结构 三．OLAP概述 四．OLAP的基本操作 五．OLAP的实现方法 六.数据挖掘概述内容提纲武汉大学国际软件学院3数据仓库的定义和特点武汉大学国际软件学院4数据仓库的定义和特点 世界公认的数据仓库概念创始人W.H.Inmon在《数据仓库》（BuildingtheDataWarehouse）一书中对数据仓库的定义是：数据仓库就是面向主题的、集成的、非易失的（稳定性）、随时间变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。武汉大学国际软件学院5数据仓库的定义和特点数据仓库的特点面向主题的集成的随时间变化的非易失的数据仓库武汉大学国际软件学院6数据仓库的定义和特点面向主题的OLTP应用客户财务信息数据仓库主题资产股票保险贷款储蓄武汉大学国际软件学院7数据仓库的定义和特点集成的

数据仓库OLTP应用SavingsCurrentaccountsLoansCustomer武汉大学国际软件学院8数据仓库的定义和特点集成的武汉大学国际软件学院9数据仓库的定义和特点非易失的数据仓库ReadInsert ReadUpdateDeleteLoadOLTP武汉大学国际软件学院10数据仓库的定义和特点非易失的OperationalDatabasesWarehouseDatabaseFirsttimeloadRefreshRefreshRefreshPurgeorArchive武汉大学国际软件学院11数据仓库的定义和特点随时间变化的01/9702/9703/97JanuaryFebruaryMarch数据仓库TimeData199719971997武汉大学国际软件学院12数据仓库的定义和特点随时间变化的武汉大学国际软件学院13数据仓库的体系结构武汉大学国际软件学院14数据仓库的体系结构数据仓库的数据结构高度综合级轻度综合级当前细节级早期细节级集成转换DSS映射元数据DB分析工具数据仓库的多粒度数据组织武汉大学国际软件学院15数据仓库的体系结构数据仓库的体系结构多维数据OLAP工具相关数据集DM工具DBDBMSOLTPDWDWMS查询武汉大学国际软件学院16OLAP概述武汉大学国际软件学院17OLAP概述什么是OLAP？OLAP是针对特定问题的联机数据访问和分析。通过对信息（这些信息已经从原始的数据进行了转换，以反映用户所能理解的企业的真实的“维”）的很多可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察武汉大学国际软件学院18OLAP概述维（Dimension）维是人们观察数据的特定角度。例如，企业常常关心产品销售随着时间推移而产生的变化的情况，这时他是从时间的角度来观察产品的销售，所以时间就是一个维（时间维）。企业也常常关心自己的产品在不同地区的销售分布情况，这时他是从地理分布的角度来观察产品的销售，所以地理分布也是一个维（地理维）。武汉大学国际软件学院19OLAP概述维的层次人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的多个描述方面，我们称这个描述方面为维的层次。一个维往往具有多个层次，例如:描述时间维时，可以从日期、月份、季度、年等不同层次来描述，那么日期、月份、季度、年等就是时间维的层次；同样，城市、地区、国家就构成了一个地理维的多个层次。武汉大学国际软件学院20OLAP概述维成员维的一个取值就称为该维的一个维成员。如果一个维是多层次的，那么该维的维成员就是不同维层次的取值的组合。例如，考虑时间维具有日期、月份、年这三个层次，分别在日期、月份、年上各取一个值组合起来，就得到时间维的一个维成员，即“某年某月某日”。武汉大学国际软件学院21OLAP概述OLTP与OLAP的差异武汉大学国际软件学院22OLAP的基本操作武汉大学国际软件学院23OLAP的基本操作钻取：在一个维内部沿着层次从上到下或从下到上的方向考察数据上钻（Drillup）下钻(Drilldown)切片/切块（Sliceanddice）固定某些维成员，对其它维进行考察旋转（Pivot，rotate) 按不同顺序组织各个维，对结果进行考察武汉大学国际软件学院24OLAP的基本操作一个OLAP操作实例：武汉大学国际软件学院25OLAP的基本操作钻取（Dillup/Drilldown）：武汉大学国际软件学院26OLAP的基本操作切片武汉大学国际软件学院27OLAP的基本操作旋转按不同顺序组织各个维，对结果进行考察时间产品财务指标财务指标产品时间武汉大学国际软件学院28OLAP的实现方法武汉大学国际软件学院29OLAP的实现方法OLAP服务器的实现方法关系OLAP(ROLAP)多维OLAP(MOLAP)混合OLAP(HOLAP)OLAPServeruserWarehouse??武汉大学国际软件学院30OLAP的实现方法OLAP服务器的特征查询性能空间占用分析查询能力武汉大学国际软件学院31OLAP的实现方法ROLAP服务器的原理OLAPServeruserWarehouseDatacacheLivefetchCacheQueryData武汉大学国际软件学院32OLAP的实现方法MOLAP服务器的原理OLAPServeruserWarehouseQueryDataMDDBPeriodicload武汉大学国际软件学院33OLAP的实现方法HOLAP服务器的原理OLAPServeruserWarehouseFetch,cacheMDDBandcachePeriodicloadQueryData武汉大学国际软件学院34数据挖掘概述武汉大学国际软件学院35数据挖掘概述为什么需要数据挖掘？数据挖掘VLDB太多数据有价值的知识武汉大学国际软件学院36数据挖掘概述数据挖掘的定义 就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,识别出有效的、新颖的、潜在有用的，以及最终可理解的模式（或知识）的非平凡过程。 需要指出的是,这里所说的知识,不是放之四海而皆准的真理，而是相对的。武汉大学国际软件学院37数据挖掘概述数据挖掘是多学科的交叉数据挖掘数据库技术统计学其他学科信息科学机器学习可视化武汉大学国际软件学院38数据挖掘概述数据挖掘与数据仓库的关系数据挖掘是数据仓库发展的必然结果数据仓库为数据挖掘提供应用基础武汉大学国际软件学院39Questions?武汉大学国际软件学院40 学完本讲后，你应该能够了解：数据仓库的定义；数据仓库的特点是：面向主题的、集成的、非易失的和随时间变化的；OLAP的特点和基本操作:上钻（drillup）、下