第2章数据仓库的数据存储与处理

1、2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘1第第2章章 数据仓库数据仓库的数据存储与处理的数据存储与处理 谢红侠2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘22.1 数据仓库的三层数据结构数据仓库的三层数据结构 2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘32.2 数据仓库的数据特征数据仓库的数据特征 l状态数据与事件数据状态数据与事件数据 l当前数据与周期数据当前数据与周期数据 l数据仓库中的元数据数据仓库中的元数据 2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘4

2、2.3 数据仓库的数据数据仓库的数据etl过程过程 letl概念概念letl过程前后数据的特征过程前后数据的特征 l数据的数据的etl过程描述过程描述 l抽取（抽取（capture/extract） l清洗（清洗（scrub/cleanse） l转换（转换（transform） l加载和索引（加载和索引（load/index）2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘5etl的概念的概念l数据数据etl是用来实现异构数据源的数是用来实现异构数据源的数据集成，即完成数据的抓取据集成，即完成数据的抓取/抽取抽取（capture/extract）、清洗（）、清洗（s

3、crub o r d a t a c l e a n s i n g ） 、 转 换） 、 转 换（transform）、装载与索引（）、装载与索引（load and index）等数据调和工作）等数据调和工作 2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘6数据的数据的etl过程描述过程描述 2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘7数据数据etl过程的实施要点过程的实施要点 letl过程是一个数据流动的过程，中过程是一个数据流动的过程，中间的间的“t”（转换）是关键（转换）是关键 ；letl工具的选择非常重要，运用合适工具的

4、选择非常重要，运用合适的工具会事半功倍的工具会事半功倍 ；l如何保证数据质量？数据质量在一定如何保证数据质量？数据质量在一定程度上决定了数据仓库的价值程度上决定了数据仓库的价值 。2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘82.4 多维数据模型和星模式多维数据模型和星模式 l多维数据模型及其相关概念多维数据模型及其相关概念 l多维数据模型的物理实现多维数据模型的物理实现 l多维建模技术简介多维建模技术简介 l一个星模式的例子一个星模式的例子 2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘9多维数据模型及其相关概念多维数据模型及其相

5、关概念 l有关多维数据模型的几个概念：维、有关多维数据模型的几个概念：维、维类别、维属性、度量、粒度及分维类别、维属性、度量、粒度及分割等割等 l关于数据综合级别与粒度的确定关于数据综合级别与粒度的确定:一般把数据分成四个级别：早期细一般把数据分成四个级别：早期细节级、当前细节级、轻度综合级、节级、当前细节级、轻度综合级、高度综合级高度综合级 2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘10多维数据模型的物理实现多维数据模型的物理实现 l多维数据库（多维数据库（mddb）,其数据是存其数据是存储在大量的多维数组中，而不是关储在大量的多维数组中，而不是关系表中系表

6、中 ,与之相对应的是多维联机分与之相对应的是多维联机分析处理（析处理（molap） l关系数据库是存储关系数据库是存储olap数据的另一数据的另一种主要方式。与之对应的是关系联种主要方式。与之对应的是关系联机分析处理（机分析处理（rolap） 2021-10-252021-10-25数据仓库与数据挖掘数据仓库与数据挖掘11多维建模技术简介多维建模技术简介 l两种主流建模技术两种主流建模技术 :由由inmon提出的提出的企业级数据仓库模型和由企业级数据仓库模型和由kimball提提出的多维模型出的多维模型 ；l 基于关系数据库的多维数据建模，如基于关系数据库的多维数据建模，如星型星型,雪花和事实星座模式；