第4章数据仓库设计A

1、24.1 数据仓库分析与设计4.2 数据仓库开发4.3 数据仓库技术与开发的困难内容安排内容安排需求分析数据装载信息查询概念设计逻辑设计物理设计数据抽取数据转换知识探索数据仓库增长数据仓库维护数据仓库评估决策支持数据获取分析与设计维护与评估数据仓库开发过程数据仓库开发过程4工具介绍工具介绍94.1数据仓库分析与设计4.1.1 需求分析4.1.2 概念模型设计4.1.3 逻辑模型设计4.1.4 物理模型设计4.1.5 数据仓库的索引技术104.1.1 需求分析1.确定主题域2.支持决策的数据来源3.数据仓库的成功标准和关键性能指标4.数据量与更新频率111.确定主题域确定主题域（1）明确对于决策

2、分析最有价值的主题领域）明确对于决策分析最有价值的主题领域有哪些？有哪些？（2）每个主题域的商业维度是哪些？每个维）每个主题域的商业维度是哪些？每个维度的粒度层次有哪些？度的粒度层次有哪些？（3）制定决策的商业分区是什么？）制定决策的商业分区是什么？（4）不同地区需要哪些信息来制定决策？）不同地区需要哪些信息来制定决策？（5）对哪个区域提供特定的商品和服务？）对哪个区域提供特定的商品和服务？122.支持决策的数据来源支持决策的数据来源（1）哪些源数据（操作型）与商品主题有关？）哪些源数据（操作型）与商品主题有关？（2）在已有报表和在线查询中得到什么样的）在已有报表和在线查询中得到什么样的信息？

3、信息？（3）提供决策支持的细节程度是怎样的？）提供决策支持的细节程度是怎样的？133.数据仓库的成功标准和关键性能指标数据仓库的成功标准和关键性能指标（1）衡量数据仓库成功的标准是什么？）衡量数据仓库成功的标准是什么？（2）哪些关键的性能指标？如何监控？）哪些关键的性能指标？如何监控？（3）对数据仓库的期望是什么？）对数据仓库的期望是什么？（4）对数据仓库的预期用途有哪些？）对数据仓库的预期用途有哪些？（5）对计划中的数据仓库的考虑要点是）对计划中的数据仓库的考虑要点是什么？什么？144.数据量与更新频率数据量与更新频率（1）数据仓库的总数据量有多少？）数据仓库的总数据量有多少？（2）决策支持

4、所需的数据更新频率是多少？）决策支持所需的数据更新频率是多少？时间间隔是多长时间间隔是多长?（3）每种决策分析与不同时间的标准对比如）每种决策分析与不同时间的标准对比如何？何？（4）数据仓库中的信息需求的时间界限是什）数据仓库中的信息需求的时间界限是什么？么？15通过需求分析，需要的数据包括：通过需求分析，需要的数据包括：1.数据源数据源（1）可用的数据源）可用的数据源（2）数据源的数据结构）数据源的数据结构（3）数据源的位置）数据源的位置（4）数据源的计算机环境）数据源的计算机环境（5）数据抽取过程）数据抽取过程（6）可用的历史数据）可用的历史数据2.数据转换数据转换数据仓库中的数据是为决策

5、分析服务，而源数据仓库中的数据是为决策分析服务，而源系统的数据为业务处理服务。系统的数据为业务处理服务。需要决定如何正确地将这些源数据转换成适需要决定如何正确地将这些源数据转换成适合数据仓库存储的数据。合数据仓库存储的数据。 3.数据存储数据存储数据仓库所需要的数据的详细程度，包括数据仓库所需要的数据的详细程度，包括足够的关于存储需求的信息，估计数据仓足够的关于存储需求的信息，估计数据仓库需要多少历史和存档数据。库需要多少历史和存档数据。4.决策分析决策分析（1）向下层钻取分析）向下层钻取分析（2）向上层钻取分析）向上层钻取分析（3）横向钻取分析）横向钻取分析（4）切片分析）切片分析（5）特别

6、查询报表）特别查询报表需求分析简单举例：需求分析简单举例：204.1.2概念模型设计概念模型设计概念模型的特点是：概念模型的特点是：（1）能真实反映现实世界，能满足用户对数据的分）能真实反映现实世界，能满足用户对数据的分析，达到决策支持的要求，它是现实世界的一个析，达到决策支持的要求，它是现实世界的一个真实模型。真实模型。（2）易于理解，便利和用户交换意见，在用户的参）易于理解，便利和用户交换意见，在用户的参与下，能有效地完成对数据仓库的成功设计。与下，能有效地完成对数据仓库的成功设计。（3）易于更改，当用户需求发生变化时，容易对概）易于更改，当用户需求发生变化时，容易对概念模型修改和扩充。念

7、模型修改和扩充。（4）易于向数据仓库的数据模型（星型模型）转换。）易于向数据仓库的数据模型（星型模型）转换。概念模型最常用的表示方法是实体关系法（概念模型最常用的表示方法是实体关系法（e-r法）。法）。ne-r图描述的是实体以及实体之间的联系，图描述的是实体以及实体之间的联系，n用长方形表示实体，在数据仓库中就表示主题，椭用长方形表示实体，在数据仓库中就表示主题，椭圆形表示主题的属性，并用无向边把主题与其属性圆形表示主题的属性，并用无向边把主题与其属性连接起来；连接起来；n用菱形表示主题之间的联系，用无向边把菱形分别用菱形表示主题之间的联系，用无向边把菱形分别与有关的主题连接。与有关的主题连接

8、。n若主题之间的联系也具有属性，则把属性和菱形也若主题之间的联系也具有属性，则把属性和菱形也用无向边连接上。用无向边连接上。例子例子有两个主题：商品和客户，主题也是实体。有两个主题：商品和客户，主题也是实体。商品有如下属性组：商品有如下属性组：n商品的固有信息（商品号、商品名、类别、价格等）；商品的固有信息（商品号、商品名、类别、价格等）；n商品库存信息（商品号、库房号、库存量、日期等）；商品库存信息（商品号、库房号、库存量、日期等）；n商品销售信息（商品号、客户号、销售量等）；商品销售信息（商品号、客户号、销售量等）；客户有如下属性组：客户有如下属性组：n客户固有信息（客户号、客户名、住址、

9、电话等）；客户固有信息（客户号、客户名、住址、电话等）；n客户购物信息（客户号、商品号、售价、购买量等）。客户购物信息（客户号、商品号、售价、购买量等）。n商品的销售信息与用户的购物信息是一致的，它们是两个主商品的销售信息与用户的购物信息是一致的，它们是两个主题之间的联系。题之间的联系。商品商品固有信息商品号商品库存信息销 售 信息购物信息 客户客户固有信息客户号=244.1.3逻辑模型设计逻辑模型设计n主要工作为：主要工作为：（1）主题域进行概念模型（）主题域进行概念模型（er图）到逻辑模图）到逻辑模型（星型模型）的转换型（星型模型）的转换（2）粒度层次划分）粒度层次划分（3）关系模式定义）

10、关系模式定义（4）定义记录系统）定义记录系统251、主题域进行概念模型到逻辑模型的转换、主题域进行概念模型到逻辑模型的转换n星型模型的设计步骤如下：星型模型的设计步骤如下：（1）确定决策分析需求）确定决策分析需求n决策需求是建立多维数据模型的依据。（2）从需求中识别出事实）从需求中识别出事实n选择或设计反映决策主题业务的表，如在“商品”主题中，以“销售业务”作为事实表。（3）确定维）确定维n确定影响事实的各种因素，对销售业务的维包括商店，地区，部门，城市，时间，商品等，如图4.2所示。26销售数据和维销售数据商品促销时间部门城市地区商店图图4.2 销售业务的多维数据销售业务的多维数据（4 4）

11、确定数据汇总水平确定数据汇总水平 数据仓库中对数据不同粒度的集成和综合，数据仓库中对数据不同粒度的集成和综合，形成了多层次、多种知识的数据结构。例如，对形成了多层次、多种知识的数据结构。例如，对于时间维，可以以于时间维，可以以“年年”、“月月”或者或者“日日”等等不同水平进行汇总。不同水平进行汇总。（5 5）设计事实表和维表）设计事实表和维表 设计事实表和维表的具体属性。在事实表中设计事实表和维表的具体属性。在事实表中应该记录哪些属性是由维表的数量决定的。一般应该记录哪些属性是由维表的数量决定的。一般来说，与事实表相关的维表的数量应该适中，太来说，与事实表相关的维表的数量应该适中，太少的维表会

12、影响查询的质量，用户得不到需要的少的维表会影响查询的质量，用户得不到需要的数据，太多的维表又会影响查询的速度数据，太多的维表又会影响查询的速度。 （6 6）按使用的）按使用的dbmsdbms和分析用户工具，证实和分析用户工具，证实设计方案的有效性设计方案的有效性 根据系统使用的根据系统使用的dbmsdbms，确定事实表和维表的具，确定事实表和维表的具体实现。由于不同的体实现。由于不同的dbmsdbms对数据存储有不同的要对数据存储有不同的要求，因此设计方案是否有效还要放在求，因此设计方案是否有效还要放在dbmsdbms中进行中进行检验检验 （7 7）随着需求变化修改设计方案随着需求变化修改设计

13、方案 随着应用需求的变化，整个数据仓库的数据模随着应用需求的变化，整个数据仓库的数据模式也可能会发生变化。因此在设计之初，充分考式也可能会发生变化。因此在设计之初，充分考虑数据模型的可修改性可以节省系统维护的代价虑数据模型的可修改性可以节省系统维护的代价。从的从的er图转换成星型模型实例说明图转换成星型模型实例说明 （1）业务数据的）业务数据的e-r图图销售销售日期商店号商品号销售数量销售单位商品商品号商品名商品类号存货星期商店号商品号数量1m1m商店商店号商店名地址城市省邮编地区号1mm11商品类商品类号商品类名部门号m1m地区地区号地区名（2）e-r图向多维表的转换图向多维表的转换n该问题

14、的多维表模型中，该问题的多维表模型中，商品维商品维包括部门、包括部门、商品和商品大类，商品和商品大类，地点维地点维包括地区和商店，包括地区和商店，忽略存货，而只注意销售事实。在忽略存货，而只注意销售事实。在e-r图中图中不出现的时间，在多维模型中增加不出现的时间，在多维模型中增加时间维时间维。n在多维模型中，实体与维之间建立映射关系，在多维模型中，实体与维之间建立映射关系，联系多个实体的实体就成为事实，联系多个实体的实体就成为事实，此处销售此处销售实体作为事实，其他实体作为维实体作为事实，其他实体作为维。然后用维。然后用维关键字将它转换为星型模型，如图关键字将它转换为星型模型，如图4.5所示。

15、所示。31商品维地区维时间维部门地区年商品大类商店月商品周日销售事实 e-r图向多维模型的转换图向多维模型的转换 时间 时间键 时间说明 日期 星期 月 年 级别号 销售事实 时间键 地理位置键 商品键 销售数量 销售单位 地区 地理位置键 地理位置名 地区号 商店号 级别号 商品 商品键 商品名 部门号 商品类号 级别号 利用维关键字制定的星型模型利用维关键字制定的星型模型n在各维中，只有部门，商品类，地区，商店在各维中，只有部门，商品类，地区，商店的的编号没有具体的说明编号没有具体的说明。n为了打印报表将为了打印报表将增加这些编号的名称说明增加这些编号的名称说明，即部门名、商店名等，在维表

16、中增加这些说即部门名、商店名等，在维表中增加这些说明，即修改该星型模型。明，即修改该星型模型。 时间 时间键 时间说明 日期 星期 月 年 级别号 销售事实 时间键 地理位置键 商品键 销售数量 销售单位 地区 地理位置键 地理位置名 地区号 地区名 商店号 商店名 级别号 商品 商品键 商品名 部门号 部门名 商品类号 商品类名 级别号 修改后的星型模型修改后的星型模型352、粒度层次划分、粒度层次划分n所谓粒度是指数据仓库中数据单元的详细所谓粒度是指数据仓库中数据单元的详细程度和级别。程度和级别。n数据越详细，粒度越小，层次级别就越低；数据越详细，粒度越小，层次级别就越低；数据综合度越高，

17、粒度越大，层次级别就数据综合度越高，粒度越大，层次级别就越高。越高。 n进行粒度划分，首先要确定所有在数据仓进行粒度划分，首先要确定所有在数据仓库中建立的表，然后估计每个表的大约行库中建立的表，然后估计每个表的大约行数。数。 363、关系模式定义、关系模式定义n在概念模型设计时，我们就确定了数据仓在概念模型设计时，我们就确定了数据仓库的基本主题，并对每个主题的公共码键、库的基本主题，并对每个主题的公共码键、基本内容等做了描述。基本内容等做了描述。n在这一步里，我们将要对选定的当前实施在这一步里，我们将要对选定的当前实施的主题进行模式划分，形成多个表，并确的主题进行模式划分，形成多个表，并确定各

18、个表的关系模式。定各个表的关系模式。 37“商品商品”主题主题公共码键：商品号。公共码键：商品号。n商品固有信息：商品固有信息：n商品表（商品号、商品名、类型、颜色）商品表（商品号、商品名、类型、颜色）细节级细节级商品销售信息：商品销售信息：n销售表销售表1（商品号、客户号、销售量、（商品号、客户号、销售量、）细节级细节级n销售表销售表2（商品号、时间段（商品号、时间段1、销售量、销售量、）综合级综合级n n销售表销售表n（商品号、时间段（商品号、时间段n、销售量、销售量、）综合级综合级384、定义记录系统、定义记录系统n定义记录系统是建立数据仓库中的数据以定义记录系统是建立数据仓库中的数据以

19、源系统中的数据的对照记录。源系统中的数据的对照记录。n记录系统的定义要记入数据仓库的元数据。记录系统的定义要记入数据仓库的元数据。n商品主题的记录系统在元数据中可描述如商品主题的记录系统在元数据中可描述如下表所示。下表所示。39主题名属性名数据源系统源表名源属性名商品商品商品商品商品商品商品商品商品商品号商品名类别客户号销售日期售价销售量库存量库存号库存子系统库存子系统库存子系统销售子系统销售子系统销售子系统销售子系统库存子系统库存子系统商品商品商品客户销售销售销售库存仓库商品号商品名类别客户号日期单价数量库存量仓库号表：记录系统的定义表：记录系统的定义404.1.4 物理模型设计物理模型设计

20、n确定一个最适合应用要求的物理结构（包确定一个最适合应用要求的物理结构（包括存储结构和存取方法）。括存储结构和存取方法）。（1）估计存储容量）估计存储容量（2）确定数据的存储计划）确定数据的存储计划（3）确定索引策略）确定索引策略（4）确定数据存放位置）确定数据存放位置（5）确定存储分配）确定存储分配411.估计存储容量估计存储容量（1）对每一个数据库表确定数据量）对每一个数据库表确定数据量（2）对所有的表确定索引）对所有的表确定索引（3）估计临时存储）估计临时存储422.确定数据的存储计划确定数据的存储计划（1）建立聚集（汇总）计划）建立聚集（汇总）计划（2）确定数据分区方案）确定数据分区方

21、案（3）建立聚类选项）建立聚类选项433.确定索引策略确定索引策略n在数据仓库中由于数据量很大，需要对数据的存在数据仓库中由于数据量很大，需要对数据的存取路径进行仔细设计和选择，建立专用的复杂的取路径进行仔细设计和选择，建立专用的复杂的索引，以获得最高的存取效率。索引，以获得最高的存取效率。n采用采用btree索引，它是一个高效的索引，见图索引，它是一个高效的索引，见图4.7所示。所示。b树是一个平衡（树是一个平衡（balance）树，即每）树，即每个叶结点到根节点的路径长度相同。个叶结点到根节点的路径长度相同。b树索引是树索引是一个多级索引。一个多级索引。444.确定数据存放位置确定数据存放

22、位置n在物理设计时，我们常常要按数据的重要程度、在物理设计时，我们常常要按数据的重要程度、使用频率以及对响应时间的要求进行分类，并将使用频率以及对响应时间的要求进行分类，并将不同类的数据分别存储在不同的存储设备中。不同类的数据分别存储在不同的存储设备中。n重要程度高、经常存取并对响应时间要求高的数重要程度高、经常存取并对响应时间要求高的数据就存放在高速存储设备上，如硬盘；据就存放在高速存储设备上，如硬盘；n存取频率低或对存取响应时间要求低的数据则可存取频率低或对存取响应时间要求低的数据则可以放在低速存储设备上，如磁盘或磁带。以放在低速存储设备上，如磁盘或磁带。 455.确定存储分配确定存储分配

23、n物理存储中以文件、块和记录来实现。一个文件物理存储中以文件、块和记录来实现。一个文件包括很多块，每个块包括若干条记录。包括很多块，每个块包括若干条记录。n文件中的块是数据库的数据和内存之间文件中的块是数据库的数据和内存之间i/o传输传输的基本单位，在那里对数据进行操作。的基本单位，在那里对数据进行操作。n用一个简例来说明逻辑模型和物理模型的内容，用一个简例来说明逻辑模型和物理模型的内容，见下图所示。见下图所示。 名称类型长度注释产品维表包括公司所有产品的信息product-keyinteger10主键product-namechar25产品名称product-skuchar20库存单位销售员

24、维表包括不同地区的所有销售员信息salpers-keyinteger15主键salpers-namechar30销售员姓名territorychar20销售员所在区域regionchar20所在地区订单事实表包括公司收到的所有订单order-keyinteger10订单键order-namechar20订单名称product-refinteger10参考产品主键salpers-refinteger15参考销售员主键order-amountnum8，2销售额order-costnum8，2订单成本逻辑模型产品维表产品键产品名库存单位品牌订单事实表订单键订单名产品键销售员键销售额订单成本销售员维表

25、销售员键姓名地域地区474.1.5 数据仓库的索引技术数据仓库的索引技术1.位索引技术位索引技术2.标识技术标识技术3.广义索引广义索引481.位索引技术位索引技术（1）bit-wise索引技术索引技术（2）b-tree技术与技术与bit-wise索引技术对比索引技术对比n对于每一个记录的字段满足查询条件的真对于每一个记录的字段满足查询条件的真假值用假值用“1”或或“0”的方式表示，或者用该的方式表示，或者用该字段中不同取值（即多位二进制）来表示。字段中不同取值（即多位二进制）来表示。 n例如，检索例如，检索“美国美国加州加州有多少有多少男性男性未申请未申请保险？保险？”n利用bitwise技

26、术得到有两个记录 满足条件。 性别保险州1myma2mnca3fyil4mnca=2男未保险加州10011100011151（2）b-tree技术与技术与bit-wise索引技术对比索引技术对比nbit-wise索引技术比索引技术比b-tree技术能提高相应速度技术能提高相应速度10100倍。倍。n对于检索对于检索“美国加州有多少男性未申请保险？美国加州有多少男性未申请保险？”为例，假设数据库有为例，假设数据库有10m记录，每个记录长记录，每个记录长800个字节，每一页个字节，每一页16k字节。字节。n按传统的关系数据库的检索按传统的关系数据库的检索：需要经过：需要经过50万次万次i/o操作。操作。n按按bitwise检索检索：对于：对于10m个记录建立三列的个记录建立三列的bitwise索引。存取这些索引只要进行索引。存取这些索引只要进行235次次i/o操