《数据仓库开发模型》ppt课件

1、第二章第二章 数据仓库开发模型数据仓库开发模型 参考课件：参考课件：verycd/topics/76424/ 数据仓库的开发模型数据仓库的开发模型张三客户客户与产品特性个体整体整体间联络属性实体同质实体异质实体列字段、数据项记录表文件数据库信誉现实世界是存在于现实之中的各种客观事物。现实世界是存在于现实之中的各种客观事物。概念世界是现实情况在人们头脑中的反响。概念世界是现实情况在人们头脑中的反响。逻辑世界是人们为为将存在于本人头脑中的概念模型转换到计算机中的逻辑世界是人们为为将存在于本人头脑中的概念模型转换到计算机中的实践的物理存储过程中的一个计算机逻辑表示方式。实践的物理存储过程中的一个计算

2、机逻辑表示方式。计算机世界那么是指现实世界中的事物在计算机系统中的实践存储方式。计算机世界那么是指现实世界中的事物在计算机系统中的实践存储方式。 图图2.1 现实与不同模型的变化联络现实与不同模型的变化联络 元数据模型元数据模型数据粒度模型和聚集模型数据粒度模型和聚集模型 图图2.2 数据模型关系图数据模型关系图 数据仓库的设计是在概念模型、逻辑模型和物理模型的依次转换过程中数据仓库的设计是在概念模型、逻辑模型和物理模型的依次转换过程中实现的。实现的。元数据模型作为数据仓库的灵魂自始自终伴随着数据仓库的开发、实施元数据模型作为数据仓库的灵魂自始自终伴随着数据仓库的开发、实施与运用。与运用。数据

3、粒度模型和聚集模型也在数据仓库的创建中发扬着指点的作用，指数据粒度模型和聚集模型也在数据仓库的创建中发扬着指点的作用，指点着数据仓库的详细实现。点着数据仓库的详细实现。2.2 数据仓库的概念模型数据仓库的概念模型 数据仓库模型的概念：数据仓库概念模型的数据仓库模型的概念：数据仓库概念模型的设计需求给出一个数据仓库的粗略蓝本，以此为设计需求给出一个数据仓库的粗略蓝本，以此为工具来确认数据仓库的设计者能否曾经正确的了工具来确认数据仓库的设计者能否曾经正确的了解数据仓库最终用户的信息需求。解数据仓库最终用户的信息需求。2.2.1 数据仓库概念模型数据仓库概念模型 在构建数据仓库的概念模型时，可以采用

4、在构建数据仓库的概念模型时，可以采用在业务数据处置系统中经常运用的企业数据模在业务数据处置系统中经常运用的企业数据模型型ER图图ERD。这是一种描画组织业。这是一种描画组织业务概略的蓝图，包括整个组织系统中各个部门务概略的蓝图，包括整个组织系统中各个部门的业务处置及其业务处置数据。的业务处置及其业务处置数据。 数据仓库与操作型数据库一样，也存在高数据仓库与操作型数据库一样，也存在高层模型层模型ERD，实体关系层、中层模型，实体关系层、中层模型DIS，逻辑层和低层模型物理层，逻辑层和低层模型物理层3个层个层次数据模型。次数据模型。图图2.3 企业数据模型企业数据模型财务部门销售收入帐应收帐应付帐

5、本钱帐销售部门销售方案销售合同销售统计人事部门员工业绩记录员工技艺情况员工薪酬表财务人事销售.企业数据模型在实践设计中用于数据仓库设计的概念模型与业务数在实践设计中用于数据仓库设计的概念模型与业务数据处置系统的三级数据模型依然具有一定的差距。据处置系统的三级数据模型依然具有一定的差距。1.数据类型的差距：数据仓库的概念模型只包含用户数据类型的差距：数据仓库的概念模型只包含用户所感兴趣的分析数据、描画数据和细节数据。所感兴趣的分析数据、描画数据和细节数据。2.数据的历史变化性：数据仓库的概念模型扩展了关数据的历史变化性：数据仓库的概念模型扩展了关键字构造，添加了事件属性并作为关键字的一部分。键字

6、构造，添加了事件属性并作为关键字的一部分。3.数据的概括性：数据仓库的概念模型中还添加了一数据的概括性：数据仓库的概念模型中还添加了一些根本数据所导出的衍生数据用于管理决策分析，这些根本数据所导出的衍生数据用于管理决策分析，这些在业务处置系统中是不存在的。些在业务处置系统中是不存在的。由于传统的实体关系图无法表述数据仓库中所需求的由于传统的实体关系图无法表述数据仓库中所需求的用户所感兴趣的分析数据、描画数据和细节数据的关用户所感兴趣的分析数据、描画数据和细节数据的关系，因此将系，因此将ERD中的实体分成目的实体现实实体、中的实体分成目的实体现实实体、维实体和详细类别实体援用实体。维实体和详细类

7、别实体援用实体。 目的实体处于概念模型的中心，是数据仓库活目的实体处于概念模型的中心，是数据仓库活动的中心。往往最后构成数据仓库中的实体动的中心。往往最后构成数据仓库中的实体-现实表。在现实世界中那么是业务处置或者现实表。在现实世界中那么是业务处置或者某一事件例如，销售、效力等。某一事件例如，销售、效力等。目的实体目的实体维度表 维实体在数据仓库中主要用于对实体目的的过维实体在数据仓库中主要用于对实体目的的过滤和重新组织提供指点。滤和重新组织提供指点。详细类别表 详细类别实体在数据仓库中也用物理数据库表详细类别实体在数据仓库中也用物理数据库表示，通常与现实世界中的某一个实体相对应。示，通常与现

8、实世界中的某一个实体相对应。 实例：实例：P95、P962.2.2 规范的数据模型规范的数据模型数据仓库的数据数据仓库的数据普通数据库系统的数据普通数据库系统的数据长期的框架长期的框架短期的框架短期的框架静态静态快速变化快速变化数据通常是汇总的数据通常是汇总的记录级的访问记录级的访问特殊查询访问特殊查询访问规范查询访问规范查询访问定期更新定期更新实时更新实时更新数据驱动数据驱动事件驱动事件驱动表表2-1 数据仓库的数据与普通的数据库系统的数据之间的对比数据仓库的数据与普通的数据库系统的数据之间的对比ER数据模型作为一种数据仓库的设计根底，在实践运用数据模型作为一种数据仓库的设计根底，在实践运用

9、中存在很多缺陷。中存在很多缺陷。实践运用中，数据仓库的实体绝不会是对等的。实践运用中，数据仓库的实体绝不会是对等的。星型数据模型是最常用的数据仓库构造方式。星型数据模型是最常用的数据仓库构造方式。 2.2.3 星型模型星型模型产品产品供应商供应商订单订单客户客户发货发货图图2.5 一个简单的一个简单的ERD维度表维度表维度表维度表维度表现实表图图2.6 星型模型的构造表示图星型模型的构造表示图2.2.4 雪花模型雪花模型维度表维度表维度表维度表维度表现实表详细类别表详细类别表图图2.7 雪花模型的构造表示图雪花模型的构造表示图 time_keydayday_of_the_weekmonthqu

10、arteryeartimelocation_keystreetcitystate_or_provincecountrylocationSales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchtime_keydayday_of_the_weekmonthquarteryeartimelocati

11、on_keystreetcity_keylocationSales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycitytime_keydayday_of_t

12、he_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSales Fact Tabletime_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShipping Fact Tabletime_key item_key sh

13、ipper_key from_location to_location dollars_cost units_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper举例：举例：SQL SERVER ANALYSIS 20002.3 数据仓库的逻辑模型数据仓库的逻辑模型中间层数据模型亦可称为逻辑模型，它是对高层数据概中间层数据模型亦可称为逻辑模型，它是对高层数据概念模型的细分，在高层数据模型中所标识的每个主题域念模型的细分，在高层数据模型中所标识的每个主题域或目的实体都需求与一个逻辑模型相对应。或目的实体都需求与一个逻辑模型相对

14、应。图图2.8 高层概念模型与中层逻辑模型对应关系高层概念模型与中层逻辑模型对应关系超类型子类型图图2.9 逻辑模型的根本构造逻辑模型的根本构造根本数据组中存着独一的主要主题域。根本数据组中存着独一的主要主题域。二级数据组有对每个主要主题域可以存在多次的属性。二级数据组有对每个主要主题域可以存在多次的属性。衔接数据组用于本组主体域与其它主体域之间的联络，衔接数据组用于本组主体域与其它主体域之间的联络，表达了高层概念模型中实体间的关系。公共码主键。表达了高层概念模型中实体间的关系。公共码主键。类型数据组主要指数据的类型。类型数据组主要指数据的类型。2.3.1 现实表模型设计现实表模型设计 物理数

15、据模型是根据中间层的逻辑数据模型而创建的，物理数据模型是根据中间层的逻辑数据模型而创建的，它经过确定模型的键码属性和模型的物理特性，扩展中间它经过确定模型的键码属性和模型的物理特性，扩展中间层数据模型而建立。此时，物理数据模型就由一系列表所层数据模型而建立。此时，物理数据模型就由一系列表所构成，而逻辑模型中最主要的是现实表设计和维表设计。构成，而逻辑模型中最主要的是现实表设计和维表设计。 1现实表模型现实表模型 物理模型中的现实表来源于逻辑模型，它根据数据物理模型中的现实表来源于逻辑模型，它根据数据仓库详细的运用而建立。现实表是星型模型构造的中心。仓库详细的运用而建立。现实表是星型模型构造的中

16、心。举例：举例：P571客户现实表客户现实表2客户买卖现实表客户买卖现实表3客户反响记录表客户反响记录表4客户信誉情况表客户信誉情况表 2.3.2 维模型设计维模型设计2维模型设计维模型设计 维模型也需求根据逻辑模型来设计，维的设计提维模型也需求根据逻辑模型来设计，维的设计提供了维属性的定义：供了维属性的定义：时间维表年时间维表年Date,月月Date，日，日Date地点维表省地点维表省Char20,市市Char20,县县Char20买卖维表现金买卖买卖维表现金买卖Char20 ，信誉买卖，信誉买卖Char20 2.4 数据仓库的物理模型数据仓库的物理模型 根据数据仓库数据量大但是操作单一的特

17、点，可以采取根据数据仓库数据量大但是操作单一的特点，可以采取以下一些技术来进展数据仓库的物理数据模型设计。以下一些技术来进展数据仓库的物理数据模型设计。1合并表合并表2建立数据序列建立数据序列3引入冗余引入冗余4表的物理分割表的物理分割5生成派出数据生成派出数据6建立广义索引建立广义索引 元数据在数据仓库的设计、运转中有着重要元数据在数据仓库的设计、运转中有着重要的作用，它表述了数据仓库中的各对象，普及数的作用，它表述了数据仓库中的各对象，普及数据仓库的一切方面，是数据仓库中一切管理、操据仓库的一切方面，是数据仓库中一切管理、操作、数据的数据，是整个数据仓库的中心。作、数据的数据，是整个数据仓

18、库的中心。 2.5 数据仓库的元数据模型数据仓库的元数据模型 元数据是关于数据、支配数据的进程和运用程元数据是关于数据、支配数据的进程和运用程序的构造和意义的描画信息，其主要目的是提供序的构造和意义的描画信息，其主要目的是提供数据资源的全面指南。其范围可以是某个特别的数据资源的全面指南。其范围可以是某个特别的数据库管理系统中从现实世界的概念上的普通概数据库管理系统中从现实世界的概念上的普通概括，到详细的物理阐明。括，到详细的物理阐明。 在数据库中，元数据是对数据库中各个对象的在数据库中，元数据是对数据库中各个对象的描画。关系数据库中，这种描画就是对表、列、描画。关系数据库中，这种描画就是对表、

19、列、数据库、观念和其他对象的定义。数据库、观念和其他对象的定义。 从广义上讲，元数据代表定义数据仓库的任何从广义上讲，元数据代表定义数据仓库的任何对象，无论它是一个表、一个列、一个查询、一对象，无论它是一个表、一个列、一个查询、一个业务规那么，或者是数据仓库内部的数据转移个业务规那么，或者是数据仓库内部的数据转移等等。等等。2.5.1 元数据的类型与组成元数据的类型与组成元数据元数据静态元数据静态元数据动态元数据动态元数据称号称号描画描画格式格式数据类性型数据类性型关系关系生成时间生成时间来源来源索引索引类别类别域域业务规那么业务规那么入库时间入库时间更新时间更新时间数据质量数据质量统计信息统

20、计信息形状形状存储位置存储位置存储大小存储大小援用途援用途处置处置表表2-2 元数据分类元数据分类元数据的在数据仓库中的用途有：元数据的在数据仓库中的用途有：A.起到辅助决策分析过程中定位数据仓库的目起到辅助决策分析过程中定位数据仓库的目录作用。录作用。B.数据从业务环境向数据仓库环境传送时数据数据从业务环境向数据仓库环境传送时数据仓库的目录内容。仓库的目录内容。C.指点从近期根本数据到轻度综合数据和到高指点从近期根本数据到轻度综合数据和到高度综合数据的综合算法选择。度综合数据的综合算法选择。2.5.2 元数据在数据仓库中的作用元数据在数据仓库中的作用生成和管理元数据是为了实现以下主要作用：生

21、成和管理元数据是为了实现以下主要作用：1改善与系统的交互改善与系统的交互2提高数据质量提高数据质量3支持系统集成支持系统集成4支持系统的分析、设计和维护支持系统的分析、设计和维护5添加灵敏性添加灵敏性在数据仓库中，生成和管理元数据主要有两个目在数据仓库中，生成和管理元数据主要有两个目的：的：1减轻管理数据仓库的任务量减轻管理数据仓库的任务量2改善信息抽取，即从数据中有效地抽取信息，改善信息抽取，即从数据中有效地抽取信息，其主要义务是：其主要义务是：A.提高数据质量提高数据质量 B.提高查询、检提高查询、检索以及结果的质量索以及结果的质量 C.改善数据分析。改善数据分析。上述目的普通可以经过如下两种方式来支持：上述目的普通可以经过如下两种方式来支持：1被动的方式被动的方式 2自动的方式自动的方式1.按元数据的类型分类：按元数据的类型分类： 1关于根本数据的元数据：包括数据源、数关于根本数据的元数据：包括数据源、数据仓库、数据集市和运用程序管理的一切数据。据仓库、数据集市和运用程序管理的一切数据。 2用于数据处置的元数据用于数据处置的元数据 3关于企业的组织构造的元数据关于企业的组织构造的元数据适当划分粒度的第一步是估算数据仓库中未来适当划