基于ＣＷＭ的商场数据仓库ＥＴＬ系统架构研究

1、基于的商场数据仓库系统架构研究摘要在完成商场数据仓库数据模型的设计与构建后，数据的抽娶转换、加载成为建立数据仓库最重要的工作。针对商场数据仓库对ETL技术的要求，在研究工作机制的根底上，提出了基于的商场数据仓库ETL系统架构的设计。通过分析对ETL提供的技术支持，论证了系统架构的可行性和科学性。关键词商场数据仓库ETL元数据ETL系统架构商场数据仓库数据模型建立后，一个最重要的问题，是如何把已有的、各种异构的操作型的海量数据，从各种操作型数据库系统中抽取出来，排除数据中的数据缺陷，完成一系列转换，最后将数据加载到数据仓库中，成为面向主题的、集成的、历史的、不易娈的、综合的数据。为管理者提供决策

2、支持的有用信息。国内外有影响力的大型商场企业纷纷率先建立自己的数据仓库或数据集市。以满足决策的需要。一、ETL概述ETL是数据抽取(Extrat、转换(Transfr、加载(Lad的简写，它是指：将各种异构数据源中的数据抽取出来，并将不同数据源的数据进展转换和整合，得出一致性的数据，然后加载到数据仓库中。ETL工具，是数据仓库系统的重要组成部分；是影响数据仓库系统成败的关键。获取ETL工具有两个途径：利用现有商品化ETL工具，虽然能缩短系统的开发周期,但存在投资本钱大,软件的针对性、通用性、兼容性差的问题。自行设计开发一个标准通用的ETL工具，进步ETL的实用价值,降低工程施行的本钱和风险,具

3、有重要的意义。由于数据仓库和数据源系统在数据格式、数据模型等方面存在很大差异，客观上形成数据仓库ETL实现过程很大的难度。在ETL的工作过程中，每步都和数据仓库元数据亲密相关。按照传统的定义，元数据etadata是关于数据的数据。元数据支撑了数据仓库开发应用的全过程，成为数据从数据源到数据仓库的桥梁。数据抽取阶段，没有相应的映射规那么，就无法知道需要抽取什么样的数据；在将源数据存储格式转换为目的数据存储格式时，需要知道源存储格式和目的存储格式的信息，以及相应的存储格式之间的转换规那么；在数据加载阶段，需要知道目的数据仓库的数据构造和相关信息。所有这些信息，都需要元数据提供。由此可见，ETL过程

4、自始至终都需要元数据的支持和控制。正因为如此，要解决ETL开发中的问题，应当从相关的元数据着手。二、关于及其提供的工作机制(narehuseetadel公共仓库元模型是国际对象管理集团G推出的数据仓库元数据管理标准。的主要目的是在分布异构环境下，使数据仓库工具、工作平台和元数据存储库之间易于进展数据仓库元数据的交换。基于以下三个工业标准制定：1.ULUnifieddelingLanguage统一建模语言)作为目前最为风行的建模语言,UL用于描绘一般数据仓库架构的元模型。2.F(etabjetFaility元对象工具)F是G元模型和元数据的存储标准，用以定义存储库的构造、对外接口和交换格式的映射

5、规那么。3.XI(XLetadataInterhange，XL元数据交换XI是基于XL的元数据交换。定义如何用XL表示基于F的元数据，使元数据以XL文件流的方式进展交换。基于上列三个标准，为数据仓库工具之间共享元数据，制定了一整套关于形式、语法和语义的标准。主要包括：(1)元模型etadel：描绘数据仓库系统共享的元模型。它由一系列子元模型构成。(2)XL:元模型的XL表示。(3)DTD:D/BI共享元数据的交换格式。(4)IDL:D/BI共享元数据的应用程序访问接口。基于的数据仓库元数据转换和管理模型可用图1表示。从图1不难理解，元数据库也是基于标准，通过元模型映射构建。以UL的元模型为根底

6、，针对数据仓库领域的应用，使用特定的元类、元关系，将来自各异构数据源和数据仓库各个组件中的元数据，通过XL、DTD、IDL三个标准，转化为XL文档。为数据仓库元数据管理提供了满足元数据交换所需的语法和语义标准的、方便元数据交换和元数据存储的XL文件。三、基于的数据仓库ETL系统架构1.基于的ETL系统架构在研究ETL和的根底上，设计出基于的数据仓库ETL过程的系统架构，如图2所示。2.系统架构的构造分析(1)ETL子系统构造ETL子系统构造由五个模块组成。即：系统调度模块、元数据管理模块、数据抽取模块、数据转换模块和数据装载模块。其中，数据抽取模块负责将超市业务系统的原始数据进展抽取并保存到临

7、时数据库中；数据转换模块负责对抽取出来的数据进展清洗、转换和计算汇总；数据装载模块负责将经过清洗、转换的、符合目的数据模型的数据装载到目的数据库中。以上三个模块的活动被系统调度模块统一调度，结合元数据管理模块对整个ETL过程进展统一控制，用以实现ETL各步骤的定时触发、正常执行和异常控制等过程。(2)对系统元数据的标准整个架构以元模型库为根底，通过工作机制，把各个层次的元数据标准化后，存储在元数据库中，再由元数据管理模块支撑并控制整个架构的运行。(3)建立集中式元数据库为了便于对数据仓库的元数据进展有效管理，按照通用的元数据管理标准建立一个集中式的元数据库。在所建元数据库中，通过建立“信息模型

8、的方法对元数据进展分类，并建立分类存储的、通用的信息目录。把技术元数据和商业元数据存储在不同的信息目录中。便于适应不同的效劳目的、不同的元数据构造的存储和管理。元数据信息目录面向数据仓库的应用程序。应用程序可以通过访问该目录，使用、存储、管理元数据；用户也可以通过该目录，对元数据进展阅读、查询和使用。整个架构，都集中在元数据的统一控制之下。四、对ETL提供的技术支持分析1.元模型构造由于系统架构建立在元模型根底之上，通过对元数据的统一标准和管理，实现了对整个架构的支持。为了便于分析对ETL子系统中各个模块的支持,图3给出了元模型构造示意图。在的总体构造中,可分为5个层次，由假设干互不一样但又严

9、密相关的子元模型包构成。图中灰色部分是对ETL子系统有着直接联络和支撑元模型包。2.对数据抽取模块的支持在的资源层中，五个元模型分别对五种不同的数据源进展了建模。五种数据源格式分别是：面向对象的数据格式、关系型数据格式、记录型数据格式、多维数据格式和XL数据格式。这五个元模型所描绘的数据格式相当齐全，利用它们，可以把商场常用的、历史遗留的数据源都描绘出来。从而得到各种不同格式的数据源的元数据，为ETL对数据源的抽取过程提供了支持。3.对数据转换模块的支持ETL的核心还是在于“T这个过程，也就是转换过程。而抽取和装载一般可以作为转换的输入和输出，因此，我们重点研究了对数据转换过程的支持。在分析层

10、中，转换包对ETL过程进展了详细的描绘。转换包的主要作用是：将一次转换活动的数据源和目的准数据关联起来，同时支持“黑盒和“白盒转换，可将一组转换组成一个逻辑单元。一次转换可以将一组源对象转换成一组目的对象。数据对象集合可以是任何模型元素，但通常是表、字段或者内存对象。管理层中的数据仓库操作包，记录了数据仓库的三个重要事件。其中的转换执行事件定义了记录转换活动结果的类。在转换完成之后，转换活动的结果可被活动执行类和步骤执行类记录。这个记录行为是对发生在数据仓库操作包中的一个内部事件、或者其他类似方式的回应，为每个转换执行记录开场、完毕时间，各种进展和结果的指标。便于需要时查询。4.对数据调度模块

11、的支持系统调度模块负责对ETL过程进展统一调度和异常控制，保证ETL正常运行。在的管理层中，数据仓库处理包描绘了数据仓库处理(实际上就是转换过程)的调度方面的信息。在数据仓库处理包中，定义了可以触发转换活动执行的一系列事件。这些事件控制了数据转换过程的调度。5.对数据装载模块的支持数据装载模块负责将经过清洗、转换的、符合目的数据模型的数据装载到目的数据库中。在的支持下，完成了对源数据的抽取和转换，在系统元数据的控制下，把正确的数据加载到数据仓库中，就是一件极其简单的事了。总之，为ETL提供的技术支持，为ETL各个功能模块的实现奠定了基矗为系统架构的施行提供了条件。同时，也保证了ETL子系统的通用性和可扩展性。五、完毕语本文研究了基于的数据仓库ETL系统架构