分步骤建立数据集市集成企业级数据仓库-2019年文档

1、.分步骤建立数据集市集成企业级数据仓库Step-by-step Establishment of Data Marts Integrated Enterprise-level Data WarehouseWANG Jing-ting(College of Information Engineering, Xi'an Fanyi University, Xi'an 710105, China): The paper analyses the basic structure of data warehouse and the differences of data warehous

2、e and data marts,gives the basic ideas that step-by-step establishment of data marts integrated enterprise-level data warehouse from the actual conditions and forms the three-tier data warehouse architecture with the plan of data warehouse and datamarts and end-user.面对当今竞争日趋激烈与瞬间万变的市场经济，各级管理人员迫切需要面对

3、不同层次的大量信息做出抉择。这就要求各级管理人员能够从大量复杂的业务数据中获取各自权限内的决策信息，及时准确地把握市场变化的脉搏，做出正确有效的判断和抉择。从各级决策者的角度来看，为了对整个组织的业务、需求及未来趋势进行一个全面的分析，则不仅要求访问数据库的当前数据，还需要访问一些历史数据。为了能方便地进行这种分析，数据仓库应运而生。数据仓库就是针对解决上述问题所产生的一种技术方案，是.基于大规模数据库的决策支持系统环境的核心。 数据仓库是以关系数据库、并行处理技术和分布式技术为基础的新的数据处理技术。数据仓库是一个面向主题的、集成的、时变的、非易失的数据的集合，用以支持决策支持系统。然而，建

4、立一个企业范围的数据仓库是一项重大的工程。从概念化到实现， 可能需要数年时间、需要大量的人工参与、大量的财力耗费及其大量的设备的投入、复杂的外部数据源使得数据的装载过程变得困难、数据所有权问题、终端用户的需求不断增长、集成的复杂性等等多方面的困难的存在往往使得企业直接建立数据仓库工程变的力不从心。因此，从企业实际情况出发， 分步骤部门级数据仓库数据集市，不失为一个较好的选择。尤其对于那些迫切需要支持OLAP 、 DSS和数据挖掘的企业。数据集市是小型的、 面向部门或工作组级的数据仓库，不同的数据集市可以按业务的分类来组织，也可以按照数据仓库的主题或数据的地理分布来组织。从企业实际情况出发， 分

5、阶段建立数据集市以适用核心部门级数据决策的需要，考虑到整个企业范围内分析主题的扩展性，最终实现数据仓库数据集市体系结构是最终实现企业范围内数据仓库的最佳方案。1 数据仓库的体系结构和数据模型1.1 体系结构.数据仓库构建了一种以集中式的数据存储为核心的体系结构，数据存储的模式为了适应决策分析的要求，从而形成了一种与原来业务系统构成的操作型环境（OLTP ）相独立的决策支持环境。数据仓库最基本的体系结构如图1 所示。1.2 数据模型两种常见的数据仓库数据模型是星型模型和雪花模型。 星型模式是由一个事实表和每个维对应的一个维表组成， 在星型模型中，事实表包含事实数据，它通常采用组合主键，其中的每一

6、个分量通过外键和维表关联。如图 2 所示。雪花模型是星型模型的一种变种，这种模型中允许维中还包含多个维，如图 3 所示。由此可见，雪花模型对星型模型的维度表进一步标准化， 对星型模型中的维度表进行了规范化处理。2 构建部门级数据仓库2.1 数据集市和数据仓库的不同点数据集市是轻量级数据仓库， 数据集市可独立存在， 也可依赖于数据仓库。 当数据仓库越变越大时， 其满足组织各种需要的能力就要进行折中。 因此，之所以建立数据集市是由于前人的实践已表明，使用组织数据仓库是很困难的。数据集市与数据仓库的不同在于：1）数据集市只考虑某一个部门或某一商业功能用户的需要。2）数据集市不像数据仓库那样，它一般不

7、含业务层细节数据。.3）数据集市所含的数据量比数据仓库少，所以易于理解和操纵。2.2 创建数据集市的原因建立数据集市的主要原因有如下几点：1）让用户访问他们经常分析的数据；2）提供的数据以部门视图的形式呈现给用户；3）通过减少访问的数据量来减少终端用户的响应时间；4）数据集市在清理、加载、变换时使用的数据量少；5）建立数据集市比数据仓库的成本少；6）数据集市的潜在用户更容易确定，这些用户在数据集市中也比数据仓库更容易定位所需的支持。3 数据仓库数据集市体系结构建立企业级数据仓库有多种方法， 典型的做法通常是先构建几个数据集市， 这些数据集市使用统一的视图以最终集成一个数据仓库；也可以在构建数据仓库基础构架的同时构建一个或多个数据集市来满足即刻的商务需要。从实际出发， 根据企业的承受能力，建议创建数据仓库数据集市的数据仓库体系结构及其在此之上的应用，如图4 所示。形成以数据仓库为第一层、数据集市为第二层、终端用户为第三层的企业数据仓库应用系统。4 结束语数据仓库以操作型数据、ODS、平面文件等为数据源，经过整合与转换将这些数据源中的操作型数据文档转换成知识源。在.企业范围内给用户提供