据仓库实施策略

1、数据仓库实施策略第19卷第9期l999年9月计算机应用ComputerApplicationsVo1.19.No.9Sep.1999数据仓库实施策略I)22杨光张雷艾波北京邮电大学计算机学院北京(100876)摘要本文介绍了数据集市以噩元数据的概念;分析并比较了企业建立教据仓库的六种策略;在文章的最后给出了一个较为典型的数据仓库系统结构.关键词熟堡垒主,憋量釜市,垄整塑THEIMPLEM咂NTAT10NSTRAmGIES0FDATAW_AREH0USEYangGuangz11aILedAiBDBejingUnBn聃dTelecomns,Belf)876AbslructThispaperfirs

2、tintroducestheconcep,DataMartandMetadata,thenanalyzesandcortlEIItessiximplemenlafionstrategiesofDataWareho.se.AttheendofIbepaperatypicaJm,hiteclureofDataWare-houseispresentedKeywordsDalaw岫0II3e,Dalamarl,Mela出为了解决企业中普遍存在的”数据监狱”和”数据贫穷”现象.为企业决策分析人员方便.迅速地提供更准确,高质的信息,已成为企业当前迫切需要解决的同题.因此,数据仓库技术应运而生.1数据集市数

3、据仓库无疑是解决困扰企业的”数据监狱和“数据贫乏问题的好方法.据市场研究机构METAG眦p的研究报告.当今垒球最大2000家企业中的90%都有开发企业数据仓库的计划.但是在开发的过程中人们发觋了一些间题.为了解决早期在建设数据仓库中所面临的问题,因而提出了数据集市的概念.数据集市是支持某一部门或特定商业需求的Dss应用的数据集台.数据集市中的数据仍具有数据仓库中散据的特点.只不过.数据集市中的数据是专为某一部门或某个特定商业需求所定制的.数据集市的结构和数据仓库类似.一般认为数据集市中的敦据来自敦据仓库.数据集市有以下优点:的决策分析工具;数据集市的使用可以解决各部门对数据仓库贷算法;收穑日期

4、:l999-舾o7(修改稿)栖光硬士研究生.张雷酎牧授.在职博士研究生.芟玻教授,博士生导师.第9期扬光等:数据仓库实施策略5数据的保密级别数据的格式;用于计算出汇总数据的商业规则;数据从OLTP数据楫到数据仓库的映射信息,包括:振数据域的标识,属性到属性之问的映射.属性的转换.名称的转换,关键字的转换.从多个数据撩选择数据的算法逻辑等;数据汇总的算法.及对算法的解释;数据仓库的数据模型及其描述.有了元数据就等于拥有了数据仓库的一张蓝图.元数据最显着的作用就是它类似于现实生活中地图,能指目I用户在多达几百GB的数据仓库的数据簿洋中找到自己所需要的数据,帮助用户更好地理解散据仓库中的数据元数据可

5、以帮助数据仓库管理员更好地管理仓库中的数据,例如数据仓库管理员可以利用元数据追踪非法的数据处理到它的数据源,并可进行深入调查.用户可以利用元数据找到所需的事实,这些事实可帮助用户来支持他们的决策,验证通过分析工具得出的结论的是否正确,及找出他们的结论与其他部门的结论的不同的原因.如果不同厂商的数据仓库及联机分析处理工具都遵循统一的元数据交换标准,则不同厂商的数据仓库和联机分析处理工具之问可以通过元数据方便地共享和交换数据(迄今.已有两个组织推出了Meladatn交换的标准.一个是Mi删C0rD.的OIi-Ope.1nfomtionMode】.另一个是MetaDataCoeaiton的MDIsM

6、etadatitInterchangeSm.dard).由于元数据在数据仓库中的重要作用.当今各大数据仓库生产厂商纷纷把元数据的生成和管理功能集戚到产品中.形成元数据的管理环境.如图1.Mode1)发展到了以下六种模式.3.1自礓向下”模式自璜向下”的开发策珞(见图2)是指从原来分散存储在企业各处的OLTP数据库中的有用数据通过提取(extraction),清洁(eleen),转换衄B一*fion),聚集(e88zegation)等处理步骤建立一个全局性数据仓库.这个全局的数据仓库将提供给用户一个一致的数据格式.一致的软件环境.从理论上说.决策支持所需的数据都应该包古在这个全局数据库中.数据集

7、市中存储的数据是为某个部门的DSS应用而专门从全局数据仓库中提取的,它是全局数据仓库中数据的一个子集.在”自顶向下”模式中,数据集市和数据仓库的关系是单方向的,即数据从数据仓库流向数据集市.OLTP源数据库0L1.P源数据库图2自顶向下”模式霞霾卜.图弱瞢.圈霪卜.圜霾一霞霾卜.匿霪图3”自底向上”模式32”自底向上”模式图1元数据管理致全局性数据仓库的数据模型做出相应的改变,这些变化将使其它部门在建立数据集市时受益,也有助于垒局性数据仓库的建设.在平行开发模式中数据集市的这种相对独立性有利于全局性数据库的建设.一旦全局性数据仓库建立好后,备部门的数据集市将成为全局数据仓库的一个子集,全局数据

8、仓库将负责为各部门已建成和即将要建的数据集市提供数据.0LI数据源稳土一十圈圈豳匿蛔匿蛔慝皇圜豳豳冒_豳OLTP数据源图4平行开发模式“平行开发”与”自顶向下模式的区别在于它满足了企业中的各个部门希望在较短时间内建立本部门的决策支持系统的要求,使他们不用等待全局性数据仓库建立好之后才建立属于自己的数据集市.同时它改变了在”自顶向下”模式中.部门数据集市在与全局性敷据仓库关系中的附属性地位.在建立数据集市过程中所获得的经验将有助于对垒局性数据仓库的数据模型的优化和全局性数据仓库的建设.“平行开发与自底向上”模式的区别在于,它用一个统一的全局性数据仓库的数据模型来指导各部门数据集市的建设可以解决散

9、据集市之间数据的不一致和减少数据集市之间的数据冗余问题.“自疆向下”,”自底向上”,”平行开发”这三神模式都没有考虑奶何将用户的反馈信息不斯地反应到数据集市和数据仓库的建设中.这三种模式都只在建设数据集市或数据仓库的过程中考虑用户的需求.但是用户的需求不是静止的而是随着新技术和新应用的出现而不断变化的.用户的需求变化不仅局限于要求更快速的硬件,更好的数据挖掘技术.性扼更高的数据库软件.更友好的图形用户界面还包括所需信息内容的变化.及所需数馈给全局性数据仓库,全局性数据仓库再做出相应的变化.图5”有反馈的唐顶向下模式35”有反馈的自底向上”模式OLTP源数据库圜卜.圈豳卜哩豳卜-霞霪唾圈卜-圈圈

10、圉6有厦馈的自底向上”模式在”有反馈的茸底向上”模式(见圈6)中由于采取的是先建设部门数据集市.再各部门的数据集市为基础建立全局性数据仓库的方式因此数据集市能较好的满足用户的需求,在全局性数据库建立好之后需求的变化将主要体现在数据集市与数据仓的同时.也收集开发人员和部门用户的反馈信息并根据这些信息调第9期杨光等:数据仓库实施蓑略7整自己.经过调整.可以使下一阶段全局数据仓库的建设相对顺利地进行.通常,人们会认为在这种平行开发”模式中,全局性数据仓库的数据模型应在开始建设部门数据集市之前完成,因此需要开发人员在项目的初始阶段就迅速地开发完成全局性数据仓库的数据模型.而数据集市的开发工作也不得不等

11、待全局数据仓库的数据模型完成后才开始.0LI数据啄参参参图7”有厦馈的平行开发模式事实上,在平行模式”的开发过程中并不一定要求在开发部门数据集市之前完成整个数据仓库的数据模型的开发.对平行开发模式来说,全局数0LTP源数据库一一一据仓库的数据模型的开发可以在建设第一个部门数据集市的同时进行.这是因为一方面对减少数据集市之问的数据冗余和数据的不一致来说并不需要一个完全建立好的全局数据模型,全局数据模型在指导数据集市建设的同时还要不断听取开发人员和用户的反馈信息来调整自己;另一方面部门数据集市在开发和使用过程中所得到的经验有助于开发人员在设计全局数据模型时更好地了解用户的需求.4数据仓库系统的结构

12、企业建设数据仓库的最终日的是让企业的经营管理者能够方便地使用数据仓库这一集成的决策支持环境以获取有价值的信息,帮助经营管理者对不断变化的环境做出迅捷,准确的判断和拽出相应的对策.因此,界面友好,功能强大的为用户服务的前端工具应被有敬地集成到这一新的数据分析环境中数据仓库系统是以数据仓库为核心,通过数据提取工具,数据转换工具,查询工具,报表工具,分析工具,数据发掘工具等,满足用户对信息的各种需术.圈8是一幅较为典型的数据库系统结构图.数据仓库和数据集市的元数据注:撼表示以多维数据库方式存储的数据集市曝表示以关系数据库方式存储的数据市图8数据仓库幕境结构围5结束语有完普数据库或数据仓库,再好的分析工具也发挥不了作用.本文茼要介绍了数据集市,元数据的概念,给出企业数据仓库的六种实施策略和数据仓库系统的结构.从文中对数据仓库,数据仓库的结构的论述中可以得出这样一个结论:数据仓库不是对原有的面向应用的操作型数据