元数据管理与数据质量平台_第1页
元数据管理与数据质量平台_第2页
元数据管理与数据质量平台_第3页
元数据管理与数据质量平台_第4页
元数据管理与数据质量平台_第5页
已阅读5页,还剩27页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、 方案PAGE PAGE 31数据质量管理架构数据质量问题一直是困扰数据仓库发挥积极作用的重要因素,在数据仓库建设之初就应当从战略角度对数据质量体系进行规划。数据质量基础定义完整性数据的完整性:为实现业务务目的而设计计组织的数据据模型是否完完全,是否覆覆盖各个方面面。例如:对对一个业务,一一个客户,一一个产品,一一个营销活动动,一个客户户的性质等进进行缺失考察察。例如,客客户名称有姓姓无名等,客客户档案是否否齐全,是否否客户所有业业务都包含在在内等。完整性破缺主要要发生在实体体或对象的属属性上和整个个数据缺失两两种情况。完整性列表:数据完整性,例例如属性数据据是否残缺,数数值类型数据据是否有空

2、数数据业务完整性,例例如是否有些些业务没有包包含在内,是是否涵盖所有有生产系统和和必要的外部部数据(例如如竞争数据,保保监会数据),是是否覆盖所有有客户(例如如是否覆盖全全部客户)设计完备性, 设计是是否完善模型的完备性数据字典完备性性映射关系完备性性业务规则是否完完备元数据完备性加工层次完整性性,加工过程程中重要的中中间数据是否否保存,例如如,有月统计计数据,考察察日数据是否否存在?粒度完整性,重重要经营指标标各个粒度数数据应该完善善有效性指数据包含了一一个有效的数数据格式或值值一致性数据的一致性是是一个长期的的困难。建立立数据仓库的的核心目的之之一也是争取取解决这个问问题。一致性性定义为各

3、个个系统数据的的统一,定义义为数据仓库库系统内数据据定义的统一一。一致性还表现在在定义和口径径的一致性。数据库一致性,设设计上是否有有多种存储并并存,各类统统计口径是否否统一冗余和星型模型型以及非第三三范式一致性性保证措施和源数据一致性性 唯一性唯一性定义为系系统数据定义义的唯一性。由由于数据仓库库技术不一定定受第三范式式约束,可能能具有相当的的冗余,但数数据冗余不能能违反定义的的唯一性原则则。对于哪些些既存在于关关系数据库又又在多维数据据库中表现的的数据和指标标要特别注意意,因为极容容易由于生成成的时间差造造成不一致。唯唯一性至少应应当向系统的的用户说明最最终的数据评评判标准,数数据的冗余和

4、和评判应当是是元数据管理理的重要内容容。正确性数据正确是决策策的关键,数数据不正确,数数据仓库项目目就等于失败败。但数据的的正确性难以以通过自身检检查。应该对对重要数据和和重要统计设设立正确性检检查。主要方方法是:数据自身统计检检验纵向对比检验数据间按逻辑交交叉检验横向对比校验主要检查的内容容:ETL过程正确确性加工过程正确性性数据整合正确性性模型正确性展现正确性查询正确性核对过程是否充充分准确性数据的正确性基基础上才有意意义讨论准确确性。准确性性包括精度和和近似规则。精度:系统定义义的数据必须须满足的精确确性要求。例例如,客户生生日,可以精精确到年,或或月,或日;全局收入统统计或许到万万元即

5、可,也也许到角分。可用性数据的可用性不不是一个简单单数据质量问问题,而是系系统质量问题题,所有质量量因素都可能能影响到可用用性。数据的的可用性主要要体现在使用用的效率上时效性清晰性数据的清晰性考考验系统元数数据的精度。元元数据必须清清晰定义每一一个数据的来来龙去脉。必必须没有歧义义。充足性数据的充足性定定义在保证数数据正确性和和准确性基础础上是否能对对主要业务专专题提供足够够的数据进行行足够精度的的分析需求。例例如,进行时时间序列分析析通常需要至至少36个连连续时间单位位的数据,是是否能够提供供这个时间序序列。数据积累是否足足够广泛,例例如设计上虽虽然包含了足足够宽广的业业务领域,但但每项业务

6、的的数据是否真真的收集到了了足够多,数据积累是否足足够时间,充充足性的特殊殊情况,是否否收集了足够够时间长度的的数据元数据和字典数数据的充足性性,描述性是是否足够数据质量保证框框架战略战略 从企企业战略方向向主动的考虑虑数据质量状状况。战略的意义:提供了战略上的的、可操作的的数据质量保保障方向识别企业数据的的关键因素指明数据质量的的范围战略的范围:策略:包含以下下方面的内容容,任务定义与业务的关系切入点约束条件可行性关键方法:包含含以下方面,方向使规范化保障策略被顺利利执行的手段段变更管理:为了了适应企业变变更而采取相相应的数据质质量管理变更更机制组织组织 为了了达成企业的的数据质量目目标,从

7、企业业行政管理以以及职能设置置上进行考虑虑 。组织指的是如何何组织相应的的人员、设立立相应的数据据质量机构对对数据质量进进行管理,包包含以下方面面:组织机构规划人员及其职责设设计制定考核制度管理管理 对于于企业中元数数据以及业务务规则的维护护上予以管理理管理包含以下范范畴:定义完整的元数数据集定义无二义性、易易于理解的业业务规则建立一个健壮的的、高可扩展展的数据模型型架构架构 从整整体上(数据据、应用程序序、技术架构构)对改进数数据质量予以以考虑架构的建立应从从以下方面进进行考虑:数据架构应用程序架构基础架构过程过程 过程程的改进过程关注的是数数据质量管理理的过程,应应从以下方面面进行考虑:数

8、据质量管理的的实施过程过程控制点以及及控制路线(错误或异常的的)补救措施施验证验证 定义义数据质量的的评测标准并并按所制定的的标准对其进进行验证,只只有确立相应应标准,数据据质量的控制制才具有现实实意义。验证包含以下内内容:数据的重要程度度,可以从以以下方面进行行判断:对日常操作的影影响对一般业务的影影响对财务上的影响响对客户服务的影影响对决策的影响数据质量维度数据质量量问题域汇总总序号数据质量问题细目备注1完备性是否涵盖所有生生产系统和 必要的外部部数据是否涵盖所有业业务是否覆盖所有客客户是否覆盖所有产产品系统设计完备性性数据字典完备性性映射关系完备性性业务规则是否完完备元数据完备性2完整性

9、数据完整性业务完整性数据模型完整性性加工层次完整性性粒度完整性3充足性对问题域的解决决方案是否有有足够的数据据作为分析基基础数据积累是否足足够广泛数据积累是否足足够时间元数据和字典数数据的充足性性4正确性ETL过程正确确性加工过程正确性性数据整合正确性性模型正确性展现正确性查询正确性核对过程是否充充分5准确性数据精度是否足足够近似模型是什么么6一致性数据库一致性主键,外键完整整性冗余和星型模型型以及非第三三范式一致性性保证措施和源数据一致性性7逻辑性逻辑严密性是否有严密的逻逻辑约束数据逻辑关系表内表间关系8职业道德和法律律结果不可修改特特性9数据质量保证体体系数据出错处理和和防范预案10分析质

10、量报表质量查询质量接口数据质量非生产数据质量量例如市场竞争数数据沟通沟通 关注注使用数据信信息的相关责责任者之间的的沟通,要充充分关注数据据质质量组织织机构中的员员工、不同的的团体以及单单位之间的相相互沟通。执行执行指组织中中的每个成员员都应改遵守守数据质量管管理所制定的的要求、决定定。数据质量持续改改进过程发起 按照照制定的规范范获取相应的的项目资源、支支撑工具以及及制定工作计计划。定义 定义义详细的过程程、数据、组组织的划分以以及质量元素素、标准及测测算方法。评估 对现现存数据及业业务环境进行行评估,以便便识别项目对对数据、过程程、系统以及及组织架构所所造成的影响响。清洗/改进/评评测 改

11、进现有数数据的数据质质量,并采取取措施修改业业务环境,避避免类似错误误继续发生。强调循环改进元数据管理架构构国有资产管理支支持系统数据据仓库数据源源广泛,数据据消费者群体体跨度也很广广,各种指标标、维度、统统计口径等元元数据相关的的问题必然是是项目面临的的巨大挑战之之一。元数据基本概念念元数据(Metta Datta)是关于于数据的数据据。当人们描描述现实世界界的现象时,就就会产生抽象象信息,这些些抽象信息便便可以看作是是元数据;元元数据主要用用来描述数据据的上下文信信息。通俗的的来讲,假若若图书馆的每每本书中的内内容是数据的的话,那么找找到每本书的的索引则是元元数据。 元数据之所以有有其它方

12、法无无法比拟的优优势,就在于于它可以帮助助人们更好的的理解数据,发发现和描述数数据的来龙去去脉,特别是是那些即将要要从OLTPP系统上升到到DW/BII体系建设的的企业,元数数据可以帮他他们形成清晰晰直观的数据据流图。 元数据的概念虽虽然在国内刚刚刚被人们熟熟悉起来,但但在国外他已已经历了较长长的发展历史史。从 上世世纪60年代代,人们认识识到元数据的的需要,到数数据字典、CCASE工具具的应用,以以及上世纪990年代数据据仓库体系中中元数据存储储库的出现,直直到现阶段国国外企业以 元数据为驱驱动的IT系系统建设的方方法论流行。企企业对于元数数据的价值越越来越有深刻刻的体会。 元数据按其描述述

13、对象的不同同可以分三大大类:技术元元数据、业务务元数据和管管理元数据。技技 术元数据据主要用是用用来描述数据据实体和数据据处理过程中中的技术细节节和处理规则则。比如我们们所熟知的表表结构、ETTL映射关系系等,这类元元数据主要是是系统建设的的技术人 员员使用。业务务元数据主要要是对IT系系统的数据实实体和数据处处理的业务化化描述,包括括业务规则、业业务术语、统统计口径、信信息分类等。我我们经常提及及的KPI定定义和报表 统计规则等等就属于此类类元数据。业业务元数据主主要的使用者者是业务人员员和公司决策策人员。管理理类元数据主主要是对项目目管理、ITT运维、ITT资源设备等等相关信息的的描 述。

14、这这类元数据主主要是企业IIT部门的管管理人员使用用。利用此类类元数据可以以进行工作分分配、网络资资源等方面的的管理。 元数据的管理方方式有三种:集中式、分分布式和混合合式。集中式式的管理方式式是把原有系系统中的元数数据抽取出来来,用一个独独立的系统来来集中管理。此此类管理方式式优点是:可可高效存取信信息、独立于于被集成的系系统和具备存存储附加元数数据的能力;缺点是:由由于额外的执执行和维护降降低了ROII和实时性。 分布式管理方式式是不具备独独立的元数据据存储库,系系统实时的连连接到原有的的系统。这种种方式的优点点是:适时性性比较好和能能保证元数据据的质量;缺缺点是:过度度依赖于集成成系统和

15、不能能存储附加元元数据。 混合式元数据管管理既有独立立的元数据存存储库又可实实时的连接到到原有的系统统。混合式管管理方 式克克服了集中式式和分布式管管理的各自缺缺点,同时集集成了前两种种管理方式的的优点,既能能适时的捕获获和反映原有有系统元数据据的情况,又又能让用户扩扩展和定义附附加的元数 据。 元数据管理目前前遵循的规范范为CWM(CCommonn Wareehousee Modeel)。该规规范是由OMMG组织制定定的,此规范范目的是能在在不同的系统统之中可以自自由、便捷的的交换元数据据。CWM核核心的技术有有三个:UMML(Uniited MModeliing Laanguagge)、M

16、OOF(Mettadataa Objeect Faacilitty)和XMMI(XMLL Metaadata Interrchangge)。UMML主要用来来定义元模型型;MOF用用来提供操作作元数据接口口;XMI用用来定义交换换元数据的机机制。 元数据管理的五五种状态第一级: 随机机状态(Add-hoc) 行为特征 在这这一级上,对对元数据的管管理是随机的的。元数据由由某个人或某某一组人员在在局部产生或或获取,并在在局部使用。在在大多数时间间里,元数据据是隐匿在信信息中,比如如存储于诸 如Wordd、Exceel等形式的的办公文档,这这些文档使用用的术语仅局局部的用户能能知道其确切切含义。人

17、们们通过与“责责任人”直接接通信或通过过信息会话来来获取这些知知 识。在局局部环境工作作数月或数年年后,人们使使这些元数据据以及对它的的理解内在化化,使对这种种信息有习惯惯性的理解。 在这一阶段,元元数据通过组组织机构缓慢慢的传播或根根本不传播,这这取决于局部部小组与其他他小组间的通通信量的大小小,这些元数数据可能永远远“待”在该该局部小组或或某个人那儿儿。如果这样样的小组或个个人调离,则则这种元数据据信息可能永永远丢失。 人 元数据知识识保留在人的的大脑中。在在这种环境中中,知道(或或不知道)与与谁交谈对于于理解元数据据成为一件十十分重要的事事。 处理 元数据要要通过与“责责任人”的交交谈才

18、能共享享。新来者需需要通过他们们的日常工作作来学习元数数据。外部人人员难以理解解元数据,他他们必须与“责责任人”交谈谈才能得到他他们想 要的的东西。因为为元数据在局局部产生或抓抓取并在局部部使用,所以以通常也只能能在局部修改改,这种修改改通常也不会会通知公司里里其他的组织织。 技术 可以用各各种不同的工工具来生成元元数据。绝大大部分是面向向个人电脑的的应用软件。例例如,ERWWin可用于于数据库建模模,Ratiional用用于为对象建建模、Exccel用于生生成商品列表表等。这些工工具都没有设设计成可以交交换信息,因因此,只能在在当地的文件件系统中保存存所生成的元元数据。 第二级: 可发发现

19、行为特征 在元元数据管理的的这一级上,可可以发现在不不同企业之间间的元数据。像像第一级的情情况一样,元元数据仍然在在局部产生和和抓取,然而而,它处于可可发现状态,这这样的元数据据在企 业一一级显露,使使得每一个对对它有兴趣的的人都能随时时了解“什么么已经存在”。元元数据仍然可可以在局部级级上维护,然然后更新中央央知识库,但但它们仍然使使用不同的命命名法。 结结果,相同的的名字被用于于表示意义不不同的事情,而而同一件事情情则使用了几几个不同的名名字。 尽管如此,相比比之下,从不不同来源来的的数据和数据据的含义已经经具有了更多多的透明度。对对于商业用户户,如果他们们需要,现存存的技术可为为他们提供

20、有有关数据的来来源和怎样对对数据进行计计算的信息。 人 人们开始感感知到共享元元数据信息的的重要性。业业务分析员、数数据拥有者和和应用开发者者现在自觉地地将元数据信信息加载到中中央知识库中中。 处理 元数据知知识经由中央央数据库进行行共享。凭借借对中央知识识库地理解,人人们能够发现现在其他应用用系统中的数数据。然而,由由于使用术语语的不同,人人们互相之间间需要交流,以以便弄清某些些元数据的含含义。而且,由由于元数据的的更新不受任任何方式的控控制,使得这这种更新没有有告示或贴切切的分析。 技术 有一些元元数据管理工工具可用于共共享来自数据据源的元数据据,并能把来来自不同建模模工具的逻辑辑元数据导

21、入入到元数据知知识库中。AAG Rocchade、UUniconn、MetaaMatriix是该类产产品的一些例例子。然而,除除了以商业含含义来定义数数据表格的栏栏目名之外,这这些工具没有有一个能很好好地 抓取元元数据。 第三级: 管理理控制 行为特征 这一一级对元数据据的修改进行行集中管理。局局部业务单元元或开发小组组如不通知其其他的元数据据保管者和用用户,就不再再能按照自己己的想法对元元数据进行修修改。在一个个地方发起 的元数据的的修改将传播播给其他地方方。有各种工工具和方法可可用于不同业业务单元之间间交换元数据据。为了整合合不同数据源源中的数据,仍仍然必须用手手工进行数据据的映射,以以解

22、 决不同同数据源的数数据整合。但但是,这种映映射在一个中中央知识库上上进行维护和和管理。 人 数据拥有者者、应用开发发人员、用户户和其他的数数据保存者现现在比以往任任何时候更清清楚元数据管管理的重要性性。人们遵循循有关元数据据管理的“监监督”处理操操作规程。在在对元数据进进行修改前,他他们就分析这这种修改将会会产生的影响响。他们认识识到元数据的的共享将使组组织的运作更更有效,并使使他们的生活活更轻松。 处理 建立了监监督体系结构构(谁是数据据和应用的拥拥有者),监监督资产(数数据仓库、数数据集市、命命名标准)和和流程(何时时开始更新、如如何更新)。 技术 有几个工工具经常被用用于元数据的的监督

23、处理。SSchemaaLogicc是一种新兴兴的工具,通通常被用于帮帮助监督处理理发现业务的的词汇及其分分类。还有一一些软件提供供商正在相互互竞争,以填填补这一空间间,但还没有有一家能提供供商用的产品品。 第四级: 优化化 行为特征 在对对元数据实施施集中存储并并通过监督体体制对元数据据进行管理后后,企业会发发现,通过标标准化和整合合可以实施有有意义的优化化。为了优化化各业务单元元之间的各种种冲突和各个个副本,人们们开发了一个个企业数据模模型和词汇表表。人们可以以将这些标准准模型和词汇汇表用于各种种新的应用。时时机成熟时,可可以把各种老老的应用迁移移到这些模型型上。 人 在这一级,人人们坚持不

24、懈懈地探索优化化的途径。人人们协同工作作,通过在数数据的入口点点确认数据的的有效性来提提高数据的质质量。通过确确定各业务实实体的权威数数据源,使数数据的映射达达到最小化。数数据开始从一一个业务单元元平滑地流到到另一个业务务单元,而不不用担心昂贵贵的数据集成成成本。 处理 首先,生生成企业数据据模型,并在在中央知识库库进行维护。第第二,对数据据模型中定义义的每一个实实体确定权威威数据源或企企业应用的主主参照数据,然然后将业务的的上下文信息息和 含义与与这些数据源源进行关联。在在整个组织中中对业务的词词汇表进行标标准化。鼓励励应用开发小小组使用这些些标准化的术术语,来生成成、传播和表表示信息。 技

25、术 目前,仅仅有少数几个个能帮助企业业实施优化的的工具。而且且,每一个工工具只能完成成其中一到两两个任务,还还没有哪个工工具能做企业业优化所需的的所有事情。 第五级: 自动动化 行为特征 在这这一级,元数数据管理是自自动进行的。当当在逻辑层次次发生元数据据更新时,它它们将被传播播到物理层次次。反之,当当在物理层次次发生更新时时,逻辑层次次将被更新,以以反映这 种种更新。在元元数据中的任任何变化也将将触发业务工工作流,以处处理其他各个个业务系统所所需的相对应应的任何修改改。由于各个个应用系统遵遵照相同的词词汇表,它们们之间的关系系可 以通过过知识本体进进行推断,所所以,各应用用系统之间数数据格式

26、的映映射自动产生生。 人 人们把元数数据管理作为为常规业务的的组成部分。就就像电信网对对业务的支持持一样,元数数据成为组织织运作中一种种关键的、普普遍存在的、无无形的资产。元元数据管理变变成业务处 理的一个主主要组成部分分,而且,整整个业务运作作都要依赖于于它。事实上上,如果元数数据管理实施施得很好,人人们可以无需需关心它在何何处。在自动动化级,元数数据管理成为为一种 使能能器,而不被被视为一种障障碍。 处理 在这一级级,元数据管管理的处理较较为理想。绝绝大多数处理理是自动完成成的。人们从从手工和程序序处理过程中中解放出来。他他们在元数据据判定上可以以工作得更有有效。当业务务变化时,由由知识工

27、人对对企业数据模模型、词汇表表和知识本体体进行维护。这这样一种改变变立即会在各各个应用中反反映出来。例例如,假如一一个新产品被被引进,把它它加到企业词词汇表和知识识本体中,这这一情况将自自动地被传播播给金融系统统、制造业系系统和营销系系统。使得每每个应用系统统无需花费昂昂贵的代价,去去完成相应的的修改。 技术 各个应用用必须使用企企业数据模型型、词汇表和和知识本体来来获取、传播播和表示数据据。人们开发发了各种代理理,将数据从从一种格式翻翻译成另一种种格式。为了了实现这些功功能,当前正正在展开知识识库表示和知知识集成方面面的许多研究究。 元数据管理工具具基本功能元数据管理典型型的应用有:ETL映

28、射射分析、血统统分析/影响响分析和差异异分析等。这这些 应用对对于整个企业业、技术人员员、业务人员员和IT管理理人员都的挥挥着至关重要要的作用。对对于整个企业业而言,元数数据管理可以以协助企业进进行数据资产产管理;帮助助解决数据 孤岛的现象象,形成统一一企业信息地地图;实现集集中浏览分布布在企业内部部的所有电子子文档;同时时协助企业建建立企业级视视图的指标库库。 随着企业信息化化建设的不断断深入和积累累,元数据管管理平台可以以发挥企业知知识传承的平平台。通过元元数据的“EETL映射分分析”功能,从从企业级视图图去查看“TTransfformerr”这个转换换的具体细节节。帮助技术术人员更好的的

29、理解数据内内部的来龙去去脉。 对于那些已经建建设有BI/DW系统的的企业而言,企企业内部分散散着数十种系系统的情况是是很 普遍的的现象。这些些企业的业务务人员和决策策层所关注的的一些统计报报表和指标,往往往是经过许许多业务系统统和若干数据据处理环节而而形成的。当当最末端的数数据发生异常常时,在 没没有元数据管管理系统的情情况下,需要要许多单位和和部门(包括括软件集成商商)的人共同同参与,利用用手工的方式式去逐级查找找数据出错的的原因。这种种方式不仅不不利于问题的的及 时发现现,而且一旦旦出现问题,很很难短时间内内定位问题,甚甚至根本不可可能定位问题题的所在。 而利用元数据管管理系统的血血统分析

30、等功功能,可以很很容易的定位位问题,再配配合监控规则则的设置,使使问题发现的的及时性大大大提高。 利用元数据管理理系统,企业业可以建立数数据元(标准准)的统一视视图。通过统统一数据口径径、 完善指指标体系、建建立统一数据据视图,可确确保数据的完完整性、准确确性、一致性性,从而有效效的在各个业业务系统内进进行数据的转转换和整理工工作。目前,许许多企业经常常会面临 同同一个指标在在不同部门或或者不同系统统中定义不一一致的情况,以以至于最终的的统计数据出出现偏差,为为决策者提供供了错误的决决策依据。 如某企业某月AA省分公司和和B省分公司司都给总公司司上报了“产产品销售量”的的指标,A省省 分公司的

31、的产品销售量量为500万万件,B省分分公司的产品品销售量为3300万件。按按常识判断AA省分公司的的销售量应该该远远小于BB省分公司的的销售量,但但报表的数据据却与 常识识相差甚远,究究竟是什么原原因造成这种种与常识的不不一致性呢?在没有元数数据管理系统统时,我们很很难发现其中中的原因,但但有了元数据据管理系统的的指标差异分分析等功 能能,通过元数数据的差异分分析很容易解解释这些现象象。如图5所所示:之所以以出现统计的的异常是由于于A、B两省省分公司对同同一指标“产产品销售量”的的定义不一致致而造成的。 此外,元数据管管理系统可在在统一数据视视图上进行全全行业内的指指标一致性分分析,可对关关键

32、 业务的的监控规则进进行设置和管管理。随着数数据量的不断断积累,数据据质量问题的的日益突出,元元数据管理平平台可承担起起全企业的数数据质量管理理的基础平台台。同时,利利用需求 类类元数据和流流程类元数据据,来协助IIT管理人员员进行项目和和流程的管理理,从而减少少企业人员流流动对于项目目造成的影响响。 在这个“惟一不不变的就是变变化本身”的的时代,在这这个数据和知知识爆炸的时时代,如何有有效的进行企企业IT系统统建设的扬弃弃和传承?如如何高效的利利用企业数据据资产? 这些问题犹如“格格尔迪奥斯绳绳结”摆在我我们的面前,而而元数据恰是是解开这个“结结”的关键 所在。对于于企业IT系系统建设而言言

33、,我们依然然信奉“元数数据不是万能能的,但没有有元数据是万万万不能的”这这句经典诠释释。特别是对对于那些组织织结构复杂、IIT系统众多多 的企业,这这个组织和支支撑它的ITT系统要想有有效运转起来来,一定少不不了元数据这这种“润滑剂剂”。 目前主流的元数数据管理工具具总起来看,目前前国内的元数数据管理工具具大概有三类类。一是像IIBM、CAA等公司都提提供的专门工工具,比如IIBM收购AAscenttial得到到的 Mettastagge,CA的的DecissionBaase都是如如此;二是像像DAG的MMetaceenter,它它不依托于某某项BI产品品,是一种第第三方的元数数据管理工具具,

34、三是国内部门门开发商在某某些具体的项项目中也在开开发自己的元元数据管理工工具。各种元数据管理理工具有很多多。理论上讲讲,用户可以以用其中一种种管理其他系系统中的数据据,比如选择择数据仓库系系统厂商提供供的元数据管管理工具来管管理其他层面面的元数据。但但实际应用中中的管理效果果如何呢?一一般情况是,这这些专门工具具管理自己本本系统的元数数据尚可,一一旦跨系统管管理,效果就就不尽如人意意了。从国内的实际应应用来看,DDAG的Meetacennter这一一工具使用最最多,目前所所看到的在电电信、金融领领域建设的元元数据管理项项目基本上都都是应用了这这一产品。至至于 像CAA等公司的工工具,在国内内基

35、本上没有有成功案例。国有资产管理支支持系统元数数据管理架构构现状虽然元数据管理理已经很久被被业界所关注注,但是大多多数企业的元元数据管理事事实上还是处处在一个混乱乱的状态中,元数据没有有被有效的纪纪录下来,大大量的元数据据嵌入在软件件应用编码中中,甚至更多多的存在于员员工的“部落知识”中,某个员工工的离职都可可能对企业造造成极其糟糕糕的影响。正正如我们在元元数据管理的的五种状态的的第一级状态态所描述:人 元数据知识识保留在人的的大脑中。在在这种环境中中,知道(或或不知道)与与谁交谈对于于理解元数据据成为一件十十分重要的事事。 处理 元数据要要通过与“责责任人”的交交谈才能共享享。新来者需需要通

36、过他们们的日常工作作来学习元数数据。外部人人员难以理解解元数据,他他们必须与“责责任人”交谈谈才能得到他他们想 要的的东西。因为为元数据在局局部产生或抓抓取并在局部部使用,所以以通常也只能能在局部修改改,这种修改改通常也不会会通知公司里里其他的组织织。 技术 可以用各各种不同的工工具来生成元元数据。绝大大部分是面向向个人电脑的的应用软件。例例如,ERWWin可用于于数据库建模模,Ratiional用用于为对象建建模、Exccel用于生生成商品列表表等。这些工工具都没有设设计成可以交交换信息,因因此,只能在在当地的文件件系统中保存存所生成的元元数据。主要的障碍元数据管理问题题是业界头痛痛已久的一

37、个个问题,目前前看似还没有有很好的解决决方案,国内内已知的元数数据管理工具具和已知的元元数据管理项项目都可以说说是效果一般般。其关键的的难点在于:一方面工具本身身的缺陷,目目前已知的工工具几乎都只只能支持与几几种有限的工工具平台交互互,不能将企企业环境中的的所有的元数数据集成管理理,事实上往往往形成了新新的元数据问问题。另一个方面,更更大的困难在在于人的因素素,很多关于于元数据的知知识存在于员员工的脑袋里里面,很可能能他自身都没没有意识到,知知识的显化不不是一个容易易的过程,几几乎可以肯定定是一个长期期的过程。解决方案元数据管理问题题不是纯粹的的技术问题,更更加主要的是是一个管理的的问题,因此

38、此我们有必要要将其放在一一个企业战略略环境中考察察。成功的关键因素素元数据管理成功功的关键因素素是:战略层支持和涉涉入 战略执行保障有效的沟通保证战略有效执执行的组织架架构有效的元数据管管理有效的过程保证证元数据架构体系系 元数据验证评估估体系与评估估机制元数据管理技术术 元数据管理环境境战略层支持和涉涉入企业的高层和经经理们必须支支持元数据管管理。同样重重要的是,所所有潜在的消消费者必须参参与到元数据据管理中。没没有管理层的的支持和近乎乎全部的投入入,用于整个个企业的元数数据管理项目目通常就会失失败。企业的高层和经经理们必须完完全支持元数数据管理和使使用。支持包包括确保有充充足的资源,也也意

39、味着对实实现元数据管管理环境的一一贯承诺,该该环境是企业业衡量和决定定支持数据的的唯一来源。元数据管理和使使用通常需要要巨大的“文化”变革。在没没有管理承诺诺的情况下这这不会发生。管管理内部变革革,尤其是文文化变革,需需要三种东西西:管理承诺诺、一致通过过和恰当的措措施和奖励。管理承诺高层和经理们必必须一直承诺诺让企业进行行所要发生的的任何事情,包包括变革。只只有企业领导导人才能保证证有可用的、影影响变革的、必必要的资源。一一贯承诺意味味着变革会变变为企业领导导持续、明显显地支持的企企业的战略和和目标。领导导支持是变革革获得一致批批准的主要因因素。 一致通过只有当相关人员员批准变革时时,变革才

40、能能够成功。他他们必须了解解变革的需要要,同意变革革是正确的,并并且相信变革革对企业和他他们自己都是是有好处的。Peter Senge在他的书“第五项修炼”里描述了为了实施系统变革而需要做出的一致通过,他说,“人们想改变,而不想被改变。”措施和奖励让每个人都希望望变革是很难难的。需要一一定水平和程程度的沟通和和合作,而这这在大部分企企业里这种情情况并不常见见。保持一致致通过甚至更更难。确保恰恰当地准确地地衡量变革的的过 程和结结果,并在全全企业沟通,这这是取得并保保持一致通过过的最好方法法。必须得奖奖励好的成果果和变革行为为,同时,那那些未改变的的行为和坏的的结果不应该该受到奖励。如如果员 工

41、坚坚持旧的操作作方式,但是是仍然受到奖奖励的话,他他们就不会改改变了。所有元数据的潜潜在消费者,包包括高层和那那些来自于每每个组织单元元和级别的人人们一定要主主动参与到元元数据管理当当中。元数据据消费者对元元数据的接受受有最大的影影响,因此非非常有必要阐阐述他们的需需要。他们也也是操作数据据的“所有者”和“管理员”,所以他们们是主题专家家意见的最好好来源。业务需求不首先判定战略略业务的需求求就开发元数数据管理环境境是一定会失失败的。这些些需求的最好好来源是企业业战略规划和和规划中确定定的执行措施施,这些是元元数据管理结结构体系和环环境 设计的的基础(其他他成功的关键键因素会在本本文的后面部部分

42、讲到)。没没有首先决定定战略业务和和信息需求,一一个企业就不不应该建立元元数据管理。战略规划战略计划概述了了一个企业的的使命和目的的、目标、战战略和执行措措施(业务需需求)。如果果正确使用战战略计划,它它就是那些经经理们用来有有效地引导他他们的组织、确确保企业成功功的工具。一个企业的战略略计划不仅仅仅提供了有效效管理的指导导,也提供了了内部变革的的导向力,为为响应外部变变革提供指导导方针。企业业通过战略规规划过程,定定义并记录企企业意图、目目的和目标以以及实现它们们所采取的战战略。其中也也包含对外部部机遇和威胁胁的评估,以以及对内部优优劣势的评估估。最有用的战略计计划是多维的的,它整合了了企业

43、的整体体规划,包含含了每个企业业要素的附属属计划,包括括每个关键成成果的衡量措措施。执行措施制定正确的执行行措施是成功功企业管理的的所在。一个个企业必须能能够分辨过程程是否按关键键目标制定,是是否符合股东东期望。最有有效和有用的的执行措施是是跨职能的、同同恰当的战略略、目标和执执行标准相联联系的。管理理的目标和措措施的极限经经常建立在外外部基准的基基础上,形成成了一个企业业的绩效衡量量系统结构。执行衡量文件应应该包括不仅仅仅报告和查查询的内容,还还要记录从来来源到最终信信息接收的数数据路径。所所有执行衡量量的全部报告告结合在一起起组成了数据据仓库的基础础和满足企业业要求的真正正特制的战略略信息

44、系统。高层和经理们使使用从数据仓仓库产生的信信息来提高积积极性、奖励励好的行为和和改变战略。员员工用它们来来调整操作,对对战略需求做做出反应。连连接特定目标标的及时精确确的措施开始始使企业管理理变得更像是是一门科学,而而不是一门艺艺术。所有企业业务规规则和执行要要素都是各种种各样的企业业元数据。正正是这些重要要的元数据常常常没被管理理起来。元数据结构体系系元数据管理取得得成功的关键键在于企业的的元数据结构构体系,它能能反映一个企企业的执行衡衡量和业务需需求情况。它它的数据模型型和元数据结结构应该都建建立在战略和和战术信息需需求的基础上上-而不是某些些特定的技术术的基础上。企业数据模型一个企业数

45、据模模型记录了一一些数据要素素,他们的值值在任何点上上任何时间对对告诉数据消消费者企业的的执行效能来来说是必须的的。数据模型型对每个关键键数据实体都都作了清晰、明明确的定义,描描述了每个使使用方法,并并定义了推导导公式、聚合合种类和刷新新时间间隔。和和企业信息结结构体系连接接在一起的数数据模型不仅仅仅成为需求求文件,也成成为将企业元元数据同它的的消费者和开开发者之间沟沟通的来源。数据模型必须要要说明的问题题包括要使用用什么样的元元数据来源来来填充元数据据环境、元数数据应该如何何从继承环境境里转移出来来、以及如何何集成或者变变换元数据要要素以保证元元数据的质量量和完整性。任任何一个企业业元数据管

46、理理环境里最重重要的两个问问题是元数据据的质量和访访问。元数据结构元数据管理环境境可能会有很很多结构中的的其中一种,实实施特定的元元数据结构时时必须要阐述述的主要问题题涉及到元数数据的分配和和复制。这些些问题包括:有多少元数据以以及多久? 从哪里来? 单向还是双向更更新? 谁需要它?他们们需要什么格格式的数据?什么时候需需要? 元数据质量元数据管理成功功的单一的、最最主要的因素素是企业元数数据的质量。很很显然,企业业元数据必须须有尽可能高高的质量,必必须精确、关关联度高、完完整、简练,必必须及时、通通用,可 以以用清晰、能能够被理解的的方式表达。一一个包含可信信企业元数据据的元数据环环境变为一个个颇有价值的的企业资源,为为所有组织级级别的决策者者们提供资源源。如果消费费者发现元 数据不好,那那元数据管理理就是失败的的

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论