元数据管理模块方案

1、元数据管理模块方案目录1 .现状分析错误!未指定书签1.1 目前的困境错误!未指定书签1.2 什么是元数据管理错误!未指定书签2 .目标分析错误!未指定书签2.1 建立完善的指标解释体系错误!未指定书签2.2 建立规范的元数据管理体系错误!未指定书签2.3 建立有效的数据稽核体系错误!未指定书签3 .功能概述错误!未指定书签3.1 元数据管理错误!未指定书签3.1.1 业务元数据错误!未指定书签3.2.2技术元数据错误!未指定书签3.3 元数据分析错误!未指定书签3.3.1 血统分析错误!未指定书签3.3.2 影响分析错误!未指定书签3.3.3 重要性分析错误!未指定书签3.3.4 无关性分析

2、错误!未指定书签3.4 数据稽核错误!未指定书签3.4.1 稽核规则管理错误!未指定书签3.4.2 稽核任务调度错误!未指定书签3.4.3 稽核结果分析错误!未指定书签3.4.4 数据质量评估错误!未指定书签3.4.5 数据问题管理错误!未指定书签1/14元数据管理模块方案元数据管理系统概述1.现状分析随着经营分析系统规模不断扩大，系统所积累数据量也越来越大，收集到的海量数据背后隐藏着大量珍贵重要的信息，但也同时提高了系统的数据管理难度：一方面难以对这些数据进行有效解释，缺乏对业务流程执行的实时监控和管理；另一方面各部门数据与数据整合的难度也不断加大，影响到了经营分析系统中的数据质量。如何对现

3、有数据进行深层发掘，并揭示出埋藏在元数据中的趋势、因果关系、关联模式等核心信息？这是下一步深化经营分析系统应用的电信运营商需要解决的头等大事。构建，首先要保证的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理，并建立数据与数据之间的关系，为数据仓库的数据质量监控提供基础素材。1.1 目前的困境使用者（决策层、业务分析人员）：1）经营分析系统中存在有很多报表，不同报表中存在一些相同的指标，这些指标往往不一致，给业务分析和决策工作造成很多困惑，必须花费很大的精力去检查核实。2）对于很多指标，不清楚其具体含义，不清楚其反映的问题，不清楚其具体算法和来龙去脉。数据仓库项目开

4、发维护者：1）不同报表中的同一指标不一致，必须花费很大的精力去检查，目前基本上是通过手工检查表和存储过程的方式，效率较低。2）没有完善的开发、维护规范。比如，新增一张分析报表，开发人员根据业务人员的需求制作完成之后，往往没有整理完善相应的数据指标解释和元数据管理，造成日后检查困难。3）开发、维护规范的执行力较低，没有行之有效的管控手段。不严格按照2/14元数据管理模块方案规范执行，随着项目的发展和时间的推移，导致数据仓库项目的健壮性和可维护性呈几何级数下降，给数据仓库的建设带来大量的重复工作。1.2什么是元数据管理元数据最本质，最抽象的定义为：（关于数据的数据）o而对于经营分析数据仓库而言，形

5、象的定义为：元数据就是数据仓库的规范。这些规范包括对各种指标的定义、解释；包括对各表中数据的来龙去脉、数据的大小和格式的定义。元数据管理，就是要建立一套行之有效的规范以及该规范的管控体系，实现从管理到查询到综合分析的全面管控，管理层次从接口到处理、业务逻辑处理、结果展现处理和指标分析的方方面面，构成数据仓库应用系统的核心和基础。做到开发者能严格遵守规范，维护者和使用者有规范可查，有力的保障数据仓库项目的健壮性和可维护性。2 .目标分析要走出目前的困境，有下面三个方面的问题急待解决：2.1 建立完善的指标解释体系满足用户对业务和数据理解的需求，建立标准的企业内部知识传承的信息承载平台，建立业务分

6、析知识库，实现知识共享。能够回答诸如以下问题：什么是出帐用户数？在网用户数和网上用户数有何区别？什么是套餐的生命周期？竞争对手新发展用户数是怎么得来的？这个数据还叫什么名字？3/14元数据管理模块方案2.2 建立规范的元数据管理体系让用户能够清晰的了解数据仓库中数据流的来龙去脉，业务处理规则、发展情况等，提高系统的可维护性、适应性和集成性，支持数据仓库/集市的成长需求，减少因员工换岗造成的影响。具体来讲，主要是对数据仓库建设、运行和维护的规范的管理。能够回答诸如以下的问题：哪张表是从业务系统抽取过来的原始话单表？竞争对手新发展用户事实表中的数据，是从哪些表汇总计算出来的？用户下的这个存储过程是

7、谁写的，现在还有用吗？我是新手，要生成套餐生命周期演化分析事实表，我该怎么做？表空间不够了，哪些表的数据可以删掉？2.3 建立有效的数据稽核体系促进数据仓库的数据质量建设，为提高整个系统的数据质量奠定坚实的基础。建立报警、监控机制，出现故障，能及时发现问题。提供整体系统运营的情况分析。能够回答诸如以下问题：今天的出帐用户数过高，是怎么回事？数据集市层中的表中数据为空，什么原因？A报表中的全省值和B报表中的值为什么不同？3 .功能概述3.1 元数据管理对数据仓库的层次结构、主题域划分，各层的各种对象，如表、存储过程、索引、数据链、函数和包等的管理。能够清晰的展现各层次结构之间的数据流程，图形化展

8、现各对象之间的关系，展现表中数据的来龙去脉。4/14元数据管理模块方案3.1.1业务元数据业务元数据包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据来源；系统所提供的分析方法及公式、报表信息。业务元数据管理除了管理上述信息外，还提供对业务元数据来源的管理和差异性对比功能，使用户能够方便的查询、比较和追溯。包括两个子模块，指标管理和指标解释接口。指标管理：主要实现对所有指标的维护功能，维护指标的基本信息、业务规则和技术算法等。能够展现各个主题分析中的指标，以及指标间的区别等信息。5Fg序号荒行名标计量单位芟堡1EDJ度髭同尸部后苴A射直勘2匕工收入曲HJC口C

9、FM3E03移过电诂詈及率时.例-，总等全标与系+本需存+$J6;寸英及说明n的匕口4印。果道网点数个时月收触IED3=香干祈荆鬲招日话首耳率+D高层法第镇i球蕊对M赤户渐占座计区厘内乂口料的比网CELECT#FROMUF_GSMqLL_TaWL理用力.熟i+量单位无也陛时询机屉俳匚NUUJ年UJ月23日计为例一憎抗至交椅索|聊日琳一|修磔甯标|M阕瓯指标解释接口：提供统一的接口，使用户能够在经营分析系统或系统中,点击任一指标名称，即可查看该指标的详细描述和解释说明经营分析系统联机帮助或失用户数上月出帐本月不出帐的用户数5/14元数据管理模块方案3.2.2技术元数据技术元数据是存储关于数据仓库

10、系统技术细节的数据，是用于开发和管理数据仓库的数据，主要包括数据仓库结构的描述（各个主题的定义，星型模式或雪花型模式的描述定义等）、层（操作数据存储）的企业数据模型描述（以描述关系表及其关联关系为形式）、对数据稽核规则的定义、数据集市定义描述与装载描述（包括的维度、层次、度量以及相应事实表、概要表的抽取规则）。系统除了维护技术员数据的基本信息外，更以图形的方式展现和管理各技术元数据之间的关联关系和来源。技术元数据管理主要包括以下几个功能模块：元数据查询：按关键字、分类、主题域名称等维度进行查询，展现该元数据的基本信息，如业务描述、技术描述、计量单位、所属分类等信息。元数据维护：对元数据的基本信

11、息进行维护，包括增、删、改。元撒横档芯-二匚囹胡曷之.口专用零二3智攵析正式障心加a分析期讯障+-DMJ-DMCODClDSSW1豆|6/14元数据管理模块方案元数据关系查询：展现元数据之间的关系，如：按经营分析数据仓库的各个层次进行展现；按元数据之间的映射关系展现；按元数据的处理流程进行展现等等。元城樨中里：鱼解一元数樨名前1:七一_zrc.B=CDW4-T2SK22直击胜桎，进；tl元鼾第kt推“用，滞行情修也趣,出帐用V数1蟒声耳卜仁差.1割也LJT二ESS2X/；二1EBi_JF.M.CiPPOWEMTJM?JflCN三5a-=_CFFOHEtn_M&aX/P_CCUPETE.KJfl

12、U-_*1FACT_VIPU5E-_-rJ11:疆.指怀：出做用户题市牌中虫或鼠/鼠为W健一点击某元甑据节点，进入该元数揖的我妻雉于界面，克其与其眄三数据之同的关某由行域删改掾心_|LEJOli、.点击某元塞!揖节点展酶元amn.rtUu7/14元数据管理模块方案元数据关系管理：对元数据关系进行维护，包括增加、删除和修改或击陞揖，弹出元敷露选择界面，送行培瑜选揖.元数搪关整：全陵,元教据名林：出依用户数增加上级节点眼据投用控制，忸标右键点击某元款密节点进入四元氯霭的关系雄护界面对瓦特;K地元料据7g的齐军遂行增船理点击基元钻科8点，息现懑元数据的关第限.融中谆中立修改元/樨信息金作.如上图所示

13、，鼠标右键点击某个节点，对该节点进行增、删、改操作。点击健撵，售卅元S蜻选脚界而，身行指所国掘,tt味用F/增加元釉稠节占口叩口仁孙鞋瓷、上想奈迪：IttS幽U出代目广变李痂三明：8/14元数据管理模块方案点击您择L弹出元数据近探界面.进仃精确世也择I-询方恍用户漱名称二击居地双修肺定黄删除诙黄点吗?FJf-OFUMtNTMUN.3.3元数据分析血统分析、影响分析、表重要程度分析、表无关程度分析等等。通过上述分析，让用户对整个数据仓库总体上有清晰的认识和理解，解决数据孤岛的问题。3.3.1血统分析数据血统-，通过数据血统分析，用户可以知道数据何时更新、如何计算以及从何处而来，所有这些手段帮助用

14、户追溯报表中数据产生的来源。这种深入洞查数据来龙去脉的能力对于帮助用户更加信赖他们的信息来说，具有至关重要的作用。9/14元数据管理模块方案营帐系统话单表业务生产系统ET甘由取话单二_F联通用户通话详单源数据SRC层从详单中抽取与移动用户的通话记录移动用户通话详单表ODS层与移动在网用户比较移动新入网用户表数据仓库DW层汇总产生大客户信息汇总产生新入网用户信息数据集市DM层移动大客户信息展现移动新入网用户信息展现3.3.2影响分析影响分析关注的重点是数据的流向，提供端对端影响分析，使您能够看见源系统发生变化时，报表受到的影响，而因此可以轻松地处理环境中的变化。10/14竞争专题用户分析竞争专题

15、策反高层决策市场分析竞争专题大客尸明细目标元数据对象高层决策4争对手3.3.3重要性分析分析系统中，用户最关心的分析主题、报表和指标，追溯这些分析主题、报表和指标涉及到的元数据，这对于系统和数据仓库开发团队具有重要的指导意义。朗户关蛀工玛姓美tnsiAat)itSS诋43：号片面J.N不更用3459产晶布分并旧错与注后对叁修：出电响3442对朝荣遒和庄竟231414H府由母期名春工直营市号及的下二方三诂。=三好.用户工板对比的I分析各元数据对象之间的关联密集度，分析数据仓库中各层次的包、表等对象的重要程度，指导数据仓库开发和维护团队对重点元数据进行重点关注和质量监控。11/14元数据管理模块方

16、案3.3.4无关性分析与重要性分析相反，随着数据仓库系统的规模不断扩大，业务需求的日益变化，会产生一定数量的无关数据、信息和报表，找出这些无关的内容，结合业务需求分析其产生的根源，从而为用户简化工作负载，降低项目总拥有成本，为用户提供可信赖的数据和分析能力。提表无关程度报表名称望在关注度（人次）渠道明细日报面向领导层面的决策支持0自定文套春日报分析政策与市场对品牌发展的也暗鬣响2产品群分析分析渠道的发展和收益3基站法务量分析与S常业国运营相关的数据7点击报版名祢可查看该报表让吊利的相工动据未源7折n3.4数据稽核根据预先配置的规则、算法和质量检查度量，对数据的准确性、合理性等多角度的检查，以及

17、时发现问题，解决问题。对于稽核结果，进行统计分析，形成结果报告，为以后的数据仓库建设、实施和维护的改进打下坚实的基础。12/14元数据管理模块方案3.4.1 稽核规则管理接口数据检验：对接口数据的过程进行稽核和校验，分为文件接口，接口，其他异构数据库接口。处理过程检验：对数据处理过程进行监控和稽核，分为稽核，工作流稽核，其他处理方式稽核等。处理环境检验：对数据处理环境进行检查，针对不同的应用环境，主要分为数据库系统检查、主机系统检查、接口机检查、应用服务器检查。日志监控：在自动运行的过程中可能出现各种各样的错误，比如过程申请的资源超过硬件的物理限制（存储不足或者排序空间不足）。通过检测过程的日

18、志可以判断出该过程输出的目标表数据是否完整。提供选择日志监控的各种信息供选择，如：过程名、所属模块（营业数据、计费数据、维表数据等）、执行时间、完成时间、执行时长、执行用户、执行结果、预警等。维度检验：如：所属模块（营业数据、计费数据、维表数据等）、日期、表名、维度名称、纬度格式、纬度说明、纬度关联编码表、各纬度记录分布情况、是否有空值、空值记录数、空值率、预警区间等指标。指标值检验：包括数据量校验、单指标校验、交叉校验等。3.4.2 稽核任务调度在设定数据稽核的模板后，可以对稽核任务实行自动化处理，也可以通过定制方式来完成，可以定时调用或触发。由不同类型数据检验确定。比如：前序数据（计费营帐数据），可以使用定时调度任务检查数据完整性，后序数据（层数据直到数据集市展示层的汇总数据）的调用可以通过日志记录触发开始，