移动省级经营分析系统数据质量管理系统业务技术规范标准

1、WORD.59/67WORD.中国移动通信企业标准QB-J-XXX-2007中国移动省级经营分析系统数据质量管理系统业务技术规范（征求意见稿）版本号：2.0The Business and Technical Specification on Data Quality Management System in Business Analysis Support SystemV2.02007-05实施2007-05发布中国移动通信 发布目录TOC o 1-7 h z uHYPERLINK l _Toc1641409211.围 PAGEREF _Toc164140921 h 1HYPERLINK

2、l _Toc1641409222.引用标准 PAGEREF _Toc164140922 h 1HYPERLINK l _Toc1641409233.术语和定义 PAGEREF _Toc164140923 h 1HYPERLINK l _Toc1641409244.符号和缩略语 PAGEREF _Toc164140924 h 2HYPERLINK l _Toc1641409255.概述 PAGEREF _Toc164140925 h 2HYPERLINK l _Toc1641409266.总体说明 PAGEREF _Toc164140926 h 2HYPERLINK l _Toc16414092

3、76.1数据质量管理概述 PAGEREF _Toc164140927 h 2HYPERLINK l _Toc1641409286.2主要容 PAGEREF _Toc164140928 h 3HYPERLINK l _Toc1641409296.3系统建设目标 PAGEREF _Toc164140929 h 3HYPERLINK l _Toc1641409306.4实施建议 PAGEREF _Toc164140930 h 4HYPERLINK l _Toc1641409317.数据质量管理需求 PAGEREF _Toc164140931 h 4HYPERLINK l _Toc1641409327

4、.1数据质量问题 PAGEREF _Toc164140932 h 4HYPERLINK l _Toc1641409337.1.1信息问题域 PAGEREF _Toc164140933 h 5HYPERLINK l _Toc1641409347.1.2技术问题域 PAGEREF _Toc164140934 h 6HYPERLINK l _Toc1641409357.1.3流程问题域 PAGEREF _Toc164140935 h 7HYPERLINK l _Toc1641409367.1.4管理问题域 PAGEREF _Toc164140936 h 8HYPERLINK l _Toc164140

5、9377.2系统功能需求 PAGEREF _Toc164140937 h 8HYPERLINK l _Toc1641409387.2.1元数据管理 PAGEREF _Toc164140938 h 9HYPERLINK l _Toc1641409397.2.2数据质量监控 PAGEREF _Toc164140939 h 9HYPERLINK l _Toc1641409407.2.3项目管理支撑 PAGEREF _Toc164140940 h 9HYPERLINK l _Toc1641409418.系统架构 PAGEREF _Toc164140941 h 9HYPERLINK l _Toc1641

6、409428.1系统体系 PAGEREF _Toc164140942 h 9HYPERLINK l _Toc1641409438.2源系统层 PAGEREF _Toc164140943 h 10HYPERLINK l _Toc1641409448.2.1经营分析系统数据处理流程 PAGEREF _Toc164140944 h 10HYPERLINK l _Toc1641409458.2.2数据质量监控点 PAGEREF _Toc164140945 h 10HYPERLINK l _Toc1641409468.3存储层 PAGEREF _Toc164140946 h 11HYPERLINK l

7、_Toc1641409478.3.1元数据存储 PAGEREF _Toc164140947 h 11HYPERLINK l _Toc1641409488.3.1.1业务元数据 PAGEREF _Toc164140948 h 11HYPERLINK l _Toc1641409498.3.1.1.1业务术语 PAGEREF _Toc164140949 h 11HYPERLINK l _Toc1641409508.3.1.1.2业务描述 PAGEREF _Toc164140950 h 11HYPERLINK l _Toc1641409518.3.1.1.3业务指标 PAGEREF _Toc16414

8、0951 h 11HYPERLINK l _Toc1641409528.3.1.1.4业务规则 PAGEREF _Toc164140952 h 12HYPERLINK l _Toc1641409538.3.1.2技术元数据 PAGEREF _Toc164140953 h 12HYPERLINK l _Toc1641409548.3.1.2.1数据源接口 PAGEREF _Toc164140954 h 12HYPERLINK l _Toc1641409558.3.1.2.2ETL过程 PAGEREF _Toc164140955 h 12HYPERLINK l _Toc1641409568.3.1

9、.2.3数据仓库和数据集市存储 PAGEREF _Toc164140956 h 13HYPERLINK l _Toc1641409578.3.1.2.4分析应用 PAGEREF _Toc164140957 h 13HYPERLINK l _Toc1641409588.3.1.2.5运行环境信息 PAGEREF _Toc164140958 h 14HYPERLINK l _Toc1641409598.3.1.2.6质量管理过程 PAGEREF _Toc164140959 h 14HYPERLINK l _Toc1641409608.3.1.3管理元数据 PAGEREF _Toc164140960

10、 h 15HYPERLINK l _Toc1641409618.3.2运行状态信息存储 PAGEREF _Toc164140961 h 16HYPERLINK l _Toc1641409628.3.3质量管理知识存储 PAGEREF _Toc164140962 h 16HYPERLINK l _Toc1641409638.4功能层 PAGEREF _Toc164140963 h 16HYPERLINK l _Toc1641409648.4.1元数据管理 PAGEREF _Toc164140964 h 16HYPERLINK l _Toc1641409658.4.1.1元数据维护 PAGEREF

11、 _Toc164140965 h 17HYPERLINK l _Toc1641409668.4.1.2元数据导入/导出 PAGEREF _Toc164140966 h 17HYPERLINK l _Toc1641409678.4.1.3同步检查 PAGEREF _Toc164140967 h 18HYPERLINK l _Toc1641409688.4.1.4实体查询 PAGEREF _Toc164140968 h 19HYPERLINK l _Toc1641409698.4.1.5过程查询 PAGEREF _Toc164140969 h 19HYPERLINK l _Toc164140970

12、8.4.1.6影响分析 PAGEREF _Toc164140970 h 19HYPERLINK l _Toc1641409718.4.1.7血统分析 PAGEREF _Toc164140971 h 20HYPERLINK l _Toc1641409728.4.1.8实体关联度分析 PAGEREF _Toc164140972 h 20HYPERLINK l _Toc1641409738.4.1.9实体差异分析 PAGEREF _Toc164140973 h 20HYPERLINK l _Toc1641409748.4.1.10版本管理 PAGEREF _Toc164140974 h 20HYPE

13、RLINK l _Toc1641409758.4.1.11变更通知 PAGEREF _Toc164140975 h 21HYPERLINK l _Toc1641409768.4.2质量监控支撑功能 PAGEREF _Toc164140976 h 21HYPERLINK l _Toc1641409778.4.3知识库管理 PAGEREF _Toc164140977 h 21HYPERLINK l _Toc1641409788.4.3.1.1知识积累和维护 PAGEREF _Toc164140978 h 21HYPERLINK l _Toc1641409798.4.3.1.2知识使用 PAGERE

14、F _Toc164140979 h 21HYPERLINK l _Toc1641409808.4.4系统管理 PAGEREF _Toc164140980 h 21HYPERLINK l _Toc1641409818.5应用层 PAGEREF _Toc164140981 h 21HYPERLINK l _Toc1641409828.5.1数据质量监控 PAGEREF _Toc164140982 h 21HYPERLINK l _Toc1641409838.5.2信息地图 PAGEREF _Toc164140983 h 22HYPERLINK l _Toc1641409848.5.3需求变更影响评

15、估 PAGEREF _Toc164140984 h 22HYPERLINK l _Toc1641409858.5.4数据集市支撑 PAGEREF _Toc164140985 h 24HYPERLINK l _Toc1641409868.5.5项目管理支撑 PAGEREF _Toc164140986 h 24HYPERLINK l _Toc1641409878.5.5.1工作分配管理 PAGEREF _Toc164140987 h 24HYPERLINK l _Toc1641409888.5.5.2系统使用状况分析 PAGEREF _Toc164140988 h 24HYPERLINK l _T

16、oc1641409898.5.5.3项目需求管理 PAGEREF _Toc164140989 h 24HYPERLINK l _Toc1641409908.5.5.4项目组织架构管理 PAGEREF _Toc164140990 h 25HYPERLINK l _Toc1641409919.数据质量监控模块 PAGEREF _Toc164140991 h 25HYPERLINK l _Toc1641409929.1概述 PAGEREF _Toc164140992 h 25HYPERLINK l _Toc1641409939.2数据质量监控模块的目标 PAGEREF _Toc164140993 h

17、 25HYPERLINK l _Toc1641409949.3数据质量监控模块功能要求 PAGEREF _Toc164140994 h 25HYPERLINK l _Toc1641409959.3.1数据质量监控流程 PAGEREF _Toc164140995 h 25HYPERLINK l _Toc1641409969.3.2采集 PAGEREF _Toc164140996 h 26HYPERLINK l _Toc1641409979.3.2.1指导原则 PAGEREF _Toc164140997 h 26HYPERLINK l _Toc1641409989.3.2.2信息采集 PAGERE

18、F _Toc164140998 h 26HYPERLINK l _Toc1641409999.3.3检查 PAGEREF _Toc164140999 h 27HYPERLINK l _Toc1641410009.3.3.1数据质量检查基本功能 PAGEREF _Toc164141000 h 27HYPERLINK l _Toc1641410019.3.3.1.1数据稽核 PAGEREF _Toc164141001 h 27HYPERLINK l _Toc1641410029.3.3.1.2处理过程检查 PAGEREF _Toc164141002 h 30HYPERLINK l _Toc1641

19、410039.3.3.2数据质量检查点的部署方式 PAGEREF _Toc164141003 h 30HYPERLINK l _Toc1641410049.3.4报告 PAGEREF _Toc164141004 h 31HYPERLINK l _Toc1641410059.3.4.1检查结果报告基本过程 PAGEREF _Toc164141005 h 31HYPERLINK l _Toc1641410069.3.4.1.1报告定义 PAGEREF _Toc164141006 h 31HYPERLINK l _Toc1641410079.3.4.1.2报告生成 PAGEREF _Toc16414

20、1007 h 31HYPERLINK l _Toc1641410089.3.4.1.3报告提示 PAGEREF _Toc164141008 h 31HYPERLINK l _Toc1641410099.3.4.2检查结果报告的容 PAGEREF _Toc164141009 h 31HYPERLINK l _Toc1641410109.3.4.3告警管理 PAGEREF _Toc164141010 h 32HYPERLINK l _Toc1641410119.3.4.3.1告警界面 PAGEREF _Toc164141011 h 32HYPERLINK l _Toc1641410129.3.4.

21、3.2告警形式 PAGEREF _Toc164141012 h 32HYPERLINK l _Toc1641410139.3.4.3.3告警升级 PAGEREF _Toc164141013 h 33HYPERLINK l _Toc1641410149.3.4.3.4告警恢复 PAGEREF _Toc164141014 h 33HYPERLINK l _Toc1641410159.3.5处理 PAGEREF _Toc164141015 h 33HYPERLINK l _Toc1641410169.3.5.1问题处理的阶段划分 PAGEREF _Toc164141016 h 33HYPERLINK

22、 l _Toc1641410179.3.5.2问题隔离阶段 PAGEREF _Toc164141017 h 33HYPERLINK l _Toc1641410189.3.5.3问题处理阶段 PAGEREF _Toc164141018 h 34HYPERLINK l _Toc1641410199.3.6总结 PAGEREF _Toc164141019 h 34HYPERLINK l _Toc1641410209.3.6.1总结的类型 PAGEREF _Toc164141020 h 34HYPERLINK l _Toc1641410219.3.6.2问题总结 PAGEREF _Toc1641410

23、21 h 34HYPERLINK l _Toc1641410229.3.6.3阶段性总结 PAGEREF _Toc164141022 h 34HYPERLINK l _Toc1641410239.4数据质量监控模块技术实现 PAGEREF _Toc164141023 h 35HYPERLINK l _Toc1641410249.4.1技术实现架构 PAGEREF _Toc164141024 h 35HYPERLINK l _Toc1641410259.4.2数据质量检查代理 PAGEREF _Toc164141025 h 36HYPERLINK l _Toc1641410269.4.2.1目录

24、扫描模块 PAGEREF _Toc164141026 h 36HYPERLINK l _Toc1641410279.4.2.2检查规则读取模块 PAGEREF _Toc164141027 h 36HYPERLINK l _Toc1641410289.4.2.3数据质量检查模块 PAGEREF _Toc164141028 h 36HYPERLINK l _Toc1641410299.4.2.4检查结果生成模块 PAGEREF _Toc164141029 h 36HYPERLINK l _Toc1641410309.4.2.5代理活动采集模块 PAGEREF _Toc164141030 h 36H

25、YPERLINK l _Toc1641410319.4.2.6通信模块 PAGEREF _Toc164141031 h 37HYPERLINK l _Toc1641410329.4.3数据质量监控服务器 PAGEREF _Toc164141032 h 37HYPERLINK l _Toc1641410339.4.3.1用户管理模块 PAGEREF _Toc164141033 h 37HYPERLINK l _Toc1641410349.4.3.2检查规则处理模块 PAGEREF _Toc164141034 h 37HYPERLINK l _Toc1641410359.4.3.3代理配置处理模块

26、 PAGEREF _Toc164141035 h 37HYPERLINK l _Toc1641410369.4.3.4代理活动监控模块 PAGEREF _Toc164141036 h 38HYPERLINK l _Toc1641410379.4.3.5检查结果处理模块 PAGEREF _Toc164141037 h 38HYPERLINK l _Toc1641410389.4.3.6数据库接口模块 PAGEREF _Toc164141038 h 38HYPERLINK l _Toc1641410399.4.3.7通信模块 PAGEREF _Toc164141039 h 39HYPERLINK

27、l _Toc1641410409.4.4数据质量检查客户端 PAGEREF _Toc164141040 h 39HYPERLINK l _Toc1641410419.4.4.1检查规则查看 PAGEREF _Toc164141041 h 39HYPERLINK l _Toc1641410429.4.4.2检查规则配置 PAGEREF _Toc164141042 h 39HYPERLINK l _Toc1641410439.4.4.3代理配置 PAGEREF _Toc164141043 h 39HYPERLINK l _Toc1641410449.4.4.4代理活动监控 PAGEREF _Toc

28、164141044 h 39HYPERLINK l _Toc1641410459.4.4.5检查结果查看 PAGEREF _Toc164141045 h 40HYPERLINK l _Toc1641410469.4.4.6用户管理 PAGEREF _Toc164141046 h 40HYPERLINK l _Toc1641410479.4.4.7通信模块 PAGEREF _Toc164141047 h 40HYPERLINK l _Toc1641410489.5实施要求 PAGEREF _Toc164141048 h 40HYPERLINK l _Toc1641410499.6场景描述 PAG

29、EREF _Toc164141049 h 41HYPERLINK l _Toc16414105010.数据质量管理流程 PAGEREF _Toc164141050 h 44HYPERLINK l _Toc16414105110.1概述 PAGEREF _Toc164141051 h 44HYPERLINK l _Toc16414105210.2管理机制 PAGEREF _Toc164141052 h 44HYPERLINK l _Toc16414105310.2.1组织机构职责 PAGEREF _Toc164141053 h 44HYPERLINK l _Toc16414105410.2.1.

30、1角色与职责 PAGEREF _Toc164141054 h 44HYPERLINK l _Toc16414105510.2.1.1.1项目负责人 PAGEREF _Toc164141055 h 44HYPERLINK l _Toc16414105610.2.1.1.2项目经理 PAGEREF _Toc164141056 h 44HYPERLINK l _Toc16414105710.2.1.1.3数据质量管理员 PAGEREF _Toc164141057 h 45HYPERLINK l _Toc16414105810.2.1.1.4业务系统接口员 PAGEREF _Toc164141058

31、h 45HYPERLINK l _Toc16414105910.2.1.1.5文档的设立和维护 PAGEREF _Toc164141059 h 45HYPERLINK l _Toc16414106010.2.2相关外部组织 PAGEREF _Toc164141060 h 46HYPERLINK l _Toc16414106110.3质量控制流程 PAGEREF _Toc164141061 h 46HYPERLINK l _Toc16414106210.3.1需求变更控制流程 PAGEREF _Toc164141062 h 47HYPERLINK l _Toc16414106310.3.1.1流

32、程进入条件 PAGEREF _Toc164141063 h 47HYPERLINK l _Toc16414106410.3.1.2流程产生文档 PAGEREF _Toc164141064 h 48HYPERLINK l _Toc16414106510.3.2数据质量问题处理流程 PAGEREF _Toc164141065 h 48HYPERLINK l _Toc16414106610.3.2.1流程进入条件 PAGEREF _Toc164141066 h 49HYPERLINK l _Toc16414106710.3.2.2流程产生文档 PAGEREF _Toc164141067 h 49HY

33、PERLINK l _Toc16414106810.3.3指标口径与业务规则问题处理流程 PAGEREF _Toc164141068 h 50HYPERLINK l _Toc16414106910.3.3.1流程进入条件 PAGEREF _Toc164141069 h 51HYPERLINK l _Toc16414107010.3.3.2流程产生文档 PAGEREF _Toc164141070 h 51HYPERLINK l _Toc16414107110.3.4元数据变更维护流程 PAGEREF _Toc164141071 h 52HYPERLINK l _Toc16414107210.3.

34、4.1流程进入条件 PAGEREF _Toc164141072 h 52HYPERLINK l _Toc16414107310.3.4.2流程产生文档 PAGEREF _Toc164141073 h 52HYPERLINK l _Toc16414107410.3.5错误数据维护流程 PAGEREF _Toc164141074 h 53HYPERLINK l _Toc16414107510.3.5.1流程进入条件 PAGEREF _Toc164141075 h 53HYPERLINK l _Toc16414107610.3.5.2流程产生文档 PAGEREF _Toc164141076 h 54

35、HYPERLINK l _Toc16414107710.4质量检查 PAGEREF _Toc164141077 h 54HYPERLINK l _Toc16414107810.4.1管理流程检查 PAGEREF _Toc164141078 h 54HYPERLINK l _Toc16414107910.4.1.1组织结构检查 PAGEREF _Toc164141079 h 54HYPERLINK l _Toc16414108010.4.1.2管理流程与相关标准的检查 PAGEREF _Toc164141080 h 55HYPERLINK l _Toc16414108110.4.1.3质量管理流

36、程执行情况检查 PAGEREF _Toc164141081 h 55HYPERLINK l _Toc16414108210.4.2元数据质量检查 PAGEREF _Toc164141082 h 55HYPERLINK l _Toc16414108310.4.2.1与时性检查 PAGEREF _Toc164141083 h 55HYPERLINK l _Toc16414108410.4.2.2完整性检查 PAGEREF _Toc164141084 h 56HYPERLINK l _Toc16414108510.4.2.3准确性检查 PAGEREF _Toc164141085 h 56HYPERL

37、INK l _Toc16414108611.系统管理 PAGEREF _Toc164141086 h 56HYPERLINK l _Toc16414108711.1概述 PAGEREF _Toc164141087 h 56HYPERLINK l _Toc16414108811.2系统安全管理 PAGEREF _Toc164141088 h 57HYPERLINK l _Toc16414108911.3系统版本管理 PAGEREF _Toc164141089 h 57HYPERLINK l _Toc16414109012.编制历史 PAGEREF _Toc164141090 h 57前言为更好地

38、与时获取、分析、评估和解决省级经营分析系统各环节的数据质量问题，保证数据质量的稳定可靠，需要构建一套省级经营分析系统数据质量部控制的管理体系，利用数据质量监控模块进一步提升数据质量管理系统对经营分析系统的支撑能力，特制订本规。本标准由中国移动通信提出并归口。本标准以中移有限业2007XX号印发。本标准起草单位：中国移动通信。本标准主要起草人：本标准解释单位：中国移动通信。围本规包含了中国移动经营分析系统数据质量部控制的管理体系，以与数据质量管理系统业务技术规方面的容。本规适用于中国移动省级经营分析系统数据质量管理系统(v2.0)的建设。本规重点描述了以元数据管理为基础的数据质量监控功能，引入数

39、据质量监控模块，并提出了数据质量全程监控的概念。旨在为数据运营打下基础，提升数据质量管理能力，使经营分析系统具有更高的实用价值。引用标准中国移动省级经营分析系统数据质量管理系统业务技术规（v1.5）中国移动经营分析系统元数据管理规V1.0中国移动省级经营分析系统数据质量控制指导意见术语和定义序号名词解释1元数据是描述经营分析系统中数据的数据，为数据质量管理等业务功能提供信息支撑。2技术元数据技术元数据包含关于经营分析系统数据技术层面的信息，描述了数据源、ETL、数据仓库和数据集市、OLAP、一级经营分析系统接口等子系统的数据特征。3业务元数据业务元数据用业务术语、名称、定义来描述经营分析系统中

40、的各种业务信息，供业务人员使用。4管理元数据管理元数据主要是指经营分析系统日常建设过程中，涉与开发、运维等管理流程的基本信息。5CWMCWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。6信息地图信息地图是在元数据基本功能基础上对经营分析基础元数据信息的全局、多视角的展现。7数据质量监控自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则，对数据质量情况进行诊断，并与时向数据质量监控人员报告。8数据质量监控代理(Agent)是指部署在经营分析系统

41、数据处理流程各阶段上的，完成数据质量情况采集、检查、报告等功能的驻留程序。9数据质量监控服务器对分布式数据质量监控代理进行管理和服务的程序模块。符号和缩略语缩写英文描述中文描述BOSSBusinessOperationSupportSystem业务运营支撑系统ODSOperationalDataStore操作型数据存储CORBACommonObjectRequestBrokerArchitecture公共对象请求代理体系结构CORBAIDLCORBAInterfaceDefinitionLanguageCORBA接口定义语言CWMCommonWarehouseMetamodel公共仓库元模型E

42、TLExtractionTransformationLoading抽取、转换和加载JMIJavaMetadataInterfaceJava元数据接口OLAPOn-lineAnalysisProcess在线分析处理XMIXMLMetadataInterchangeXML元数据交换概述中国移动省级经营分析系统（以下简称为省级经营分析系统）经过多年发展，已初步建立了数据质量管理机制，有效保障了经营分析系统的数据质量。随着省级经营分析系统价值的不断显现与稳步提升，以与IT系统安全管理、风险部控制等重大管理举措的实施，各省公司对经营分析系统如何保障数据质量提出了更高要求。为了全面与时地采集、检查、报告、

43、解决和总结经营分析系统各环节的数据质量问题，保证数据质量的稳定可靠，中国移动特制定中国移动省级经营分析系统数据质量管理系统业务技术规（v2.0）（以下简称“本规”），旨在指导和规各省（直辖市、自治区）公司的数据质量管理系统的建设、工程实施以与日常运维管理工作。总体说明数据质量管理概述在经营分析系统发展的不同阶段，经营分析系统对数据质量的关注点也有所不同。早期对数据质量的关注点主要是提高数据准确性，随着系统功能和定位的不断延伸，用户关注的重点逐步由数据准确性扩展至完整性、一致性、与时性等方面，这些容也属于数据质量的畴。根据中国移动省级经营分析系统前期的建设经验，目前系统关注的数据质量问题主要包括

44、以下几个方面容：数据质量的六大基本要素是否满足，所谓六大基本要素是指：完整性：主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面；唯一性：指主键唯一和候选键唯一两个方面；一致性：指统一数据来源、统一冗余存储和统一数据口径；精确度：指计量误差、度量单位等方面的精确度；合法性：主要包括格式、类型、域值和业务规则的有效性；与时性：指数据刷新、修改和提取等操作的与时性和快速性。如何从用户视角衡量数据质量，重视用户对数据的满意程度；如何建立基于CWM规的元数据管理功能平台，支持数据质量管理，为将来全网共享元数据奠定基础；如何建立数据质量监控手段，与时发现、报告、处理经营分析系统数据质量问题；如何通

45、过建立有效的数据质量管理体系来保障和提升数据的价值。主要容本规用以指导经营分析系统数据质量管理系统建设的全过程。描述了经营分析系统数据质量管理需求与围、数据质量管理总体应用体系框架，明确规定了数据质量管理系统中的元数据支撑功能与其它支撑功能，确定了数据质量管理的基本功能和流程，重点强调了数据质量监控模块的功能和作用。有关元数据建设的详细容请参见中国移动省级经营分析系统数据质量管理系统业务技术规（v1.5）中的附件1 省级经营分析系统元数据管理功能技术规.doc和附件2 中国移动经营分析元数据管理规.doc，上述两个附件给出了元数据管理建设步骤的参考，包括省级元数据库存储逻辑模型、省级元数据库的

46、访问接口实现方法、元数据管理工具选型参考标准等，为元数据支撑管理功能的建设提供参考依据。系统建设目标本规借鉴了先期元数据试点和经营分析系统数据质量管理系统（v1.5）部分省份的建设经验，同时参考了经营分析系统元数据管理规v1.0和OMG组织的CWM国际标准等文献，本期重点实现以下建设目标：在经营分析系统数据处理主要阶段设置数据质量监控点，支持对数据质量的全程监控。在各数据监控点上，实现多角度、多方式、可配置的约束规则，提供常见问题的自动处理方法。完善数据质量监控模块，建立有效的数据质量监控机制，提供全面与时的数据质量报告，控制和预防错误围的扩大。加强数据质量监控技术与管理手段的配合，着重关注经

47、营分析系统数据来源和数据输出的数据质量，明确相关责任。建设符合CWM规的元数据管理平台，为全网经营分析系统的数据质量管理、数据资源管理和数据运营奠定基础。实施建议本规是省级经营分析系统数据质量管理系统规划和建设的基本指导，各省在实施过程中，可根据实际需要以本规为基础进行扩充与细化。建议如下：在建立数据质量管理系统后，需要建立配套的管理机制，确保有专人依照流程对数据质量问题进行管理和维护；元数据管理是本次经营分析数据质量管理系统的重要功能，是将来实现元数据共享和交换的基础。元数据提供了对数据本身的描述，是关于数据的数据，主要包括技术元数据、业务元数据和管理元数据。各省在遵循CWM标准的前提下，可

48、以根据自身实际情况，决定自行建设还是采购元数据管理工具；各省可以根据自身业务情况扩展中国移动省级经营分析系统数据质量管理系统业务技术规（v1.5）附件中的元数据存储逻辑模型，但必须遵循CWM元模型的扩展规则；本规中列举的各类应用，如数据质量监控、信息地图、需求变更影响分析、项目管理支撑、数据集市支撑等应用是本期建设重点关注的容，各省可以根据实际情况增加其它相关应用。数据质量管理需求数据质量问题经营分析系统数据质量问题按照问题的来源和具体原因，可以分为信息、技术、流程、管理四个问题域。如图7-1所示。图7-1数据质量的四个问题域信息问题域图7-2信息问题域信息类问题是由于对数据本身的描述理解与其

49、度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有：元数据描述与理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。元数据描述与理解错误中的相关元数据主要包括：业务元数据主要包括业务描述、业务规则、业务术语、业务指标口径等。技术元数据主要包括接口规、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的容。数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。技术问题域图7-3技术问题域技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题，它产生

50、的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的容：1、数据创建质量问题主要包括业务系统话单延迟入库、创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等。2、数据获取质量问题主要包括采集点不正确、取数时间点不正确以与接口数据在获取过程中失真。如，编码转换处理错误以与精度不够，导致指标统计结果不一致、数据无效等。3、数据传递质量问题主要包括接口数据与时率低，接口数据漏传，网络传输过程不可靠，如包丢失，文件传输方式错误，传输技术问题，协议使用不当导致的数据不完整等。4、数据装

51、载质量问题主要包括数据清洗算法、数据转换算法、数据加载算法错误。5、数据使用质量问题主要包括展示工具使用错误、展示方式不合理和展示周期不合理。6、数据维护质量问题主要包括数据备份/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据。流程问题域图7-4流程问题域流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于经营分析系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节：1、创建流程质量问题主要指操作员数据录入时缺乏审核流程；2、传递流程质量问题主要指通信流程沟通不畅；3、装载流程质量问题主要指清洗流程缺乏/不当、调度流程

52、逻辑错误、数据加载流程逻辑错误与数据转换流程逻辑错误；4、使用流程质量问题主要指数据使用流程缺乏流程管理；5、维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以与对人工后台调整数据没有严格的流程监控；6、稽核流程质量问题主要指缺乏数据错误反馈流程。管理问题域图7-5管理问题域管理类问题是指由于人员素质与管理机制方面的原因造成的数据质量问题，如人员管理、培训和奖励等方面的措施不当导致的管理缺失。人员管理所产生的质量问题主要指：（1）针对省级数据质量问题，没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责；（2）没有明确的数据质量目标；（3）经营分析系统中的

53、数据质量问题的优先级不够；（4）集团公司缺少管理数据质量的管理办法等；人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划；通过上述对经营分析数据质量问题的分类，结合各省经营分析系统建设经验，信息、流程和技术三个方面的数据质量问题相对集中和可控，是本系统实施的重点。在管理方面，本规侧重于提供对开发、运维管理流程方面的支撑，并对管理元数据与其管理围进行了明确定义，具体参见第8章管理元数据的相关定义。系统功能需求在各省具体数据质量问题解决过程中，数据质量问题的定位和解决过程往往依赖具体人员的经验，问题处理效率和正确性难以保证。因此有必要引入元数据管理的相关功能，提供对数据模型、指标统计

54、口径与处理过程等数据实体和处理的标准定义和描述。数据质量管理系统利用元数据库存储技术、业务、管理方面对数据质量的约束规；利用知识库存储数据质量问题和处理过程；通过制定相关管理流程来保证经营分析数据质量的日常管理。本规介绍如何在基于元数据管理的基础上建立数据质量管理系统，并通过制定相关管理流程来保证经营分析数据质量的日常管理。数据质量管理系统的基础是遵循CWM标准的元数据管理支撑功能的实施。根据系统定位，数据质量管理系统与元数据管理支撑功能之间的关系如下：数据质量管理包含元数据管理元数据管理功能为数据质量管理系统提供支撑元数据管理为了实施数据质量管理，需要业务数据的有关统计口径、数据来源、数据约

55、束关系等元数据的支撑。数据质量管理系统要求建立符合国际主流规CWM的元数据管理支撑平台。它负责管理整个经营分析系统的技术、业务和管理三类元数据，形成元数据全局视图，展现经营分析系统数据实体的组成、关系以与处理转换的过程。数据质量监控在数据质量管理系统中，数据质量监控是基础功能。数据质量监控实时采集数据处理过程的各个质量监控点上的质量信息，执行数据质量监控流程，进行数据稽核诊断，然后直观展现检查结果。数据质量管理人员可根据告警信息，采取相应的质量控制行动。最后，还应评估总结本次数据质量监控活动的有效性和与时性，以利于以后质量管理工作的改进。在数据质量监控工作中对质量问题的监控、诊断和处理结果应整

56、理形成质量问题处理案例，并记录到知识库中，以便进行知识共享。项目管理支撑数据质量管理也涉与经营分析系统相关项目的日常管理。将项目管理的容纳入质量管理，可全面、与时记录系统的建设状况和使用情况，有效支持经营分析系统的全员使用。项目管理支撑包括：工作分配管理、系统使用状况分析等。系统架构系统体系数据质量管理系统按照体系结构划分为源系统层、存储层、功能层和应用层，体系结构如图8-1所示：图8-1数据质量管理系统体系结构源系统层经营分析系统数据处理流程经营分析系统的数据处理流程主要涉与源系统接口数据、ETL过程、数据仓库、数据集市、前端应用等处理阶段。数据质量管理系统对数据的管理和监控围涵盖了全部这些

57、处理阶段。数据质量监控点数据质量管理系统在数据处理的各阶段都应设立数据质量监控点，并使稽核诊断工作尽量前移。本期系统规定的数据质量监控点设置如下：（1）各数据源接口（2）ETL处理过程（对数据抽取、转换的主要阶段，以与加载到数据仓库前都应设置监控点）（3）数据仓库（对各种数据粒度的汇总应设置监控点）（4）数据集市（对地市和部门的集市分别应设置监控点）（5）前端展现应用存储层存储层中存储的信息主要包括三个部分：（1）元数据库：存储技术元数据、业务元数据和管理元数据，为数据质量管理系统提供基本的数据实体和处理描述与其映射关系，是质量管理的支撑基础；（2）运行状况信息库：存储从各个数据质量监控点上采

58、集的有关系统运行状况的信息与质量稽核过程信息，是稽核诊断的主要输入信息；（3）数据质量知识库：存储数据质量管理中对质量问题的识别、诊断和处理结果的记录信息，作为解决质量问题的知识共享。以上三种数据库，在逻辑上可进行独立设计，在物理实现上可以部署在同一台服务器上。元数据存储元数据是数据质量管理系统实现的核心，是描述和控制经营分析系统中数据的数据，为数据质量管理体系架构的功能层和应用层提供信息支撑。元数据库中存储的元数据分为三类：技术元数据、业务元数据和管理元数据。业务元数据本部分将业务元数据划分为业务术语、业务描述、业务指标和业务规则四个部分，其中业务规则、业务术语和业务描述共同完成对业务相关信

59、息的事实表述。数据质量管理系统通过对这些业务元数据的映射，可以得到对应的数据质量检查规则。各省公司可以根据自身业务需求对业务元数据主题进行扩充，扩充的元数据主题必须遵循CWM元数据扩展规。业务术语是一个名词或者名词短语，是对一种共识的定义，例如：一个有效的账户被定义为此账户有余额且其有效期未过。业务描述提供对省公司各项主要业务的统一描述，这部分容应与仓库模型的主题信息、相关业务的统计指标建立关联，描述容包括：业务基本描述业务管理规定，包括业务组织、业务流程、资费标准业务统计业务描述是一个完整的描述，通过动词来连接术语使其成为一个有效的声明，例如：开通具体业务的客户必须至少拥有一个有效的账户。业

60、务指标面向业务分析人员，对业务关键信息的解释。业务指标需要提取的元数据主要包括指标标识、指标名称、描述信息、建立时间、所属部门、创建者、类别、数据来源等。业务规则业务规则是一种描述信息，定义和约束了部分业务逻辑，可以用于对业务逻辑结构进行验证，用于控制或者影响业务逻辑的行为。技术元数据技术元数据包含关于经营分析系统数据技术层面的信息，描述了数据源接口、ETL、数据仓库和数据集市、一级经营分析系统接口等子系统的数据特征。根据经营分析系统的特点和经营分析系统数据质量管理的具体要求，本部分将技术元数据分为数据源接口、ETL过程、数据仓库和数据集市存储、分析应用、运行环境信息、质量管理过程六个部分，对