移动省级经营分析系统数据质量管理系统业务技术规范

1、中国移动通信企业标准中国移动通信企业标准QB-QB-J-XXX-2007中国移动省级经营分析系统数据质量管理系统中国移动省级经营分析系统数据质量管理系统业务技术规范（征求意见稿）版本号：2.0The Business and Technical Specification on Data Quality Management System in Business Analysis Support SystemV2.02007-05实施2007-052007-05实施2007-05发布中国移动通信有限公司 发布 PAGE VIII目录TOC o 1-7 h z u HYPERLINK l _To

2、c164140921 1.范围 PAGEREF _Toc164140921 h 1 HYPERLINK l _Toc164140922 2.引用标准 PAGEREF _Toc164140922 h 1 HYPERLINK l _Toc164140923 3.术语和定义 PAGEREF _Toc164140923 h 1 HYPERLINK l _Toc164140924 4.符号和缩略语 PAGEREF _Toc164140924 h 2 HYPERLINK l _Toc164140925 5.概述 PAGEREF _Toc164140925 h 2 HYPERLINK l _Toc16414

3、0926 6.总体说明 PAGEREF _Toc164140926 h 2 HYPERLINK l _Toc164140927 6.1数据质量管理概述 PAGEREF _Toc164140927 h 2 HYPERLINK l _Toc164140928 6.2主要内容 PAGEREF _Toc164140928 h 3 HYPERLINK l _Toc164140929 6.3系统建设目标 PAGEREF _Toc164140929 h 3 HYPERLINK l _Toc164140930 6.4实施建议 PAGEREF _Toc164140930 h 4 HYPERLINK l _Toc

4、164140931 7.数据质量管理需求 PAGEREF _Toc164140931 h 4 HYPERLINK l _Toc164140932 7.1数据质量问题 PAGEREF _Toc164140932 h 4 HYPERLINK l _Toc164140933 7.1.1信息问题域 PAGEREF _Toc164140933 h 5 HYPERLINK l _Toc164140934 7.1.2技术问题域 PAGEREF _Toc164140934 h 6 HYPERLINK l _Toc164140935 7.1.3流程问题域 PAGEREF _Toc164140935 h 7 HY

5、PERLINK l _Toc164140936 7.1.4管理问题域 PAGEREF _Toc164140936 h 8 HYPERLINK l _Toc164140937 7.2系统功能需求 PAGEREF _Toc164140937 h 8 HYPERLINK l _Toc164140938 7.2.1元数据管理 PAGEREF _Toc164140938 h 9 HYPERLINK l _Toc164140939 7.2.2数据质量监控 PAGEREF _Toc164140939 h 9 HYPERLINK l _Toc164140940 7.2.3项目管理支撑 PAGEREF _Toc

6、164140940 h 9 HYPERLINK l _Toc164140941 8.系统架构 PAGEREF _Toc164140941 h 9 HYPERLINK l _Toc164140942 8.1系统体系 PAGEREF _Toc164140942 h 9 HYPERLINK l _Toc164140943 8.2源系统层 PAGEREF _Toc164140943 h 10 HYPERLINK l _Toc164140944 8.2.1经营分析系统数据处理流程 PAGEREF _Toc164140944 h 10 HYPERLINK l _Toc164140945 8.2.2数据质量

7、监控点 PAGEREF _Toc164140945 h 10 HYPERLINK l _Toc164140946 8.3存储层 PAGEREF _Toc164140946 h 11 HYPERLINK l _Toc164140947 8.3.1元数据存储 PAGEREF _Toc164140947 h 11 HYPERLINK l _Toc164140948 8.3.1.1业务元数据 PAGEREF _Toc164140948 h 11 HYPERLINK l _Toc164140949 8.3.1.1.1业务术语 PAGEREF _Toc164140949 h 11 HYPERLINK l

8、_Toc164140950 8.3.1.1.2业务描述 PAGEREF _Toc164140950 h 11 HYPERLINK l _Toc164140951 8.3.1.1.3业务指标 PAGEREF _Toc164140951 h 11 HYPERLINK l _Toc164140952 8.3.1.1.4业务规则 PAGEREF _Toc164140952 h 12 HYPERLINK l _Toc164140953 8.3.1.2技术元数据 PAGEREF _Toc164140953 h 12 HYPERLINK l _Toc164140954 8.3.1.2.1数据源接口 PAGE

9、REF _Toc164140954 h 12 HYPERLINK l _Toc164140955 8.3.1.2.2ETL过程 PAGEREF _Toc164140955 h 12 HYPERLINK l _Toc164140956 8.3.1.2.3数据仓库和数据集市存储 PAGEREF _Toc164140956 h 13 HYPERLINK l _Toc164140957 8.3.1.2.4分析应用 PAGEREF _Toc164140957 h 13 HYPERLINK l _Toc164140958 8.3.1.2.5运行环境信息 PAGEREF _Toc164140958 h 14

10、 HYPERLINK l _Toc164140959 8.3.1.2.6质量管理过程 PAGEREF _Toc164140959 h 14 HYPERLINK l _Toc164140960 8.3.1.3管理元数据 PAGEREF _Toc164140960 h 15 HYPERLINK l _Toc164140961 8.3.2运行状态信息存储 PAGEREF _Toc164140961 h 16 HYPERLINK l _Toc164140962 8.3.3质量管理知识存储 PAGEREF _Toc164140962 h 16 HYPERLINK l _Toc164140963 8.4功

11、能层 PAGEREF _Toc164140963 h 16 HYPERLINK l _Toc164140964 8.4.1元数据管理 PAGEREF _Toc164140964 h 16 HYPERLINK l _Toc164140965 8.4.1.1元数据维护 PAGEREF _Toc164140965 h 17 HYPERLINK l _Toc164140966 8.4.1.2元数据导入/导出 PAGEREF _Toc164140966 h 17 HYPERLINK l _Toc164140967 8.4.1.3同步检查 PAGEREF _Toc164140967 h 18 HYPERL

12、INK l _Toc164140968 8.4.1.4实体查询 PAGEREF _Toc164140968 h 19 HYPERLINK l _Toc164140969 8.4.1.5过程查询 PAGEREF _Toc164140969 h 19 HYPERLINK l _Toc164140970 8.4.1.6影响分析 PAGEREF _Toc164140970 h 19 HYPERLINK l _Toc164140971 8.4.1.7血统分析 PAGEREF _Toc164140971 h 20 HYPERLINK l _Toc164140972 8.4.1.8实体关联度分析 PAGER

13、EF _Toc164140972 h 20 HYPERLINK l _Toc164140973 8.4.1.9实体差异分析 PAGEREF _Toc164140973 h 20 HYPERLINK l _Toc164140974 8.4.1.10版本管理 PAGEREF _Toc164140974 h 20 HYPERLINK l _Toc164140975 8.4.1.11变更通知 PAGEREF _Toc164140975 h 21 HYPERLINK l _Toc164140976 8.4.2质量监控支撑功能 PAGEREF _Toc164140976 h 21 HYPERLINK l

14、_Toc164140977 8.4.3知识库管理 PAGEREF _Toc164140977 h 21 HYPERLINK l _Toc164140978 8.4.3.1.1知识积累和维护 PAGEREF _Toc164140978 h 21 HYPERLINK l _Toc164140979 8.4.3.1.2知识使用 PAGEREF _Toc164140979 h 21 HYPERLINK l _Toc164140980 8.4.4系统管理 PAGEREF _Toc164140980 h 21 HYPERLINK l _Toc164140981 8.5应用层 PAGEREF _Toc164

15、140981 h 21 HYPERLINK l _Toc164140982 8.5.1数据质量监控 PAGEREF _Toc164140982 h 21 HYPERLINK l _Toc164140983 8.5.2信息地图 PAGEREF _Toc164140983 h 22 HYPERLINK l _Toc164140984 8.5.3需求变更影响评估 PAGEREF _Toc164140984 h 22 HYPERLINK l _Toc164140985 8.5.4数据集市支撑 PAGEREF _Toc164140985 h 24 HYPERLINK l _Toc164140986 8.

16、5.5项目管理支撑 PAGEREF _Toc164140986 h 24 HYPERLINK l _Toc164140987 8.5.5.1工作分配管理 PAGEREF _Toc164140987 h 24 HYPERLINK l _Toc164140988 8.5.5.2系统使用状况分析 PAGEREF _Toc164140988 h 24 HYPERLINK l _Toc164140989 8.5.5.3项目需求管理 PAGEREF _Toc164140989 h 24 HYPERLINK l _Toc164140990 8.5.5.4项目组织架构管理 PAGEREF _Toc164140

17、990 h 25 HYPERLINK l _Toc164140991 9.数据质量监控模块 PAGEREF _Toc164140991 h 25 HYPERLINK l _Toc164140992 9.1概述 PAGEREF _Toc164140992 h 25 HYPERLINK l _Toc164140993 9.2数据质量监控模块的目标 PAGEREF _Toc164140993 h 25 HYPERLINK l _Toc164140994 9.3数据质量监控模块功能要求 PAGEREF _Toc164140994 h 25 HYPERLINK l _Toc164140995 9.3.1

18、数据质量监控流程 PAGEREF _Toc164140995 h 25 HYPERLINK l _Toc164140996 9.3.2采集 PAGEREF _Toc164140996 h 26 HYPERLINK l _Toc164140997 9.3.2.1指导原则 PAGEREF _Toc164140997 h 26 HYPERLINK l _Toc164140998 9.3.2.2信息采集 PAGEREF _Toc164140998 h 26 HYPERLINK l _Toc164140999 9.3.3检查 PAGEREF _Toc164140999 h 27 HYPERLINK l

19、_Toc164141000 9.3.3.1数据质量检查基本功能 PAGEREF _Toc164141000 h 27 HYPERLINK l _Toc164141001 9.3.3.1.1数据稽核 PAGEREF _Toc164141001 h 27 HYPERLINK l _Toc164141002 9.3.3.1.2处理过程检查 PAGEREF _Toc164141002 h 30 HYPERLINK l _Toc164141003 9.3.3.2数据质量检查点的部署方式 PAGEREF _Toc164141003 h 30 HYPERLINK l _Toc164141004 9.3.4报

20、告 PAGEREF _Toc164141004 h 31 HYPERLINK l _Toc164141005 9.3.4.1检查结果报告基本过程 PAGEREF _Toc164141005 h 31 HYPERLINK l _Toc164141006 9.3.4.1.1报告定义 PAGEREF _Toc164141006 h 31 HYPERLINK l _Toc164141007 9.3.4.1.2报告生成 PAGEREF _Toc164141007 h 31 HYPERLINK l _Toc164141008 9.3.4.1.3报告提示 PAGEREF _Toc164141008 h 31

21、 HYPERLINK l _Toc164141009 9.3.4.2检查结果报告的内容 PAGEREF _Toc164141009 h 31 HYPERLINK l _Toc164141010 9.3.4.3告警管理 PAGEREF _Toc164141010 h 32 HYPERLINK l _Toc164141011 9.3.4.3.1告警界面 PAGEREF _Toc164141011 h 32 HYPERLINK l _Toc164141012 9.3.4.3.2告警形式 PAGEREF _Toc164141012 h 32 HYPERLINK l _Toc164141013 9.3.

22、4.3.3告警升级 PAGEREF _Toc164141013 h 33 HYPERLINK l _Toc164141014 9.3.4.3.4告警恢复 PAGEREF _Toc164141014 h 33 HYPERLINK l _Toc164141015 9.3.5处理 PAGEREF _Toc164141015 h 33 HYPERLINK l _Toc164141016 9.3.5.1问题处理的阶段划分 PAGEREF _Toc164141016 h 33 HYPERLINK l _Toc164141017 9.3.5.2问题隔离阶段 PAGEREF _Toc164141017 h 3

23、3 HYPERLINK l _Toc164141018 9.3.5.3问题处理阶段 PAGEREF _Toc164141018 h 34 HYPERLINK l _Toc164141019 9.3.6总结 PAGEREF _Toc164141019 h 34 HYPERLINK l _Toc164141020 9.3.6.1总结的类型 PAGEREF _Toc164141020 h 34 HYPERLINK l _Toc164141021 9.3.6.2问题总结 PAGEREF _Toc164141021 h 34 HYPERLINK l _Toc164141022 9.3.6.3阶段性总结

24、PAGEREF _Toc164141022 h 34 HYPERLINK l _Toc164141023 9.4数据质量监控模块技术实现 PAGEREF _Toc164141023 h 35 HYPERLINK l _Toc164141024 9.4.1技术实现架构 PAGEREF _Toc164141024 h 35 HYPERLINK l _Toc164141025 9.4.2数据质量检查代理 PAGEREF _Toc164141025 h 36 HYPERLINK l _Toc164141026 9.4.2.1目录扫描模块 PAGEREF _Toc164141026 h 36 HYPER

25、LINK l _Toc164141027 9.4.2.2检查规则读取模块 PAGEREF _Toc164141027 h 36 HYPERLINK l _Toc164141028 9.4.2.3数据质量检查模块 PAGEREF _Toc164141028 h 36 HYPERLINK l _Toc164141029 9.4.2.4检查结果生成模块 PAGEREF _Toc164141029 h 36 HYPERLINK l _Toc164141030 9.4.2.5代理活动采集模块 PAGEREF _Toc164141030 h 36 HYPERLINK l _Toc164141031 9.4

26、.2.6通信模块 PAGEREF _Toc164141031 h 37 HYPERLINK l _Toc164141032 9.4.3数据质量监控服务器 PAGEREF _Toc164141032 h 37 HYPERLINK l _Toc164141033 9.4.3.1用户管理模块 PAGEREF _Toc164141033 h 37 HYPERLINK l _Toc164141034 9.4.3.2检查规则处理模块 PAGEREF _Toc164141034 h 37 HYPERLINK l _Toc164141035 9.4.3.3代理配置处理模块 PAGEREF _Toc164141

27、035 h 37 HYPERLINK l _Toc164141036 9.4.3.4代理活动监控模块 PAGEREF _Toc164141036 h 38 HYPERLINK l _Toc164141037 9.4.3.5检查结果处理模块 PAGEREF _Toc164141037 h 38 HYPERLINK l _Toc164141038 9.4.3.6数据库接口模块 PAGEREF _Toc164141038 h 38 HYPERLINK l _Toc164141039 9.4.3.7通信模块 PAGEREF _Toc164141039 h 39 HYPERLINK l _Toc1641

28、41040 9.4.4数据质量检查客户端 PAGEREF _Toc164141040 h 39 HYPERLINK l _Toc164141041 9.4.4.1检查规则查看 PAGEREF _Toc164141041 h 39 HYPERLINK l _Toc164141042 9.4.4.2检查规则配置 PAGEREF _Toc164141042 h 39 HYPERLINK l _Toc164141043 9.4.4.3代理配置 PAGEREF _Toc164141043 h 39 HYPERLINK l _Toc164141044 9.4.4.4代理活动监控 PAGEREF _Toc1

29、64141044 h 39 HYPERLINK l _Toc164141045 9.4.4.5检查结果查看 PAGEREF _Toc164141045 h 40 HYPERLINK l _Toc164141046 9.4.4.6用户管理 PAGEREF _Toc164141046 h 40 HYPERLINK l _Toc164141047 9.4.4.7通信模块 PAGEREF _Toc164141047 h 40 HYPERLINK l _Toc164141048 9.5实施要求 PAGEREF _Toc164141048 h 40 HYPERLINK l _Toc164141049 9.

30、6场景描述 PAGEREF _Toc164141049 h 41 HYPERLINK l _Toc164141050 10.数据质量管理流程 PAGEREF _Toc164141050 h 44 HYPERLINK l _Toc164141051 10.1概述 PAGEREF _Toc164141051 h 44 HYPERLINK l _Toc164141052 10.2管理机制 PAGEREF _Toc164141052 h 44 HYPERLINK l _Toc164141053 10.2.1组织机构职责 PAGEREF _Toc164141053 h 44 HYPERLINK l _T

31、oc164141054 10.2.1.1角色与职责 PAGEREF _Toc164141054 h 44 HYPERLINK l _Toc164141055 10.2.1.1.1项目负责人 PAGEREF _Toc164141055 h 44 HYPERLINK l _Toc164141056 10.2.1.1.2项目经理 PAGEREF _Toc164141056 h 44 HYPERLINK l _Toc164141057 10.2.1.1.3数据质量管理员 PAGEREF _Toc164141057 h 45 HYPERLINK l _Toc164141058 10.2.1.1.4业务系

32、统接口员 PAGEREF _Toc164141058 h 45 HYPERLINK l _Toc164141059 10.2.1.1.5文档的设立和维护 PAGEREF _Toc164141059 h 45 HYPERLINK l _Toc164141060 10.2.2相关外部组织 PAGEREF _Toc164141060 h 46 HYPERLINK l _Toc164141061 10.3质量控制流程 PAGEREF _Toc164141061 h 46 HYPERLINK l _Toc164141062 10.3.1需求变更控制流程 PAGEREF _Toc164141062 h 4

33、7 HYPERLINK l _Toc164141063 10.3.1.1流程进入条件 PAGEREF _Toc164141063 h 47 HYPERLINK l _Toc164141064 10.3.1.2流程产生文档 PAGEREF _Toc164141064 h 48 HYPERLINK l _Toc164141065 10.3.2数据质量问题处理流程 PAGEREF _Toc164141065 h 48 HYPERLINK l _Toc164141066 10.3.2.1流程进入条件 PAGEREF _Toc164141066 h 49 HYPERLINK l _Toc16414106

34、7 10.3.2.2流程产生文档 PAGEREF _Toc164141067 h 49 HYPERLINK l _Toc164141068 10.3.3指标口径及业务规则问题处理流程 PAGEREF _Toc164141068 h 50 HYPERLINK l _Toc164141069 10.3.3.1流程进入条件 PAGEREF _Toc164141069 h 51 HYPERLINK l _Toc164141070 10.3.3.2流程产生文档 PAGEREF _Toc164141070 h 51 HYPERLINK l _Toc164141071 10.3.4元数据变更维护流程 PAG

35、EREF _Toc164141071 h 52 HYPERLINK l _Toc164141072 10.3.4.1流程进入条件 PAGEREF _Toc164141072 h 52 HYPERLINK l _Toc164141073 10.3.4.2流程产生文档 PAGEREF _Toc164141073 h 52 HYPERLINK l _Toc164141074 10.3.5错误数据维护流程 PAGEREF _Toc164141074 h 53 HYPERLINK l _Toc164141075 10.3.5.1流程进入条件 PAGEREF _Toc164141075 h 53 HYPE

36、RLINK l _Toc164141076 10.3.5.2流程产生文档 PAGEREF _Toc164141076 h 54 HYPERLINK l _Toc164141077 10.4质量检查 PAGEREF _Toc164141077 h 54 HYPERLINK l _Toc164141078 10.4.1管理流程检查 PAGEREF _Toc164141078 h 54 HYPERLINK l _Toc164141079 10.4.1.1组织结构检查 PAGEREF _Toc164141079 h 54 HYPERLINK l _Toc164141080 10.4.1.2管理流程及相

37、关标准的检查 PAGEREF _Toc164141080 h 55 HYPERLINK l _Toc164141081 10.4.1.3质量管理流程执行情况检查 PAGEREF _Toc164141081 h 55 HYPERLINK l _Toc164141082 10.4.2元数据质量检查 PAGEREF _Toc164141082 h 55 HYPERLINK l _Toc164141083 10.4.2.1及时性检查 PAGEREF _Toc164141083 h 55 HYPERLINK l _Toc164141084 10.4.2.2完整性检查 PAGEREF _Toc164141

38、084 h 56 HYPERLINK l _Toc164141085 10.4.2.3准确性检查 PAGEREF _Toc164141085 h 56 HYPERLINK l _Toc164141086 11.系统管理 PAGEREF _Toc164141086 h 56 HYPERLINK l _Toc164141087 11.1概述 PAGEREF _Toc164141087 h 56 HYPERLINK l _Toc164141088 11.2系统安全管理 PAGEREF _Toc164141088 h 57 HYPERLINK l _Toc164141089 11.3系统版本管理 PA

39、GEREF _Toc164141089 h 57 HYPERLINK l _Toc164141090 12.编制历史 PAGEREF _Toc164141090 h 57QBQB-J-XXX-2007 PAGE IX前言为更好地及时获取、分析、评估和解决省级经营分析系统各环节的数据质量问题，保证数据质量的稳定可靠，需要构建一套省级经营分析系统数据质量内部控制的管理体系，利用数据质量监控模块进一步提升数据质量管理系统对经营分析系统的支撑能力，特制订本规范。本标准由中国移动通信有限公司提出并归口。本标准以中移有限业【2007】XX号印发。本标准起草单位：中国移动通信有限公司。本标准主要起草人：本标

40、准解释单位：中国移动通信有限公司。QBQB-J-XXX-2007 PAGE 98QBQB-J-XXX-2007 PAGE 1范围本规范包含了中国移动经营分析系统数据质量内部控制的管理体系，以及数据质量管理系统业务技术规范方面的内容。本规范适用于中国移动省级经营分析系统数据质量管理系统(v2.0)的建设。本规范重点描述了以元数据管理为基础的数据质量监控功能，引入数据质量监控模块，并提出了数据质量全程监控的概念。旨在为数据运营打下基础，提升数据质量管理能力，使经营分析系统具有更高的实用价值。引用标准中国移动省级经营分析系统数据质量管理系统业务技术规范（v1.5）中国移动经营分析系统元数据管理规范V

41、1.0中国移动省级经营分析系统数据质量控制指导意见术语和定义序号名词解释1元数据是描述经营分析系统中数据的数据，为数据质量管理等业务功能提供信息支撑。2技术元数据技术元数据包含关于经营分析系统数据技术层面的信息，描述了数据源、ETL、数据仓库和数据集市、OLAP、一级经营分析系统接口等子系统的数据特征。3业务元数据业务元数据用业务术语、名称、定义来描述经营分析系统中的各种业务信息，供业务人员使用。4管理元数据管理元数据主要是指经营分析系统日常建设过程中，涉及开发、运维等管理流程的基本信息。5CWMCWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和

42、商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。6信息地图信息地图是在元数据基本功能基础上对经营分析基础元数据信息的全局、多视角的展现。7数据质量监控自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告。8数据质量监控代理(Agent)是指部署在经营分析系统数据处理流程各阶段上的，完成数据质量情况采集、检查、报告等功能的驻留程序。9数据质量监控服务器对分布式数据质量监控代理进行管理和服务的程序模块。符号和缩略语缩写英文描述中文描述BOSSBusinessOperationSupport

43、System业务运营支撑系统ODSOperationalDataStore操作型数据存储CORBACommonObjectRequestBrokerArchitecture公共对象请求代理体系结构CORBAIDLCORBAInterfaceDefinitionLanguageCORBA接口定义语言CWMCommonWarehouseMetamodel公共仓库元模型ETLExtractionTransformationLoading抽取、转换和加载JMIJavaMetadataInterfaceJava元数据接口OLAPOn-lineAnalysisProcess在线分析处理XMIXMLMeta

44、dataInterchangeXML元数据交换概述中国移动省级经营分析系统（以下简称为省级经营分析系统）经过多年发展，已初步建立了数据质量管理机制，有效保障了经营分析系统的数据质量。随着省级经营分析系统价值的不断显现与稳步提升，以及IT系统安全管理、风险内部控制等重大管理举措的实施，各省公司对经营分析系统如何保障数据质量提出了更高要求。为了全面及时地采集、检查、报告、解决和总结经营分析系统各环节的数据质量问题，保证数据质量的稳定可靠，中国移动特制定中国移动省级经营分析系统数据质量管理系统业务技术规范（v2.0）（以下简称“本规范”），旨在指导和规范各省（直辖市、自治区）公司的数据质量管理系统的

45、建设、工程实施以及日常运维管理工作。总体说明数据质量管理概述在经营分析系统发展的不同阶段，经营分析系统对数据质量的关注点也有所不同。早期对数据质量的关注点主要是提高数据准确性，随着系统功能和定位的不断延伸，用户关注的重点逐步由数据准确性扩展至完整性、一致性、及时性等方面，这些内容也属于数据质量的范畴。根据中国移动省级经营分析系统前期的建设经验，目前系统关注的数据质量问题主要包括以下几个方面内容：数据质量的六大基本要素是否满足，所谓六大基本要素是指：完整性：主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面；唯一性：指主键唯一和候选键唯一两个方面；一致性：指统一数据来源、统一冗余存储和统一

46、数据口径；精确度：指计量误差、度量单位等方面的精确度；合法性：主要包括格式、类型、域值和业务规则的有效性；及时性：指数据刷新、修改和提取等操作的及时性和快速性。如何从用户视角衡量数据质量，重视用户对数据的满意程度；如何建立基于CWM规范的元数据管理功能平台，支持数据质量管理，为将来全网共享元数据奠定基础；如何建立数据质量监控手段，及时发现、报告、处理经营分析系统数据质量问题；如何通过建立有效的数据质量管理体系来保障和提升数据的价值。主要内容本规范用以指导经营分析系统数据质量管理系统建设的全过程。描述了经营分析系统数据质量管理需求及范围、数据质量管理总体应用体系框架，明确规定了数据质量管理系统中

47、的元数据支撑功能及其它支撑功能，确定了数据质量管理的基本功能和流程，重点强调了数据质量监控模块的功能和作用。有关元数据建设的详细内容请参见中国移动省级经营分析系统数据质量管理系统业务技术规范（v1.5）中的附件1 省级经营分析系统元数据管理功能技术规范.doc和附件2 中国移动经营分析元数据管理规范.doc，上述两个附件给出了元数据管理建设步骤的参考，包括省级元数据库存储逻辑模型、省级元数据库的访问接口实现方法、元数据管理工具选型参考标准等，为元数据支撑管理功能的建设提供参考依据。系统建设目标本规范借鉴了先期元数据试点和经营分析系统数据质量管理系统（v1.5）部分省份的建设经验，同时参考了经营

48、分析系统元数据管理规范v1.0和OMG组织的CWM国际标准等文献，本期重点实现以下建设目标：在经营分析系统数据处理主要阶段设置数据质量监控点，支持对数据质量的全程监控。在各数据监控点上，实现多角度、多方式、可配置的约束规则，提供常见问题的自动处理方法。完善数据质量监控模块，建立有效的数据质量监控机制，提供全面及时的数据质量报告，控制和预防错误范围的扩大。加强数据质量监控技术与管理手段的配合，着重关注经营分析系统数据来源和数据输出的数据质量，明确相关责任。建设符合CWM规范的元数据管理平台，为全网经营分析系统的数据质量管理、数据资源管理和数据运营奠定基础。实施建议本规范是省级经营分析系统数据质量

49、管理系统规划和建设的基本指导，各省在实施过程中，可根据实际需要以本规范为基础进行扩充与细化。建议如下：在建立数据质量管理系统后，需要建立配套的管理机制，确保有专人依照流程对数据质量问题进行管理和维护；元数据管理是本次经营分析数据质量管理系统的重要功能，是将来实现元数据共享和交换的基础。元数据提供了对数据本身的描述，是关于数据的数据，主要包括技术元数据、业务元数据和管理元数据。各省在遵循CWM标准的前提下，可以根据自身实际情况，决定自行建设还是采购元数据管理工具；各省可以根据自身业务情况扩展中国移动省级经营分析系统数据质量管理系统业务技术规范（v1.5）附件中的元数据存储逻辑模型，但必须遵循CW

50、M元模型的扩展规则；本规范中列举的各类应用，如数据质量监控、信息地图、需求变更影响分析、项目管理支撑、数据集市支撑等应用是本期建设重点关注的内容，各省可以根据实际情况增加其它相关应用。数据质量管理需求数据质量问题经营分析系统数据质量问题按照问题的来源和具体原因，可以分为信息、技术、流程、管理四个问题域。如图7-1所示。图7-1数据质量的四个问题域信息问题域图7-2信息问题域信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。元数据描述及理解错误中的相关元数据主要包括

51、：业务元数据主要包括业务描述、业务规则、业务术语、业务指标口径等。技术元数据主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。技术问题域图7-3技术问题域技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容：1、数据创建质量问题主要包括业务系统话单延迟

52、入库、创建数据默认值使用不当和数据录入的校验规则不当，导致指标统计结果不一致、数据无效、记录重复等。2、数据获取质量问题主要包括采集点不正确、取数时间点不正确以及接口数据在获取过程中失真。如，编码转换处理错误以及精度不够，导致指标统计结果不一致、数据无效等。3、数据传递质量问题主要包括接口数据及时率低，接口数据漏传，网络传输过程不可靠，如包丢失，文件传输方式错误，传输技术问题，协议使用不当导致的数据不完整等。4、数据装载质量问题主要包括数据清洗算法、数据转换算法、数据加载算法错误。5、数据使用质量问题主要包括展示工具使用错误、展示方式不合理和展示周期不合理。6、数据维护质量问题主要包括数据备份

53、/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据。流程问题域图7-4流程问题域流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于经营分析系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节：1、创建流程质量问题主要指操作员数据录入时缺乏审核流程；2、传递流程质量问题主要指通信流程沟通不畅；3、装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误；4、使用流程质量问题主要指数据使用流程缺乏流程管理；5、维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数

54、据测试流程以及对人工后台调整数据没有严格的流程监控；6、稽核流程质量问题主要指缺乏数据错误反馈流程。管理问题域图7-5管理问题域管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题，如人员管理、培训和奖励等方面的措施不当导致的管理缺失。人员管理所产生的质量问题主要指：（1）针对省级数据质量问题，没有建立管理数据质量的专门机构，出现数据质量问题后无专人负责；（2）没有明确的数据质量目标；（3）经营分析系统中的数据质量问题的优先级不够；（4）集团公司缺少管理数据质量的管理办法等；人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划；通过上述对经营分析数据质量问题的分类，结合

55、各省经营分析系统建设经验，信息、流程和技术三个方面的数据质量问题相对集中和可控，是本系统实施的重点。在管理方面，本规范侧重于提供对开发、运维管理流程方面的支撑，并对管理元数据及其管理范围进行了明确定义，具体参见第8章管理元数据的相关定义。系统功能需求在各省具体数据质量问题解决过程中，数据质量问题的定位和解决过程往往依赖具体人员的经验，问题处理效率和正确性难以保证。因此有必要引入元数据管理的相关功能，提供对数据模型、指标统计口径及处理过程等数据实体和处理的标准定义和描述。数据质量管理系统利用元数据库存储技术、业务、管理方面对数据质量的约束规范；利用知识库存储数据质量问题和处理过程；通过制定相关管

56、理流程来保证经营分析数据质量的日常管理。本规范介绍如何在基于元数据管理的基础上建立数据质量管理系统，并通过制定相关管理流程来保证经营分析数据质量的日常管理。数据质量管理系统的基础是遵循CWM标准的元数据管理支撑功能的实施。根据系统定位，数据质量管理系统与元数据管理支撑功能之间的关系如下：数据质量管理包含元数据管理元数据管理功能为数据质量管理系统提供支撑元数据管理为了实施数据质量管理，需要业务数据的有关统计口径、数据来源、数据约束关系等元数据的支撑。数据质量管理系统要求建立符合国际主流规范CWM的元数据管理支撑平台。它负责管理整个经营分析系统的技术、业务和管理三类元数据，形成元数据全局视图，展现

57、经营分析系统数据实体的组成、关系以及处理转换的过程。数据质量监控在数据质量管理系统中，数据质量监控是基础功能。数据质量监控实时采集数据处理过程的各个质量监控点上的质量信息，执行数据质量监控流程，进行数据稽核诊断，然后直观展现检查结果。数据质量管理人员可根据告警信息，采取相应的质量控制行动。最后，还应评估总结本次数据质量监控活动的有效性和及时性，以利于以后质量管理工作的改进。在数据质量监控工作中对质量问题的监控、诊断和处理结果应整理形成质量问题处理案例，并记录到知识库中，以便进行知识共享。项目管理支撑数据质量管理也涉及经营分析系统相关项目的日常管理。将项目管理的内容纳入质量管理，可全面、及时记录

58、系统的建设状况和使用情况，有效支持经营分析系统的全员使用。项目管理支撑包括：工作分配管理、系统使用状况分析等。系统架构系统体系数据质量管理系统按照体系结构划分为源系统层、存储层、功能层和应用层，体系结构如图8-1所示：图8-1数据质量管理系统体系结构源系统层经营分析系统数据处理流程经营分析系统的数据处理流程主要涉及源系统接口数据、ETL过程、数据仓库、数据集市、前端应用等处理阶段。数据质量管理系统对数据的管理和监控范围涵盖了全部这些处理阶段。数据质量监控点数据质量管理系统在数据处理的各阶段都应设立数据质量监控点，并使稽核诊断工作尽量前移。本期系统规定的数据质量监控点设置如下：（1）各数据源接口

59、（2）ETL处理过程（对数据抽取、转换的主要阶段，以及加载到数据仓库前都应设置监控点）（3）数据仓库（对各种数据粒度的汇总应设置监控点）（4）数据集市（对地市和部门的集市分别应设置监控点）（5）前端展现应用存储层存储层中存储的信息主要包括三个部分：（1）元数据库：存储技术元数据、业务元数据和管理元数据，为数据质量管理系统提供基本的数据实体和处理描述及其映射关系，是质量管理的支撑基础；（2）运行状况信息库：存储从各个数据质量监控点上采集的有关系统运行状况的信息及质量稽核过程信息，是稽核诊断的主要输入信息；（3）数据质量知识库：存储数据质量管理中对质量问题的识别、诊断和处理结果的记录信息，作为解决

60、质量问题的知识共享。以上三种数据库，在逻辑上可进行独立设计，在物理实现上可以部署在同一台服务器上。元数据存储元数据是数据质量管理系统实现的核心，是描述和控制经营分析系统中数据的数据，为数据质量管理体系架构的功能层和应用层提供信息支撑。元数据库中存储的元数据分为三类：技术元数据、业务元数据和管理元数据。业务元数据本部分将业务元数据划分为业务术语、业务描述、业务指标和业务规则四个部分，其中业务规则、业务术语和业务描述共同完成对业务相关信息的事实表述。数据质量管理系统通过对这些业务元数据的映射，可以得到对应的数据质量检查规则。各省公司可以根据自身业务需求对业务元数据主题进行扩充，扩充的元数据主题必须