大数据治理体系

1、和管理，为省大数据平台上的各类基础技术和应用提供支撑，加强省大数据平台上数据的 管控力度，增强数据治理子系统自身管理能力。本规范主要包括以下几方面的内容：总体说明、数据治理体系、数据治理核心模块、 数据治理场景等。本规范是中国移动企业级大数据平台系列规范之一。该系列规范的结构、名称或预计的名称如下：序号标准编号1 QB-Y-*-20152 QB-Y-*-20153 QB-Y-*-20154 QB-Y-*-20155 QB-Y-*-20156 QB-Y-*-20157 QB-Y-*-20158 QB-Y-*-2015标准名称中国移动企业级大数据平台目标架构中国移动企业级省大数据平台技术规范总册中

2、国移动企业级省大数据平台技术规范分册中国移动企业级省大数据平台技术规范技术方案分册中国移动企业级省大数据平台技术规范数据模型分册中国移动企业级省大数据平台技术规范外部接口分册中国移动企业级省大数据平台技术规范服务开放分册中国移动企业级省大数据平台技9术规范服务开放技术方案分册QB-Y-*-2015中国移动企业级省大数据平台技术规范数据治理分册10 QB-Y-*-2015中国移动企业级省大数据平台技术规范数据治理技术方案分册11 QB-Y-*-2015 中国移动企业级省大数据平台技术规范运营维护分册12 QB-Y-*-2015 中国移动企业级省大数据平台技术规范安全管理技术方案本规范由中移技XX

3、XX印发。本规范由中国移动通信集团公司业务支撑系统部提出，集团公司技术部归口。本规范起草单位：中国移动通信集团公司业务支撑系统部。本规范主要起草人：段云峰、汪新勇、赵静、周立、任怡健、王保强、潘刚、刘童桐、 王金金、陶涛、刘虹、张红星、魏春辉1 . 范围本规范规定了中国移动企业级省大数据平台数据治理子系统的建设内容，适用于中国移动各省（直辖市、自治区）公司企业级省大 数据平台数据治理子系统的建设。2 .规范性引用文件下列文件中的条款通过本规范的引用而成为本规范的条款。凡是标注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或 修订版均不适用于本规范。然而，鼓励根据本规范达成协议的各方对

4、是否使用这些文件的最新版本进行研究。凡是不标注日期的引用文件，其最新版本适用于本规范。中国移动省级经营分析中国移动通1系统业务规范（v1.0） »信有限公司中国移动省级经营分析中国移动通2系统技术规范（v1.0） »信有限公司中国移动省级经营分析中国移动通3 QB-J-010-2006系统数据质量管理系统建信有限公司设方案（v1.5） »中国移动省级经营分析中国移动通4 QB-J-006-2006系统数据仓库逻辑数据模信有限公司型说明（v1.5） »中国移动省级经营分析中国移动通5QB-J-007-20066QB-J-008-20067QB-J-009-

5、20068QB-J-003-20069QB-J-004-200610QB-J-005-200611QB-J-001-2006系统数据集市业务技术规范（v1.5） »中国移动省级经营分析系统与源系统接口规范（v1.5） »中国移动省级经营分析系统与BOS海统互动技术规范（v1.5） »中国移动省级经营分析系统业务规范（v1.5）基础业务分册中国移动省级经营分析系统业务规范（v1.5 ）一数据业务分册中国移动省级经营分析系统业务规范（v1.5）一集团客户分册中国移动业务运营支撑系统（BOSS业务技术规范营销资源管理分册（2.0版）»信有限公司中国移动通 信有

6、限公司中国移动通 信有限公司中国移动通 信有限公司中国移动通 信有限公司中国移动通 信有限公司中国移动通 信有限公司12QB-J-001-200613QB-J-001-200614QB-J-021-200715QB-J-020-200716QB-J-022-200717QB-J-019-200718QB-J-018-2007中国移动通 信有限公司中国移动通 信有限公司中国移动通 信有限公司中国移动通 信有限公司中国移动通 信有限公司中国移动通 信有限公司中国移动通 信有限公司中国移动业务运营支撑 系统（BOSS业务技术规范 客服信息分册（2.0版）中国移动业务运营支撑 系统（BOSS业务技术规

7、范（2.0版）中国移动省级经营分析系统数据仓库逻辑数据模型规范（v2.0 ） »中国移动省级经营分析系统与源数据接口规范（v2.0 ） »中国移动省级经营分析系统数据集市业务技术规范（v2.0 ）中国移动省级经营分析系统业务规范渠道运营管理分析监控分册（v1.0 ） »中国移动省级经营分析系统业务规范客户服务分册（v2.0 ）系统业务规范集团客户分信有限公司册（v2.0中国移动省级经营分析中国移动通20 QB-J-016-2007系统数据质量管理系统业信有限公司务技术规范（V2.0） »中国移动业务支撑网4A中国移动通21安全技术规范信有限公司中国移动省

8、级经营分析中国移动通22 系统技术规范总册（v2.0信有限公司全量版）中国移动省级经营分析中国移动通23 系统技术规范逻辑模型分信有限公司册（v2.0全量版）中国移动省级经营分析中国移动通24 系统技术规范数据集市分信有限公司册（v2.0全量版）中国移动省级经营分析系统技术规范数据质量管中国移动通25理子系统分册（v2.0全量 信有限公司版）中国移动省级经营分析中国移动通26系统业务规范（v2.0全量 信有限公司2728QB-J-002-200829QB-J-003-200830QB-J-004-200831QB-J-005-200832QB-J-006-200833QB-J-007-2008

9、版)»中国移动省级经营分析系统技术规范源系统接口分册(v2.0全量版)中国移动省级 NG1-BASS技术规范总册(v1.0) »中国移动省级 NG1-BASS技术规范数据集市分册(v1.0) »中国移动省级 NG1-BASS技术规范逻辑模型分册(v1.0) »中国移动省级 NG1-BASS技术规范源系统接口分册(v1.0) »中国移动省级 NG1-BASS技术规范元数据管理分册(v1.0) »中国移动省级 NG1-BASS技术规范数据质量管理子中国移动通 信有限公司中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司中国

10、移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司系统分册(v1.0) »运营分册(v1.0) »中国移动省级 NG1-BASS中国移动通35 QB-J-001-2008业务规范(v1.0) »信集团公司中国移动省级 NG1-BASS中国移动通36 QB-Y-003-2009技术规范总册(v2.0) »信集团公司 中国移动省级 NG1-BASS中国移动通37 QB-Y-004-2009技术规范数据集市分册信集团公司(v2.0) »中国移动省级 NG1-BASS中国移动通38 QB-Y-005-2009技术规范逻辑模型分册信集团公司(

11、v2.0) »中国移动省级 NG1-BASS中国移动通39 QB-Y-006-2009技术规范外部接口分册信集团公司(v2.0) »Fl',中国移动省级NG1-BASS中国移动通40 QB-Y-007-2009技术规范元数据管理分册信集团公司(v2.0) »中国移动省级 NG1-BASS中国移动通41 QB-Y-008-2009技术规范数据质量管理子信集团公司系统分册(v2.0) »中国移动省级43 QB-Y-052-2010NG2-BASS(v3.0)业务规范中国移动省级44 QB-Y-053-2010NG2-BASS(v3.0成术规范总册中国

12、移动省级45 QB-Y-054-2010NG2-BASS(v3.0成术规范数据集市分册中国移动省级46 QB-Y-055-2010NG2-BASS(v3.0成术规范逻辑模型分册中国移动省级47 QB-Y-056-2010NG2-BASS(v3.0成术规范外部接口分册中国移动省级48 QB-Y-057-2010NG2-BASS(v3.0成术规范元数据管理分册中国移动省级49 QB-Y-058-2010NG2-BASS(v3.0成术规范中国移动通信集团公司中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司中国移动通信集团公司中国移动通 信集团公司中国移动通 信集团公司数据质量管理子

13、系统分册QB-Y-060-2010QB-Y-061-2010QB-Y-062-2010QB-Y-063-2010QB-Y-039-2011QB-Y-038-2011QB-Y-040-2011QB-Y-041-2011多OP力交互分册中国移动省级增值业务综合运营平台业务规范(v1.0) »中国移动省级增值业务综合运营平台技术规范(v1.0) »中国移动省级增值业务综合运营平台技术规范-数据管理分册(v1.0) »中国移动省级增值业务综合运营平台接口规范中国移动省级NG2-BASS(v3.5)业务规范中国移动省级NG2-BASS(v3.5成术规范总册中国移动省级NG2

14、-BASS(v3.5成术规范数据集市分册中国移动省级中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司 中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司中国移动通515253545556575859QB-Y-042-201160QB-Y-043-201161QB-Y-044-201162QB-Y-045-201163QB-Y-046-201164QB-Y-047-201165QB-Y-048-2011逻辑模型分册中国移动省级NG2-BASS(v3.5成术规范外部接口分册中国移动省级NG2-BASS(v3.5成术规范元数据管理分册中国移动省

15、级NG2-BASS(v3.5成术规范数据质量管理子系统分册中国移动省级NG2-BASS(v3.5成术规范OP能力交互分册中国移动省级增值业务综合运营平台业务规范(v1.5) »中国移动省级增值业务综合运营平台技术规范(v1.5) »中国移动省级NG2-BASS中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司中国移动通 信集团公司技术规范系统安全管理分中国移动省级中国移动通66 QB-Y-044-2012NG2-BASS(v4.0)业务规范信集团公司中国移动省级中国移动通67 QB-Y-045

16、-2012 NG2-BASS(v4.0成术规范信集团公司总册中国移动省级中国移动通68 QB-Y-045.1-2012 NG2-BASS(v4.0成术规范信集团公司数据集市分册中国移动省级中国移动通69 QB-Y-045.2-2012 NG2-BASS(v4.0成术规范信集团公司逻辑模型分册中国移动省级中国移动通70 QB-Y-045.3-2012 NG2-BASS(v4.0成术规范信集团公司外部接口分册中国移动省级中国移动通72 QB-Y-045.4-2012 NG2-BASS(v4.0成术规范信集团公司元数据管理分册中国移动省级中国移动通73 QB-Y-045.5-2012 NG2-BAS

17、S(v4.0成术规范信集团公司数据质量管理子系统分册V2.0.0 »中国移动省级增值业务中国移动通75 QB-Y-047-2012综合运营平台技术规范信集团公司V2.0.0 »中国移动省级增值业务中国移动通76 QB-Y-047.1-2012 综合运营平台技术规范数信集团公司据管理分册V2.0.0 »*中国移动省级中国移动通77 QB-Y-044-2013NG2-BASS(v4.5)业务规范信集团公司中国移动省级中国移动通78 QB-Y-045-2013NG2-BASS(v4.5成术规范信集团公司总册1中国移动省级中国移动通79 QB-Y-045.1-2013 N

18、G2-BASS(v4.5成术规范信集团公司r数据集市分册中国移动省级中国移动通80 QB-Y-045.2-2013 NG2-BASS(v4.5成术规范信集团公司逻辑模型分册中国移动省级中国移动通81 QB-Y-045.3-2013 NG2-BASS(v4.5成术规范信集团公司外部接口分册中国移动省级中国移动通82 QB-Y-045.4-2013 NG2-BASS(v4.5成术规范信集团公司元数据管理分册中国移动省级中国移动通83 QB-Y-045.5-2013 NG2-BASS(v4.5成术规范信集团公司数据质量管理子系统分册中国移动省级中国移动通84 QB-Y-045.6-2013 NG2-

19、BASS(v4.5成术规范信集团公司安全管理技术方案中国移动省级增值业务_中国移动通85 QB-Y-046-2013综合运营平台业务规范信集团公司V2.5.0 »中国移动省级增值业务中国移动通86 QB-Y-047-2013综合运营平台技术规范信集团公司V2.5.0 »f).中国移动省级增值业务中国移动通87 QB-Y-047.1-2013 综合运营平台技术规范数信集团公司据管理分册V2.5.0 »3.术语、定义和缩略语F列术语、定义适用于本规范:字母名词解释CCWMCW标准是OMG!织定义的数据仓库和相关系统 的国际元数据标准，给出了各种元数据结构的标 准定义。

20、CW麻准的目的在于：使数据仓库和商 业智能软件的元数据在异构的数据分析工具、 数 据仓库平台、元数据存储库等系统之间进行交 互。EETL特指从数据源系统到大数据平台的数据抽取、转 换和加载。G管理元数据描述大数据平台中管理领域相关概念、 关系、规 则的数据，主要包括人员角色、岗位职责、管理 流程等信息。H核心元模型大数据平台核心元模型是以 CWM为基础扩展 形成的，针对大数据平台的物理模型、逻辑模型、 数据处理过程、接口单兀、指标和维度编码等主 要实体进行精确定义，并要求各省大数据平台统 一遵循的元模型。定义核心元模型的目的是建立 大数据平台的统一元数据管理标准，为元数据管 理的功能层与应用层

21、解耦、为企业级总部大数据 平台和企业级省大数据平台的元数据交换和相 互理解提供统一的语义基础。字母名词解释H核心元模型参照表核心兀模型参照表是对核心兀模型中的枚举类 型属性进行枚举值定义的编码表。参照表为枚举 类型属性的每个枚举值定义了唯一的编码，并明 确该编码的语义，是核心兀模型标准化定义的重 要组成部分。J技术元数据描述大数据平台中技术领域相关概念、 关系、规 则的数据。主要包括对数据结构、数据处理方面 的特征描述，覆盖大数据平台数据源接口、数据 仓库、ETL、OLAP数据挖掘、前端展现等全部 数据处理环节。S数据处理过程数据从数据源系统到大数据平台前端使用的整 个处理过程，包含大数据平台

22、数据仓库内部的数 据抽取、转换和加载。S数据采集点覆盖大数据平日数据处埋环节的、获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体S数据质量报告数据质量报告是对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、 梳理、统计和分析，形成的统计才跆S数据质量监通过获取大数据平台各环节的数据质量监控信字母名词解释控息，结合兀数据库中的有关检查规则，对各个环 节的数据质量情况进行判断，并及时向数据质量 监控人员报告。S数据质量规则库数据质量规则库是对数据质量管理活动所用到 的各种判断及校验规则进行归类和存放的存储 结构，存储的内容包括采集规则、监控规则、告 警规则和审计规则等S数

23、据质量信息库数据质量管理子系统存储层上的存储结构，用于存储数据质量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理流程信息等S省公司中国移动通信集团各省（直辖市、自治区）移动 通信有限公司。SSQUM 本自动解析SQLJM本自动解析指通过对SQLW本的词法、语 法和语义进行分析，自动生成满足CW觑范要求 的数据处理过程的技术元数据的功能。Y业务元数据描述大数据平台中业务领域相关概念、 关系、规 则的数据。主要包括业务术语、信息分类、指标 定义（指标口径）、业务规则等信息。Y元模型元模型是描述元数据的基础模型结构，用于说明字母名词解释元数据对象的各种属性、结构和关系。Y元数据

24、兀数据是描述数据间关系的数据。大数据平台中 兀数据泛指描述数据概念（Concepts） 数据间 关系（Roles）、数据处理规则（Rules）的数据， 其中，领域语义（Semantics）和知识（Knowledge） 也属于元数据的范畴。D数据标准指在中国移动台企业级省大数据平台下为了使 企业内外部使用和交换的数据是一致和准确的， 经协商T制定并由大数据治理委员会主管机 构批准，具有行业特点且共同使用和重复使用的 一种规范性约束。D数据标准体系指数据标准按照中国移动企业级省大数据平台需求对数据进行标准化的划分归类。D数据标准内容按照数据标准体系划分的要求分别给出各数据 标准制定的规范内容。D行

25、业参考模型实体中国移动规范中原定义或新增加的逻辑数据模 型LDMR体。D公共代码标准需要引用外部公共标准机构的标准。如：世界各 国和地区名称代码等。F列略缩语适用于本规范：缩写英文描述中文描述ASTAbstract Syntax Tree抽象语法树BOSSBusiness Operation SupportSystem业务运营支撑系统CWMCommon Warehouse Metamodel公共仓库兀模型ETLExtraction TransformationLoading抽取、转换和加载OLAPOn-line Analysis Process!"在线分析处理XMIXML Metad

26、ata InterchangeXMLX数据交换BIBusiness Intelligence商务智能RESTRepresentational State Transfer表述性状态转移4.总体说明4.1. 概述本规范用于指导企业级省大数据平台数据治理子系统建设，规定了省大数据平台数据治理的范围和要求，明确了数据治理子系统的体 系结构，制定了数据治理子系统的功能和处理流程。数据治理子系统 包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数 据安全管理等功能模块。本方案借鉴资产管理的方法理论来管理数据， 将数据作为一种特殊的资产，对进入平台的数据进行标准化的规范约 束，并以元数据作为驱动

27、，连接数据的标准管理、数据质量管理、数据数据安全管理的各个阶段，形成统一、完善的数据治理体系，以解决实际业务问题为导向，增强数据治理子系统对业务发展的支撑能力4.2. 目标数据治理子系统的建设为数据治理工作提供强有力的系统支撑。本期规范建设目标是以元数据为驱动，建立省大数据平台完整的数据 治理体系。从组织架构、系统功能等方面增强数据宏观管控，并实现 精细化管理，具体包括：数据治理组织架构管理：定义数据治理所需人员组织上的岗位 和职责，从管理角度支撑数据治理工作的落地和执行。数据标准管理：建立企业级省大数据平台数据标准体系， 并制 定数据标准运维管控制度和流程。元数据管理：降低元数据使用难度、提

28、升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。数据质量管理：为内、外部用户提供平台化的数据质量监控； 通过扩充和优化公共规则库、保证数据的完整性、一致性、准 确性、及时性、合法性，提升用户使用感知；并提供数据质量 应用满足个性化需求。数据资产管理：重点建设从规划、注册、运维到注销的全流程 管理体系，使数据资产管理系统化、可视化。数据安全管理：建立体系化的数据安全管控策略， 通过用户安 全管理、数据安全管理实现全方位数据安全管控机制，通过技术手段与管理措施相结合的方式落实数据安全，做到事前可管、 事中可控、事后可查。4.3. 原则企业级省大数据平台数据治理子系统建设应遵循以下基本

29、原则：？1 .有效性原则体现大数据平台数据治理过程中数据的标准、质量、价值、管控的有效性、高效性。2 .价值化原则体现数据治理过程中以数据资产为价值核心，最大化大数据平台的数据价值。？3 .统一性原则体现大数据平台架构统一、标准统一、元数据统一、质量流程统一、资产价值统一的一体化管控平台体系。4 .开放性原则体现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。5 .产品化原则体现大数据平台数据治理能力的显性化，通过产品化互联网思维服务大数据平台数据生态圈用户。6 .安全性原则体现安全的重要性、必要性，保障大数据平台数据安全和数据治 理过程中数据的安全可控。5.数据治理体系5.1

30、. 总体框架数据治理总体框架包括组织架构、数据治理模块、数据运维三部 分。通过组织架构建立管理办法，制定工作流程，确定角色职责。数 据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数 据资产管理、数据安全管理，各模块协同运营，确保大数据平台的数 据一致、安全、有效。数据运维贯穿整个数据治理体系的流程中，实 现平台化的运维管理思路。数据治理总体框架如图 5-1所示：组织架构组织架构角色与职规划和策管理办法核心领域数据治理工具数据标准管理数据质量管理数据运维元数据管理数据资产管理数据安全管理质量运维资产运维管控运维大数据平台图5-1数据治理体系框架5.2. 组织架构数据治理组织的构建旨在

31、通过建立数据治理组织架构明确各级角色和职责，保障数据治理的各项管理办法、工作流程的实施，推送数 据治理工作的有序开展。5.2.1. 组织构成数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。组织架构划分和角色设定如图 5-2所示:图5-2数据治理组织架构图5.2.2. 角色职责组织责任体系是数据治理责任落地的保障，数据治理组织架构通过明确各角色职责，实行认责制度，让数据治理工作更好的融入到数 据日常使用和相关的工作中，从而推动数据运维自治的实现，如表5-1表5-1数据治理组织架构角色职责定义内容组织结构角色角色描述角色主要职责数据治 理委员 会数据管理决策者由公司 主管领 导

32、和各 业务部 门领导 组成负责牵头数据治理工作；制定数 据治理的政策、标准、规则、流 程，协调认责冲突；对数据事实治理，保证数据的质 隐私；在数据出现质量问题时负责仲裁 工作。数据治理中心数据平 台运营 者数据管 理中心 机构的 平台运 营人员负责提交数据标准的要求及数据 质量规则和业务规范，解释数据 的业务规则和含义；监督各项数 据规则和规范的约束的落实情 况；负责数据治理平台中整体数据的 管控流程制定和平台功能系统支 撑的实施；负责平台的整体运营、组织、协调。各业务部门数据提供者相关数 据开发 提供人 员负责数据及相关系统的开发，有 责任执行数据标准和数据质量内 容；负责从技术角度解决数据

33、质量问 题；作为数据出现质量问题时的主要 责任者。数据维护者数据维护人员制定相关数据标准、数据制度和 规则；遵守和执行数据标准管控相关的 流程，根据数据标准要求提供相 关数据规范；作为数据出现质量问题时的次要 责任者。数据消数据使 用人员，包 含内部 用户和 外部用作为数据治理平台数据管控流程 的最后参与使用者； 是数据资产价值的获益人；作为数据治理平台数据闭环流程 的发起人。户5.3. 系统架构5.3.1. 系统功能框架数据治理功能框架明确了数据治理在企业级省大数据平台中的定 位，并以合理的功能层次划分指导数据治理系统相关功能建设。系统功能框架如图5-3所示。图5-3数据治理功能框架图企业级

34、省大数据平台门户：企业级省大数据平台统一的访问接口，供企业内、外部用户、 第三方独立开发者访问及使用数据治理相关产品或功能，并负责 统一访问认证及日志记录。能力开放平台：企业级省大数据平台统一的对外服务层， 数据治理相关的产品 及应用均通过这个层次进行注册、发布，并对内、外部开放。/数据治理系统：?数据标准：在数据标准管理组织架构推动和指导下，遵循 协商一致制定的数据标准规范，借助标准化管控流程得以 实施数据标准化的整个过程。?元数据：采用集中式管理模式进行元数据管理，全公司元 数据逻辑集中，即元数据管理模块作为公司元数据的统一发布源，集中管理元数据，提供元数据集中创建、维护、 查询功能。?数

35、据质量：对数据从计划、获取、存储、共享、维护、应 用、消亡生命周期的每个阶段里可能引发的各类数据质量 问题，进行识别、度量、监控、预警等一系列管理活动， 并通过改善和提高组织的管理水平使得数据质量获得进一 步提高。?数据资产：规划、控制、提供数据及信息资产的一组业务 职能，包括开发、执行和监督有关数据的计划、政策、方 案、项目、流程、方法和程序，从而控制、保护、提高数 据资产的价值。?数据安全：通过计划、制定、执行数据安全政策和安全策 略措施，为企业级大数据平台的数据和信息提供行之有效 的认证、授权、访问和审计。?数据运维：包括数据资产运维、数据质量运维，借鉴互联 网思维，通过产品化运维工具来

36、整体提升企业级大数据平 台数据运维效率。企业级省大数据平台：?大数据基础平台，负责数据的接入、存储、管理、应用及 相关基础功能支撑。5.3.2. 系统模块流程如图5-4所示，数据治理系统各模块之间，根据数据操作的流程 产生相互关联，各模块业务流程关系说明如下：L1 :数据标准管理模块将标准定义映射到元数据信息上，实现数 据标准的规范要求落地。L2:元数据管理模块为数据资产管理模块提供存储模型、属性信 息查询服务。L3:元数据管理模块为数据质量管理模块提供元数据相关属性信 息。L4:用户通过元数据定义大数据平台的数据结构。L5:数据质量管理模块根据采集需求从大数据平台采集数据。L6:数据质量管理

37、模块将数据质量问题反馈给大数据平台。L7:数据质量管理模块向资产模块提交数据质量评估结果。L8:元数据管理模块为数据安全管理模块提供隐私级别定义服务。L9:数据资产管理模块发起资产访问申请， 由数据安全管理模块 控制用户访问权限，控制数据资产的增加、删除、变更操作权限，对 访问的数据内容、数据属性等操作进行管控。L10:数据安全管理模块为大数据平台提供数据访问权限策略。5.4. 系统边界企业级省大数据平台数据治理子系统与其它子系统之间存在数 据交互、功能调用、流程穿插等关联。数据治理子系统与大数据平台 系统内其它子系统的关系示意如图 5-5所示：数据服务平台数据治理数据标准管理元数据管理数据质

38、量管理数据资产管理数据安全管理企业级省大数据平台图5-5数据治理子系统与各子系统边界图5.4.1. 与企业级省大数据平台关系企业级省大数据平台上的数据资产是数据治理的主要对象；数据 治理为企业级省大数据平台提供数据标准指导、 元数据定义、数据质 量监控、数据安全等方面的全面支撑，使大数据平台上的数据资产清 晰、有序、安全、可控。5.4.2. 与对外能力开放平台关系数据治理为对外能力开放平台提供元数据查询、数据安全管理支 持；对外能力开放平台为数据治理提供统一的数据治理产品及功能注 册、发布、使用服务。5.4.3. 与平台运维系统关系数据治理子系统支撑大数据平台的数据管控流程，并与平台运维 交互

39、协调，共同支撑大数据平台整体的安全运维、 数据运维和管理运 维。6.数据治理核心模块6.1. 数据标准管理6.1.1. 背景中国移动企业级省大数据平台数据标准是在经营分析系统数据管 控要求基础之上，借鉴互联网企业数据治理的经验而提出的。数据标准是指在中国移动企业级省大数据平台下， 保障企业内外部使用和交 换数据的一致性和准确性，具有行业特点且共同使用的一种规范性约 束。数据标准是企业级省大数据平台数据治理的基础性工作，是数据治理建设中的首要环节。首先，数据标准为企业级省大数据平台提供 统一的数据标准定义和平台逻辑模型。其次，数据标准是企业级省大数据平台进行数据治理的依据和根本。再次，数据标准是

40、衡量企业级省大数据平台数据资产运营和管理的评估依据。最后，中国移动通过数据标准管理的实施，实现对企业级省大数据平台全网数据的统一运 营管理。企业级省大数据平台数据治理体系中数据标准管理如图6-1所示,包括制定数据标准的规范性文件、进行数据标准化管控及数据标准管 理组织。图6-1数据标准管理内容企业级省大数据平台数据标准管理与原经营分析系统数据管控的区别如下表6-1所小：-表6-1企业级省大数据平台数据标准管理与原经营分析系统数据管控区别企业级省大数据平台数据标准管理原经营分析系统数据管控数据范围涉及企业内外部数据运营相关的 数据，包含BOME域数据、外部 数据。数据仅限于市场经营活 动的B域和

41、部分O,M域 数据。业务应用模式以数据标准为基础的数据治理体 系，实现数据的资产化，贯穿整 个数据运营的全流程，形成以中 国移动大数据平台为核心的大数 据生态圈，服务于企业内外部客 户。以支撑企业内部经营分析为主。服务对服务于整个大数据生态圈。原经营分析系统使用人象员。6.1.2.目标及原则数据标准管理的总体目标：通过统一的数据标准制定和发布，结 合制度约束、系统控制等手段，实现中国移动企业级省大数据平台数 据的完整性、有效性、一致性、规范性、开放性和共享性管理，提高 企业级省大数据平台数据治理水平。数据标准制定的原则：开放性：标准制定人人参与。共享性：数据标准化信息在大数据生态圈共享使用。完

42、整性：涵盖客户、产品、服务、帐务、资源、网络等全部重 要数据信息。有效性：信息准确度高、理解上不存在歧义。一致性：做到“五统一”，定义统一、口径统一、名称统一、来 源统一、参照统一。规范性：制度规范、流程控制、系统管理等。6.1.3. 业务分类和定义6.1.3.1. 数据标准体系分类数据标准制定如图6-2所示，包括数据标准体系划分和数据标准 内容制定，数据标准体系可分为基础类数据标准和指标类数据标准。图6-2数据标准体系划分6.1.3.2. 数据标准内容制定数据标准内容的制定按照数据标准体系分类的要求分别给出数据 标准制定的规范要求。1、基础类数据标准基础类数据标准是通过各种业务处理产生或各类

43、渠道采集的基础性数据，在全国范围内必须是唯一定义的，如“用户品牌”、“归属地 市”。基础类数据标准分为行业参考模型实体标准和公共代码标准。行业参考模型实体标准指按照行业需求和中国移动省级数据逻辑模型实体规范要求，继承以往数据逻辑模型实体规范， 将各域的逻辑 模型实体定义抽象为模型实体标准要求。行业参考模型实体数据标准 体系定义内容如表6-2所示。表6-2行业参考模型实体数据标准体系定义内容行业参考模型实体标准标准体系属性说明数据标准编码根据数据标准编码命名规则进行编写。标准主题数据标准归属主题标准子类数据标准归属类型中文名称数据标准中文名称。英文名称数据标准英文名称。实体编号根据行业参考模型实

44、体编号命名规则进行编写。实体名称根据行业参考模型实体名称命名规则进行编写。数据版本该数据标准的版本信息。数据体系分类根据数据分类规则对数据进行分类，以保 证数据体系的易用性，以及符合用户查找 习惯。重要级别集团规范定义的数据为一级，省公司定义 的数据为二级，其它常用的数据为三级。数据提供部门该数据标准定义数据的提供部门。1数据提供部门负责人该数据标准定义数据提供负责人。数据维护部门该数据标准定义数据维护部门。数据维护部门负责人该数据标准定义数据维护负责人。业务主管部门该数据标准定义数据业务主管部门，该部 门对数据口径、编他取值和相关专业术语 有决定权。业务主管部门负责人该数据标准定义数据业务负

45、责人。数据来源系统如：BOSS,CRM,ERP主要依据关于指标的解释和描述文件。如集团规范、 省公司规范、业务部门制定等等。业务定义指标的业务描述口径，一般由业务部门使用业务语言制定。具体行业参考模型实体数据标准体系定义内容示例参见附录二:数据标准体系定义内容示例。公共代码标准，指对于一些共享程度较高、内容相对比较稳定的编码，通常可以组织力 量一次性地编制出来， 其中有一些需要引用外部公共标准机构的标准， 比如：世界各国和地 区名称代码等。公共代码标准体系定义内容如表 6-3所示。表6-3公共代码标准体系定义内容公共代码标准标准体系属性说明数据标准编码根据数据标准编码命名规则进行编写。公共标准

46、号引入外部公共标准号中文标准名称数据标准中文名称英文标准名称数据标准英文名称。标准状态该标准的状态，如现行、停止。公共标准机构名称引入该公共标准的机构名称。数据标准体系根据数据分类规则对数据进行分类，以保 证数据体系的易用性，以及符合用户查找 习惯。重要级别集团规范定义的数据为一级，省公司定义 的数据为二级，其它常用的数据为三级。数据标准引入部门该数据标准引入和维护部门。数据标准引入部该数据标准引入和数据维护负责人。门负责人数据上报系统最终对数据进行计算和发布的系统，也是各部门唯一认取指标数据的来源系统。具体行业参考模型实体数据标准体系定义内容示例参见附录二：数据标准体系定义内容示例。2、指标

47、类数据标准指标类数据标准是数据基础上按照一定业务规则加工汇总的数据，如KPI指标数据。指标类数据又可分为基础指标和计算指标。 基础指 标一般不含维度信息，且具有特定业务和经济含义。计算指标通常由 两个以上基础指标计算出。指标类数据标准体系定义内容如表 6-4所 示。表6-4指标类数据标准体系定义内容指标类标准说明斯省属性数据标准编码根据数据标准编码命名规则进行编写。中文名称数据标准中文名称。英文名称数据标准英文名称。应用场景该指标适用于什么场景。数据版本该数据标准的版本信息。数据体系分类根据数据分类规则对数据进行分类，以保 证数据体系的易用性，以及符合用户查找 习惯。重要级别集团规范定义的数据

48、为一级，省公司定义 的数据为二级，其它常用的数据为三级。管理属性数据提供部门该数据标准定义数据的提供部门。数据提供部门负责人该数据标准定义数据提供负责人。数据维护部门该数据标准定义数据维护部门。数据维护部门负责人该数据标准定义数据维护负责人。|业务主管部门该数据标准定义数据业务主管部门，该部 门对数据口径、编他取值和相关专业术语 有决定权。业务主管部门负责人该数据标准定义数据业务负责人。数据上报系统最终对数据进行计算和发布的系统，也是各部门唯一认取指标数据的来源系统。数据生成系统生成数据所需的数据所在的来源系统，如BOS隘统。数据上游系统数据生成后上报给哪个系统，如 ER添统。业务属性主要依据

49、关于指标的解释和描述文件。如集团规范、 省公司规范、业务部门制定等等。业务定义指标的业务描述口径，一般由业务部门使 用业务语言制定。计算流程/算法用来描述指标详细的计算过程。指标类型根据管理需要可以将指标分为基础指标、 计算指标两类。计算指标公式用于描述相关指标间的平衡关系，可用于 指标数据审核过程中，能有效地保证指标 数据质量。技术属性的单位数据使用单位如：“户”、“分钟”、“MB、“元”、“次”、" %等等。统计精度指标统计数值精确到小数还是整数。数据值域数据的合理取值范围。统计周期数据统计周期如“日”、“周”、“月”、“季度”、“半年”、“年”等等。统计粒度数据统计粒度如：“用

50、户级”、“区县级”、“地市级”等。统计维度数据统计维度如：“地域”、“品牌”、“在网时长”、“客户等级”等。指标出数表指标数据来源于哪张物理表。指标出数代码指标数据来源于物理表的哪个。具体行业参考模型实体数据标准体系定义内容示例参见附录二：数据标准体系定义内容示例。6.1.4. 技术功能要求6.1.4.1. 数据标准制定数据标准的制定按照本册中数据标准管理的业务分类和定义规范 指导要求，基于各企业级省大数据平台的数据管控需求进行数据标准 规范的制定。其制定的数据标准规范内容在全省进行发布和告知，要求企业级省大数据平台系统按照该标准规范进行统一的数据管理。数据标准制定包括数据标准的编制、数据标准

51、的审查、数据标准的发布。数据标准化管理组织将数据标准以正式发文的方式在全公司 范围内进行发布，并在发布后将数据标准、版本说明保存备案。最终 将发布的数据标准更新至数据标准管理模块中，如图 6-3所示。图6-3数据标准管理的编制、审查、发布流程图数据标准的编制、审查和发布通过数据标准管理模块开发实现，其流程如图6-3示：1、数据标准管理组织协调者组织数据提供者和执行者参与数据标 准属性的收集和整理工作，并按照协商一致的原则形成数据标准初稿。2、数据标准初稿进行多次的讨论和丰富后，形成数据标准送审稿 提交给数据标准管理决策者。3、经过数据标准管理决策者的讨论审核后，由数据标准管理组 织协调者再次进

52、行数据标准的修改完善，并完成数据标准的发布。6.1.4.2.数据标准执行数省公司和各部门、分公司统一按照所制定的数据标准实施数据标准管理，数据标准的执行流程如图 6-2所示。图6-2数据标准管理的执行流程图数据标准执行的流程步骤如下：1、数据标准制定发布后，将数据标准录入到数据标准管理模块。2、数据标准管理执行者按照发布的数据标准，制定和发布数据标 准接口。3、数据标准管理模块将标准要求提供给数据质量管理根据已录入 系统的数据标准形成稽查规则，对数据标准管理执行者制定和发布的 数据标准接口中的内容进行相关的标准稽核监控。4、将标准稽核结果发送给数据标准管理模块，并反馈给数据标准 管理决策者和数据标准管理执行者。6.1.43 数据标准维护数据标准的维护指数据标准建立后，