大数据治理体系

数据治理体系目录范围1标准性引用文件1术语、定义和缩略语5总体说明8概述8目标8原如此9数据治理体系9总体框架10组织架构10组织构成10角色职责11系统架构11系统功能框架11.系统模块流程12系统边界13与企业级省大数据平台关系14与对外能力开放平台关系14与平台运维系统关系14数据治理核心模块146.1.数据标准管理14背景15.错误!未定义书签。目标及原如此15业务分类和定义166.1.5.技术功能要求19本期建设范围及内容21实施要求错误!未定义书签。元数据管理22背景和定义22元数据运营模式23元模型标准23元数据运维276.2.5.本期重点建设内容27数据质量管理28与传统经营分析系统的区别28范围和原如此29与其它功能模块的关系29本期数据质量功能需求30本期数据质量运维要求31数据资产管理32数据资产概述32数据资产范围33与其它功能模块的关系33本期数据资产功能需求34本期建设内容36数据平安管理36数据平安概述36建设原如此36建设内容37边界关系37技术功能38管理要求387.数据治理场景41背景描述41场景一：银行伪卡交易判别42背景介绍42场景描述427.3.场景二：银彳亍贷业务43背景介绍43场景描述448.附录44附录一：数据标准框架44附录二：数据标准体系定义内容示例为45刖言本标准的制订是为了更好地实现中国移动企业级省大数据平台数据治理子系统的建设和管理，为省大数据平台上的各类根底技术和应用提供支撑，加强省大数据平台上数据的管控力度，增强数据治理子系统自身管理能力。本标准主要包括以下几方面的内容：总体说明、数据治理体系、数据治理核心模块、数据治理场景等。本标准是中国移动企业级大数据平台系列标准之一。该系列标准的结构、名称或预计的名称如下：序号标准编号标准名称[1]QB-Y-***-2021中国移动企业级大数据平台目标架构[2]QB-Y-***-2021中国移动企业级省大数据平台技术标准总册[3]QB-Y-***-2021中国移动企业级省大数据平台技术标准分册[4]QB-Y-***-2021中国移动企业级省大数据平台技术标准技术[5]QB-Y-***-2021方案分册中国移动企业级省大数据平台技术标准数据[6]QB-Y-***-2021模型分册中国移动企业级省大数据平台技术标准外部[7]QB-Y-***-2021接口分册中国移动企业级省大数据平台技术标准效劳开放分册

[8]QB-Y-***-2021中国移动企业级省大数据平台技术标准效劳[9]QB-Y-***-2021开放技术方案分册中国移动企业级省大数据平台技术标准数据[10]QB-Y-***-2021治理分册中国移动企业级省大数据平台技术标准数据[11]QB-Y-***-2021治理技术方案分册中国移动企业级省大数据平台技术标准运营[12]QB-Y-***-2021维护分册中国移动企业级省大数据平台技术标准平安管理技术方案本标准由中移技(XX)XX印发。本标准由中国移动通信集团公司业务支撑系统部提出，集团公司技术部归口。本标准起草单位：中国移动通信集团公司业务支撑系统部。本标准主要起草人：段云峰、汪新勇、赵静、周立、、任怡健、王保强、潘刚、刘童桐、王金金、陶涛、刘虹、张红星、魏春辉。1.范围本标准规定了中国移动企业级省大数据平台数据治理子系统的建设内容，适用于中国移动各省〔直辖市、自治区〕公司企业级省大数据平台数据治理子系统的建设。标准性引用文件如下文件中的条款通过本标准的引用而成为本标准的条款。但凡标注日期的引用文件，其随后所有的修改单〔不包括勘误的内容〕或修订版均不适用于本标准。然而，鼓励根据本标准达成协议的各方对是否使用这些文件的最新版本进展研究。但凡不标注日期的引用文件，其最新版本适用于本标准。[1]中国移动省级经营分析系统业务标准(v1.0)?中国移动通信[2]中国移动省级经营分析系统技术标准(v1.0)?中国移动通信[3]QB-J-010-2006中国移动省级经营分析系统数据质量管理系统建设方案〔v1.5〕?中国移动通信[4]QB-J-006-2006中国移动省级经营分析系统数据仓库逻辑数据模型说明(v1.5)?中国移动通信[5]QB-J-007-2006中国移动省级经营分析系统数据集市业务技术标准(v1.5)?中国移动通信[6]QB-J-008-2006中国移动省级经营分析系统与源系统接口标准(v1.5)?中国移动通信[7]QB-J-009-2006中国移动省级经营分析系统与BOSS系统互动技术标准(v1.5)?中国移动通信[8]QB-J-003-2006中国移动省级经营分析系统业务标准〔v1.5〕一根底业务分册？中国移动通信[9]QB-J-004-2006中国移动省级经营分析系统业务标准〔v1.5〕一数据业务分册？中国移动通信[10]QB-J-005-2006中国移动省级经营分析系统业务标准〔v1.5〕一集团客户分册？中国移动业务运营支撑系统中国移动通信[11]QB-J-001-2006〔BOSS〕业务技术标准营销资源管理分册〔2.0版〕？中国移动通信中国移动业务运营支撑系统[12]QB-J-001-2006〔BOSS〕业务技术标准客服信息分中国移动通信册〔2.0版〕?

[13]QB-J-001-2006中国移动业务运营支撑系统〔BOSS〕业务技术标准〔2.0版〕？中国移动通信[14]QB-J-021-2007中国移动省级经营分析系统数据仓库逻辑数据模型标准〔v2.0〕?中国移动通信[15]QB-J-020-2007中国移动省级经营分析系统与源数据接口标准〔v2.0〕?中国移动通信[16]QB-J-022-2007中国移动省级经营分析系统数据集市业务技术标准〔v2.0〕?中国移动通信[17]QB-J-019-2007中国移动省级经营分析系统业务标准渠道运营管理分析监控分册〔v1.0〕？中国移动通信[18]QB-J-018-2007中国移动省级经营分析系统业务标准客户效劳分册〔v2.0〕?中国移动通信[19]QB-J-017-2007中国移动省级经营分析系统业务标准集团客户分册〔v2.0?中国移动通信[20]QB-J-016-2007中国移动省级经营分析系统数据质量管理系统业务技术标准〔V2.0)?中国移动通信[21]中国移动业务支撑网4A平安技术标准?中国移动通信[22]中国移动省级经营分析系统技术标准总册〔v2.0全量版〕？中国移动通信[23]中国移动省级经营分析系统技术标准逻辑模型分册〔v2.0全量版〕？中国移动通信[24]中国移动省级经营分析系统技术标准数据集市分册〔v2.0全量版〕？中国移动通信中国移动省级经营分析系统技术标准[25]数据质量管理子系统分册〔v2.0全量版〕？中国移动通信[26]中国移动省级经营分析系统业务标准〔v2.0全量版〕？中国移动通信[27]中国移动省级经营分析系统技术标准源系统接口分册〔v2.0全量版〕？中国移动通信[28]QB-J-002-2021中国移动省级NG1-BASS技术标准总册(v1.0)?中国移动通信集团公司[29]QB-J-003-2021中国移动省级NG1-BASS技术标准数据集市分册(v1.0)?中国移动通信集团公司[30]QB-J-004-2021中国移动省级NG1-BASS技术标准逻辑模型分册(v1.0)?中国移动通信集团公司[31]QB-J-005-2021中国移动省级NG1-BASS技术标准源系统接口分册(v1.0)?中国移动通信集团公司

[32]QB-J-006-2021中国移动省级NG1-BASS技术标准元数据管理分册(v1.0)?中国移动通信集团公司[33]QB-J-007-2021中国移动省级NG1-BASS技术标准中国移动通信集团数据质量管理子系统分册(v1.0)?公司[34]QB-J-008-2021中国移动省级NG1-BASS业务技术中国移动通信集团标准客户分析及运营分册(v1.0)?公司[35]QB-J-001-2021中国移动省级NG1-BASS业务标准(v1.0)?中国移动通信集团公司[36]QB-Y-003-2021中国移动省级NG1-BASS技术标准总册(v2.0)?中国移动通信集团公司[37]QB-Y-004-2021中国移动省级NG1-BASS技术标准数据集市分册(v2.0)?中国移动通信集团公司[38]QB-Y-005-2021中国移动省级NG1-BASS技术标准逻辑模型分册(v2.0)?中国移动通信集团公司[39]QB-Y-006-2021中国移动省级NG1-BASS技术标准外部接口分册(v2.0)?中国移动通信集团公司[40]QB-Y-007-2021中国移动省级NG1-BASS技术标准元数据管理分册(v2.0)?中国移动通信集团公司[41]QB-Y-008-2021中国移动省级NG1-BASS技术标准数据质量管理子系统分册(v2.0)?中国移动通信集团公司[42]QB-Y-002-2021中国移动省级NG1-BASS业务标准(v2.0)?中国移动通信集团公司[43]QB-Y-052-2021中国移动省级NG2-BASS(v3.0)业务标准?中国移动通信集团公司[44]QB-Y-053-2021中国移动省级NG2-BASS(v3.0)技术标准总册?中国移动通信集团公司[45]QB-Y-054-2021中国移动省级NG2-BASS(v3.0)技术标准数据集市分册？中国移动通信集团公司[46]QB-Y-055-2021中国移动省级NG2-BASS(v3.0)技术标准逻辑模型分册?中国移动通信集团公司[47]QB-Y-056-2021中国移动省级NG2-BASS(v3.0)技术标准外部接口分册?中国移动通信集团公司[48]QB-Y-057-2021中国移动省级NG2-BASS(v3.0)技术标准元数据管理分册?中国移动通信集团公司[49]QB-Y-058-2021中国移动省级NG2-BASS(v3.0)技术标准数据质量管理子系统分册?中国移动通信集团公司[50]QB-Y-059-2021中国移动省级NG2-BASS(v3.0)技术标准多OP能力交互分册？中国移动通信集团公司

[51]QB-Y-060-2021中国移动省级增值业务综合运营平台业务标准(v1.0)?中国移动通信集团公司[52]QB-Y-061-2021中国移动省级增值业务综合运营平台技术标准(v1.0)?中国移动通信集团公司[53]QB-Y-062-2021中国移动省级增值业务综合运营平台技术标准-数据管理分册(v1.0)?中国移动通信集团公司[54]QB-Y-063-2021中国移动省级增值业务综合运营平台接口标准？中国移动通信集团公司[55]QB-Y-039-2021中国移动省级NG2-BASS(v3.5)业务标准?中国移动通信集团公司[56]QB-Y-038-2021中国移动省级NG2-BASS(v3.5)技术标准总册？中国移动通信集团公司[57]QB-Y-040-2021中国移动省级NG2-BASS(v3.5)技术标准数据集市分册？中国移动通信集团公司[58]QB-Y-041-2021中国移动省级NG2-BASS(v3.5)技术标准逻辑模型分册？中国移动通信集团公司[59]QB-Y-042-2021中国移动省级NG2-BASS(v3.5)技术标准外部接口分册？中国移动通信集团公司[60]QB-Y-043-2021中国移动省级NG2-BASS(v3.5)技术标准元数据管理分册？中国移动通信集团公司[61]QB-Y-044-2021中国移动省级NG2-BASS(v3.5)技术标准数据质量管理子系统分册？中国移动通信集团公司[62]QB-Y-045-2021中国移动省级NG2-BASS(v3.5)技术标准OP能力交互分册？中国移动通信集团公司[63]QB-Y-046-2021中国移动省级增值业务综合运营平台业务标准(v1.5)?中国移动通信集团公司[64]QB-Y-047-2021中国移动省级增值业务综合运营平台技术标准(v1.5)?中国移动通信集团公司[65]QB-Y-048-2021中国移动省级NG2-BASS技术标准系统平安管理分册(v1.5)?中国移动通信集团公司[66]QB-Y-044-2021中国移动省级NG2-BASS(v4.0)业务标准？中国移动通信集团公司[67]QB-Y-045-2021中国移动省级NG2-BASS(v4.0)技术标准总册？中国移动通信集团公司[68]QB-Y-045.1-2021中国移动省级NG2-BASS(v4.0)技术标准数据集市分册？中国移动通信集团公司[69]QB-Y-045.2-2021中国移动省级NG2-BASS(v4.0)技术标准逻辑模型分册？中国移动通信集团公司

[70]QB-Y-045.3-2021中国移动省级NG2-BASS(v4.0)技术标准外部接口分册？中国移动通信集团公司[72]QB-Y-045.4-2021中国移动省级NG2-BASS(v4.0)技术标准元数据管理分册？中国移动通信集团公司[73]QB-Y-045.5-2021中国移动省级NG2-BASS(v4.0)技术标准数据质量管理子系统分册？中国移动通信集团公司[74]QB-Y-046-2021中国移动省级增值业务综合运营平台业务标准？中国移动通信集团公司[75]QB-Y-047-2021中国移动省级增值业务综合运营平台技术标准？中国移动通信集团公司[76]QB-Y-047.1-2021中国移动省级增值业务综合运营平台技术标准数据管理分册？中国移动通信集团公司[77]QB-Y-044-2021中国移动省级NG2-BASS(v4.5)业务标准？中国移动通信集团公司[78]QB-Y-045-2021中国移动省级NG2-BASS(v4.5)技术标准总册？中国移动通信集团公司[79]QB-Y-045.1-2021中国移动省级NG2-BASS(v4.5)技术标准数据集市分册？中国移动通信集团公司[80]QB-Y-045.2-2021中国移动省级NG2-BASS(v4.5)技术标准逻辑模型分册？中国移动通信集团公司[81]QB-Y-045.3-2021中国移动省级NG2-BASS(v4.5)技术标准外部接口分册？中国移动通信集团公司[82]QB-Y-045.4-2021中国移动省级NG2-BASS(v4.5)技术标准元数据管理分册？中国移动通信集团公司[83]QB-Y-045.5-2021中国移动省级NG2-BASS(v4.5)技术标准数据质量管理子系统分册？中国移动通信集团公司[84]QB-Y-045.6-2021中国移动省级NG2-BASS(v4.5)技术中国移动通信集团公司标准平安管理技术方案？[85]QB-Y-046-2021中国移动省级增值业务综合运营平台业务标准V2.5.0?中国移动通信集团公司[86]QB-Y-047-2021中国移动省级增值业务综合运营平台技术标准V2.5.0?中国移动通信集团公司[87]QB-Y-047.1-2021中国移动省级增值业务综合运营平台技术标准数据管理分册V2.5.0?中国移动通信集团公司术语、定义和缩略语如下术语、定义适用于本标准:

字母名词解释CCWMCWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准，给出了各种元数据结构的标准定义。CWM标准的目的在于：使数据仓库和商业智能软件的元数据在异构的数据分析工具、数据仓库平台、元数据存储库等系统之间进展交互。EETL特指从数据源系统到大数据平台的数据抽取、转换和加载。G管理元数据描述大数据平台中管理领域相关概念、关系、规如此的数据，主要包括人员角色、岗位职责、管理流程等信息。H核心元模型大数据平台核心元模型是以CWM为根底扩展形成的，针对大数据平台的物理模型、逻辑模型、数据处理过程、接口单元、指标和维度编码等主要实体进展准确定义，并要求各省大数据平台统一遵循的元模型。定义核心元模型的目的是建立大数据平台的统一元数据管理标准，为元数据管理的功能层与应用层解耦、为企业级总部大数据平台和企业级省大数据平台的元数据交换和相互理解提供统一的语义根底。H核心元模型参照表核心元模型参照表是对核心元模型中的枚举类型属性进展枚举值定义的编码表。参照表为枚举类型属性的每个枚举值定义了唯一的编码，并明确该编码的语义，是核心元模型标准化定义的重要组成局部。J技术兀数据描述大数据平台中技术领域相关概念、关系、规如此的数据。主要包括对数据结构、数据处理方面的特征描述，覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理环节。S数据处理过程数据从数据源系统到大数据平台前端使用的整个处理过程，包含大数据平台数据仓库内部的数据抽取、转换和加载。S数据采集点覆盖大数据平台数据处理环节的、获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体S数据质量报告数据质量报告是对数据质量日常监控以及质量评估等过程累积的各种信息进展汇总、梳理、统计和分析，形成的统计报告S数据质量监控通过获取大数据平台各环节的数据质量监控信息，结合元数据库中的有关检查规如此，对各个环节的数据质量情况进展判断，并及时向数据质量监控人员报告。

字母名词解释S数据质量规如此库数据质量规如此库是对数据质量管理活动所用到的各种判断及校验规如此进展归类和存放的存储结构，存储的内容包括采集规如此、监控规如此、告警规如此和审计规如此等S数据质量信息库数据质量管理子系统存储层上的存储结构，用于存储数据质量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理流程信息等S省公司中国移动通信集团各省〔直辖市、自治区〕移动通信。SSQL脚本自动解析SQL脚本自动解析指通过对SQL脚本的词法、语法和语义进展分析，自动生成满足CWM标准要求的数据处理过程的技术元数据的功能。Y业务元数据描述大数据平台中业务领域相关概念、关系、规如此的数据。主要包括业务术语、信息分类、指标定义〔指标口径〕、业务规如此等信息。Y元模型元模型是描述元数据的根底模型结构，用于说明元数据对象的各种属性、结构和关系。Y元数据元数据是描述数据间关系的数据。大数据平台中元数据泛指描述数据概念〔Concepts〕、数据间关系〔Roles〕、数据处理规如此〔Rules〕的数据，其中，领域语义〔Semantics〕和知识〔Knowledge〕也属于兀数据的范畴。D数据标准指在中国移动台企业级省大数据平台下为了使企业内外部使用和交换的数据是一致和准确的，经协商一致制定并由大数据治理委员会主管机构批准，具有行业特点且共同使用和重复使用的一种标准性约束。D数据标准体系指数据标准按照中国移动企业级省大数据平台需求对数据进展标准化的划分归类。D数据标准内容按照数据标准体系划分的要求分别给出各数据标准制定的标准内容。D行业参考模型实体中国移动标准中原定义或新增加的逻辑数据模型LDM实体。D公共代码标准需要引用外部公共标准机构的标准。如：世界各国和地区名称代码等。如下略缩语适用于本标准:缩写英文描述中文描述ASTAbstractSyntaxTree抽象语法树BOSSBusinessOperationSupportSystem业务运营支撑系统CWMCommonWarehouseMetamodel公共仓库元模型ETLExtractionTransformationLoading抽取、转换和加载OLAPOn-lineAnalysisProcess在线分析处理XMIXMLMetadataInterchangeXML元数据交换BIBusinessIntelligence商务智能RESTRepresentationalStateTransfer表述性状态转移总体说明概述本标准用于指导企业级省大数据平台数据治理子系统建设，规定了省大数据平台数据治理的范围和要求，明确了数据治理子系统的体系结构，制定了数据治理子系统的功能和处理流程。数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据平安管理等功能模块。本方案借鉴资产管理的方法理论来管理数据，将数据作为一种特殊的资产，对进入平台的数据进展标准化的标准约束，并以元数据作为驱动，连接数据的标准管理、数据质量管理、数据数据平安管理的各个阶段，形成统一、完善的数据治理体系，以解决实际业务问题为导向，增强数据治理子系统对业务开展的支撑能力。目标数据治理子系统的建设为数据治理工作提供强有力的系统支撑。本期标准建设目标是以元数据为驱动，建立省大数据平台完整的数据治理体系。从组织架构、系统功能等方面增强数据宏观管控，并实现精细化管理，具体包括：•数据治理组织架构管理：定义数据治理所需人员组织上的岗位和职责，从管理角度支撑数据治理工作的落地和执行。•数据标准管理：建立企业级省大数据平台数据标准体系，并制定数据标准运维管控制度和流程。•元数据管理：降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。•数据质量管理：为内、外部用户提供平台化的数据质量监控；通过扩大和优化公共规如此库、保证数据的完整性、一致性、准确性、及时性、合法性，提升用户使用感知；并提供数据质量应用满足个性化需求。•数据资产管理：重点建设从规划、注册、运维到注销的全流程管理体系，使数据资产管理系统化、可视化。•数据平安管理：建立体系化的数据平安管控策略，通过用户平安管理、数据平安管理实现全方位数据平安管控机制，通过技术手段与管理措施相结合的方式落实数据平安，做到事前可管、事中可控、事后可查。4.3.原如此企业级省大数据平台数据治理子系统建设应遵循以下根本原如此：有效性原如此表现大数据平台数据治理过程中数据的标准、质量、价值、管控的有效性、高效性。价值化原如此表现数据治理过程中以数据资产为价值核心，最大化大数据平台的数据价值。统一性原如此表现大数据平台架构统一、标准统一、元数据统一、质量流程统一、资产价值统一的一体化管控平台体系。开放性原如此表现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。产品化原如此表现大数据平台数据治理能力的显性化，通过产品化互联网思维效劳大数据平台数据生态圈用户。平安性原如此表现平安的重要性、必要性，保障大数据平台数据平安和数据治理过程中数据的平安可控。数据治理体系5.1.总体框架数据治理总体框架包括组织架构、数据治理模块、数据运维三局部。通过组织架构建立管理方法，制定工作流程，确定角色职责。数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据平安管理，各模块协同运营，确保大数据平台的数据一致、平安、有效。数据运维贯穿整个数据治理体系的流程中，实现平台化的运维管理思路。数据治理总体框架如图5-1所示：L一 核心领域组织架数据治理工具数据运.组构架数据标准元数据管1>TMZ质量运. J角色与广 "■>规划和 J数据质量< J数据资产t y「 气资产运管理方数据平安管理管控运图5-1数据治理体系框架5.2.组织架构数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和职责，保障数据治理的各项管理方法、工作流程的实施，推送数据治理工作的有序开展。5.2.1,组织构成数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。组织架构划分和角色设定如图5-2所示：图5-2数据治理组织架构图

5.2.2.角色职责组织责任体系是数据治理责任落地的保障，数据治理组织架构通过明确各角色职责，实行认责制度，让数据治理工作更好的融入到数据日常使用和相关的工作中，从而推动数据运维自治的实现，如表5-1。表5-1数据治理组织架构角色职责定义内容组织结构角色角色描述角色主要职责数据治理委员会数据管理决策者由公司主管领导和各业务部门领导组成负责牵头数据治理工作；制定数据治理的政策、标准、规如此、流程，协调认责冲突；对数据事实治理，保证数据的质量和隐私；在数据出现质量问题时负责仲裁工作。数据治理中心数据平台运营者数据管理中心机构的平台运营人员负责提交数据标准的要求及数据质量规如此和业务标准，解释数据的业务规如此和含义；监视各项数据规如此和标准的约束的落实情况；负责数据治理平台中整体数据的管控流程制定和平台功能系统支撑的实施；负责平台的整体运营、组织、协调。各业务部门数据提供者相关数据开发提供人员负责数据及相关系统的开发，有责任执行数据标准和数据质量内容；负责从技术角度解决数据质量问题；作为数据出现质量问题时的主要责任者。数据维护者数据维护人员制定相关数据标准、数据制度和规如此；遵守和执行数据标准管控相关的流程，根据数据标准要求提供相关数据标准；作为数据出现质量问题时的次要责任者。数据消费者数据使用人员，包含内部用户和外部用户作为数据治理平台数据管控流程的最后参与使用者；是数据资产价值的获益人；作为数据治理平台数据闭环流程的发起人。5.3.系统架构5.3.1.系统功能框架数据治理功能框架明确了数据治理在企业级省大数据平台中的定位，并以合理的功能层次划分指导数据治理系统相关功能建设。系统功能框架如图5-3所示。图5-3数据治理功能框架图企业级省大数据平台门户：企业级省大数据平台统一的访问接口，供企业内、外部用户、第三方独立开发者访问及使用数据治理相关产品或功能，并负责统一访问认证及日志记录。•能力开放平台：企业级省大数据平台统一的对外效劳层，数据治理相关的产品及应用均通过这个层次进展注册、发布，并对内、外部开放。•数据治理系统：数据标准：在数据标准管理组织架构推动和指导下，遵循协商一致制定的数据标准标准，借助标准化管控流程得以实施数据标准化的整个过程。元数据：采用集中式管理模式进展元数据管理，全公司元数据逻辑集中，即元数据管理模块作为公司元数据的统一发布源，集中管理元数据，提供元数据集中创立、维护、查询功能。数据质量：对数据从方案、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进展识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据资产：规划、控制、提供数据及信息资产的一组业务职能，包括开发、执行和监视有关数据的方案、政策、方案、工程、流程、方法和程序，从而控制、保护、提高数据资产的价值。数据平安：通过方案、制定、执行数据平安政策和平安策略措施，为企业级大数据平台的数据和信息提供行之有效的认证、授权、访问和审计。数据运维：包括数据资产运维、数据质量运维，借鉴互联网思维，通过产品化运维工具来整体提升企业级大数据平台数据运维效率。•企业级省大数据平台：大数据根底平台，负责数据的接入、存储、管理、应用及相关根底功能支撑。5.3.2.系统模块流程如图5-4所示，数据治理系统各模块之间，根据数据操作的流程产生相互关联，各模块业务流程关系说明如下：L1：数据标准管理模块将标准定义映射到元数据信息上，实现数据标准的标准要求落地。L2：元数据管理模块为数据资产管理模块提供存储模型、属性信息查询效劳。L3：元数据管理模块为数据质量管理模块提供元数据相关属性信息。L4：用户通过元数据定义大数据平台的数据结构。L5：数据质量管理模块根据采集需求从大数据平台采集数据。L6：数据质量管理模块将数据质量问题反应给大数据平台。L7：数据质量管理模块向资产模块提交数据质量评估结果。L8:元数据管理模块为数据平安管理模块提供隐私级别定义效劳。L9：数据资产管理模块发起资产访问申请，由数据平安管理模块控制用户访问权限，控制数据资产的增加、删除、变更操作权限，对访问的数据内容、数据属性等操作进展管控。L10:数据平安管理模块为大数据平台提供数据访问权限策略。5.4.系统边界企业级省大数据平台数据治理子系统与其它子系统之间存在数据交互、功能调用、流程穿插等关联。数据治理子系统与大数据平台系统内其它子系统的关系示意如图5-5所示：数据效劳平台I t数据治理数据标准管理 元数据管理数据质量管理数据资产管理数据平安管理Jt企业级省大数据平台图5-5数据治理子系统与各子系统边界图与企业级省大数据平台关系企业级省大数据平台上的数据资产是数据治理的主要对象；数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质量监控、数据平安等方面的全面支撑，使大数据平台上的数据资产清晰、有序、平安、可控。与对外能力开放平台关系数据治理为对外能力开放平台提供元数据查询、数据平安管理支持；对外能力开放平台为数据治理提供统一的数据治理产品及功能注册、发布、使用效劳。与平台运维系统关系数据治理子系统支撑大数据平台的数据管控流程，并与平台运维交互协调，共同支撑大数据平台整体的平安运维、数据运维和管理运维。数据治理核心模块6.1.数据标准管理中国移动企业级省大数据平台数据标准是在经营分析系统数据管控要求根底之上，借鉴互联网企业数据治理的经验而提出的。数据标准是指在中国移动企业级省大数据平台下，保障企业内外部使用和交换数据的一致性和准确性，具有行业特点且共同使用的一种标准性约束。数据标准是企业级省大数据平台数据治理的根底性工作，是数据治理建设中的首要环节。首先，数据标准为企业级省大数据平台提供统一的数据标准定义和平台逻辑模型。其次，数据标准是企业级省大数据平台进展数据治理的依据和根本。再次，数据标准是衡量企业级省大数据平台数据资产运营和管理的评估依据。最后，中国移动通过数据标准管理的实施，实现对企业级省大数据平台全网数据的统一运营管理。企业级省大数据平台数据治理体系中数据标准管理如图6-1所示，包括制定数据标准的标准性文件、进展数据标准化管控及数据标准管理组织。图6-1数据标准管理内容企业级省大数据平台数据标准管理与原经营分析系统数据管控的区别如下表6-1所示：表6-1企业级省大数据平台数据标准管理与原经营分析系统数据管控区别企业级省大数据平台数据标准管理原经营分析系统数据管控数据范围涉及企业内外部数据运营相关的数据，包含BOM三域数据、外部数据。数据仅限于市场经营活动的B域和局部O,M域数据。业务应用模式以数据标准为根底的数据治理体系，实现数据的资产化，贯穿整个数据运营的全流程，形成以中国移动大数据平台为核心的大数据生态圈，效劳于企业内外部客户。以支撑企业内部经营分析为主。效劳对象效劳于整个大数据生态圈。原经营分析系统使用人员。6.1.2.目标及原如此数据标准管理的总体目标：通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现中国移动企业级省大数据平台数据的完整性、有效性、一致性、标准性、开放性和共享性管理，提高企业级省大数据平台数据治理水平。数据标准制定的原如此：•开放性：标准制定人人参与。•共享性：数据标准化信息在大数据生态圈共享使用。•完整性：涵盖客户、产品、效劳、帐务、资源、网络等全部重要数据信息。•有效性：信息准确度高、理解上不存在歧义。•一致性：做到“五统一〃，定义统一、口径统一、名称统一、来源统一、参照统一。•标准性：制度标准、流程控制、系统管理等。6.1.3.业务分类和定义数据标准体系分类数据标准制定如图6-2所示，包括数据标准体系划分和数据标准内容制定，数据标准体系可分为根底类数据标准和指标类数据标准。图6-2数据标准体系划分数据标准内容制定数据标准内容的制定按照数据标准体系分类的要求分别给出数据标准制定的标准要求。1、根底类数据标准根底类数据标准是通过各种业务处理产生或各类渠道采集的根底性数据，在全国范围内必须是唯一定义的，如“用户品牌〃、“归属地市〃。根底类数据标准分为行业参考模型实体标准和公共代码标准。行业参考模型实体标准指按照行业需求和中国移动省级数据逻辑模型实体标准要求，继承以往数据逻辑模型实体标准，将各域的逻辑模型实体定义抽象为模型实体标准要求。行业参考模型实体数据标准体系定义内容如表6-2所示。表6-2行业参考模型实体数据标准体系定义内容行业参考模型实体标准标准体系属性说明数据标准编码根据数据标准编码命名规如此进展编写。标准主题数据标准归属主题标准子类数据标准归属类型中文名称数据标准中文名称。英文名称数据标准英文名称。

实体编号根据行业参考模型实体编号命名规如此进展编与。实体名称根据行业参考模型实体名称命名规如此进展编与。数据版本该数据标准的版本信息。数据体系分类根据数据分类规如此对数据进展分类，以保证数据体系的易用性，以及符合用户查找习惯。重要级别集团标准定义的数据为一级，省公司定义的数据为二级，其它常用的数据为三级。数据提供部门该数据标准定义数据的提供部门。数据提供部门负责人该数据标准定义数据提供负责人。数据维护部门该数据标准定义数据维护部门。数据维护部门负责人该数据标准定义数据维护负责人。业务主管部门该数据标准定义数据业务主管部门，该部门对数据口径、编码取值和相关专业术语有决定权。业务主管部门负责人该数据标准定义数据业务负责人。数据来源系统如：BOSS,CRM,ERP等主要依据关于指标的解释和描述文件。如集团标准、省公司标准、业务部门制定等等。业务定义指标的业务描述口径，一般由业务部门使用业务语言制定。具体行业参考模型实体数据标准体系定义内容示例为参见?附录二：数据标准体系定义内容示例为?。公共代码标准，指对于一些共享程度较高、内容相比照拟稳定的编码，通常可以组织力量一次性地编制出来，其中有一些需要引用外部公共标准机构的标准，比方：世界各国和地区名称代码等。公共代码标准体系定义内容如表6-3所示。表6-3公共代码标准体系定义内容公共代码标准标准体系属性说明数据标准编码根据数据标准编码命名规如此进展编写。公共标准号引入外部公共标准号中文标准名称数据标准中文名称英文标准名称数据标准英文名称。标准状态该标准的状态，如现行、停止。公共标准机构名称引入该公共标准的机构名称。数据标准体系根据数据分类规如此对数据进展分类，以保证数据体系的易用性，以及符合用户查找习惯。重要级别集团标准定义的数据为一级，省公司定义的数据为二级，其它常用的数据为三级。数据标准引入部门该数据标准引入和维护部门。数据标准引入部门负责人该数据标准引入和数据维护负责人。数据上报系统最终对数据进展计算和发布的系统，也是各部门唯一获取指标数据的来源系统。具体行业参考模型实体数据标准体系定义内容示例为参见?附录二：数据标准体系定义内容示例为?。2、指标类数据标准

指标类数据标准是数据根底上按照一定业务规如此加工汇总的数据，如KPI指标数据。指标类数据又可分为根底指标和计算指标。根底指标一般不含维度信息，且具有特定业务和经济含义。计算指标通常由两个以上根底指标计算出。指标类数据标准体系定义内容如表6-4所示。表6-4指标类数据标准体系定义内容指标类标准说明根底属性数据标准编码根据数据标准编码命名规如此进展编写。中文名称数据标准中文名称。英文名称数据标准英文名称。应用场景该指标适用于什么场景。数据版本该数据标准的版本信息。数据体系分类根据数据分类规如此对数据进展分类，以保证数据体系的易用性，以及符合用户查找习惯。重要级别集团标准定义的数据为一级，省公司定义的数据为二级，其它常用的数据为三级。管理属性数据提供部门该数据标准定义数据的提供部门。数据提供部门负责人该数据标准定义数据提供负责人。数据维护部门该数据标准定义数据维护部门。数据维护部门负责人该数据标准定义数据维护负责人。业务主管部门该数据标准定义数据业务主管部门，该部门对数据口径、编码取值和相关专业术语有决定权。业务主管部门负责人该数据标准定义数据业务负责人。数据上报系统最终对数据进展计算和发布的系统，也是各部门唯一获取指标数据的来源系统。数据生成系统生成数据所需的数据所在的来源系统，如BOSS系统。数据上游系统数据生成后上报给哪个系统，如ERP系统。业务属性主要依据关于指标的解释和描述文件。如集团标准、省公司标准、业务部门制定等等。业务定义指标的业务描述口径，一般由业务部门使用业务语言制定。计算流程/算法用来描述指标详细的计算过程。指标类型根据管理需要可以将指标分为根底指标、计算指标两类。计算指标公式用于描述相关指标间的平衡关系，可用于指标数据审核过程中，能有效地保证指标数据质量。技术属性计量单位数据使用单位如：“户〃、“分钟〃、"MB〃、"元〃、“次〃、“％〃等等。统计精度指标统计数值准确到小数还是整数。数据值域数据的合理取值范围。统计周期数据统计周期如“日〃、“周〃、“月〃、“季度〃、“半年〃、“年〃等等。统计粒度数据统计粒度如：“用户级〃、“区县级〃、“地市级〃等。统计维度数据统计维度如：“地域〃、“品牌〃、“在网时长〃、“客户等级〃等。指标出数表指标数据来源于哪张物理表。指标出数代码指标数据来源于物理表的哪个。具体行业参考模型实体数据标准体系定义内容示例为参见?附录二：数据标准体系定义内容示例为?。6.1.4.技术功能要求数据标准制定数据标准的制定按照本册中数据标准管理的业务分类和定义标准指导要求，基于各企业级省大数据平台的数据管控需求进展数据标准标准的制定。其制定的数据标准标准内容在全省进展发布和告知，要求企业级省大数据平台系统按照该标准标准进展统一的数据管理。数据标准制定包括数据标准的编制、数据标准的审查、数据标准的发布。数据标准化管理组织将数据标准以正式发文的方式在全公司范围内进展发布，并在发布后将数据标准、版本说明保存备案。最终将发布的数据标准更新至数据标准管理模块中，如图6-3所示。图6-3数据标准管理的编制、审查、发布流程图数据标准的编制、审查和发布通过数据标准管理模块开发实现，其流程如图6-3示：1、 数据标准管理组织协调者组织数据提供者和执行者参与数据标准属性的收集和整理工作，并按照协商一致的原如此形成数据标准初稿。2、 数据标准初稿进展屡次的讨论和丰富后，形成数据标准送审稿提交给数据标准管理决策者。3、 经过数据标准管理决策者的讨论审核后，由数据标准管理组织协调者再次进展数据标准的修改完善，并完成数据标准的发布。数据标准执行数省公司和各部门、分公司统一按照所制定的数据标准实施数据标准管理，数据标准的执行流程如图6-2所示。图6-2数据标准管理的执行流程图数据标准执行的流程步骤如下：1、数据标准制定发布后，将数据标准录入到数据标准管理模块。2、 数据标准管理执行者按照发布的数据标准，制定和发布数据标准接口。3、 数据标准管理模块将标准要求提供给数据质量管理根据已录入系统的数据标准形成稽查规如此，对数据标准管理执行者制定和发布的数据标准接口中的内容进展相关的标准稽核监控。4、 将标准稽核结果发送给数据标准管理模块，并反应给数据标准管理决策者和数据标准管理执行者。数据标准维护数据标准的维护指数据标准建立后，根据业务需求的开展变化或外部数据标准要求不一致时，对数据标准的内容进展变更和版本管理，如图6-5所示。图6-5数据标准管理的变更流程图数据标准管理的变更通过数据标准管理系统开发实现落地，其流程如图6-5所示：1、 对执行的相关数据标准进展变更请求的申请，组织该数据标准相关执行层和各数据运维者进展讨论和变更需求汇总。2、 由数据标准管理组织协调机构进展标准变更的审核。3、 讨论审议数据标准项的变更内容，并形成标准变更需求审批表提交给数据标准管理决策层进展审批。4、 决策层将审批结果反应给标准管理组织协调者，并由其进展数据标准发布及版本维护。数据标准监控数据标准监控实现对数据标准执行过程的监控，包括对数据标准的执行、效果、问题进展监控管理，为后期数据标准维护管理提供依据。数据标准的监控通过数据标准管理和元数据管理、数据质量管理协同实现落地，监控流程如图6-6所示：图6-6数据标准管理监控流程图数据标准管理监控流程如下：数据管理者录入数据标准和元数据信息。根据数据标准制定数据标准接口。根据数据标准生成的稽核规如此，进展前向稽核，稽核正常进展下一流程，稽核非正常返回错误文件记录给数据管理者做数据标准的更新。数据提供者将数据提交到企业级大数据平台，并且完成对元数据的采集。对数据提供者数据进展后向稽核，稽核正常如此数据可提供数据消费者正常使用，稽核非正常返回错误信息记录给数据提供者做数据修订。本期建设范围及内容本期数据标准管理建设范围要求涉及企业级省大数据平台中数据标准内容，但不在全集团范围内强制统一数据标准标准。本期具体建设内容包括：1、 数据标准标准内容涵盖：•行业参考模型实体标准•指标数据标准•公共代码标准2、 数据标准化管控内容涵盖：•建立数据标准化管理组织架构。•搭建数据标准管理模块。•实现数据标准管理流程的功能系统化，并衔接元数据管理、数据质量管理和数据资产管理形成数据治理的闭环运维。•提供具数据标准产品，如数据标准查询APP等。实施要求数据标准管理实施要求包括：1、 数据标准统一规划。按照企业级省大数据平台的数据治理要求，结合数据标准标准指导内容，构建适应企业级省大数据平台的数据标准体系，并制定数据标准实施方案。2、 建立数据标准管理的支撑体系。要求包括数据标准管理组织架构、数据标准管理方法和制度流程，以及数据标准管理支撑工具。3、 实现中国移动企业级省大数据平台中数据业务口径和技术口径有效协同统一。4、 支撑中国移动企业级省大数据平台的平台化、产品化和数据资产运营的需求。5、 支撑新增企业级省大数据平台数据接口内容的标准化定义。6、 满足原有数据可逐步进展数据标准标准的迁移和统一。6.2.元数据管理6.2.1.背景元数据管理模块是大数据平台数据治理体系的重要组成局部。IT研究与参谋咨询公司Gartner发布的?2021年十大战略性技术趋势?中对于企业战略性大数据的描述如下：将多个系统，包括内容管理、数据仓库、数据集市和专门的文件系统等与数据效劳和元数据相互结合，组合为“逻辑的〃企业数据仓库。通过对这个“逻辑的数据仓库〃的有效治理，为企业后续的数据资产运营、增值以及数据效劳提供有效支撑。中国移动企业级省大数据平台是这种逻辑的企业数据仓库的一个具体落地实现，元数据管理的建设将贯穿大数据平台建设、使用、运营、维护的全过程，并发挥以下作用：•提供企业级数据字典，便于内外部客户更好地了解企业数据概况；•提供全局元数据查询检索，便于用户快速定位元数据；•提供元数据详细描述，使用户了解数据组成、结构及数据流向；•提供血缘/影响分析功能，便于用户进展分析判断、问题定位；•提供元数据接口效劳，便于其它系统或模块使用元数据效劳；•提供元数据应用，方便终端用户使用元数据；•提供统一的基于元数据描述的API管理产品，集中管理平台开放的内外部API。大数据平台的元数据管理方面，与传统经分相比，主要有以下不同点：•管理范围不同：新增集群NameNode节点的管理元数据；新增集群DataNode节点的业务/技术元数据；新增大数据平台内部以及其与DW、MPP等跨工具/产品的复杂数据流元数据。•管理制度方面：管理流程：新增跨部门、跨系统的多层次交互式的元数据注册、维护、管理、使用流程，同时需要针对不同用户提供有针对性的元数据产品支持。角色权限：管理上更加细致的分工，不同部门需新增相应的元数据查询、管理、维护角色；•工具支撑方面：需支持大数据平台新增元数据范围地获取、存储与管理；需支持大数据平台海量元数据的获取、存储、管理及应用；需提供标准化定义，并支持管理集群节点快速获取分节点的运行元数据信息；需对大数据平台的文件、语音、图片等非结构化数据的标记元数据，即大数据相关的词库元数据进展管理，并提供检索查询等应用支持；需通过元数据对大数据平台的新增数据进展敏感定义及标记；需为终端用户提供简单易用的元数据产品，降低使用本钱。元数据运营模式本期标准要求，在提升元数据用户使用体验的同时，着重改善元数据管理的运营模式，重点建设前向的元数据管控机制，并逐步探索集中的大数据平台元数据管理方式。本期标准中，除元数据根底功能外，对元数据管理的运行维护提出以下要求：对于集团统一标准标准的元数据，严格按照集团提供元数据标准落地；对于大数据平台的集群NameNode、文件目录等局部元数据，通过互通机制定期按集团要求格式上报。元模型标准关于元数据标准的元模型局部，将在经分标准的核心元模型根底上，根据大数据平台新增数据结构特点进展扩大，以满足这局部元数据获取、存储、管理及应用要求。主要涉及集群节点的namenode元数据及Hadoop的文件/目录元数据。本期标准需要上报的元数据信息，主要涉及集群NameNode元数据，包括集群的运行监控信息及文件/目录元数据。图6-7总部集群与省集群节点的元数据上报关系示意图6-7为集团总控节点与省集群节点的元数据上报关系示意图。集群节点定期上报其自身的NameNode阶段运行信息及数据节点的数据信息，供集团了解省分节点运行、存储情况，为后续的统一管控提供根底支撑。6.2.3.1.集群监控类

对于集群NameNode节点的运行监控类元数据，属于ApacheHadoop的私有定义，暂无法使用或在CWM标准根底上扩大。故直接引用ApacheHadoop的相关定义，并对其进展适当标准。本期对NameNode节点的元数据上报信息要求如下:英文名中文名类型备注ConfiguredCapacity配置容量doublePresentCapacity当前总容量doubleDFSRemaining剩余容量doubleDFSUsed已用容量doubleDFSUsed%使用率double小数点后4位Underreplicatedblocks待复制数据块doubleBlockswithcorruptreplicas中断复制数据块doubleMissingblocks丧失数据块doubleDatanodesavailable可用节点数doubleDatanodesNonavailable不可用节点数double需要上报的作业监控信息如下:英文名E名类型备注Name名称textDescription描述textLastModified更新时间dateSteps步骤doubleStatus状态textOwner拥有人textDatanode节点需要上报的元数据信息如下:英文名E名类型备注Name节点名称textHostname主机名textRack所属机架textDecommissionStatus可用状态textConfiguredCapacity配置容量doubleDFSUsed已用容量doubleNonDFSUsed非DFS使用容量doubleDFSRemaining剩余容量doubleDFSUsed%已用容量double小数点后4位DFSRemaining%使用率double小数点后4位ConfiguredCacheCapacity配置缓存容量doubleCacheUsed缓存使用量doubleCacheRemaining缓存剩余量doubleCacheUsed%缓存使用率double小数点后4位CacheRemaining%缓存剩余率double小数点后4位Lastcontact最近检查时间date6.2.3.2.数据节点类为支持大数据平台下文件、目录、Hbase、Hive相关元数据的集中存储，本期标准将CWM核心元模型的Table、Column、View类进展扩展，同时新增模型包，里边包含目录fDirectory〕和文件〔File〕两个实体及相关属性。关于经分系统核心元模型及参考表，元模型标准CWM的相关定义，请参考?中国移动省级NG2-BASS(v5.0)技术标准核心元模型标准?中的相关章节描述。修订内容如下：1、需要修改的元模型包括：Table类增加以下属性：location:String说明：存储大数据平台上该表对应的HDFS文件目录信息。createTime:String说明：该表的创立时间。creator:String说明：该表的创立人。Column类增加以下属性：partitionColumnId:String说明：Hive表对应的分区字段编号。View类增加以下属性：createTime:String说明：该视图的创立时间。>creator:String说明：该视图的创立人。2、需要增加的元模型包括：ColumnFamily类有如下属性：name:String说明：Hbase对应的列簇名称。File类有如下属性：name:String说明：文件名称。path:String说明：文件路径信息。compressorType:String说明：压缩类型。size:String说明：文件大小。type:String说明：文件类型。permission:String说明：权限。owner:String说明：所有者。group:String说明：所属用户组。Directory类有如下属性：name:String说明：目录名称。path:String说明：路径信息。permission:String说明：权限。owner:String说明：所有者。group:String说明：所属用户组。3、需要增加的元模型关系包括：添加TableToDirectory关系；添加ColumnFamilyToDirecitry关系。元数据运维在前期元数据运行维护要求的根底上，满足本期大数据平台的数据治理要求，对元数据的维护提出以下补充要求：•强化元数据管理制度要求，每个元数据均需将所属部门、责任人信息补充完整；•为加强数据平安及隐私保护，每个元数据需提供对应的数据隐私级别信息；•细化元数据分类，在前期技术、业务、管理大分类的根底上，增加从系统所属部门、系统及模块角度标记每个元数据；•严控元数据版本，对于每次变更需详细记录变更原因、时间、人员等关键信息；•细化元数据权限，对于不同的部门、人员、角色，仅授予工作所需的最小权限，对于权限变化要严格审批。本期重点建设内容基于大数据平台“逻辑集中、物理分散〃的最终目标原如此，元数据管理的建设也将按此目标分步实现。在本期标准中，强调元数据的运维管理及产品化支撑，元数据产品要简单易用、用户体验不断提升。主要建设以下内容：1、元数据之家产品。基于大数据平台数据治理及改善用户体验要求，建设一个方便内外部用户使用的元数据产品。主要包括以下模块：•集中分类展现；•多样化检索；•详情多样化展示；•收藏与评价；•统计分析；•知识库；•权限审批。2、 元数据应用产品：•查询类APP，面向业务人员及大数据平台分析人员。3、 辅助开发产品：•团结帮API管理产品，对OpenAPI进展元数据结构化描述，用于对大数据平台开放API进展注册、发布、订阅及使用管理。6.3.数据质量管理6.3.1.与传统经营分析系统的区别数据质量为数据的“适用性〔fitnessforuse〕〃，即数据满足使用需要的适宜程度。数据质量通过完整性、一致性、准确性、及时性、合法性等多类维度对数据进展度量。在大数据平台上，数据质量为其提供洁净、结构清晰的数据，是大数据平台开发数据产品、提供数据效劳、发挥大数据价值的必要前提，是企业数据资产管理的关键因素。大数据平台数据质量和传统经营分析系统的区别如表6-5所示。表6-5大数据平台数据质量和传统经营分析系统的区别大数据平台数据质量经营分析系统数据质量监控数据的类型可以对非/半结构化数据中指定信息项进展监控，例如Gn日志中的终端信息等仅监控结构化数据数据仓库的类型支持传统数据仓库、MPP和Hadoop。仅支持传统数据仓库。使用者数据资产的所有者及其授权用户、数据应用开发者、租户等将成为大数据平台数据质量管理模块的主要使用者，负责监控规如此的设置和监控结果的处理。经分运维人员和数据质量管理员为主要使用者，负责将业务人员的需求在数据质量模块上实现。运维工作运维人员主要负责保障数据质量功能模块的正常运行和规如此库的扩大，规如此配置、执行和结果处理等实际工作由用户自行负责。数据质量运维人员的工作范畴涵盖数据质量监控的全流程，包括采集、规如此配置、告警、结果查看和处理。监控模式由事后监控向事中、事后监控相结合转化，用户/应用设置数据质量监控规如此用户仅能在结果出来后才能进展监控。后，可以在计算执行过程中调用数据质量监控作业，无需等待结果出来后再进展监控。质量保障数据质量功能模块是大数据平台接收源数据的屏障，保障所有接收的源数据均符合大数据平台的要求；数据质量还是大数据平台数据资产评估的重要组成局部，定期运行平台数据资产的相关质量规如此，为数据资产评估提供输入。未明确规定数据质量为其它功能模块提供效劳。范围和原如此大数据平台数据质量的管理范畴，涵盖从源数据接入大数据平台到应用输出的全过程。大数据平台数据质量管理的原如此包括：•以用户需求为中心：数据质量模块旨在为大数据平台所有用户提供效劳，平台功能的增加和增强始终围绕着用户的实际使用需求；界面设计需要充分考虑不同类型用户的需求，既要满足业务用户简单易懂的需要，也要允许技术用户实现个性化的监控需求。•全员参与：大数据平台的用户包括数据提供者、数据开发者、数据管理者、数据消费者，均要参与平台的数据质量管理；•过程控制：数据质量监控不仅是在结果输出后，还包括对计算过程中质量监控，一旦发现问题，可以及时终止进程；•持续改良：数据质量的提升是一个持续的过程，需要定期对发现的问题进展评估，提出改良意见；也包括数据质量模块本身功能的提升和规如此库的完善。与其它功能模块的关系6.3.3.1.与元数据模块的关系数据质量模块将与元数据模块通过接口互通，根据需求获取相关元数据信息。用户检索监控对象时，可以检索监控对象的名称、说明或者其它元数据的属性信息，数据质量模块通过接口将检索条件传输到元数据模块，元数据模块将检索结果反应给数据质量模块，如图6-8所示。图6-8数据质量模块与元数据模块交互流程用户对监控对象配置监控规如此，数据质量功能模块由元数据管理模块自动获取该监控对象的物理地址，按照用户需求自动生成采集规如此。用户如果需要在监控对象血统的相关节点上配置监控规如此，如此可以跳转到元数据平台上查看监控对象的血统图，找到对应节点的名称，然后按照监控对象的配置方式进展配置。6.3.3.2.与数据资产模块的关系源数据接入大数据平台，需要进展接收稽核，满足稽核规如此的源数据才能接入大数据平台。源数据初次申请进入大数据平台时，即需要配置其稽核规如此，此后该源数据每次提交数据到大数据平台，均需要按照设定的规如此进展稽核，并将稽核结果反应给数据资产模块，如图6-9所示。图6-9数据质量模块与数据资产模块交互流程〔资产接收〕数据质量模块对大数据平台上所有资产进展定期的监控，并将监控结果反应给数据资产模块，为数据资产评估提供支持，如图6-10所示。图6-10数据质量模块与数据资产模块交互流程〔资产评估〕6.3.4.本期数据质量功能需求本期数据质量模块的目标是为内、外部用户提供平台化的数据质量监控；通过扩大和优化公共规如此库、增强后台对不同类型数据仓库和非结构化数据的兼容性，提升用户使用感受；并提供数据质量应用满足个性化需求。6.3.4.1.平台化数据质量监控为外部用户提供数据质量监控界面，用户可以在界面上完成监控对象选择、规如此配置、告警及结果查看、问题处理等数据质量全流程监控。•监控对象选择灵活，可以通过多种检索条件进展检索；•规如此配置界面友好，用户通过选择规如此模板直接进展配置；•后台自行适配多种数据仓库，根据监控对象的不同，自动生成适配的作业；•设置好的监控规如此作为单独的作业，用户可以在计算执行过程中或计算完成后进展调用。6.3.4.2.对内质量效劳为大数据平台内部提供数据质量支撑，包括两方面：•资产接收稽核：获取接入源数据的元数据和数据标准信息，配置相应的监控规如此，不满足稽核规如此的源数据如此通知数据资产模块，不予接收；•数据资产评估支撑：对大数据平台中的数据资产进展定期的监控，将监控结果输入到数据资产模块，作为数据资产评估的一局部。规如此库数据质量功能模块将?中国移动企业大数据平台标准数据标准分册?及本分册中数据标准、数据平安等相关要求转化为相应质量监控规如此，内置于规如此库中，并将其它常用数据质量监控规如此也纳入规如此库中。规如此库按照使用场景划分为不同等级，如文件级、字段级、数据级等，便于用户选择。数据质量功能模块可以为已经确定的场景，设定规如此包，例如数据资产评估，用户可以直接使用，无需任何配置，也允许用户根据实际情况对规如此包中的内容进展修改。后台支撑数据质量功能模块需要为数据标准、元数据、数据资产、告警通知等提供接口。数据质量功能模块后台需要自动适配不同类型数据仓库，保证采集和规如此配置的兼容性。数据质量功能模块对规如此和结果的存储需要满足大数据平台的需求。6.345.数据质量应用数据质量功能模块为一线人员提供数据质量应用，包括：•绩效监控：用户可以在该应用上设置规如此、查看结果以及进展结果的进一步剖析；•体检中心：通过运行该应用，对企业的数据质量进展了一次全面的体检，并即时输出体检报告，让企业时刻了解自身数据系统的健康情况。6.3.5.本期数据质量运维要求本期数据质量运维着重表现“平台化〃、“全员参与〃的理念，通过平台化数据质量监控和规如此库的配合，让大数据平台的所有用户能够对自己提供或消费的数据进展数据质量管理，可以在数据质量模块上方便自如的配置需要的监控规如此、查看结果并进展后续处理。6.4.数据资产管理数据资产概述背景数据资产化将以资产的角度开展数据管理工作变为可能，将有助于多角度、全方位开展数据的管理，明确数据平安级别，落实资产责任管理，是实现数据变现的必要前提。数据资产化包含了数据资产梳理盘点和数据价值评估的过程。数据资产是指企业及组织拥有或控制，能给企业及组织带来未来经济利益的数据资源。数据有可能成为资产，但不是所有数据都能具备资产的属性。数据资产包含着如下几个要素：1〕被企业拥有和控制；2〕能够用货币来计量；3〕能为企业带来经济利益。数据的价值根据其相关性的不同而各不一样，而数据相关性又因数据使用者而异。对某个人群没有价值的数据，可能对另外一个人群相当有用；在某个时间段内没有价值的数据，可能在另一个时间段内相当有用。例如：用户十年前的入网信息，在几年前是没有什么价值，但随着“十年移动〃等营销活动开展，这类信息又非常有价值。系统框架图6-11数据资产架构图如图6-11所示，数据资产管理系统包括六个局部：注册管理：支持多种方式〔采集器、在线维护、提供自助注册接口〕注册数据资产，并提供审核及版本控制等功能；变更管理：支持已注册数据资产信息的变更、审核和更新功能；审计管理：支持对数据资产的盘点，以及对数据资产访问记录的审计；资产统计分析：支持数据资产的评估，包括数据质量、访问情况等信息的采集，根据这些信息对数据资产进展综合评估打分；权限管理：对接数据平安管理模块，除了同步数据平安管理模块中用户账户信息及权限外，还会将用户对数据资产访问的申请信息发送给数据平安管理模块进展处理；接口管理：与元数据管理模块、数据质量管理模块、数据平安管理模块对接，收集相关模块的根底数据，用于完成数据资产的注册、稽核及平安管理等工作数据资产化后，将解决目前普遍存在的需求分散重复、口径模糊等问题，实现成果和经验的共享和积累，方便实现应用和数据的生命周期的自动化管理。明确的数据资产信息，将有效支撑公司内部知识系统和资源管理的建设，为业务人员能更快捷、有序、便利地提供资产使用的方式和途径，支撑数据分析、开发、运维的自治。数据资产范围数据资产的范围和形式应包含企业拥有的各类数据，如表、视图、接口、程序等。同时，随着大数据的开展，还应纳入各种非/半结构化的数据形式，如日志、网页、图片、音视频等。数据资产标识是一个有业务含义、分段式、全局唯一的字符串，用来区分识别数据资产的标签。资产标识包含有资产所属业务域、资产类型、提供者等信息。资产标识标准为五段式结构，每段以点分隔。具体格式如图6-12所示：图6-12数据资产标识标准｛根前缀｝：指数据资产全局前缀，以常量表示。其值为comcc.xxx｛业务域｝：指数据资产所归属的业务系统类别域。其值为BSS,OSS,MSS等｛资产类型｝：指数据资产模型类别。其值为表、文件、图片、音频等｛提供者/租户｝：指数据资产的生产者，或者是数据资产的所有者。其值一般是生产者或者所有者的标识。其值为MKT（市场）、GRP（集团）、BASS（经分）等｛资产名称｝：指数据资产的简短命名。其值一般是资产对象的名称或编码。数据资产标识示例为：comcc.xxx.BSS.table.YWB.application_log二维码如图6-13所示。图6-13数据资产标识二维码与其它功能模块的关系数据资产管理模块将与元数据、数据质量、数据平安模块通过接口互通，根据需求获取元数据，数据稽核和交互账号权限等信息。在资产注册、变更时，需要从元数据模块获取表、字段、口径、程序等元数据信息，用于数据资产信息的登记和更新。在资产运维时，需要从数据质量模块获取数据质量监控、稽核的结果，用于资产评估。同时，消费者申请访问数据资产，需要从数据平安模块中获取账号信息，相关数据访问申请也需要发送给数据平安模块进展处理。6.4.4.本期数据资产功能需求6.4.4.1.管理过程数据资产管理过程是一个资产全生命周期的管理过程，资产全生命周期管理以数据资产作为管理对象，以资产战略和资产策略为导向，从系统整体目标出发，统筹考虑资产的规划、投资、设计、建设、运行、维护、稽核、变更、注销的全过程，在满足平安、效能的前提下有效管理与监控数据资产的生产和使用情况，不断优化数据资产质量，实现数据资产的业务价值。其管理过程如图6-14所示：图6-14数据资产全生命周期管理过程如图6-14所示，数据资产全生命周期管理过程分为如下四大阶段：•战略规划：该阶段旨在按照业务需要和业务开展要求，建立数据资产总体性、纲要性规划。制定帮助所有的数据资产供给者以及消费者，帮助他们运营，帮助他们长期开展建立清晰的效劳战略。该阶段主要包含了制定数据资产战略规划和制定数据资产策略方案等关键任务和活动。•注册入库：该阶段旨在按照战略规划和战略方案进展数据资产的设计、建设和交付。针对需求进展分析设计，根据战略阶段的要求与标准，定义数据资产的结构等，是资产管理中的重要组成。该阶段主要包含了设计并生产数据资产和数据资产注册、入库等关键任务和活动。•运营维护：该阶段旨在对数据资产的有效使用进展管控，确保数据资产健康运营。运营维护包含数据资产发布、资产稽核、监控告警、资产评估、资产审计、资产变更等方面；提供数据资产给授权的消费者〔内部用户、集团用户和外部用户〕使用；对数据资产进展盘点，监控数据资产的使用情况，对数据资产访问记录进展审计；对数据资产从规划到运营阶段情况进展全方位、多维度的统计分析，对资产内容标准化、合规性的稽核评价，根据评估结果有目的的对数据资产进展改良和完善。注销报废：该阶段主要是对无效和失效的资产进展清理，主要包括资产注销和报废去除等任务和活动。在注销报废阶段，对已失效的资产，由管理者注销资产，并由运维者销毁资产对象；管理对象图6-15数据资产管理对象如图6-15所示，数据资产管理对象是针对纳入企业级大数据平台进展存储、访问、操作的结构化和非结构化数据，包括但不限于：IT支撑系统〔含业务支撑、运营支撑、管理支撑等〕所产生的业务数据、交易数据、分析数据、流程数据等，简称B域数据；网络运行管理和分析系统所产生生业务数据、交易数据、分析数据、流程数据等；以及各类网元设备所产生的话单、信令、上网日志、性能检测数据，简称O域数据；业务平台〔含管理平台、能力平台、应用平台等〕对内进展发布和共享的特定业务数据，简称业务平台数据；其它纳入企业级大数据平台管理的外部引入数据，简称外部引入数据。管理角色数据资产管理过程中，应包含如表6-6相关的角色：表6-6人员角色职责角色主要职责数据资产规划者制定数据资产模型标准；规划数据资产建设方案；数据资产提供者提交数据资产相关信息到数据资产管控平台进展数据资产注册；确保数据资产提