大数据治理体系_第1页
大数据治理体系_第2页
大数据治理体系_第3页
大数据治理体系_第4页
大数据治理体系_第5页
已阅读5页,还剩57页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、 PAGE IV数据治理理体系目录TOC o 1-3 h z u HYPERLINK l _Toc430099616 1.范围围 PAGEREF _Toc430099616 h 1 HYPERLINK l _Toc430099617 2.规范范性引用用文件 PAGEREF _Toc430099617 h 11 HYPERLINK l _Toc430099618 3.术语语、定义义和缩略略语 PAGEREF _Toc430099618 h 5 HYPERLINK l _Toc430099619 4.总体体说明 PAGEREF _Toc430099619 h 88 HYPERLINK l _Toc

2、430099620 4.1.概述 PAGEREF _Toc430099620 h 8 HYPERLINK l _Toc430099621 4.2.目标 PAGEREF _Toc430099621 h 9 HYPERLINK l _Toc430099622 4.3.原则 PAGEREF _Toc430099622 h 9 HYPERLINK l _Toc430099623 5.数据据治理体体系 PAGEREF _Toc430099623 h 100 HYPERLINK l _Toc430099624 5.1.总体框框架 PAGEREF _Toc430099624 h 100 HYPERLINK

3、l _Toc430099625 5.2.组织架架构 PAGEREF _Toc430099625 h 111 HYPERLINK l _Toc430099626 5.2.1.组组织构成成 PAGEREF _Toc430099626 h 11 HYPERLINK l _Toc430099627 5.2.2.角角色职责责 PAGEREF _Toc430099627 h 12 HYPERLINK l _Toc430099628 5.3.系统架架构 PAGEREF _Toc430099628 h 122 HYPERLINK l _Toc430099629 5.3.1.系系统功能能框架 PAGEREF _

4、Toc430099629 h 112 HYPERLINK l _Toc430099630 5.3.2.系系统模块块流程 PAGEREF _Toc430099630 h 114 HYPERLINK l _Toc430099631 5.4.系统边边界 PAGEREF _Toc430099631 h 155 HYPERLINK l _Toc430099632 5.4.1.与与企业级级省大数数据平台台关系 PAGEREF _Toc430099632 h 116 HYPERLINK l _Toc430099633 5.4.2.与与对外能能力开放放平台关关系 PAGEREF _Toc430099633 h

5、 166 HYPERLINK l _Toc430099634 5.4.3.与与平台运运维系统统关系 PAGEREF _Toc430099634 h 116 HYPERLINK l _Toc430099635 6.数据据治理核核心模块块 PAGEREF _Toc430099635 h 17 HYPERLINK l _Toc430099636 6.1.数据标标准管理理 PAGEREF _Toc430099636 h 17 HYPERLINK l _Toc430099637 6.1.1.背背景 PAGEREF _Toc430099637 h 177 HYPERLINK l _Toc430099638

6、 6.1.2. PAGEREF _Toc430099638 h 118 HYPERLINK l _Toc430099639 6.1.3.目目标及原原则 PAGEREF _Toc430099639 h 199 HYPERLINK l _Toc430099640 6.1.4.业业务分类类和定义义 PAGEREF _Toc430099640 h 19 HYPERLINK l _Toc430099641 6.1.5.技技术功能能要求 PAGEREF _Toc430099641 h 223 HYPERLINK l _Toc430099642 6.1.6.本本期建设设范围及及内容 PAGEREF _Toc

7、430099642 h 226 HYPERLINK l _Toc430099643 6.1.7.实实施要求求 PAGEREF _Toc430099643 h 27 HYPERLINK l _Toc430099644 6.2.元数据据管理 PAGEREF _Toc430099644 h 227 HYPERLINK l _Toc430099645 6.2.1.背背景和定定义 PAGEREF _Toc430099645 h 277 HYPERLINK l _Toc430099646 6.2.2.元元数据运运营模式式 PAGEREF _Toc430099646 h 29 HYPERLINK l _To

8、c430099647 6.2.3.元元模型标标准 PAGEREF _Toc430099647 h 299 HYPERLINK l _Toc430099648 6.2.4.元元数据运运维 PAGEREF _Toc430099648 h 333 HYPERLINK l _Toc430099649 6.2.5.本本期重点点建设内内容 PAGEREF _Toc430099649 h 344 HYPERLINK l _Toc430099650 6.3.数据质质量管理理 PAGEREF _Toc430099650 h 34 HYPERLINK l _Toc430099651 6.3.1.与与传统经经营分析

9、析系统的的区别 PAGEREF _Toc430099651 h 334 HYPERLINK l _Toc430099652 6.3.2.范范围和原原则 PAGEREF _Toc430099652 h 355 HYPERLINK l _Toc430099653 6.3.3.与与其它功功能模块块的关系系 PAGEREF _Toc430099653 h 36 HYPERLINK l _Toc430099654 6.3.4.本本期数据据质量功功能需求求 PAGEREF _Toc430099654 h 38 HYPERLINK l _Toc430099655 6.3.5.本本期数据据质量运运维要求求 P

10、AGEREF _Toc430099655 h 39 HYPERLINK l _Toc430099656 6.4.数据资资产管理理 PAGEREF _Toc430099656 h 40 HYPERLINK l _Toc430099657 6.4.1.数数据资产产概述 PAGEREF _Toc430099657 h 440 HYPERLINK l _Toc430099658 6.4.2.数数据资产产范围 PAGEREF _Toc430099658 h 441 HYPERLINK l _Toc430099659 6.4.3.与与其它功功能模块块的关系系 PAGEREF _Toc430099659 h

11、 42 HYPERLINK l _Toc430099660 6.4.4.本本期数据据资产功功能需求求 PAGEREF _Toc430099660 h 42 HYPERLINK l _Toc430099661 6.4.5.本本期建设设内容 PAGEREF _Toc430099661 h 445 HYPERLINK l _Toc430099662 6.5.数据安安全管理理 PAGEREF _Toc430099662 h 45 HYPERLINK l _Toc430099663 6.5.1.数数据安全全概述 PAGEREF _Toc430099663 h 445 HYPERLINK l _Toc43

12、0099664 6.5.2.建建设原则则 PAGEREF _Toc430099664 h 46 HYPERLINK l _Toc430099665 6.5.3.建建设内容容 PAGEREF _Toc430099665 h 46 HYPERLINK l _Toc430099666 6.5.4.边边界关系系 PAGEREF _Toc430099666 h 46 HYPERLINK l _Toc430099667 6.5.5.技技术功能能 PAGEREF _Toc430099667 h 47 HYPERLINK l _Toc430099668 6.5.6.管管理要求求 PAGEREF _Toc430

13、099668 h 48 HYPERLINK l _Toc430099669 7.数据据治理场场景 PAGEREF _Toc430099669 h 522 HYPERLINK l _Toc430099670 7.1.背景描描述 PAGEREF _Toc430099670 h 522 HYPERLINK l _Toc430099671 7.2.场景一一:银行行伪卡交交易判别别 PAGEREF _Toc430099671 h 52 HYPERLINK l _Toc430099672 7.2.1.背背景介绍绍 PAGEREF _Toc430099672 h 52 HYPERLINK l _Toc430

14、099673 7.2.2.场场景描述述 PAGEREF _Toc430099673 h 53 HYPERLINK l _Toc430099674 7.3.场景二二:银行行手机贷贷业务 PAGEREF _Toc430099674 h 554 HYPERLINK l _Toc430099675 7.3.1.背背景介绍绍 PAGEREF _Toc430099675 h 54 HYPERLINK l _Toc430099676 7.3.2.场场景描述述 PAGEREF _Toc430099676 h 54 HYPERLINK l _Toc430099677 8.附录录 PAGEREF _Toc4300

15、99677 h 55 HYPERLINK l _Toc430099678 附录一:数据标标准框架架 PAGEREF _Toc430099678 h 55 HYPERLINK l _Toc430099679 附录二:数据标标准体系系定义内内容示例例 PAGEREF _Toc430099679 h 56前言本规范的的制订是是为了更更好地实实现中国国移动企企业级省省大数据据平台数据据治理子子系统的的建设和和管理,为省大大数据平平台上的的各类基基础技术术和应用用提供支支撑,加加强省大大数据平平台上数数据的管管控力度度,增强强数据治治理子系系统自身身管理能能力。本规范主主要包括括以下几几方面的的内容:总

16、体说说明、数数据治理理体系、数据治治理核心心模块、数据治治理场景景等。本规范是是中国移移动企业业级大数数据平台台系列规范范之一。该系列列规范的结结构、名名称或预预计的名名称如下下:序号标准编号号标准名称称1QB-YY-*-20115中国移动动企业级级大数据据平台目标标架构2QB-YY-*-20115中国移动动企业级级省大数据据平台技术术规范总总册3QB-YY-*-20115中国移动动企业级级省大数据据平台技术术规范分分册4QB-YY-*-20115中国移动动企业级级省大数据据平台技术术规范技技术方案案分册5QB-YY-*-20115中国移动动企业级级省大数数据平台台技术规规范数据据模型分册册6

17、QB-YY-*-220155中国移动动企业级级省大数数据平台台技术规规范外部部接口分分册7QB-YY-*-20115中国移动动企业级级省大数数据平台台技术规规范服务务开放分分册8QB-YY-*-220155中国移动动企业级级省大数数据平台台技术规规范服务务开放技技术方案案分册9QB-YY-*-220155中国移动动企业级级省大数数据平台台技术规规范数据据治理分分册10QB-YY-*-220155中国移动动企业级级省大数数据平台台技术规规范数据据治理技技术方案案分册11QB-YY-*-220155中国移动动企业级级省大数数据平台台技术规规范运营营维护分分册12QB-YY-*-220155中国移动

18、动企业级级省大数据据平台技技术规范范安全管管理技术术方案本规范由由中移技技印发。本规范由由中国移移动通信信集团公公司业务务支撑系系统部提提出,集集团公司司技术部部归口。本规范起起草单位位:中国国移动通通信集团团公司业业务支撑撑系统部部。本规范主主要起草草人:段段云峰、汪新勇勇、赵静、周立、任怡怡健、王王保强、潘刚、刘童桐桐、王金金金、陶陶涛、刘刘虹、张张红星、魏春辉辉。 PAGE 58范围本规范规规定了中中国移动动企业级级省大数数据平台台数据治治理子系系统的建建设内容容,适用用于中国国移动各各省(直直辖市、自治区区)公司司企业级级省大数数据平台台数据治治理子系系统的建建设。规范性引引用文件件下

19、列文件件中的条条款通过过本规范范的引用用而成为为本规范范的条款款。凡是是标注日日期的引引用文件件,其随随后所有有的修改改单(不不包括勘勘误的内内容)或或修订版版均不适适用于本本规范。然然而,鼓鼓励根据据本规范范达成协协议的各各方对是是否使用用这些文文件的最最新版本本进行研研究。凡凡是不标标注日期期的引用用文件,其最新新版本适适用于本本规范。1中国移移动省级级经营分分析系统统业务规规范(vv1.00)中国移动动通信有有限公司司2中国移移动省级级经营分分析系统统技术规规范(vv1.00)中国移动动通信有有限公司司3QB-JJ-0110-220066中国移移动省级级经营分分析系统统数据质质量管理理系

20、统建建设方案案(v11.5)中国移动动通信有有限公司司4QB-JJ-0006-220066中国移移动省级级经营分分析系统统数据仓仓库逻辑辑数据模模型说明明(v11.5)中国移动动通信有有限公司司5QB-JJ-0007-220066中国移移动省级级经营分分析系统统数据集集市业务务技术规规范(vv1.55)中国移动动通信有有限公司司6QB-JJ-0008-220066中国移移动省级级经营分分析系统统与源系系统接口口规范(v1.5)中国移动动通信有有限公司司7QB-JJ-0009-220066中国移移动省级级经营分分析系统统与BOOSS系系统互动动技术规规范(vv1.55)中国移动动通信有有限公司司

21、8QB-JJ-0003-220066中国移移动省级级经营分分析系统统业务规规范(vv1.55)基础业业务分册册中国移动动通信有有限公司司9QB-JJ-0004-220066中国移移动省级级经营分分析系统统业务规规范(vv1.55)数据业业务分册册中国移动动通信有有限公司司10QB-JJ-0005-220066中国移移动省级级经营分分析系统统业务规规范(vv1.55)集团客客户分册册中国移动动通信有有限公司司11QB-JJ-0001-220066中国移移动业务务运营支支撑系统统(BOOSS)业务技技术规范范营销资资源管理理分册(2.00版)中国移动动通信有有限公司司12QB-JJ-0001-22

22、0066中国移移动业务务运营支支撑系统统(BOOSS)业务技技术规范范客服信信息分册册(2.0版)中国移动动通信有有限公司司13QB-JJ-0001-220066中国移移动业务务运营支支撑系统统(BOOSS)业务技技术规范范(2.0版)中国移动动通信有有限公司司14QB-JJ-0221-220077中国移移动省级级经营分分析系统统数据仓仓库逻辑辑数据模模型规范范(v22.0)中国移动动通信有有限公司司15QB-JJ-0220-220077中国移移动省级级经营分分析系统统与源数数据接口口规范(v2.0)中国移动动通信有有限公司司16QB-JJ-0222-220077中国移移动省级级经营分分析系统

23、统数据集集市业务务技术规规范(vv2.00)中国移动动通信有有限公司司17QB-JJ-0119-220077中国移移动省级级经营分分析系统统业务规规范渠道道运营管管理分析析监控分分册(vv1.00)中国移动动通信有有限公司司18QB-JJ-0118-220077中国移移动省级级经营分分析系统统业务规规范客户户服务分分册(vv2.00)中国移动动通信有有限公司司19QB-JJ-0117-220077中国移移动省级级经营分分析系统统业务规规范集团团客户分分册(vv2.00中国移动动通信有有限公司司20QB-JJ-0116-220077中国移移动省级级经营分分析系统统数据质质量管理理系统业业务技术术

24、规范(V2.0)中国移动动通信有有限公司司21中国移移动业务务支撑网网4A安全全技术规规范中国移动动通信有有限公司司22中国移移动省级级经营分分析系统统技术规规范总册册(v22.0全全量版)中国移动动通信有有限公司司23中国移移动省级级经营分分析系统统技术规规范逻辑辑模型分分册(vv2.00全量版版)中国移动动通信有有限公司司24中国移移动省级级经营分分析系统统技术规规范数据据集市分分册(vv2.00全量版版)中国移动动通信有有限公司司25中国移移动省级级经营分分析系统统技术规规范数据据质量管管理子系系统分册册(v22.0全全量版)中国移动动通信有有限公司司26中国移移动省级级经营分分析系统统

25、业务规规范(vv2.00全量版版)中国移动动通信有有限公司司27中国移移动省级级经营分分析系统统技术规规范源系系统接口口分册(v2.0全量量版)中国移动动通信有有限公司司28QB-JJ-0002-220088中国移移动省级级NG11-BAASS技技术规范范总册(v1.0)中国移动动通信集集团公司司29QB-JJ-0003-220088中国移移动省级级NG11-BAASS技技术规范范数据集集市分册册(v11.0)中国移动动通信集集团公司司30QB-JJ-0004-220088中国移移动省级级NG11-BAASS技技术规范范逻辑模模型分册册(v11.0)中国移动动通信集集团公司司31QB-JJ-0

26、005-220088中国移移动省级级NG11-BAASS技技术规范范源系统统接口分分册(vv1.00)中国移动动通信集集团公司司32QB-JJ-0006-220088中国移移动省级级NG11-BAASS技技术规范范元数据据管理分分册(vv1.00)中国移动动通信集集团公司司33QB-JJ-0007-220088中国移移动省级级NG11-BAASS技技术规范范数据质质量管理理子系统统分册(v1.0)中国移动动通信集集团公司司34QB-JJ-0008-220088中国移移动省级级NG11-BAASS业业务技术术规范客客户分析析及运营营分册(v1.0)中国移动动通信集集团公司司35QB-JJ-000

27、1-220088中国移移动省级级NG11-BAASS业业务规范范(v11.0)中国移动动通信集集团公司司36QB-YY-0003-220099中国移移动省级级NG11-BAASS技技术规范范总册(v2.0)中国移动动通信集集团公司司37QB-YY-0004-220099中国移移动省级级NG11-BAASS技技术规范范数据集集市分册册(v22.0)中国移动动通信集集团公司司38QB-YY-0005-220099中国移移动省级级NG11-BAASS技技术规范范逻辑模模型分册册(v22.0)中国移动动通信集集团公司司39QB-YY-0006-220099中国移移动省级级NG11-BAASS技技术规范

28、范外部接接口分册册(v22.0)中国移动动通信集集团公司司40QB-YY-0007-220099中国移移动省级级NG11-BAASS技技术规范范元数据据管理分分册(vv2.00)中国移动动通信集集团公司司41QB-YY-0008-220099中国移移动省级级NG11-BAASS技技术规范范数据质质量管理理子系统统分册(v2.0)中国移动动通信集集团公司司42QB-YY-0002-220099中国移移动省级级NG11-BAASS业业务规范范(v22.0)中国移动动通信集集团公司司43QB-YY-0552-220100中国移移动省级级NG22-BAASS(v3.0)业业务规范范中国移动动通信集集团

29、公司司44QB-YY-0553-220100中国移移动省级级NG22-BAASS(v3.0)技技术规范范总册中国移动动通信集集团公司司45QB-YY-0554-220100中国移移动省级级NG22-BAASS(v3.0)技技术规范范数据集集市分册册中国移动动通信集集团公司司46QB-YY-0555-220100中国移移动省级级NG22-BAASS(v3.0)技技术规范范逻辑模模型分册册中国移动动通信集集团公司司47QB-YY-0556-220100中国移移动省级级NG22-BAASS(v3.0)技技术规范范外部接接口分册册中国移动动通信集集团公司司48QB-YY-0557-220100中国移移

30、动省级级NG22-BAASS(v3.0)技技术规范范元数据据管理分分册中国移动动通信集集团公司司49QB-YY-0558-220100中国移移动省级级NG22-BAASS(v3.0)技技术规范范数据质质量管理理子系统统分册中国移动动通信集集团公司司50QB-YY-0559-220100中国移移动省级级NG22-BAASS(v3.0)技技术规范范多OPP能力交交互分册册中国移动动通信集集团公司司51QB-YY-0660-220100中国移移动省级级增值业业务综合合运营平平台业务务规范(v1.0)中国移动动通信集集团公司司52QB-YY-0661-220100中国移移动省级级增值业业务综合合运营平

31、平台技术术规范(v1.0)中国移动动通信集集团公司司53QB-YY-0662-220100中国移移动省级级增值业业务综合合运营平平台技术术规范-数据管管理分册册(v11.0)中国移动动通信集集团公司司54QB-YY-0663-220100中国移移动省级级增值业业务综合合运营平平台接口口规范中国移动动通信集集团公司司55QB-YY-0339-220111中国移移动省级级NG22-BAASS(v3.5)业业务规范范中国移动动通信集集团公司司56QB-YY-0338-220111中国移移动省级级NG22-BAASS(v3.5)技技术规范范总册中国移动动通信集集团公司司57QB-YY-0440-220

32、111中国移移动省级级NG22-BAASS(v3.5)技技术规范范数据集集市分册册中国移动动通信集集团公司司58QB-YY-0441-220111中国移移动省级级NG22-BAASS(v3.5)技技术规范范逻辑模模型分册册中国移动动通信集集团公司司59QB-YY-0442-220111中国移移动省级级NG22-BAASS(v3.5)技技术规范范外部接接口分册册中国移动动通信集集团公司司60QB-YY-0443-220111中国移移动省级级NG22-BAASS(v3.5)技技术规范范元数据据管理分分册中国移动动通信集集团公司司61QB-YY-0444-220111中国移移动省级级NG22-BAA

33、SS(v3.5)技技术规范范数据质质量管理理子系统统分册中国移动动通信集集团公司司62QB-YY-0445-220111中国移移动省级级NG22-BAASS(v3.5)技技术规范范OP能力力交互分分册中国移动动通信集集团公司司63QB-YY-0446-220111中国移移动省级级增值业业务综合合运营平平台业务务规范(v1.5)中国移动动通信集集团公司司64QB-YY-0447-220111中国移移动省级级增值业业务综合合运营平平台技术术规范(v1.5)中国移动动通信集集团公司司65QB-YY-0448-220111中国移移动省级级NG22-BAASS技技术规范范系统安安全管理理分册(v1.5)

34、中国移动动通信集集团公司司66QB-YY-0444-220122中国移移动省级级NG22-BAASS(v4.0)业业务规范范中国移动动通信集集团公司司67QB-YY-0445-220122中国移移动省级级NG22-BAASS(v4.0)技技术规范范总册中国移动动通信集集团公司司68QB-YY-0445.11-20012中国移移动省级级NG22-BAASS(v4.0)技技术规范范数据集集市分册册中国移动动通信集集团公司司69QB-YY-0445.22-20012中国移移动省级级NG22-BAASS(v4.0)技技术规范范逻辑模模型分册册中国移动动通信集集团公司司70QB-YY-0445.33-2

35、0012中国移移动省级级NG22-BAASS(v4.0)技技术规范范外部接接口分册册中国移动动通信集集团公司司72QB-YY-0445.44-20012中国移移动省级级NG22-BAASS(v4.0)技技术规范范元数据据管理分分册中国移动动通信集集团公司司73QB-YY-0445.55-20012中国移移动省级级NG22-BAASS(v4.0)技技术规范范数据质质量管理理子系统统分册中国移动动通信集集团公司司74QB-YY-0446-220122中国移移动省级级增值业业务综合合运营平平台业务务规范VV2.00.0中国移动动通信集集团公司司75QB-YY-0447-220122中国移移动省级级增

36、值业业务综合合运营平平台技术术规范VV2.00.0中国移动动通信集集团公司司76QB-YY-0447.11-20012中国移移动省级级增值业业务综合合运营平平台技术术规范数数据管理理分册VV2.00.0中国移动动通信集集团公司司77QB-YY-0444-220133中国移移动省级级NG22-BAASS(v4.5)业业务规范范中国移动动通信集集团公司司78QB-YY-0445-220133中国移移动省级级NG22-BAASS(v4.5)技技术规范范总册中国移动动通信集集团公司司79QB-YY-0445.11-20013中国移移动省级级NG22-BAASS(v4.5)技技术规范范数据集集市分册册中

37、国移动动通信集集团公司司80QB-YY-0445.22-20013中国移移动省级级NG22-BAASS(v4.5)技术规规范逻辑辑模型分分册中国移动动通信集集团公司司81QB-YY-0445.33-20013中国移移动省级级NG22-BAASS(v4.5)技术规规范外部部接口分分册中国移动动通信集集团公司司82QB-YY-0445.44-20013中国移移动省级级NG22-BAASS(v4.5)技术规规范元数数据管理理分册中国移动动通信集集团公司司83QB-YY-0445.55-20013中国移移动省级级NG22-BAASS(v4.5)技术规规范数据据质量管管理子系系统分册册中国移动动通信集集

38、团公司司84QB-YY-0445.66-20013中国移移动省级级NG22-BAASS(v4.5)技术规规范安全全管理技技术方案案中国移动动通信集集团公司司85QB-YY-0446-220133中国移移动省级级增值业业务综合合运营平平台业务务规范VV2.55.0中国移动动通信集集团公司司86QB-YY-0447-220133中国移移动省级级增值业业务综合合运营平平台技术术规范VV2.55.0中国移动动通信集集团公司司87QB-YY-0447.11-20013中国移移动省级级增值业业务综合合运营平平台技术术规范数数据管理理分册VV2.55.0中国移动动通信集集团公司司术语、定定义和缩缩略语下列术

39、语语、定义义适用于于本规范范:字母名词解释CCWMCWM标标准是OOMG组组织定义义的数据据仓库和和相关系系统的国国际元数数据标准准,给出出了各种种元数据据结构的的标准定定义。CCWM标标准的目目的在于于:使数数据仓库库和商业业智能软软件的元元数据在在异构的的数据分分析工具具、数据据仓库平平台、元元数据存存储库等等系统之之间进行行交互。EETL特指从数数据源系系统到大大数据平平台的数数据抽取取、转换换和加载载。G管理元数数据描述大数数据平台台中管理理领域相相关概念念、关系系、规则则的数据据,主要要包括人人员角色色、岗位位职责、管理流流程等信信息。H核心元模模型大数据平平台核心心元模型型是以CC

40、WM为为基础扩扩展形成成的,针针对大数数据平台台的物理理模型、逻辑模模型、数数据处理理过程、接口单单元、指指标和维维度编码码等主要要实体进进行精确确定义,并要求求各省大大数据平平台统一一遵循的的元模型型。定义义核心元元模型的的目的是是建立大大数据平平台的统统一元数数据管理理标准,为元数数据管理理的功能能层与应应用层解解耦、为为企业级级总部大大数据平平台和企业级级省大数数据平台台的元数数据交换换和相互互理解提提供统一一的语义义基础。H核心元模模型参照照表核心元模模型参照照表是对对核心元元模型中中的枚举举类型属属性进行行枚举值值定义的的编码表表。参照照表为枚枚举类型型属性的的每个枚枚举值定定义了唯

41、唯一的编编码,并并明确该该编码的的语义,是核心心元模型型标准化化定义的的重要组组成部分分。J技术元数数据描述大数数据平台台中技术术领域相相关概念念、关系系、规则则的数据据。主要要包括对对数据结结构、数数据处理理方面的的特征描描述,覆覆盖大数数据平台台数据源源接口、数据仓仓库、EETL、OLAAP、数数据挖掘掘、前端端展现等等全部数数据处理理环节。S数据处理理过程数据从数数据源系系统到大大数据平平台前端端使用的的整个处处理过程程,包含含大数据据平台数数据仓库库内部的的数据抽抽取、转转换和加加载。S数据采集集点覆盖大数数据平台台数据处处理环节节的、获获取每个个环节运运行状态态的实体体。该实实体可以

42、以是程序序实体也也可以是是任务实实体S数据质量量报告数据质量量报告是是对数据据质量日日常监控控以及质质量评估估等过程程累积的的各种信信息进行行汇总、梳理、统计和和分析,形成的的统计报报告S数据质量量监控通过获取取大数据据平台各各环节的的数据质质量监控控信息,结合元元数据库库中的有有关检查查规则,对各个个环节的的数据质质量情况况进行判判断,并并及时向向数据质质量监控控人员报报告。S数据质量量规则库库数据质量量规则库库是对数数据质量量管理活活动所用用到的各各种判断断及校验验规则进进行归类类和存放放的存储储结构,存储的的内容包包括采集集规则、监控规规则、告告警规则则和审计计规则等等S数据质量量信息库

43、库数据质量量管理子子系统存存储层上上的存储储结构,用于存存储数据据质量信信息采集集程序采采集的数数据质量量信息、质量评评估信息息、问题题解决方方案和问问题处理理流程信信息等S省公司中国移动动通信集集团各省省(直辖辖市、自自治区)移动通通信有限限公司。SSQL脚脚本自动解析析SQL脚脚本自动动解析指指通过对对SQLL脚本的的词法、语法和和语义进进行分析析,自动动生成满满足CWWM规范范要求的的数据处处理过程程的技术术元数据据的功能能。Y业务元数数据描述大数数据平台台中业务务领域相相关概念念、关系系、规则则的数据据。主要要包括业业务术语语、信息息分类、指标定定义(指指标口径径)、业业务规则则等信息

44、息。Y元模型元模型是是描述元元数据的的基础模模型结构构,用于于说明元元数据对对象的各各种属性性、结构构和关系系。Y元数据元数据是是描述数数据间关关系的数数据。大大数据平平台中元元数据泛泛指描述述数据概概念(CConcceptts)、数据间间关系(Rolles)、数据据处理规规则(RRulees)的的数据,其中,领域语语义(SSemaantiics)和知识识(Knnowlledgge)也也属于元元数据的的范畴。D数据标准准指在中国国移动台台企业级级省大数数据平台台下为了了使企业业内外部部使用和和交换的的数据是是一致和和准确的的,经协协商一致致制定并并由大数数据治理理委员会会主管机机构批准准,具有

45、有行业特特点且共共同使用用和重复复使用的的一种规规范性约约束。D数据标准准体系指数据标标准按照照中国移移动企业业级省大大数据平平台需求求对数据据进行标标准化的的划分归归类。D数据标准准内容按照数据据标准体体系划分分的要求求分别给给出各数数据标准准制定的的规范内内容。D行业参考考模型实实体中国移动动规范中中原定义义或新增增加的逻逻辑数据据模型LLDM实实体。D公共代码码标准需要引用用外部公公共标准准机构的的标准。如:世世界各国国和地区区名称代代码等。下列略缩缩语适用用于本规规范:缩写英文描述述中文描述述ASTAbsttracct SSynttax Treee抽象语法法树BOSSSBusiines

46、ss OOperratiion Suppporrt SSysttem业务运营营支撑系系统CWMCommmon Warrehoousee Meetammodeel公共仓库库元模型型ETLExtrracttionn Trranssforrmattionn Looadiing抽取、转转换和加加载OLAPPOn-llinee Annalyysiss Prroceess在线分析析处理XMIXML Mettadaata InttercchanngeXML元元数据交交换BIBusiinesss IInteelliigennce商务智能能RESTTReprreseentaatioonall Sttatee T

47、rranssferr表述性状状态转移移总体说明明概述本规范用用于指导导企业级级省大数数据平台台数据治理理子系统统建设,规定了省大数数据平台台数据治治理的范范围和要要求,明明确了数数据治理理子系统统的体系系结构,制定了数数据治理理子系统统的功能能和处理理流程。数据治治理子系系统包含含数据标标准管理理、元数数据管理理、数据据质量管管理、数据资资产管理理、数据据安全管管理等功功能模块块。本方案案借鉴资资产管理理的方法法理论来管管理数据据,将数数据作为为一种特特殊的资资产,对进入平平台的数数据进行行标准化化的规范范约束,并以元数据据作为驱驱动,连接数据据的标准准管理、数据质质量管理理、数据据数据安安全

48、管理理的各个个阶段,形成统统一、完善的数据治治理体系系,以解决决实际业业务问题题为导向,增强数数据治理理子系统统对业务务发展的的支撑能能力。目标数据治理理子系统统的建设设为数据据治理工作作提供强强有力的的系统支支撑。本本期规范范建设目目标是以以元数据据为驱动动,建立立省大数数据平台台完整的的数据治理理体系。从从组织架构构、系统统功能等等方面增增强数据据宏观管管控,并并实现精精细化管管理,具具体包括括:数据治理理组织架架构管理理:定义数据据治理所所需人员员组织上上的岗位位和职责责,从管管理角度度支撑数数据治理理工作的落落地和执执行。数据标准准管理:建立企企业级省省大数据据平台数数据标准准体系,并

49、制定定数据标标准运维维管控制制度和流流程。元数据管管理:降降低元数数据使用用难度、提升用用户体验验,使大大数据平平台各类类用户均均能参与与到元数数据运营营维护当当中。数据质量量管理:为内、外部用用户提供供平台化化的数据据质量监监控;通通过扩充充和优化化公共规规则库、保证数数据的完整性性、一致致性、准准确性、及时性性、合法法性,提提升用户户使用感感知;并并提供数数据质量量应用满满足个性性化需求求。数据资产产管理:重点建建设从规规划、注注册、运运维到注注销的全全流程管管理体系系,使数数据资产产管理系系统化、可视化化。数据安全全管理:建立体体系化的的数据安安全管控控策略,通过用用户安全全管理、数据安

50、安全管理理实现全全方位数数据安全全管控机机制,通通过技术术手段与与管理措措施相结结合的方方式落实实数据安安全,做做到事前前可管、事中可可控、事事后可查查。原则企业级省省大数据据平台数数据治理理子系统统建设应应遵循以以下基本本原则:有效性原原则体现大数数据平台台数据治治理过程程中数据据的标准准、质量量、价值值、管控控的有效效性、高高效性。价值化原原则体现数据据治理过过程中以以数据资资产为价价值核心心,最大大化大数数据平台台的数据据价值。统一性原原则体现大数数据平台台架构统统一、标标准统一一、元数数据统一一、质量量流程统统一、资资产价值值统一的的一体化化管控平平台体系系。开放性原原则体现平台台化、

51、开开放性运运维思想想,实现现人人参参与数据据治理、人人参参与数据据运维。产品化原原则体现大数数据平台台数据治治理能力力的显性性化,通通过产品品化互联联网思维维服务大大数据平平台数据据生态圈圈用户。安全性原原则体现安全全的重要要性、必必要性,保障大大数据平平台数据据安全和和数据治治理过程程中数据据的安全全可控。数据治理理体系总体框架架数据治理理总体框框架包括括组织架架构、数数据治理理模块、数据运运维三部部分。通通过组织织架构建建立管理理办法,制定工工作流程程,确定定角色职职责。数数据治理理模块主主要包括括数据标标准管理理、元数数据管理理、数据据质量管管理、数数据资产产管理、数据安安全管理理,各模

52、模块协同同运营,确保大大数据平平台的数数据一致致、安全全、有效效。数据据运维贯贯穿整个个数据治治理体系系的流程程中,实实现平台台化的运运维管理理思路。数据治治理总体体框架如如REF _Ref428626279 h图51所示:核心领域大数据平台数据治理工具数据安全管理数据资产管理元数据管理数据质量管理数据标准管理组织架构组织架构定义角色与职责规划和策略管理办法数据运维质量运维管控运维资产运维组织架构合适吗图 STYLEREF 1 s 5 SEQ 图 * ARAABICC ss 1 1数据治治理体系系框架组织架构构是否模糊化,简要说一下数据治理需要由专人、专职负责,不明说建立专业机构。数据治理理组

53、织的的构建旨旨在通过过建立数数据治理理组织架构构明确各各级角色色和职责责,保障障数据治治理的各各项管理理办法、工作流流程的实施,推送数数据治理理工作的的有序开开展。 组织构成成数据治理理组织架架构主要要由数据据治理委委员会、数据治治理中心心和各业业务部门门构成。组织架架构划分分和角色色设定如如REF _Ref428626402 h图52所示:图 STYLEREF 1 s 5 SEQ 图 * ARAABICC ss 1 2数据治治理组织织架构图图角色职责责组织责任任体系是是数据治治理责任任落地的的保障,数据治治理组织织架构通通过明确确各角色色职责,实行认认责制度度,让数据治治理工作作更好的的融入

54、到到数据日日常使用用和相关关的工作作中,从从而推动动数据运运维自治治的实现现,如REF OLE_LINK11 h表5-11。表5-11数据治治理组织织架构角角色职责责定义内内容组织结构构角色角色描述述角色主要要职责数据治理理委员会会数据管理理决策者者由公司主主管领导导和各业业务部门门领导组组成负责牵头头数据治治理工作作;制定定数据治治理的政政策、标标准、规规则、流流程,协协调认责责冲突;对数据事事实治理理,保证证数据的的质量和和隐私;在数据出出现质量量问题时时负责仲仲裁工作作。数据治理理中心数据平台台运营者者数据管理理中心机机构的平平台运营营人员负责提交交数据标标准的要要求及数数据质量量规则和

55、和业务规规范,解解释数据据的业务务规则和和含义;监督各各项数据据规则和和规范的的约束的的落实情情况;负责数据据治理平平台中整整体数据据的管控控流程制制定和平平台功能能系统支支撑的实实施;负责平台台的整体体运营、组织、协调。各业务部部门数据提供供者相关数据据开发提提供人员员负责数据据及相关关系统的的开发,有责任任执行数数据标准准和数据据质量内内容;负责从技技术角度度解决数数据质量量问题;作为数据据出现质质量问题题时的主主要责任任者。数据维护护者数据维护护人员制定相关关数据标标准、数数据制度度和规则则;遵守和执执行数据据标准管管控相关关的流程程,根据据数据标标准要求求提供相相关数据据规范;作为数据

56、据出现质质量问题题时的次次要责任任者。数据消费费者数据使用用人员,包含内内部用户户和外部部用户作为数据据治理平平台数据据管控流流程的最最后参与与使用者者;是数据资资产价值值的获益益人;作为数据据治理平平台数据据闭环流流程的发发起人。系统架构构系统功能能框架数据治理理功能框框架明确确了数据据治理在在企业级级省大数数据平台台中的定定位,并并以合理理的功能能层次划划分指导导数据治治理系统统相关功功能建设设。系统统功能框框架如 REF OLE_LINK12 h * MERGEFORMAT 图图53所示。图 STYLEREF 1 s 5 SEQ 图 * ARAABICC ss 1 3数据治治理功能能框架

57、图图企业级省省大数据据平台门门户:企业级省省大数据据平台统统一的访访问接口口,供企业业内、外部用用户、第第三方独独立开发发者访问问及使用数数据治理理相关产产品或功功能,并负责责统一访问问认证及及日志记记录。能力开放放平台:企业级省省大数据据平台统统一的对对外服务务层,数数据治理理相关的的产品及及应用均均通过这这个层次次进行注册册、发布布,并对内、外外部开放放。数据治理理系统:数据标准准:在数据据标准管管理组织织架构推推动和指指导下,遵循协协商一致致制定的的数据标标准规范范,借助助标准化化管控流流程得以以实施数数据标准准化的整整个过程程。元数据:采用集集中式管管理模式式进行元元数据管管理,全全公

58、司元元数据逻逻辑集中中,即元元数据管管理模块块作为公司司元数据据的统一一发布源源,集中中管理元元数据,提供元元数据集集中创建建、维护护、查询询功能。数据质量量:对数据据从计划划、获取取、存储储、共享享、维护护、应用用、消亡亡生命周周期的每每个阶段段里可能能引发的的各类数数据质量量问题,进行识识别、度度量、监监控、预预警等一一系列管管理活动动,并通通过改善善和提高高组织的的管理水水平使得得数据质质量获得得进一步步提高。数据资产产:规划划、控制制、提供数数据及信信息资产产的一组组业务职职能,包包括开发发、执行行和监督督有关数数据的计计划、政政策、方方案、项项目、流流程、方方法和程程序,从从而控制制

59、、保护护、提高高数据资资产的价价值。数据安全全:通过过计划、制定、执行数数据安全全政策和和安全策策略措施施,为企企业级大大数据平平台的数数据和信信息提供供行之有有效的认认证、授授权、访访问和审审计。数据运维维在左侧目录里缺少一个模块:包括数数据资产产运维、数据质质量运维维,借鉴鉴互联网网思维,通过产产品化运运维工具具来整体体提升企企业级大大数据平平台数据据运维效效率。企业级省省大数据据平台:大数据基基础平台台,负责数数据的接接入、存存储、管管理、应应用及相相关基础础功能支支撑。系统模块块流程图 STYLEREF 1 s 5 SEQ 图 * ARAABICC ss 1 4数据治治理系统统功能各各

60、模块关关系图如 REF _Ref428627623 h * MERGEFORMAT 图544所示,数据治治理系统统各模块块之间,根据数数据操作作的流程程产生相相互关联联,各模模块业务务流程关关系说明明如下:L1:数数据标准准管理模模块将标标准定义义映射到到元数据据信息上上,实现现数据标标准的规规范要求求落地。L2:元元数据管管理模块块为数据据资产管管理模块块提供存存储模型型、属性性信息查查询服务务。L3:元元数据管管理模块块为数据据质量管管理模块块提供元元数据相相关属性性信息。L4:用用户通过过元数据据定义大大数据平平台的数数据结构构。L5:数数据质量量管理模模块根据据采集需需求从大大数据平平

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论