万字大数据治理体系

1、 PAGE I大数据治理体系 PAGE II目录 TOC o 1-3 h z u HYPERLINK l _Toc430099616 1.范围 PAGEREF _Toc430099616 h 1 HYPERLINK l _Toc430099617 2.规范性引用文件 PAGEREF _Toc430099617 h 1 HYPERLINK l _Toc430099618 3.术语、定义和缩略语 PAGEREF _Toc430099618 h 5 HYPERLINK l _Toc430099619 4.总体说明 PAGEREF _Toc430099619 h 8 HYPERLINK l _Toc4

2、30099620 4.1.概述 PAGEREF _Toc430099620 h 8 HYPERLINK l _Toc430099621 4.2.目标 PAGEREF _Toc430099621 h 9 HYPERLINK l _Toc430099622 4.3.原则 PAGEREF _Toc430099622 h 9 HYPERLINK l _Toc430099623 5.数据治理体系 PAGEREF _Toc430099623 h 10 HYPERLINK l _Toc430099624 5.1.总体框架 PAGEREF _Toc430099624 h 10 HYPERLINK l _Toc

3、430099625 5.2.组织架构 PAGEREF _Toc430099625 h 11 HYPERLINK l _Toc430099626 5.2.1.组织构成 PAGEREF _Toc430099626 h 11 HYPERLINK l _Toc430099627 5.2.2.角色职责 PAGEREF _Toc430099627 h 12 HYPERLINK l _Toc430099628 5.3.系统架构 PAGEREF _Toc430099628 h 12 HYPERLINK l _Toc430099629 5.3.1.系统功能框架 PAGEREF _Toc430099629 h 1

4、2 HYPERLINK l _Toc430099630 5.3.2.系统模块流程 PAGEREF _Toc430099630 h 14 HYPERLINK l _Toc430099631 5.4.系统边界 PAGEREF _Toc430099631 h 15 HYPERLINK l _Toc430099632 5.4.1.与企业级省大数据平台关系 PAGEREF _Toc430099632 h 16 HYPERLINK l _Toc430099633 5.4.2.与对外能力开放平台关系 PAGEREF _Toc430099633 h 16 HYPERLINK l _Toc430099634 5

5、.4.3.与平台运维系统关系 PAGEREF _Toc430099634 h 16 HYPERLINK l _Toc430099635 6.数据治理核心模块 PAGEREF _Toc430099635 h 17 HYPERLINK l _Toc430099636 6.1.数据标准管理 PAGEREF _Toc430099636 h 17 HYPERLINK l _Toc430099637 6.1.1.背景 PAGEREF _Toc430099637 h 17 HYPERLINK l _Toc430099638 6.1.2. PAGEREF _Toc430099638 h 18 HYPERLIN

6、K l _Toc430099639 6.1.3.目标及原则 PAGEREF _Toc430099639 h 19 HYPERLINK l _Toc430099640 6.1.4.业务分类和定义 PAGEREF _Toc430099640 h 19 HYPERLINK l _Toc430099641 6.1.5.技术功能要求 PAGEREF _Toc430099641 h 23 HYPERLINK l _Toc430099642 6.1.6.本期建设范围及内容 PAGEREF _Toc430099642 h 26 HYPERLINK l _Toc430099643 6.1.7.实施要求 PAGE

7、REF _Toc430099643 h 27 PAGE III HYPERLINK l _Toc430099644 6.2.元数据管理 PAGEREF _Toc430099644 h 27 HYPERLINK l _Toc430099645 6.2.1.背景和定义 PAGEREF _Toc430099645 h 27 HYPERLINK l _Toc430099646 6.2.2.元数据运营模式 PAGEREF _Toc430099646 h 29 HYPERLINK l _Toc430099647 6.2.3.元模型标准 PAGEREF _Toc430099647 h 29 HYPERLIN

8、K l _Toc430099648 6.2.4.元数据运维 PAGEREF _Toc430099648 h 33 HYPERLINK l _Toc430099649 6.2.5.本期重点建设内容 PAGEREF _Toc430099649 h 34 HYPERLINK l _Toc430099650 6.3.数据质量管理 PAGEREF _Toc430099650 h 34 HYPERLINK l _Toc430099651 6.3.1.与传统经营分析系统的区别 PAGEREF _Toc430099651 h 34 HYPERLINK l _Toc430099652 6.3.2.范围和原则 P

9、AGEREF _Toc430099652 h 35 HYPERLINK l _Toc430099653 6.3.3.与其它功能模块的关系 PAGEREF _Toc430099653 h 36 HYPERLINK l _Toc430099654 6.3.4.本期数据质量功能需求 PAGEREF _Toc430099654 h 38 HYPERLINK l _Toc430099655 6.3.5.本期数据质量运维要求 PAGEREF _Toc430099655 h 39 HYPERLINK l _Toc430099656 6.4.数据资产管理 PAGEREF _Toc430099656 h 40

10、HYPERLINK l _Toc430099657 6.4.1.数据资产概述 PAGEREF _Toc430099657 h 40 HYPERLINK l _Toc430099658 6.4.2.数据资产范围 PAGEREF _Toc430099658 h 41 HYPERLINK l _Toc430099659 6.4.3.与其它功能模块的关系 PAGEREF _Toc430099659 h 42 HYPERLINK l _Toc430099660 6.4.4.本期数据资产功能需求 PAGEREF _Toc430099660 h 42 HYPERLINK l _Toc430099661 6.

11、4.5.本期建设内容 PAGEREF _Toc430099661 h 45 HYPERLINK l _Toc430099662 6.5.数据安全管理 PAGEREF _Toc430099662 h 45 HYPERLINK l _Toc430099663 6.5.1.数据安全概述 PAGEREF _Toc430099663 h 45 HYPERLINK l _Toc430099664 6.5.2.建设原则 PAGEREF _Toc430099664 h 46 HYPERLINK l _Toc430099665 6.5.3.建设内容 PAGEREF _Toc430099665 h 46 HYPE

12、RLINK l _Toc430099666 6.5.4.边界关系 PAGEREF _Toc430099666 h 46 HYPERLINK l _Toc430099667 6.5.5.技术功能 PAGEREF _Toc430099667 h 47 HYPERLINK l _Toc430099668 6.5.6.管理要求 PAGEREF _Toc430099668 h 48 HYPERLINK l _Toc430099669 7.数据治理场景 PAGEREF _Toc430099669 h 52 HYPERLINK l _Toc430099670 7.1.背景描述 PAGEREF _Toc430

13、099670 h 52 HYPERLINK l _Toc430099671 7.2.场景一：银行伪卡交易判别 PAGEREF _Toc430099671 h 52 HYPERLINK l _Toc430099672 7.2.1.背景介绍 PAGEREF _Toc430099672 h 52 HYPERLINK l _Toc430099673 7.2.2.场景描述 PAGEREF _Toc430099673 h 53 PAGE IV HYPERLINK l _Toc430099674 7.3.场景二：银行手机贷业务 PAGEREF _Toc430099674 h 54 HYPERLINK l _

14、Toc430099675 7.3.1.背景介绍 PAGEREF _Toc430099675 h 54 HYPERLINK l _Toc430099676 7.3.2.场景描述 PAGEREF _Toc430099676 h 54 HYPERLINK l _Toc430099677 8.附录 PAGEREF _Toc430099677 h 55 HYPERLINK l _Toc430099678 附录一：数据标准框架 PAGEREF _Toc430099678 h 55 HYPERLINK l _Toc430099679 附录二：数据标准体系定义内容示例 PAGEREF _Toc43009967

15、9 h 56 PAGE V前言本规范的制订是为了更好地实现企业级省大数据平台数据治理子系统的建设和管理，为省大数据平台上的各类基础技术和应用提供支撑，加强省大数据平台上数据的管控力度，增强数据治理子系统自身管理能力。本规范主要包括以下几方面的内容：总体说明、数据治理体系、数据治理核心模块、数据治理场景等。本规范是企业级大数据平台系列规范之一。该系列规范的结构、名称或预计的名称如下：序号标准编号标准名称1QB-Y-*-2015企业级大数据平台目标架构2QB-Y-*-2015企业级省大数据平台技术规范总册3QB-Y-*-2015企业级省大数据平台技术规范分册4QB-Y-*-2015企业级省大数据平

16、台技术规范技术方案分册5QB-Y-*-2015企业级省大数据平台技术规范数据模型分册6QB-Y-*-2015企业级省大数据平台技术规范外部接口分册7QB-Y-*-2015企业级省大数据平台技术规范服务开放分册8QB-Y-*-2015企业级省大数据平台技术规范服务开放技术方案分册9QB-Y-*-2015企业级省大数据平台技术规范数据治理分册10QB-Y-*-2015企业级省大数据平台技术规范数据治理技术方案分册11QB-Y-*-2015企业级省大数据平台技术规范运营维护分册12QB-Y-*-2015企业级省大数据平台技术规范安全管理技术方案本规范由技印发。本规范由XX集团公司业务支撑系统部提出，

17、集团公司技术部归口。本规范起草单位：XX集团公司业务支撑系统部。本规范主要起草人：XX。 PAGE 2范围本规范规定了企业级省大数据平台数据治理子系统的建设内容，适用于各省（直辖市、自治区）公司企业级省大数据平台数据治理子系统的建设。规范性引用文件下列文件中的条款通过本规范的引用而成为本规范的条款。凡是标注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范。然而，鼓励根据本规范达成协议的各方对是否使用这些文件的最新版本进行研究。凡是不标注日期的引用文件，其最新版本适用于本规范。1省级经营分析系统业务规范(v1.0)XX通信有限公司2省级经营分析系统技术规范(v1.0

18、)XX通信有限公司3QB-J-010-2006省级经营分析系统数据质量管理系统建设方案（v1.5）XX通信有限公司4QB-J-006-2006省级经营分析系统数据仓库逻辑数据模型说明(v1.5)XX通信有限公司5QB-J-007-2006省级经营分析系统数据集市业务技术规范(v1.5)XX通信有限公司6QB-J-008-2006省级经营分析系统与源系统接口规范(v1.5)XX通信有限公司7QB-J-009-2006省级经营分析系统与BOSS系统互动技术规范(v1.5)XX通信有限公司8QB-J-003-2006省级经营分析系统业务规范（v1.5）基础业务分册XX通信有限公司9QB-J-004-

19、2006省级经营分析系统业务规范（v1.5）数据业务分册XX通信有限公司10QB-J-005-2006省级经营分析系统业务规范（v1.5）集团客户分册XX通信有限公司11QB-J-001-2006业务运营支撑系统（BOSS）业务技术规范营销资源管理分册（2.0版）XX通信有限公司12QB-J-001-2006业务运营支撑系统（BOSS）业务技术规范客服信息分册（2.0版）XX通信有限公司 PAGE 213QB-J-001-2006业务运营支撑系统（BOSS）业务技术规范（2.0版）XX通信有限公司14QB-J-021-2007省级经营分析系统数据仓库逻辑数据模型规范（v2.0）XX通信有限公司

20、15QB-J-020-2007省级经营分析系统与源数据接口规范（v2.0）XX通信有限公司16QB-J-022-2007省级经营分析系统数据集市业务技术规范（v2.0）XX通信有限公司17QB-J-019-2007省级经营分析系统业务规范渠道运营管理分析监控分册（v1.0）XX通信有限公司18QB-J-018-2007省级经营分析系统业务规范客户服务分册（v2.0）XX通信有限公司19QB-J-017-2007省级经营分析系统业务规范集团客户分册（v2.0XX通信有限公司20QB-J-016-2007省级经营分析系统数据质量管理系统业务技术规范（V2.0)XX通信有限公司21业务支撑网4A安全

21、技术规范XX通信有限公司22省级经营分析系统技术规范总册（v2.0全量版）XX通信有限公司23省级经营分析系统技术规范逻辑模型分册（v2.0全量版）XX通信有限公司24省级经营分析系统技术规范数据集市分册（v2.0全量版）XX通信有限公司25省级经营分析系统技术规范数据质量管理子系统分册（v2.0全量版）XX通信有限公司26省级经营分析系统业务规范（v2.0全量版）XX通信有限公司27省级经营分析系统技术规范源系统接口分册（v2.0全量版）XX通信有限公司28QB-J-002-2008省级NG1-BASS技术规范总册(v1.0)XX集团公司29QB-J-003-2008省级NG1-BASS技术

22、规范数据集市分册(v1.0)XX集团公司30QB-J-004-2008省级NG1-BASS技术规范逻辑模型分册(v1.0)XX集团公司31QB-J-005-2008省级NG1-BASS技术规范源系统接口分册(v1.0)XX集团公司 PAGE 332QB-J-006-2008省级NG1-BASS技术规范元数据管理分册(v1.0)XX集团公司33QB-J-007-2008省级NG1-BASS技术规范数据质量管理子系统分册(v1.0)XX集团公司34QB-J-008-2008省级NG1-BASS业务技术规范客户分析及运营分册(v1.0)XX集团公司35QB-J-001-2008省级NG1-BASS业

23、务规范(v1.0)XX集团公司36QB-Y-003-2009省级NG1-BASS技术规范总册(v2.0)XX集团公司37QB-Y-004-2009省级NG1-BASS技术规范数据集市分册(v2.0)XX集团公司38QB-Y-005-2009省级NG1-BASS技术规范逻辑模型分册(v2.0)XX集团公司39QB-Y-006-2009省级NG1-BASS技术规范外部接口分册(v2.0)XX集团公司40QB-Y-007-2009省级NG1-BASS技术规范元数据管理分册(v2.0)XX集团公司41QB-Y-008-2009省级NG1-BASS技术规范数据质量管理子系统分册(v2.0)XX集团公司4

24、2QB-Y-002-2009省级NG1-BASS业务规范(v2.0)XX集团公司43QB-Y-052-2010省级NG2-BASS(v3.0)业务规范XX集团公司44QB-Y-053-2010省级NG2-BASS(v3.0)技术规范总册XX集团公司45QB-Y-054-2010省级NG2-BASS(v3.0)技术规范数据集市分册XX集团公司46QB-Y-055-2010省级NG2-BASS(v3.0)技术规范逻辑模型分册XX集团公司47QB-Y-056-2010省级NG2-BASS(v3.0)技术规范外部接口分册XX集团公司48QB-Y-057-2010省级NG2-BASS(v3.0)技术规范

25、元数据管理分册XX集团公司49QB-Y-058-2010省级NG2-BASS(v3.0)技术规范数据质量管理子系统分册XX集团公司50QB-Y-059-2010省级NG2-BASS(v3.0)技术规范多OP能力交互分册XX集团公司 PAGE 451QB-Y-060-2010省级增值业务综合运营平台业务规范(v1.0)XX集团公司52QB-Y-061-2010省级增值业务综合运营平台技术规范(v1.0)XX集团公司53QB-Y-062-2010省级增值业务综合运营平台技术规范-数据管理分册(v1.0)XX集团公司54QB-Y-063-2010省级增值业务综合运营平台接口规范XX集团公司55QB-

26、Y-039-2011省级NG2-BASS(v3.5)业务规范XX集团公司56QB-Y-038-2011省级NG2-BASS(v3.5)技术规范总册XX集团公司57QB-Y-040-2011省级NG2-BASS(v3.5)技术规范数据集市分册XX集团公司58QB-Y-041-2011省级NG2-BASS(v3.5)技术规范逻辑模型分册XX集团公司59QB-Y-042-2011省级NG2-BASS(v3.5)技术规范外部接口分册XX集团公司60QB-Y-043-2011省级NG2-BASS(v3.5)技术规范元数据管理分册XX集团公司61QB-Y-044-2011省级NG2-BASS(v3.5)技

27、术规范数据质量管理子系统分册XX集团公司62QB-Y-045-2011省级NG2-BASS(v3.5)技术规范OP能力交互分册XX集团公司63QB-Y-046-2011省级增值业务综合运营平台业务规范(v1.5)XX集团公司64QB-Y-047-2011省级增值业务综合运营平台技术规范(v1.5)XX集团公司65QB-Y-048-2011省级NG2-BASS技术规范系统安全管理分册(v1.5)XX集团公司66QB-Y-044-2012省级NG2-BASS(v4.0)业务规范XX集团公司67QB-Y-045-2012省级NG2-BASS(v4.0)技术规范总册XX集团公司68QB-Y-045.1

28、-2012省级NG2-BASS(v4.0)技术规范数据集市分册XX集团公司69QB-Y-045.2-2012省级NG2-BASS(v4.0)技术规范逻辑模型分册XX集团公司 PAGE 570QB-Y-045.3-2012省级NG2-BASS(v4.0)技术规范外部接口分册XX集团公司72QB-Y-045.4-2012省级NG2-BASS(v4.0)技术规范元数据管理分册XX集团公司73QB-Y-045.5-2012省级NG2-BASS(v4.0)技术规范数据质量管理子系统分册XX集团公司74QB-Y-046-2012省级增值业务综合运营平台业务规范V2.0.0XX集团公司75QB-Y-047-

29、2012省级增值业务综合运营平台技术规范V2.0.0XX集团公司76QB-Y-047.1-2012省级增值业务综合运营平台技术规范数据管理分册V2.0.0XX集团公司77QB-Y-044-2013省级NG2-BASS(v4.5)业务规范XX集团公司78QB-Y-045-2013省级NG2-BASS(v4.5)技术规范总册XX集团公司79QB-Y-045.1-2013省级NG2-BASS(v4.5)技术规范数据集市分册XX集团公司80QB-Y-045.2-2013省级NG2-BASS(v4.5)技术规范逻辑模型分册XX集团公司81QB-Y-045.3-2013省级NG2-BASS(v4.5)技术

30、规范外部接口分册XX集团公司82QB-Y-045.4-2013省级NG2-BASS(v4.5)技术规范元数据管理分册XX集团公司83QB-Y-045.5-2013省级NG2-BASS(v4.5)技术规范数据质量管理子系统分册XX集团公司84QB-Y-045.6-2013省级NG2-BASS(v4.5)技术规范安全管理技术方案XX集团公司85QB-Y-046-2013省级增值业务综合运营平台业务规范V2.5.0XX集团公司86QB-Y-047-2013省级增值业务综合运营平台技术规范V2.5.0XX集团公司87QB-Y-047.1-2013省级增值业务综合运营平台技术规范数据管理分册V2.5.0

31、XX集团公司术语、定义和缩略语下列术语、定义适用于本规范： PAGE 7字母名词解释CCWMCWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准，给出了各种元数据结构的标准定义。CWM标准的目的在于：使数据仓库和商业智能软件的元数据在异构的数据分析工具、数据仓库平台、元数据存储库等系统之间进行交互。EETL特指从数据源系统到大数据平台的数据抽取、转换和加载。G管理元数据描述大数据平台中管理领域相关概念、关系、规则的数据，主要包括人员角色、岗位职责、管理流程等信息。H核心元模型大数据平台核心元模型是以CWM为基础扩展形成的，针对大数据平台的物理模型、逻辑模型、数据处理过程、接口单元、指

32、标和维度编码等主要实体进行精确定义，并要求各省大数据平台统一遵循的元模型。定义核心元模型的目的是建立大数据平台的统一元数据管理标准，为元数据管理的功能层与应用层解耦、为企业级总部大数据平台和企业级省大数据平台的元数据交换和相互理解提供统一的语义基础。H核心元模型参照表核心元模型参照表是对核心元模型中的枚举类型属性进行枚举值定义的编码表。参照表为枚举类型属性的每个枚举值定义了唯一的编码，并明确该编码的语义，是核心元模型标准化定义的重要组成部分。J技术元数据描述大数据平台中技术领域相关概念、关系、规则的数据。主要包括对数据结构、数据处理方面的特征描述，覆盖大数据平台数据源接口、数据仓库、ETL、O

33、LAP、数据挖掘、前端展现等全部数据处理环节。S数据处理过程数据从数据源系统到大数据平台前端使用的整个处理过程，包含大数据平台数据仓库内部的数据抽取、转换和加载。S数据采集点覆盖大数据平台数据处理环节的、获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体S数据质量报告数据质量报告是对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成的统计报告 PAGE 7S数据质量监控通过获取大数据平台各环节的数据质量监控信息，结合元数据库中的有关检查规则，对各个环节的数据质量情况进行判断，并及时向数据质量监控人员报告。S数据质量规则库数据质量规则库是对数据质量管理

34、活动所用到的各种判断及校验规则进行归类和存放的存储结构，存储的内容包括采集规则、监控规则、告警规则和审计规则等S数据质量信息库数据质量管理子系统存储层上的存储结构，用于存储数据质量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理流程信息等S省公司XX集团各省（直辖市、自治区）移动XX通信有限公司。SSQL脚本自动解析SQL脚本自动解析指通过对SQL脚本的词法、语法和语义进行分析，自动生成满足CWM规范要求的数据处理过程的技术元数据的功能。Y业务元数据描述大数据平台中业务领域相关概念、关系、规则的数据。主要包括业务术语、信息分类、指标定义（指标口径）、业务规则等信息。Y元模型

35、元模型是描述元数据的基础模型结构，用于说明元数据对象的各种属性、结构和关系。Y元数据元数据是描述数据间关系的数据。大数据平台中元数据泛指描述数据概念（Concepts）、数据间关系（Roles）、数据处理规则（Rules）的数据，其中，领域语义（Semantics）和知识（Knowledge）也属于元数据的范畴。D数据标准指在台企业级省大数据平台下为了使企业内外部使用和交换的数据是一致和准确的，经协商一致制定并由大数据治理委员会主管机构批准，具有行业特点且共同使用和重复使用的一种规范性约束。D数据标准体系指数据标准按照企业级省大数据平台需求对数据进行标准化的划分归类。 PAGE 8D数据标准内

36、容按照数据标准体系划分的要求分别给出各数据标准制定的规范内容。D行业参考模型实体规范中原定义或新增加的逻辑数据模型LDM实体。D公共代码标准需要引用外部公共标准机构的标准。如：世界各国和地区名称代码等。下列略缩语适用于本规范：缩写英文描述中文描述ASTAbstract Syntax Tree抽象语法树BOSSBusiness Operation Support System业务运营支撑系统CWMCommon Warehouse Metamodel公共仓库元模型ETLExtraction Transformation Loading抽取、转换和加载OLAPOn-line Analysis Pro

37、cess在线分析处理XMIXML Metadata InterchangeXML元数据交换BIBusiness Intelligence商务智能RESTRepresentational State Transfer表述性状态转移总体说明概述本规范用于指导企业级省大数据平台数据治理子系统建设，规定了省大数据平台数据治理的范围和要求，明确了数据治理子系统的体系结构，制定了数据治理子系统的功能和处理流程。数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功能模块。本方案借鉴资产管理的方法理论来管理数据，将数据作为一种特殊的资产，对进入平台的数据进行标准化的规范约束

38、，并以元数据作为驱动，连接数据的标准管理、数据质量管理、数据数据安全管理的各个阶段，形成统一、完善的数据治理体系，以解决实际业务问题为导向，增强数据治理子系统对业务发展的支撑能力。 PAGE 10目标数据治理子系统的建设为数据治理工作提供强有力的系统支撑。本期规范建设目标是以元数据为驱动，建立省大数据平台完整的数据治理体系。从组织架构、系统功能等方面增强数据宏观管控，并实现精细化管理，具体包括：数据治理组织架构管理：定义数据治理所需人员组织上的岗位和职责，从管理角度支撑数据治理工作的落地和执行。数据标准管理：建立企业级省大数据平台数据标准体系，并制定数据标准运维管控制度和流程。元数据管理：降低

39、元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。数据质量管理：为内、外部用户提供平台化的数据质量监控；通过扩充和优化公共规则库、保证数据的完整性、一致性、准确性、及时性、合法性，提升用户使用感知；并提供数据质量应用满足个性化需求。数据资产管理：重点建设从规划、注册、运维到注销的全流程管理体系，使数据资产管理系统化、可视化。数据安全管理：建立体系化的数据安全管控策略，通过用户安全管理、数据安全管理实现全方位数据安全管控机制，通过技术手段与管理措施相结合的方式落实数据安全，做到事前可管、事中可控、事后可查。原则企业级省大数据平台数据治理子系统建设应遵循以下基本原则：

40、有效性原则体现大数据平台数据治理过程中数据的标准、质量、价值、管控的有效性、高效性。价值化原则体现数据治理过程中以数据资产为价值核心，最大化大数据平台的数据价值。统一性原则体现大数据平台架构统一、标准统一、元数据统一、质量流程统一、资产价值统一的一体化管控平台体系。开放性原则 PAGE 10体现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。产品化原则体现大数据平台数据治理能力的显性化，通过产品化互联网思维服务大数据平台数据生态圈用户。安全性原则体现安全的重要性、必要性，保障大数据平台数据安全和数据治理过程中数据的安全可控。数据治理体系总体框架数据治理总体框架包括组织架构、数据

41、治理模块、数据运维三部分。通过组织架构建立管理办法，制定工作流程，确定角色职责。数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理，各模块协同运营，确保大数据平台的数据一致、安全、有效。数据运维贯穿整个数据治理体系的流程中，实现平台化的运维管理思路。数据治理总体框架如 REF _Ref428626279 h 图51所示： PAGE 11核心领域大数据平台数据治理工具数据安全管理数据资产管理元数据管理数据质量管理数据标准管理组织架构组织架构定义角色与职责规划和策略管理办法数据运维质量运维管控运维资产运维组织架构合适吗图 STYLEREF 1 s 5 SEQ 图

42、 * ARABIC s 1 1数据治理体系框架组织架构是否模糊化，简要说一下数据治理需要由专人、专职负责，不明说建立专业机构。数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和职责，保障数据治理的各项管理办法、工作流程的实施，推送数据治理工作的有序开展。 组织构成数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。组织架构划分和角色设定如 REF _Ref428626402 h 图52所示： PAGE 12图 STYLEREF 1 s 5 SEQ 图 * ARABIC s 1 2 数据治理组织架构图角色职责组织责任体系是数据治理责任落地的保障，数据治理组织架构通过明确

43、各角色职责，实行认责制度，让数据治理工作更好的融入到数据日常使用和相关的工作中，从而推动数据运维自治的实现，如 REF OLE_LINK11 h 表5-1。表5-1数据治理组织架构角色职责定义内容组织结构角色角色描述角色主要职责数据治理委员会数据管理决策者由公司主管领导和各业务部门领导组成负责牵头数据治理工作；制定数据治理的政策、标准、规则、流程，协调认责冲突；对数据事实治理，保证数据的质量和隐私；在数据出现质量问题时负责仲裁工作。数据治理中心数据平台运营者数据管理中心机构的平台运营人员负责提交数据标准的要求及数据质量规则和业务规范，解释数据的业务规则和含义；监督各项数据规则和规范的约束的落实

44、情况；负责数据治理平台中整体数据的管控流程制定和平台功能系统支撑的实施；负责平台的整体运营、组织、协调。各业务部门数据提供者相关数据开发提供人员负责数据及相关系统的开发，有责任执行数据标准和数据质量内容；负责从技术角度解决数据质量问题；作为数据出现质量问题时的主要责任者。数据维护者数据维护人员制定相关数据标准、数据制度和规则； PAGE 13遵守和执行数据标准管控相关的流程，根据数据标准要求提供相关数据规范；作为数据出现质量问题时的次要责任者。数据消费者数据使用人员，包含内部用户和外部用户作为数据治理平台数据管控流程的最后参与使用者；是数据资产价值的获益人；作为数据治理平台数据闭环流程的发起人

45、。系统架构系统功能框架数据治理功能框架明确了数据治理在企业级省大数据平台中的定位，并以合理的功能层次划分指导数据治理系统相关功能建设。系统功能框架如 REF OLE_LINK12 h * MERGEFORMAT 图53所示。 图 STYLEREF 1 s 5 SEQ 图 * ARABIC s 1 3数据治理功能框架图企业级省大数据平台门户： PAGE 14企业级省大数据平台统一的访问接口，供企业内、外部用户、第三方独立开发者访问及使用数据治理相关产品或功能，并负责统一访问认证及日志记录。能力开放平台：企业级省大数据平台统一的对外服务层，数据治理相关的产品及应用均通过这个层次进行注册、发布，并对

46、内、外部开放。数据治理系统：数据标准：在数据标准管理组织架构推动和指导下，遵循协商一致制定的数据标准规范，借助标准化管控流程得以实施数据标准化的整个过程。元数据：采用集中式管理模式进行元数据管理，全公司元数据逻辑集中，即元数据管理模块作为公司元数据的统一发布源，集中管理元数据，提供元数据集中创建、维护、查询功能。数据质量：对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据资产：规划、控制、提供数据及信息资产的一组业务职能，包括开发、执行和监督有

47、关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、提高数据资产的价值。数据安全：通过计划、制定、执行数据安全政策和安全策略措施，为企业级大数据平台的数据和信息提供行之有效的认证、授权、访问和审计。数据运维在左侧目录里缺少一个模块：包括数据资产运维、数据质量运维，借鉴互联网思维，通过产品化运维工具来整体提升企业级大数据平台数据运维效率。企业级省大数据平台：大数据基础平台，负责数据的接入、存储、管理、应用及相关基础功能支撑。系统模块流程 PAGE 15图 STYLEREF 1 s 5 SEQ 图 * ARABIC s 1 4数据治理系统功能各模块关系图如 REF _Ref42862

48、7623 h * MERGEFORMAT 图54所示，数据治理系统各模块之间，根据数据操作的流程产生相互关联，各模块业务流程关系说明如下：L1：数据标准管理模块将标准定义映射到元数据信息上，实现数据标准的规范要求落地。L2：元数据管理模块为数据资产管理模块提供存储模型、属性信息查询服务。L3：元数据管理模块为数据质量管理模块提供元数据相关属性信息。L4：用户通过元数据定义大数据平台的数据结构。L5：数据质量管理模块根据采集需求从大数据平台采集数据。L6：数据质量管理模块将数据质量问题反馈给大数据平台。L7：数据质量管理模块向资产模块提交数据质量评估结果。L8：元数据管理模块为数据安全管理模块提

49、供隐私级别定义服务。L9：数据资产管理模块发起资产访问申请，由数据安全管理模块控制用户访问权限，控制数据资产的增加、删除、变更操作权限，对访问的数据内容、数据属性等操作进行管控。L10：数据安全管理模块为大数据平台提供数据访问权限策略。系统边界企业级省大数据平台数据治理子系统与其它子系统之间存在数据交互、功能调用、流程穿插等关联。数据治理子系统与大数据平台系统内其它子系统的关系示意如 REF OLE_LINK13 h 图55所示： PAGE 16数据治理元数据管理数据标准管理数据质量管理数据资产管理数据安全管理数据服务平台企业级省大数据平台平台运维图 STYLEREF 1 s 5 SEQ 图

50、* ARABIC s 1 5数据治理子系统与各子系统边界图与企业级省大数据平台关系企业级省大数据平台上的数据资产是数据治理的主要对象；数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质量监控、数据安全等方面的全面支撑，使大数据平台上的数据资产清晰、有序、安全、可控。与对外能力开放平台关系数据治理为对外能力开放平台提供元数据查询、数据安全管理支持；对外能力开放平台为数据治理提供统一的数据治理产品及功能注册、发布、使用服务。与平台运维系统关系 PAGE 17数据治理子系统支撑大数据平台的数据管控流程，并与平台运维交互协调，共同支撑大数据平台整体的安全运维、数据运维和管理运维。数据治理

51、核心模块数据标准管理背景企业级省大数据平台数据标准是在经营分析系统数据管控要求基础之上，借鉴互联网企业数据治理的经验而提出的。数据标准是指在企业级省大数据平台下，保障企业内外部使用和交换数据的一致性和准确性，具有行业特点且共同使用的一种规范性约束。数据标准是企业级省大数据平台数据治理的基础性工作，是数据治理建设中的首要环节。首先，数据标准为企业级省大数据平台提供统一的数据标准定义和平台逻辑模型。其次，数据标准是企业级省大数据平台进行数据治理的依据和根本。再次，数据标准是衡量企业级省大数据平台数据资产运营和管理的评估依据。最后，通过数据标准管理的实施，实现对企业级省大数据平台全网数据的统一运营管

52、理。企业级省大数据平台数据治理体系中数据标准管理如 REF _Ref428627723 h * MERGEFORMAT 图61所示，包括制定数据标准的规范性文件、进行数据标准化管控及数据标准管理组织。图 STYLEREF 1 s 6 SEQ 图 * ARABIC s 1 1数据标准管理内容 PAGE 18企业级省大数据平台数据标准管理与原经营分析系统数据管控的区别如下 REF _Ref428627768 h 表61所示：表 STYLEREF 1 s 6 SEQ 表 * ARABIC s 1 1企业级省大数据平台数据标准管理与原经营分析系统数据管控区别企业级省大数据平台数据标准管理原经营分析系统

53、数据管控数据范围涉及企业内外部数据运营相关的数据，包含BOM三域数据、外部数据。数据仅限于市场经营活动的B域和部分O,M域数据。业务应用模式以数据标准为基础的数据治理体系，实现数据的资产化，贯穿整个数据运营的全流程，形成以大数据平台为核心的大数据生态圈，服务于企业内外部客户。以支撑企业内部经营分析为主。服务对象服务于整个大数据生态圈。原经营分析系统使用人员。目标及原则数据标准管理的总体目标：通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现企业级省大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理，提高企业级省大数据平台数据治理水平。数据标准制定的原则：开放性：标

54、准制定人人参与。共享性：数据标准化信息在大数据生态圈共享使用。完整性：涵盖客户、产品、服务、帐务、资源、网络等全部重要数据信息。有效性：信息准确度高、理解上不存在歧义。一致性：做到“五统一”,定义统一、口径统一、名称统一、来源统一、参照统一。规范性：制度规范、流程控制、系统管理等。业务分类和定义数据标准体系分类数据标准制定如 REF OLE_LINK14 h 图62所示，包括数据标准体系划分和数据标准内容制定，数据标准体系可分为基础类数据标准和指标类数据标准。 PAGE 20图 STYLEREF 1 s 62数据标准体系划分数据标准内容制定数据标准内容的制定按照数据标准体系分类的要求分别给出数

55、据标准制定的规范要求。1、基础类数据标准基础类数据标准是通过各种业务处理产生或各类渠道采集的基础性数据，在全国范围内必须是唯一定义的，如“用户品牌”、“归属地市”。基础类数据标准分为行业参考模型实体标准和公共代码标准。行业参考模型实体标准指按照行业需求和省级数据逻辑模型实体规范要求，继承以往数据逻辑模型实体规范，将各域的逻辑模型实体定义抽象为模型实体标准要求。行业参考模型实体数据标准体系定义内容如 REF _Ref428627873 h * MERGEFORMAT 表62所示。表 STYLEREF 1 s 6 SEQ 表 * ARABIC s 1 2行业参考模型实体数据标准体系定义内容行业参考

56、模型实体标准标准体系属性说明数据标准编码根据数据标准编码命名规则进行编写。标准主题数据标准归属主题标准子类数据标准归属类型中文名称数据标准中文名称。英文名称数据标准英文名称。实体编号根据行业参考模型实体编号命名规则进行编写。实体名称根据行业参考模型实体名称命名规则进行编写。数据版本该数据标准的版本信息。数据体系分类 PAGE 21根据数据分类规则对数据进行分类，以保证数据体系的易用性，以及符合用户查找习惯。重要级别集团规范定义的数据为一级，省公司定义的数据为二级，其它常用的数据为三级。数据提供部门该数据标准定义数据的提供部门。数据提供部门负责人该数据标准定义数据提供负责人。数据维护部门该数据标

57、准定义数据维护部门。数据维护部门负责人该数据标准定义数据维护负责人。业务主管部门该数据标准定义数据业务主管部门，该部门对数据口径、编码取值和相关专业术语有决定权。业务主管部门负责人该数据标准定义数据业务负责人。数据来源系统如：BOSS,CRM,ERP等主要依据关于指标的解释和描述文件。如集团规范、省公司规范、业务部门制定等等。业务定义指标的业务描述口径，一般由业务部门使用业务语言制定。具体行业参考模型实体数据标准体系定义内容示例参见附录二：数据标准体系定义内容示例。公共代码标准，指对于一些共享程度较高、内容相对比较稳定的编码，通常可以组织力量一次性地编制出来，其中有一些需要引用外部公共标准机构

58、的标准，比如：世界各国和地区名称代码等。公共代码标准体系定义内容如 REF _Ref428627884 h * MERGEFORMAT 表63所示。表 STYLEREF 1 s 6 SEQ 表 * ARABIC s 1 3公共代码标准体系定义内容公共代码标准标准体系属性说明数据标准编码根据数据标准编码命名规则进行编写。公共标准号引入外部公共标准号中文标准名称数据标准中文名称英文标准名称数据标准英文名称。标准状态该标准的状态，如现行、停止。公共标准机构名称引入该公共标准的机构名称。数据标准体系根据数据分类规则对数据进行分类，以保证数据体系的易用性，以及符合用户查找习惯。重要级别集团规范定义的数据

59、为一级，省公司定义的数据为二级，其它常用的数据为三级。数据标准引入部门该数据标准引入和维护部门。数据标准引入部门负责人该数据标准引入和数据维护负责人。数据上报系统最终对数据进行计算和发布的系统，也是各部门唯一获取指标数据的来源系统。具体行业参考模型实体数据标准体系定义内容示例参见附录二：数据标准体系定义内容示例。2、指标类数据标准 PAGE 22指标类数据标准是数据基础上按照一定业务规则加工汇总的数据，如KPI指标数据。指标类数据又可分为基础指标和计算指标。基础指标一般不含维度信息，且具有特定业务和经济含义。计算指标通常由两个以上基础指标计算出。指标类数据标准体系定义内容如 REF _Ref4

60、28627895 h * MERGEFORMAT 表64所示。表 STYLEREF 1 s 6 SEQ 表 * ARABIC s 1 4指标类数据标准体系定义内容指标类标准说明基础属性数据标准编码根据数据标准编码命名规则进行编写。中文名称数据标准中文名称。英文名称数据标准英文名称。应用场景该指标适用于什么场景。数据版本该数据标准的版本信息。数据体系分类根据数据分类规则对数据进行分类，以保证数据体系的易用性，以及符合用户查找习惯。重要级别集团规范定义的数据为一级，省公司定义的数据为二级，其它常用的数据为三级。管理属性数据提供部门该数据标准定义数据的提供部门。数据提供部门负责人该数据标准定义数据提