大数据治理体系解决方案_第1页
大数据治理体系解决方案_第2页
大数据治理体系解决方案_第3页
大数据治理体系解决方案_第4页
大数据治理体系解决方案_第5页
已阅读5页,还剩165页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

Ⅱ1.范围 12.规范性引用文件 13.术语、定义和缩略语 4.总体说明 4.1.概述 4.2.目标 5.数据治理体系 5.1.总体框架 5.2.组织架构 5.2.1.组织构成 5.2.2.角色职责 5.3.系统架构 5.3.1.系统功能框架 5.3.2.系统模块流程 5.4.系统边界 5.4.1.与企业级省大数据平台关系 5.4.2.与对外能力开放平台关系 5.4.3.与平台运维系统关系 6.数据治理核心模块 6.1.数据标准管理 6.1.3.目标及原则 6.1.4.业务分类和定义 6.1.5.技术功能要求 6.1.6.本期建设范围及内容 6.1.7.实施要求 6.2.元数据管理 6.2.1.背景和定义 Ⅲ6.2.2.元数据运营模式 6.2.3.元模型标准 6.2.4.元数据运维 6.2.5.本期重点建设内容 6.3.数据质量管理 6.3.1.与传统经营分析系统的区别 6.3.2.范围和原则 6.3.3.与其它功能模块的关系 6.3.4.本期数据质量功能需求 6.3.5.本期数据质量运维要求 6.4.数据资产管理 6.4.1.数据资产概述 6.4.2.数据资产范围 6.4.3.与其它功能模块的关系 6.4.4.本期数据资产功能需求 6.4.5.本期建设内容 6.5.数据安全管理 6.5.1.数据安全概述 6.5.2.建设原则 756.5.3.建设内容 6.5.4.边界关系 766.5.5.技术功能 6.5.6.管理要求 7.数据治理场景 7.1.背景描述 7.2.场景一:银行伪卡交易判别 7.2.1.背景介绍 7.2.2.场景描述 7.3.场景二:银行手机贷业务 7.3.1.背景介绍 887.3.2.场景描述 8.附录 附录一:数据标准框架 附录二:数据标准体系定义内容示例 V本规范的制订是为了更好地实现XX企业级省大数据平台数据治XX企业级大数据平台目标架构XX企业级省大数据平台技术规范总册XX企业级省大数据平台技术规范分册XX企业级省大数据平台技术规范技术方案分册XX企业级省大数据平台技术规范数据模型分册XX企业级省大数据平台技术规范外部接口分册XX企业级省大数据平台技术规范服务开放分册开放技术方案分册XX企业级省大数据平台技术规范数据治理分册XX企业级省大数据平台技术规范数据治理技术方案分册XX企业级省大数据平台技术规范运营维护分册管理技术方案1容,适用于XX各省(直辖市、自治区)公司企业级省大数据平台数标注日期的引用文件,其随后所有的修改单(不包括勘误的内容)或《XX省级经营分析系统业务规范(v1.0)》XX通信有限公司《XX省级经营分析系统技术规范(v1.0)》XX通信有限公司《XX省级经营分析系统数据质量管理系统建设方案(v1.5)》XX通信有限公司《XX省级经营分析系统数据仓库逻辑数据模型说XX通信有限公司2数据集市业务技术规范XX通信有限公司XX通信有限公司与BOSS系统互动技术规XX通信有限公司业务规范(v1.5)—基础业XX通信有限公司业务规范(v1.5)—数据业XX通信有限公司业务规范(v1.5)—集团客XX通信有限公司(BOSS)业务技术规范营XX通信有限公司3《XX业务运营支撑系统(BOSS)业务技术规范客服信息分册(2.0版)》XX通信有限公司《XX业务运营支撑系统(BOSS)业务技术规范(2.0版)》XX通信有限公司《XX省级经营分析系统数据仓库逻辑数据模型规XX通信有限公司《XX省级经营分析系统XX通信有限公司《XX省级经营分析系统数据集市业务技术规范XX通信有限公司《XX省级经营分析系统业务规范渠道运营管理分XX通信有限公司《XX省级经营分析系统业务规范客户服务分册XX通信有限公司《XX省级经营分析系统业务规范集团客户分册XX通信有限公司4《XX省级经营分析系统数据质量管理系统业务技术规范(V2.0)》XX通信有限公司XX通信有限公司《XX省级经营分析系统技术规范总册(v2.0全量XX通信有限公司《XX省级经营分析系统技术规范逻辑模型分册(v2.0全量版)》XX通信有限公司《XX省级经营分析系统技术规范数据集市分册(v2.0全量版)》XX通信有限公司《XX省级经营分析系统技术规范数据质量管理子XX通信有限公司《XX省级经营分析系统业务规范(v2.0全量版)》XX通信有限公司《XX省级经营分析系统技术规范源系统接口分册XX通信有限公司5(v2.0全量版)》《XX省级NG1-BASS技术规范总册(v1.0)》XX通信集团公司《XX省级NG1-BASS技术XX通信集团公司《XX省级NG1-BASS技术XX通信集团公司《XX省级NG1-BASS技术规范源系统接口分册XX通信集团公司《XX省级NG1-BASS技术规范元数据管理分册XX通信集团公司《XX省级NG1-BASS技术规范数据质量管理子系统分册(v1.0)》XX通信集团公司《XX省级NG1-BASS业务技术规范客户分析及运营分册(v1.0)》XX通信集团公司《XX省级NG1-BASS业务规范(v1.0)》XX通信集团公司6《XX省级NG1-BASS技术规范总册(v2.0)》XX通信集团公司《XX省级NG1-BASS技术XX通信集团公司《XX省级NG1-BASS技术XX通信集团公司《XX省级NG1-BASS技术XX通信集团公司《XX省级NG1-BASS技术规范元数据管理分册XX通信集团公司《XX省级NG1-BASS技术规范数据质量管理子系统分册(v2.0)》XX通信集团公司《XX省级NG1-BASS业务规范(v2.0)》XX通信集团公司《XX省级XX通信集团公司《XX省级XX通信集团公司7XX通信集团公司XX通信集团公司XX通信集团公司元数据管理分册》XX通信集团公司数据质量管理子系统分XX通信集团公司XX通信集团公司《XX省级增值业务综合XX通信集团公司XX通信集团8公司运营平台技术规范-数据XX通信集团公司XX通信集团公司XX通信集团公司XX通信集团公司XX通信集团公司XX通信集团公司XX通信集团公司9XX通信集团公司数据质量管理子系统分XX通信集团公司XX通信集团公司XX通信集团公司XX通信集团公司《XX省级NG2-BASS技术规范系统安全管理分册XX通信集团公司XX通信集团公司XX通信集团公司XX通信集团公司XX通信集团公司XX通信集团公司元数据管理分册》XX通信集团公司数据质量管理子系统分XX通信集团公司《XX省级增值业务综合运营平台业务规范XX通信集团公司《XX省级增值业务综合运营平台技术规范XX通信集团公司《XX省级增值业务综合运营平台技术规范数据管理分册V2.0.0》XX通信集团公司《XX省级范》XX通信集团公司《XX省级总册》XX通信集团公司《XX省级数据集市分册》XX通信集团公司《XX省级逻辑模型分册》XX通信集团公司《XX省级外部接口分册》XX通信集团公司《XX省级元数据管理分册》XX通信集团公司数据质量管理子系统分XX通信集团公司XX通信集团公司《XX省级增值业务综合运营平台业务规范XX通信集团公司《XX省级增值业务综合运营平台技术规范XX通信集团公司《XX省级增值业务综合运营平台技术规范数据管理分册V2.5.0》XX通信集团公司下列术语、定义适用于本规范:名词CCWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准,给出了各种元数据结构的标准定义。CWM标准的目的在于:使数据仓库和商业智能软件的元数据在异构的数据分析工具、数据仓库平台、元数据存储库等系统之间E特指从数据源系统到大数据平台的数据抽取、转G管理元数据描述大数据平台中管理领域相关概念、关系、规则的数据,主要包括人员角色、岗位职责、管理H核心元模型大数据平台核心元模型是以CWM为基础扩展名词理的功能层与应用层解耦、为企业级总部大数据平台和企业级省大数据平台的元数据交换和相H核心元模型参照表核心元模型参照表是对核心元模型中的枚举类型属性进行枚举值定义的编码表。参照表为枚举类型属性的每个枚举值定义了唯一的编码,并明确该编码的语义,是核心元模型标准化定义的重J技术元数据描述大数据平台中技术领域相关概念、关系、规则的数据。主要包括对数据结构、数据处理方面的特征描述,覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部S数据处理过程数据从数据源系统到大数据平台前端使用的整个处理过程,包含大数据平台数据仓库内部的数S数据采集点覆盖大数据平台数据处理环节的、获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体名词S数据质量报告数据质量报告是对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析,形成的统计报告S数据质量监控通过获取大数据平台各环节的数据质量监控信息,结合元数据库中的有关检查规则,对各个环节的数据质量情况进行判断,并及时向数据质量S数据质量规则库数据质量规则库是对数据质量管理活动所用到的各种判断及校验规则进行归类和存放的存储结构,存储的内容包括采集规则、监控规则、告警规则和审计规则等S数据质量信息库数据质量管理子系统存储层上的存储结构,用于存储数据质量信息采集程序采集的数据质量信息、质量评估信息、问题解决方案和问题处理流程信息等S省公司XX通信集团各省(直辖市、自治区)移动通信S自动解析SQL脚本自动解析指通过对SQL脚本的词法、语法和语义进行分析,自动生成满足CWM规范名词Y业务元数据描述大数据平台中业务领域相关概念、关系、规则的数据。主要包括业务术语、信息分类、指标Y元模型元模型是描述元数据的基础模型结构,用于说明Y元数据元数据是描述数据间关系的数据。大数据平台中元数据泛指描述数据概念(Concepts)、数据间关系(Roles)、数据处理规则(Rules)的数据,其中,领域语义(Semantics)和知识(Knowledge)也属于元数据的范D数据标准指在XX台企业级省大数据平台下为了使企业内外部使用和交换的数据是一致和准确的,经协商具有行业特点且共同使用和重复使用的一种规D数据标准体系指数据标准按照XX企业级省大数据平台需求对D数据标准内容按照数据标准体系划分的要求分别给出各数据D行业参考模名词型实体D公共代码标准需要引用外部公共标准机构的标准。如:世界各缩写BusinessOperationSup业务运营支撑系统公共仓库元模型抽取、转换和加载On-lineAnalysisProce商务智能RepresentationalStateTran表述性状态转移4.3.原则企业级省大数据平台数据治理子系统建设应遵循以下基本原2.价值化原则4.开放性原则5.产品化原则6.安全性原则5.数据治理体系5.1.总体框架数据治理总体框架包括组织架构、数据治理模块、数据运维三部分。通过组织架构建立管理办法,制定工作流程,确定角色职责。数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理,各模块协同运营,确保大数据平台的数据一致、安全、有效。数据运维贯穿整个数据治理体系的流程中,实现平台化的运维管理思路。数据治理总体框架如图5-1所示: 核心领域组织架构数据治理工具组织架构数据标准管理数据质量管理数据质量管理数据资产管理数据资产管理数据安全管理大数据平台图5-1数据治理体系框架5.2.组织架构数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和职责,保障数据治理的各项管理办法、工作流程的实施,推送数据治理工作的有序开展。数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。组织架构划分和角色设定如图5-2所示:理委员会数据平台运营者数据业务部门数据支撑部门数据使用部门外部用户数据治理决策者数据维护者数据消费者数据提供者图5-2数据治理组织架构图组织责任体系是数据治理责任落地的保障,数据治理组织架构通过明确各角色职责,实行认责制度,让数据治理工作更好的融入到数据日常使用和相关的工作中,从而推动数据运维自治的实现,如表表5-1数据治理组织架构角色职责定义内容数据治理委员会数据管理决策者由公司主管领导和各业务部门领导组成负责牵头数据治理工作;制定数据治理的政策、标准、规则、流程,协调认责冲突;对数据事实治理,保证数据的质量和隐私;在数据出现质量问题时负责仲裁数据治理中心数据平台运营者数据管理中心机构的营人员负责提交数据标准的要求及数据质量规则和业务规范,解释数据的业务规则和含义;监督各项数据规则和规范的约束的落实情负责数据治理平台中整体数据的管控流程制定和平台功能系统支撑的实施;负责平台的整体运营、组织、协各业务部门数据提供者相关数据开发提供人员负责数据及相关系统的开发,有责任执行数据标准和数据质量内负责从技术角度解决数据质量问作为数据出现质量问题时的主要数据维护者数据维护人员制定相关数据标准、数据制度和遵守和执行数据标准管控相关的流程,根据数据标准要求提供相关数据规范;作为数据出现质量问题时的次要数据消费者数据使用人员,包含内部用户和外部用户作为数据治理平台数据管控流程的最后参与使用者;是数据资产价值的获益人;作为数据治理平台数据闭环流程5.3.系统架构功能框架如图5-3所示。大数据大数据能力开数据治理功能标准发布标准执行定文标准监控标准稽核撑绩效监控数据安全管理资产注册资产发布资产运营资产评估资产运维质量运维整摆维换口用户安全管理数据管理者●企业级省大数据平台门户:统一访问认证及日志记录。>数据标准:在数据标准管理组织架构推动和指导下,遵循>元数据:采用集中式管理模式进行元数据管理,全公司元>数据质量:对数据从计划、获取、存储、共享、维护、应>数据资产:规划、控制、提供数据及信息资产的一组业务>数据安全:通过计划、制定、执行数据安全政策和安全策略措施,为企业级大数据平台的数据和信息提供行之有效的认证、授权、访问和审计。>数据运维:包括数据资产运维、数据质量运维,借鉴互联网思维,通过产品化运维工具来整体提升企业级大数据平●企业级省大数据平台:>大数据基础平台,负责数据的接入、存储、管理、应用及L8:定义安全级别L10:约束访问L2:属性信息图5-4数据治理系统功能各模块关系图如图5-4所示,数据治理系统各模块之间,根据数据操作的流程产生相互关联,各模块业务流程关系说明如下:L1:数据标准管理模块将标准定义映射到元数据信息上,实现数据标准的规范要求落地。L3:元数据管理模块为数据质量管理模块提供元数据相关属性信平台平台运维企业级省大数据平台数据治理子系统与其它子系统之间存在数据交互、功能调用、流程穿插等关联。数据治理子系统与大数据平台系统内其它子系统的关系示意如图5-5所示:数据标准管理元数据管理数据质量管理数据资产管理数据安全管理图5-5数据治理子系统与各子系统边界图企业级省大数据平台上的数据资产是数据治理的主要对象;数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质维。在XX企业级省大数据平台下,保障企业内外部使用和交换数据的一理组织。数据标准管理规范化管控图6-1数据标准管理内容企业级省大数据平台数据标准管理与原经营分析系统数据管控的区别如下表6-1所示:表6-1企业级省大数据平台数据标准管理与原经营分析系统数据管控区别涉及企业内外部数据运营相关的数据仅限于市场经营活数据,包含BOM三域数据、外部动的B域和部分O,M域以数据标准为基础的数据治理体系,实现数据的资产化,贯穿整以支撑企业内部经营分大数据平台为核心的大数据生态合制度约束、系统控制等手段,实现XX企业级省大数据平台数据的准准准图6-2数据标准体系划分行业参考模型实体标准指按照行业需求和XX省级数据逻辑模型定义内容如表6-2所示。表6-2行业参考模型实体数据标准体系定义内容行业参考模型实体标准标准体系属性说明数据标准编码标准主题数据标准归属主题标准子类数据标准归属类型中文名称英文名称实体编号根据行业参考模型实体编号命名规则进行实体名称根据行业参考模型实体名称命名规则进行数据版本数据体系分类证数据体系的易用性,以及符合用户查找重要级别集团规范定义的数据为一级,省公司定义数据提供部门数据提供部门负责人数据维护部门数据维护部门负责人业务主管部门该数据标准定义数据业务主管部门,该部门对数据口径、编码取值和相关专业术语业务主管部门负责人数据来源系统如:BOSS,CRM,ERP等主要依据关于指标的解释和描述文件。如集团规范、业务定义码标准体系定义内容如表6-3所示。表6-3公共代码标准体系定义内容公共代码标准标准体系属性说明数据标准编码公共标准号引入外部公共标准号中文标准名称数据标准中文名称英文标准名称标准状态公共标准机构名称数据标准体系证数据体系的易用性,以及符合用户查找重要级别集团规范定义的数据为一级,省公司定义数据标准引入部]数据标准引入部门负责人数据上报系统最终对数据进行计算和发布的系统,也是两个以上基础指标计算出。指标类数据标准体系定义内容如表6-4表6-4指标类数据标准体系定义内容指标类标准说明基础属性数据标准编码中文名称英文名称应用场景数据版本数据体系分类证数据体系的易用性,以及符合用户查找重要级别集团规范定义的数据为一级,省公司定义管理属性数据提供部门数据提供部门负责人数据维护部门数据维护部门负责人业务主管部门该数据标准定义数据业务主管部门,该部门对数据口径、编码取值和相关专业术语业务主管部门负责人数据上报系统最终对数据进行计算和发布的系统,也是数据生成系统生成数据所需的数据所在的来源系统,如数据上游系统主要依据关于指标的解释和描述文件。如集团规范、业务定义指标类型根据管理需要可以将指标分为基础指标、计算指标公式用于描述相关指标间的平衡关系,可用于指标数据审核过程中,能有效地保证指标技术属性计量单位统计精度指标统计数值精确到小数还是整数。数据值域统计周期统计粒度“地市级”等。统计维度“在网时长”、指标出数表指标出数代码指标数据来源于物理表的哪个。将发布的数据标准更新至数据标准管理模块中,如图6-3所示。数据标准送审稿征求意见数据标准属更数据标准提供数据属性信息调者数据标准变图6-3数据标准管理的编制、审查、发布流程图其流程如图6-3示:标准管理,数据标准的执行流程如图6-2所示。果数据质量管理数据标准发布数据标准录入制定数据标准接口控行结果图6-2数据标准管理的执行流程图如图6-5所示。在变更需求在变更需求审批表中签更需求汇总审议数据标准变更项准变更需求更调者数据标准、版本发布图6-5数据标准管理的变更流程图程如图6-5所示:协同实现落地,监控流程如图6-6所示:库集核图6-6数据标准管理监控流程图数据标准管理监控流程如下:本期具体建设内容包括:●指标数据标准2、数据标准化管控内容涵盖:●实现数据标准管理流程的功能系统化,并衔接元数据管理、数数据标准管理实施要求包括:3、实现XX企业级省大数据平台中数据业务口径和技术口径有效4、支撑XX企业级省大数据平台的平台化、产品化和数据资产运研究与顾问咨询公司Gartner发布的《2013年十大战略性技术趋势》维护的全过程,并发挥以下作用:>新增集群DataNode节点的业务/技术元数据;>管理流程:新增跨部门、跨系统的多层次交互式的元数据>角色权限:管理上更加细致的分工,不同部门需新增相应的元数据查询、管理、维护角色;>需支持大数据平台新增元数据范围地获取、存储与管理;>需支持大数据平台海量元数据的获取、存储、管理及应用;的运行元数据信息;>需对大数据平台的文件、语音、图片等非结构化数据的标检索查询等应用支持;>需为终端用户提供简单易用的元数据产品,降低使用成本。出以下要求:NumeNod团C客元数据NameNodeNaseNade]A省元数据无数据图6-7总部集群与省集群节点的元数据上报关系示意图6-7为集团总控节点与省集群节点的元数据上报关系示意图。集群节点定期上报其自身的NameNode阶段运行信息及数据节点的数据信息,供集团了解省分节点运行、存储情况,为后续的统一管控提供基础支撑。对于集群NameNode节点的运行监控类元数据,属于ApacheHadoop的私有定义,暂无法使用或在CWM规范基础上扩充。故直接引用ApacheHadoop的相关定义,并对其进行适当规范。本期对NameNode节点的元数据上报信息要求如下:英文名中文名类型备注配置容量e当前总容量e剩余容量e已用容量e使用率e小数点后4位Underreplicatedblocks待复制数据块e中断复制数据块e丢失数据块e可用节点数e不可用节点数e英文名中文名类型备注名称描述更新时间步骤状态拥有人Datanode节点需要上报的元数据信息如下:英文名中文名类型备注节点名称主机名所属机架可用状态配置容量e已用容量e非DFS使用容量e剩余容量e已用容量e小数点后4位使用率e小数点后4位配置缓存容量e缓存使用量e缓存剩余量e缓存使用率e小数点后4位缓存剩余率e小数点后4位最近检查时间为支持大数据平台下文件、目录、Hbase、Hive相关元数据的集中存储,本期规范将CWM核心元模型的Table、Column、View类进行扩展,同时新增model.hadoop.hdfs模型包,里边包含目录(Directory)和文件(File)两个实体及相关属性。关于经分系统核心元模型及参考表,元模型标准CWM的相关定义,请参考《XX省级NG2-BASS(v5.0)技术规范核心元模型规范》修订内容如下:1、需要修改的元模型包括:●Table类增加以下属性:说明:存储大数据平台上该表对应的HDFS文件目录信息。说明:该表的创建时间。说明:该表的创建人。●Column类增加以下属性:说明:Hive表对应的分区字段编号。●View类增加以下属性:说明:该视图的创建时间。说明:该视图的创建人。2、需要增加的元模型包括:●ColumnFamily类有如下属性:说明:Hbase对应的列簇名称。●File类有如下属性:说明:文件名称。说明:文件路径信息。说明:压缩类型。说明:文件大小。说明:文件类型。说明:权限。说明:所有者。说明:所属用户组。说明:目录名称。说明:路径信息。说明:权限。说明:所有者。3、需要增加的元模型关系包括:据治理要求,对元数据的维护提出以下补充要私级别信息;主要建设以下内容:括以下模块:●收藏与评价大数据平台数据质量和传统经营分析系统的区别如表6-5所示。表6-5大数据平台数据质量和传统经营分析系统的区别监控数据的类型可以对非/半结构化数据中指定信息项进行监控,例如Gn日志中的终端信息等仅监控结构化数据数据仓库的类型支持传统数据仓库、MPP和使用者数据资产的所有者及其授权用户、数据应用开发者、租户等将成为大数据平台数据质量管理模经分运维人员和数据质量管理员为主要使用者,负责将业务人员的块的主要使用者,负责监控规则需求在数据质量模块上运维工作运维人员主要负责保障数据质量功能模块的正常运行和规则库的扩充,规则配置、执行和结果处理等实际工作由用户自行负责。作范畴涵盖数据质量监控的全流程,包括采集、规则配置、告警、结果监控模式由事后监控向事中、事后监控相结合转化,用户/应用设置数据质量监控规则后,可以在计算执行过程中调用数据质量监控作业无需等待结果出来后再进行监用户仅能在结果出来后质量保障数据质量功能模块是大数据平台收的源数据均符合大数据平台的要求;数据质量还是大数据平台数据资产评估的重要组成部分,定期运行平台数据资产的相关质量规则,为数据资产评估提供输未明确规定数据质量为其它功能模块提供服大数据平台数据质量管理的原则包括:元数据模块将检索结果反馈给数据质量模块,如图6-8所示。元数据信息结束用户图6-8数据质量模块与元数据模块交互流程则。图6-9所示。数据质量模块与数据资产模块的交互(资产数据质量模块与数据资产模块的交互(资产接收)开始通知源数据整改4不通过结束通过图6-9数据质量模块与数据资产模块交互流程(资产接收)控结果反馈给数据资产模块,为数据资产评估提供支持,如图6-10数据质量模块与数据资产模块的交互(资产评估)则图6-10数据质量模块与数据资产模块交互流程(资产评估)适配的作业;数据质量功能模块为一线人员提供数据质量应用,包括:结果的进一步剖析;备资产的属性。数据资产包含着如下几个要素:1)被企业拥有和控制;2)能够用货币来计量;3)能为企业带来经济利益。系统权限系统权限应用(租户)权限模型注册接口模型访问接口数据源管理致性统计数据资产属性统计数据资产模型审计数据审计更审核询资产统计分析图6-11数据资产架构图如图6-11所示,数据资产管理系统包括六个部分:注册管理:支持多种方式(采集器、在线维护、提供自助注册接口)注册数据资产,并提供审核及版本控制等功能;审计;资产标识规范为五段式结构,每段以点分隔。具体格式如图6-12所示:图6-12数据资产标识规范{业务域}:指数据资产所归属的业务系统类别域。其值为等二维码如图6-13所示。图6-13数据资产标识二维码实现数据资产的业务价值。其管理过程如图6-14所示:全生命周期阶段划分战略规划全生命周期阶段划分战略规划图6-14数据资产全生命周期管理过程如图6-14所示,数据资产全生命周期管理过程分为如下四大阶段:数据资产健康运营。运营维护包含数据资产发布、资产稽核、监控告警、资产评估、资产审计、资产变更等方面;提供数据资产给授权的消费者(内部用户、集团用户和外部用户)使用;对数据资产进行盘点,监控数据资产的使用情况,对数据资产访问记录进行审计;对数据资产从规划到运营阶段情况进行全方位、多维度的统计分析,对资产内容标准化、合规性的稽核评价,根据评估结果有目的的对数据资产进行改进和完善。注销报废:该阶段主要是对无效和失效的资产进行清理,主要包括资产注销和报废清除等任务和活动。在注销报废阶段,对已失效的资产,由管理者注销资产,并由运维者销毁资产对象;管理平台需令使用用数据治理组织架构数据资产管理撼撼品.用户籍应用平台运营支撑业务支撑合作伙伴网元网管管道流量能力平台管理支撑例信令图6-15数据资产管理对象1.IT支撑系统(含业务支撑、运营支撑、管理支撑等)所产生的上网日志、性能检测数据,简称O域数据;3.业务平台(含管理平台、能力平台、应用平台等)对内进行发数据资产管理过程中,应包含如表6-6相关的角色:表6-6人员角色职责数据资产规划者制定数据资产模型规范;规划数据资产建设方案;数据资产提供者提交数据资产相关信息到数据资产管控平台进行数据资产注册;确保数据资产提交的信息和注册信息一致数据资产消费查看可用的数据资产;者申请使用数据资产服务订阅并使用数据资产服务;数据资产管理者数据资产的注册管理和变更管理;数据资产的稽核审计和监控告警;数据服务的创建、发布、下线管理;数据服务申请审批;数据资产运维期的使用跟踪分析和优化;数据资产运维者数据资产的保护,如备份、加密、脱敏和安全管理;数据资产的销毁;数据安全主要内容包括:●应用权限控制,为用户的应用功能访问权限的控制管理提供服保护,并实现相关的安全防护工作,如:数据使用2.数落安全防护:数据貌域、数票加密、传喻连道加密1、数据安全防护:数据尼小化、数据脱敏、数据文件加水印1、数据安全防护:业务逻担安全1.存储设备访问控制:身份识别、权限控制、访问控制2.数癌安全防护:数据脱做,数据加图6-16数据治理全程的安全需求数据安全需求如图6-16所示。>存储设备访问控制:身份识别、权限控制、访问控制、操作审计、金库模式;>数据安全防护:数据脱敏、数据加密;>数据安全防护:业务逻辑安全;>数据安全防护:数据最小化、数据脱敏、数

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论