【数据治理】华为普元数据治理联合解决方案

HW-某公司数据治理联合解决方案目录3联合服务解决方案价值数据治理领域建设背景和趋势12数据治理联合服务解决方案4应用案例

在复杂数据环境下，数据治理/资产管理的必要性有数据治理/资产管理诉求的企业：是那些拥有大量数据的企业拥有大量数据的企业势必会：开放数据使用权支持企业精细化管理，对外开放数据共享实现资产变现数据治理/资产管理就是：管理从数据产生到使用端到端过程中的数据定义、格式、业务规则、加工依赖、安全等一系列事项数据治理/数据资产管理解决什么问题?为什么开展数据治理/数据资产管理?起到有力的支撑作用，加强数据管理和数据服务，更好的满足业务发展需求。数据可管典型问题：信息孤岛、数据分散数据质量参差不一职责不清典型系统数据标准管理数据质量管理；数据可用典型问题：数据如何获取数据建模与分析数据应用体系典型系统：ETL过程数仓建设数据服务数据可视典型问题组织有多少数据资源？来源、种类、大小数据之间关系？典型系统：信息资源目录信息资源管理平台数据地图--元数据

典型的数据治理/数据资产管理范畴：资产目录盘点与管理数据资产地图、检索、统计与分析元数据、数据标准、数据质量、数据模型数据服务（少量）其他：统一工作台、系统管理等实现“三大目标”，加速公司数字化转型！各自独立的数据基础平台数仓系统（DB2、MPP）大数据平台（FI/TDH/CDH等）较少的数据管理&服务能力比较单一的数据应用数据治理能力（主数据，其他很少…）数据建模和处理能力（很少…）数据服务能力（仅服务适配、可视化…）数据管控能力（集群管理，其他很少…）以经营分析为主融合的数据基础平台数仓系统（DB2、MPP等）大数据平台（FI/TDH/CDH大数据）其他平台工具（TSDB、ES、Redis等）融合架构整基础完善的数据管理&服务能力数据治理能力（增强…）数据建模和处理能力（增强…）数据服务能力（增强…）数据管控能力（增强…）丰富的、智能化的数据应用经营分析AI智能应用数据探索…建能力促应用数据治理/资产管理的总体设计思路业务数据化数据清洗、加工、转换外部数据数据资产化数据资产目录管理数据标准管理元数据管理数据安全管理数据质量管理资产服务化API服务自助服务服务监控服务管理…数据仓库大数据库管理流程与制度体系服务价值化按照数据治理/资产管理建设的最新理念和思路，整体上要实现“业务数据化

数据资产化

资产服务化

服务价值化”的“四化”建设，并通过制度化建立长效保障机制。数据建模开发（数据建模与处理）目录3联合服务解决方案价值数据治理领域建设背景和趋势12数据治理联合服务解决方案4成功案例

企业的IT系统经历了数据量高速膨胀的时期，这些海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度。企业无法从统一的业务视角去概览整个企业的数据信息。对内管理

数据是企业的生命线，谁掌握了准确的数据谁就获得了先机。在当前竞争日益激烈的市场上，企业都在不同的细分市场上争夺优质客户。只有基于准确的数字，才能够帮助企业在激烈的竞争中取得竞争优势。对外竞争市场创新

企业在市场中的竞争领域已经从同一领域市场份额争夺，发展到开发新竞争领域的创新性竞争阶段，需要在业务数据的开发和利用基础上进行创新，数据为企业实施有效的创新提供了丰富强大的动力。数据成为企业生存和发展的关键因素应用场景的背景做好规范管理完善制度、规范流程、系统硬控制，把好“数据流转”关建好组织保证高层领导关注，关注关键环节，掌控全局；接口和实施人员分工明确，责任清晰流程制度技术支撑组织架构选好平台产品操作自动化，全流程工具支撑，解放人力数据治理三要素-实施必不可或缺的三要素应用实施方法论数据监督委员会IT管理组数据质量管理元数据管理标准管理数据安全管理主数据管理业务管理组业务域专题管理业务流程管理决策层管理层执行层数据治理三要素-企业的数据组织架构数据治理实施方法论基本定义管理部门职责管理制度需求管理管理工具用法数据质量管理办法元数据管理办法数据标准管理办法数据管控机制数据治理三要素-企业的数据管理制度数据治理实施方法论提出数据需求定义及变更数据标准产生及存储数据应用数据监测及评估数据质量

示例示例示例示例示例数据治理三要素-基于数据生命周期的流程管理数据治理实施方法论数据标准流程系统元数据1.提供检核对象1.提供数据标准信息访问数据标准存储到元数据1.标准相关的指标检核结果数据质量数据质量流程报表需求流程数据模型流程元数据流程数据交换流程数据标准流程……采集基准库、对象库反馈检核结果1.质量检核结果作为质量问题2.质量提升工作结果1.提出度量规则和检核方法2.数据质量问题存储3.数据质量需求1.提供数据标准定义2.数据标准变更数据标准执行情况报表需求存储1.报表需求访问2.报表使用情况影响分析1.模型采集2.度量规则修改影响分析元数据采集2.提供标准代码2.系统代码与标准代码匹配情况3.数据标准执行情况2.度量规则、检核指标存储到元数据数据治理三要素-技术支撑提供保障数据治理实施方法论技术支撑能力建设上，元数据管理和应用是核心元数据资料库数据标准管理系统数据质量管理系统元数据管理系统数据读写服务调用图例数据标准管理：规范数据定义，促进数据集成与共享元数据管理：建立企业信息资产索引，辅助开发和运维数据质量管理：提供有效的数据质量发现、管理及处理机制数据治理实施方法论数据分析全链分析血统分析影响分析数据地图元数据检索模糊检索高级检索元数据导出Excel导出统计报表元数据资产统计元数据使用统计元数据维护元数据展示元数据信息维护关联关系维护业务视图元数据质量治理元数据一致性检查元数据属性检查元数据质量报告元数据规范性检查元数据变更管理元数据变更查询变更任务管理元数据变更邮件通知修改痕迹认责管理元数据变更订阅元数据审核元数据版本管理系统管理权限管理系统参数视图管理系统日志系统配置接口数据访问接口分析服务接口流程集成接口开发态与生产态比对ETL作业调度分析元数据变更统计XMI导出产品套件-元数据管理产品特点元数据管理产品的特点大数据时代的自动化企业元数据管理平台元数据为企业建立元数据管理体系提供了可靠、便捷的工具支持。帮助企业绘制数据地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更。从而更加有效的发掘和利用信息资产的价值，实现精准高效的分析和决策，推进系统变更管理，降低项目风险。支持CWM（公共仓库元模型）规范:

Web开发技术，Native应用体验。自动获取和关联元数据：自动化获取Oracle、DB2、Erwin、Datastage、PowerCenter、Erwin、PowerDesigner等元数据。强大的分析功能：提供多种分析能力，包括血统分析，影响分析，全链分析，同时提供全企业的数据地图。多粒度的分析结果展现：为用户提供多视角的分析结果展现，实现分析结果数据的细粒度展现到粗粒度展现的切换。全企业的信息地图支持大数据的元数据采集与分析展示管理元数据管理产品功能架构采集采集调度采集适配器采集配置策略存储配置信息存储元数据存储元模型存储分析应用服务元数据关系维护元模型管理元数据管理模板管理数据源管理采集任务映射管理采集日志管理信息存储接口服务权限集成数据访问二次开发分析服务元数据检索元数据统计影响分析血统分析差异分析元数据导出数据地图全链路分析版本管理变更管理视图管理元数据质量检核应用企业全局数据资产升级影响数据问题定位辅助开发……元数据管理产品技术架构持久层HibernateWebServiceiBATISJDBC接口应用层展现层SpringRMIJavaScript&AjaxFlashJSP/HTMLExtensibleUI元数据采集业务组件元数据分析接口组件技术组件XML组件文件传输组件语法分析组件任务调度组件日志组件邮件组件元数据维护版本管理JasonXMLHTML元数据检索元数据统计EXCEL组件检索组件DataBase（Oracle、DB2、MySQL…）SQL元数据管理产品典型功能通过元数据树从总体上浏览知识库中的元数据，选择元数据树上某一元数据可以在详细页面中浏览其详细信息，包括元数据的基本信息、属性信息、关联信息等浏览元数据及相关信息可通过编辑元数据功能对元数据进行更新支持手动方式增加元数据和删除元数据对于元数据之间的关联关系也提供了网页方式的维护编辑元数据提供通用查询和高级查询两种查询元数据方式查询元数据通过系统视图对原始采集的元数据重新组织,组织好的系统视图通过授权可提供给不同角色操作用户可借助用户视图的功能基于系统视图再次个性化组织元数据，有利于您更集中关注与您相关的元数据组织元数据影响分析描述了以某个元数据为起始节点，其后与其有关系的所有元数据血统分析描述了以某个元数据为终止节点，其前与其有关系的所有元数据影响血统分析通过版本管理您更清晰了解元数据的版本变更历史，掌握元数据生命周期元数据版本管理元数据管理产品核心流程元数据采集模板映射系统管理员XMLXML文件方式DB直连方式EXCEL文件方式API直连方式执行元数据采集数据源类型创建数据源配置采集任务立刻启动采集元数据应用影响分析数据分析员/开发人员/运维人员下游应用问题反馈上游模型变更预警辅助下游变更血统分析辅助问题定位元数据存储库典型的元数据管理实施过程调研需求元数据管理范围（管什么）元数据期望应用（用什么）元数据梳理梳理项目元数据对象及属性梳理对象间元数据关系元模型设计用设计工具设计元模型调整产品元模型符合项目需要采集以系统为单元采集元数据对象及系统内关系采集系统间关系设计展现设计数据地图展现设计数据资源树展现整理数据整理数据地图采集数据，注意数据地图层次、分类设计的合理性实现应用基于元数据管理和需求阶段用户元数据应用需求实现元数据管理产品界面示例元模型结构化咨询成果非结构化咨询成果元数据库数据标准库业务指标映射业务维度映射业务属性映射代码映射用户管理权限管理数据质量检核指标数据质量管理工具元数据管理工具数据标准展示数据标准执行情况展示数据标准参考模型展示展示层1元数据知识库存储（数据标准定义、分类、信息项及其业务描述、技术定义、标准映射等）3检核规则来源于数据标准定义元数据管理归属（哪些信息项由哪个部门、哪个系统、哪个人员维护）2数据标准需求数据标准发布数据标准文档数据标准变更4模型（元数据）设计满足数据标准要求执行层基础层存储层数据标准管理产品产品套件-数据标准产品数据标准管理产品界面示例应用功能层接口服务数据质量报告数据质量分析质量监控获取层角色管理日志管理权限管理用户管理参数管理ODS/EDW方式一：检核结果文件方式二：直连数据库任务手工调度任务自动调度调度参数管理并发跑批设置度量规则定义度量规则类别度量规则管理检核方法管理检核脚本生成检核方法导入检核方法导出检核结果管理问题显示配置问题发布管理问题处理跟踪问题查询管理问题考核管理问题导入/导出消息管理通知人管理消息模板管理发送任务管理知识库管理知识分类管理知识内容管理知识库查询多维度数据质量报告数据质量报告导出数据质量汇总分析影响/血统/趋势分析重点问题监控问题整改监控检核结果接口检核方法接口元数据产品支撑：业务人员提出度量规则在规则定义时，通过业务元数据提出规则定义。例如：“客户法定代表人身份证号相同则名称相同度量规则”，业务人员提出该规则时，可以通过选择业务元数据”客户信息”的“法定代表人身份证号”和“法定代表人名称”两个属性元数据产品支撑：技术人员在进行问题数据检核时，借助元数据系统采集的物理模型技术元数据，选择需要抽取的相关字段。如ods_crm.c_cust_info表中Legal_person、legal_ps_no元数据产品支撑：管理人员在对数据质量问题分析时，使用元数据的影响分析功能，分析下游哪些系统会受到错误数据影响；同时通过元数据血统分析功能分析错误数据的来源。产品套件-数据质量管理产品数据质量管理产品特性数据质量针对企业海量数据提供全面的数据质量管控，对海量数据进行全质量生命周期的管理，包括质量问题的定义、监控、发现、分析、反馈，建立完整的数据质量管理体系来保障和提升数据质量价值，使企业能够通过可信的数据的实现更好的业务成果。可灵活配置检核规则

内置多种数据质量问题的检核规则，支持灵活的检核规则配置。有效监测数据质量问题

建立企业数据平台的数据纵横监控网，有效发现库内的数据质量问题，并提供数据告警和质量问题分析报告。建立质量评价体系

建立考核指标，量化数据质量的整体情况，找出数据质量的薄弱环节。提供多种系统接口

预留了与多种系统的接口，系统间无缝集成。数据质量管理产品界面示例典型的数据质量管理实施过程调研需求数据质量管理范围（管什么）检核结果应用（用什么）数据质量梳理梳理度量规则梳理检核方法数据结果根据度量规则、检核方法信息，配置检核任务，检核出问题数据知识库基于数据质量检核问题结果，对问题进行的处理方案，进知识库统计分析基于数据质量检核结果，做检核问题统计分析目录3联合服务解决方案价值数据治理领域建设背景和趋势12数据治理联合服务解决方案4成功案例联合解决方案中双方的定位数据平台数据质量监控数据基础设施数据平台/数据中台解决方案中，基础技术平台、上层数据应用和数据管理/数据治理平台三者互相依存，缺一不可。HW：集中体现在基础平台和行业应用上的产品和资源优势。为解决方案提供底层平台和上层应用能力。某：在专业数据治理领域提供产品和实施能力。为解决方案提供数据治理套件产品与服务。数据应用元数据/数据管理数据标准管理数据资产管理数据治理平台能力提供产@某数据平台总体实施@HW联合解决方案的长期价值通过双方在产品套件和服务上的互相补充促进，以“资产化管理、智慧化应用”的价值核心，实现最终用户数据资产上的有效管理和价值最大化。1、建立数据治理体系贯彻“数据资产管理”的核心理念，建立完善的数据治理体系，明确数据治理的组织架构、管理流程、工作标准；2、建立公共信息和数据模型建立公司统一的公共信息模型和企业数据模型；3、提升数据质量与安全性提升数据管理水平和数据准确性和完整性，保证数据的安全性（保密性、完整性及可用性）；4、促进数据共享与价值挖掘在进行数据治理体系建设、数据治理平台实施的过程中，帮助业务部门和IT部门建立其数据治理能力，实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，充分体现数据资产价值。目录3联合服务解决方案价值数据治理领域建设背景和趋势12数据治理联合解决方案4成功案例案例1介绍－－XX电力数据资产管理工具

2016年6月初，国家电网公司下发了《国家电网公司关于印发公司全业务统一数据中心建设方案的通知》（国家电网信通〔2016〕509号），启动了国家电网公司全业务统一数据中心的建设工作，旨在进行数据资产管理的全面优化提升。全业务统一数据中心主要包括数据处理域、数据分析域和数据管理域三部分。XX电力作为国网第一批全业务数据中心的试点建设单位，某以某的产品以及数据治理的经验帮助XX电力建设了数据资产管理工具。案例1介绍－－XX电力数据资产管理工具案例2介绍－－XX能源云数据平台建设项目数据治理体系①元数据管理系统②数据质量管理系统③统计分析提升④支撑好气网大数据分析⑤云数据门户⑥数据挖掘业务创新数据管理平台数据处理平台数据展现平台燃气甚至是能源行业第一个真正的完全基于SAP+Hadoop的大数据架构，其他燃气公司只是在进行业务系统建设。架构创新建立了企业数据资产管理、企业数据标准管理、企业数据治理等体系方法论，为持续的智慧企业建设奠定了坚实的基础。体系创新为XX“智慧企业”战略目标建设进行了试点验证，在好气网得以复制，可谓一个良好的开端。智慧创新数据整合应用、与数据治理并重。总体架构“采、存、用、管”。采用融合架构。案例3介绍－－XX公司运行大数据平台规划咨询项目数据整合应用、与数据治理并重。总体架构“采、存、用、管”。采用融合架构。案例4介绍－－中国移动数据资产管理与共享平台梳理企业核心数据资产,把数据纳入企业重点管控范围,为数据运营打下基础基于大数据平台实现数据资产运营，将数据变现能力开放资产运营数据变现大数据Pass平台B域数据数据源企业级ETLHadoop存储OLAP数据池（MPP）O域数据M域数据外部数据数据服务共享发布平台流处理内存网格互联网能力开放数据超市核心经分库经分辅库APP应用互联网网厅系统数据层服务层消费层数据资产管理B域O域M域数据缓冲数据加工核心经分库数据汇总CRMBOSS集团业务数据源数据层应用层案例4介绍－－中国移动数据资产管理与共享平台数据使用人员数据生产与运维人员管理层领导服务中心管控中心治理中心平台规划建设“三中心”，为管理层领导、数据使用人员、数据生产与运维人员提供了不同的支持能力，最终实现三个核心目标。可视化、全盘掌控资产运营一站式、便捷的获取数据促进数据生产的规范化与质量