数据治理平台与数据运营体系建设方案

数据治理平台与数据运营体系建设方案

构建高效、安全、规范的大数据治理管理与运

目录

01数据治理总体解决方案

02数据治理平台建设方案

03数据治理运营实施方案

01

数据治理总体解决方案

对数据治理的总体认识

狭义上:数据治理是指对数据质量的管理、专注在数据本身。义：数据治理专注于将数阍乍为企事业单位数据资产进行应用

和管理的一套管理机制，能够消除数据的不一致性.

广义上：数据治理是对数据的全生命周期进行管理，包含数据采集、清

建立规范的数据应用标准.提高数据质量，实现数据内外部共

洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、

数据标准、质量、安全、数据开发、数据服务与应用等,整个数据生命期享，并能够将数据作为组织的宝贵资产应用于业务、管理、战

而开展开的业务、技术和管理活动都属于数据治理范畴。数据治理定略决策中，发挥数据资产价值。

数据治理方法论】数据治理要素；

汇聚融合提炼抽象数据规范：没

有规矩,不成

G上云汇冬方圆

全里档康关系中心如渡中心■台理活

]-ATJ||I»数据费产大圳»标签市商

成线款碾实时故据动，理论结合

一档

,安保85投大

故樨管理》全思画像实践

厕

W®T

•raw

服务

模型治理A预默

A规照引擎》数据与故

reevr'兽中心>API开放「理要荔;；

王翌同蹲

成再数更,IDMapijn^.ID哉叩”A

AMMS

大数据管理典型方案

实现数据资产

经营分析曾辅助决策合价值挖掘£数据智能的保管与增值

I-K业务目表单样式金I计算任务调度

标BI一一需求

分析数据整合模理上-------------功能返应用发布数据应用

计让数据赋能业务

数据应用/曦务集市

数据采集数据资源数据计算管理i台理开发调度数据模型机器学习数盛全

云计算大数据大数据管理与应用平台AIaa图谱技

术

整合数据*资源连接各类人员

0息3忠

5

大数据平台典型架构

统一运维数据安全

数据管理门户&数据可视化

数据应经营分析

用辅助决策

数据治元数据

理管理管理

监控数据脱

告警敏管理

111

存储计算

故障安全日

志管理

运维流安全审

程管理计管理

数据采

实时采集FTP采集垃『隹.

集1离线采集・L接口米集・通式采集二

运维作安全告

业务系统麒.…I招用力■非结构化数据.互联网数据■.

数据源物联网数据实时数据流业管理

6

大数据平台典型架构

（管理与开放）门户

数据共享开放平台

数据治理平台

数据资源中心（数据湖，基础数据库，基础库，主专题库）

数据源

大数据平台典型架构

统一

运维

管理

平台

数据源

大数据平台典型架构

数

据

安

全

管

理

平

台

数据基础支撑平台

数据采集平台

数据源

数据治理在整个大数据平台中的定位

数据共享开放平台数据管理与应用门户

。明曲汨留修乃内通

珊幅制即度

提供数据加工处理的

居共享:统管理核心能力，并串联、

集成其他能力模块完

0saesrgs（畋居、杭隹、鼬、令队目录）=）\成面向需求的数据生

数据治理平台r产，是实现将原始数

据资源转换为数据应

数据采集任务谓度9瞽H/理提取与存储

用服务的中心枢纽

数据采集平台

数据资源中心

/、制的主要界面

数据源数据基础支撑平口

10

数据治理总体方案

利用数据治理平台所覆盖的从标准、设计、采集、开发到使用，再到交付和运维的全数据治理流程，帮助组织实现一站式数据治理运营服务可满足数

据共享交换、数据开发、数据运营多种应用场景，并通过构建数据工厂实现数据治理的标准化、流程化与组件化。

数据生产者大数据治理平台数据消费者

I

业务I~娄据;第规范标准（元数据、标准、质量、资产、目录）内部管理者

清洗■质量・赚资产

数

日志数据，:内部业务部门:

据

I

据

力0T■*甑■共享I

归I

I

服

集

，:内部下属单位:

£命周期甯里

1物:持续反馈

大数据资源中心口楸伴

夕陪刚勾・・・

，或关网瓣

I数据安全管控

11

数据治理•数据采集方案

委办局政

委办委办委办

务网VPC委办1委办2委办N23N

（批数据）

DB类型MySQLoracle结构化文件非结构化文件

大数据平台数据采集

数据湖

湖

>>里.>>

♦批数据处理：通过数据采集平台任务调度的方式，根据时间戳定时探查委办局前置库数据以及结构化文件的变动，通过数据采集平台的解析，抽取增

量数据到数据湖。

♦流数据处理:通过数据湖内独立部署kafka消息系统，采用委办局推送或自动拉取的方式，接入流数据。

♦数据抽取过程中进行监测，实施监测目前抽取的状态、抽取进度，断流告警，一致性检测结果等。并通过分布式部署提高数据抽取速度。

12

I数据治理•数据应用开发

b数据探索a模型开发令程序开发品程序测试舄审核上线

select,IraB<tefaulLDAEM.lidUEwherep.day«:sded•frcn

hu_uiflr_calLc»untscounts*16.select•frailhuuicrcal

I.countswhereccwnts>16;2.模型定义；5.程序在线测试

shovtableslike*>Uw_dl<|)350_hlve_(IR：

••k>ci♦I«o_da<i>350_hiv»_<leu_i«Aor(2_20i8、",lr<»

创建模型基础厂.…一」提供WEB界面可视化测试：信息、乂模括乂g

taw_<te<p35(]jklT«_(BtA_iHport2J20I8seloct•frcai

tMp_dfcp350jBiT«_dBta_iBpart2_20181iselect•fr<VIE-AV功能］查看执行时长、执行：

VHp_datpf^Lhiv•_<tet•_lwcrt2J2018lx

）状态熊息，方便开发人员！田调试■

/性能分析.

eflDHDflBcnna£-

04-编辑模型应用程序［6-调度配置

1■数据探索，MW*R

，①可视化开发：固懒呈序命：令，拖拽式使用，自由配置逻壁

根据业务逻辑做需求分析,i,7■提交审核并上线

:②脚本开发:支持sql、

通过探索了解相关数据情开发人员建立上线任

添加表结构息Python,java,shell等类型：提供手工用灌*式，时务，

况

脚本

提交审核并上线

13

数据治理•统一调度方案

数据共享开放应用平

库表数据下

发任务调度

采集矜

调度对接元数据同步

数据治理•开数据治理•资

数据采集平台发调度平台产管理平台

JDBC流数据处理

接口-------------------------------------

数据支撑平台

/数据采集平台的采集任务完成后，通知开发调度管理平台的库内处理程序进行调度任务的衔接；

/数据支撑平台提供JDBC接口，供开发调度管理平台调用，实现数据库操作的调度开发调度管理平台对数据支撑平台发布流数据处

理偿；

/数据资产管理平台提供元数据同步接口，把模型元数据同步给开发调度管理平台做库内处理开发

/数据调度平台完成相关数据应用计算后，将库表数据推送给数据开放平台，对外开放使用。

14

数据治理•数据资产管理

模型管理目录管理质量管理标准官理

数模型维护关系关联目录维护资源编目质量定义规则库标燮护标准导入

据

代码关联椭分析目彝类目录标签规则瓣数据检核标准浏览落地检核

资

元数据］目录级联］

产版本管理数据纠正质量报告代码映射版本管理

管T

资源管理共享管理

理

数据源管理资源注册资源发布资源审核应用场景事项字典预算项目应用系统

前置节点库表资源文件资源接口资源…

共享申请共享审核共享授权共享统计...

数蜂库一SMSS8S库

据

■部门数据库人口库城市运行

源

部门数据库法人经济运行…

政务云管理存储管理网络管理资源调度|用户离隹|系统管理

臬础设施层J」i——’11

I逻辑资源层（计算、存储、网络资源）।

/根据提供方供数责任，对接入数据资源进行编目，维护其业务属性和管理属性，使其初步具备应用条件；

，参照数据标准设计数据模型结构、业务代码，通过建立变更管理和版本控制，实现数据模型管控;

，通过基础元数据定义数据资产规格（如：库表、文件、文件夹、接口等），并借助统一平台实现资源接入。

15

数据治理项目实施方案

以构建一个能

持续高效运转

的数据治理体

系为目标

t

16

逐步构建一套大数据治理应用与服务体系

数据建模数据分析咨询

大数据平台建设数仓建

/BI数据治理应用开发专题主题开发运营支撑…

―设----------

数据处理管理।、“，»r-«，1机器学习

1LAT..

?1数据仓库管理治理对比分析交叉分析回归聚类语音识别

朝HadoopETL..回归分析数据标签分类神经网培图像识别

统计分析方法管理分析理论

公式法对比法4P用户使用行为PEST5W2H

二八法漏斗法STP理论逻辑树生命周期

17

02

数据治理平台建设方案

平台总体概述

大数据时代组织普遍要面对数据多样化，缺少统一标准，集成困难;数据分散，形成信息孤岛，共享困难；数据质量低下，导致统

计不准确的诸多问题。如何有效管理数据资源使之能够驱动业务的快速发展，成为数据治理产品的核心价值所在。

采集/集成环节

数据治理平台适用于分析型系统数据处理的各个过

提供多种数据采集或集成，包括业务系统数据m外部文件、第

程，负责数据的加工处理以及加工处理过程数据标三方接口抽取，实时消息采集等

准、元数据和数据质量的管理。平台可以提供数据

加工/计算环节

输入、数据加工、数据输出等数据流图各个过程的支撑多种数据加工方式，包括批量数据加工，实时交互计算，机器

全生命周期、全流程的数据处理，并在数据处理全学习等。

过程提供中提供数据治理和数据管控的一站式解决

支持用户个性化需求、自主数据探索，提供固定主题的报表、指标，

方案。

临时报表需求、自助取数，数据探索、数据实验等功能。

19

平台设计理念•一个标准化工厂

storyAtntractConcrete(oofigAMCHIMCScheduleMain<eiumce

尸小

SDFADfCDfPtX

socADCCDCPDC

数据治理产品以为组织打造通用的数据工厂为设计理念，以构建流水式数据产线为核心，帮助组织快速实现从’‘数据原料”到

“数据产品”整个过程的加工处理、价值转化以及规范管控。

>DCF:由DC构成的Flow,良好的Context卫有星务化的语义标普,升上流程业务化的it明度

一体务面的DCF,调度♦ETL♦/♦欺据横型管理理管控…

标准化生产自动化生产精益化管理

♦«*♦«<

工建解

4UK•工理铸冬邮。鲜

itH20

/由多个工序最终生成一体多面的数据治理

/由场景理解、场景抽象、抽象实现、抽，由数据上下文形成自动化的数据流

象配置、方案生成、调度等工序组成流程

21

平台设计理念•四大治理原则

MetadataBeforeCodingBusinessDrivenDesign

业务元数据手眼术元数据的强以最大化业务需求吻合度为

制性前向获取机制，杜绝元数目标，所有数据对象的设计

据的后期补录，建设保证业务和实现，都必须以业务需求

元数据/技术元数据废术实现为驱动，在最大程度上保证

这三者一致性的技术机制.数据对象与业务需求的一致

性.

ObjectOrientedArchitecture