数据治理运营解决方案

数据治理运营解决方案

一、-前XA-后-i—

欧阳仁兄又来问我有没有数据治理运营资料，我一查星球，刚好有这篇，

大致看了下，这个文档内容非常不错，主要包含三部分，第一部分是数据

治理总体解决方案，第二部分是数据治理平台解决方案，第三部分是数据

治理运营解决方案，特别数据治理运营实施方案思路，和我的思路比较吻

合，从运营角度，把企业数据治理全流程要做的事都列出来了（下图）。

强列推荐收藏研究。

数据治理运营总体流程

►准备>资产编目〉数据采集〉规范设计>开发调度〉质量监控>数据仓库〉数据应用

数据准备资产数据

I数据源I

IsaeaI

I甥给库|；

从文档细节看，好像是委办局政务数据治理的一个方案，但从我的角度看

这个文档还是比较大众的解决方案。

数据治理•数据采集方案

委办局政

务网VPC委办1委办2委办3委办N

（批数据）

DB类型MySQLoracleDM其他

二、文档部分内容

狭义上：数据海皿懒专注在数握本身.MBMKR：敷*■专注于梆烟作为企事业单位Mn

ntfc：❽包清产进行应用和苣漳的FttlWM,哈移浦除的毋:的不TMt

洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、建立糊百的效梃应用标淮提高数据质■实现数掴内外・M

数据标桂质量、安全.雌开发、数据服务与应用等，曜个数据生命事，并能铜钠据作为组织的宝贵资产应用于业务、管理、战

期而开展开的业务.技术和管理活动都属于数据治理范购.略决策中，发挥数据资产价值.

蹴治理方法论

>

公■周

aaraXHM»y

黑;anraa»«SM

--•“•,：・：：..・

•a*MJ：gjcan

*3t»a

■u»

0Ml医治

't«e»r

'系

enra

«»«

r*OMi

故据应用与推送

实现数据资产

辅助决策价值挖掘的保管与增值

业务目标f@）神源关联.吊巴士园上，6吧吧玩

需求分析散据整合1ft型设计功能设计应用发布数据应用

让数据赋能业务

数据采集数据资源数据计算管理治理开发调度数据模型机器学习数据安全

AI船ara技术

连接各类人员

雷同金口,治理体系

大数据平台典型架构

大数据平台典型架构

（管理与开放）门户

数据共享开放平台

数据治理平台

&

安

全

管

理

数据更源中心（数据湖.基础数据库、基研1库、主专懑库）器

台

平

数据基础支撑平台

数据采集平台

数据恰理体;

数据源

数据治理在整个大数据平台中的定位

是整个大数据资源平

台管理与应用开发的

统一入口

统

一

维

护覆供数据加工处理的

平

台

核心能力，井串联.

集成其他能力模块完

成面向需求的数据生

产，是实现珞原始数

据资朝换为数据应

用服务的中心枢纽

是对数据资源及数据

资产进行管理与应用

数据治理总体方案

利用数据治理平台所ai差的从标准、设计、采集、开发到使用，再到交付和运维的全数据治理流程，帮助组织实现一站式数据治理运营

服务，可满足雌共享交换、数据开发、数据运营多种应用场景，并通过构建数据工r,实现雌治理的标准化、流程化^组件化.

数据生产者数据消费者

业翎据内部婕者

日^8内部螃部门

内部F属单位

物联嘘

各类文件合作伙伴

8

数据治理•数据采集方案

委办局政

互联海委办1勒2委办3委办N

»BVPC委办1委办2委办3委办N（加据）

（批睢）

DB^fiMySQLorade其他收据类型API接口结掏件非结构化文件

大数据平台数据采集

状态监测

比对采

存储采的入

采集雌入薪入

集数据湖数据断流告警数据湖

数据>湖湖数据>

量数据一致性检查

♦批数据处理：通过数据采集平台任务调度的方式，根据时间戳定时探查委办局前置库数据以及结构化文件的变动,通过数据采集平台的解析,

抽取增量数据到数据湖.

♦潮嘘处理：通过数据湖内独立部署kafka消息系统，采用委办局推送或自动拉取的方式，接入流数据.

♦数据抽取过程中进行监测，实施监测目前抽取的状态、抽取进度，断流告瞥,一致性检测结果等.并通过分布式部「，.急於磁彘髭例系

但据治理•数据应用开发

鱼侬开发@勤开发部］程序测试

数据探索

2-模型定义5•程序在线测试

创建模型基础提供WEB界面可视化测试

信息、皿模功能查看执行时长、执行

型的元数据状态等信息，方便开发人员

调试，性能分析

)»

4•编辑模型应用程序6-调度配置

①可视化开发：固化程序命

1数据探索

令、拖拽式使用，自由配置

根据业务逻辑做需求分析,7提交审核并上线

逻辑

通过探索了解相关腔俏开发人员建立上线任务,

3构建表结构②W本开发:支持sql、

况展交审核并上线

添加模型字段信息Python,java,shell等

提供手工/批■方式的脚本

数据为叟体系

10

数据治理•统一调度方案

数据共享开放应用平台

库表数据下

发任务调度

采集任务

调度对接元雌同步

数据治理•开数据治理•资

数据采集平台

发调度平台产管理平台

JDBC流数据

接口处理

数据支撑平台

/数据采集平台的采集任务完成后，通知开发调度管理平台的库内处理程序进行调度任务的衔接；

/数据支撑平台提供JDBC接口，供开发调度管理平台调用，实现数据库操作的调度开发调度管理平台对甥B支撑平台发布

“数据资产管理平台提供元数据同步接口,把模型元数据同步给开发调度管理平台做库内处理开发；

,数据调度平台完成相关数据应用计算后，将库表甥6推送给数据开放平台，对外开放使用.工教据省经体系

11

数据治理•数据资产管理

ran目录m场“现

数岫维护关系关联目录维护资谒编目标神护标准导入

据关联对除分析目录分类目录标签标准浏览落地检核

奥

版本管理元数据目录浏览目录版联代码映射版本管理

产

管资海总理共享曾理

理

数况源管理资源注册资源发布资源审核应用场量事顼字典预㈣&目应用系统

前・节点库表资源文件资源接口资源..共享申谪共享审核共享授权共享猊计…

,根据提供方供数责任，对接入数据资源进行编目，堆护其业务属性和管理属性,使其初步具备应用条件；

,参照数据标准设计数据殛型结构、业务代码，通过建立变更管理和版本控制，实现数据模型管控；变/据总超佐系

,通过基础元数据定义数据资产规格（如：库表、文件、文件夹、接口等），并借助统一平台实现资源接入.

数据治理项目实施方案

建设市场监管、

以构建一个能

建设一套大数工业、全民健

持续高效运转

据管理与应用康、患民资金

的数据治理体

平台监管.农业五

系为目标

大本5应用

ttt

'上,触据为理体系

13

逐步构建一套数据治理应用与服务体系

析咨询

大数据平台建设数仓/BI建设敢据治理

应用开发题开发却…

项目需求分析3架构与功用设计—祟统开发与滔试

交付平台上线应用-平台运营支律♦功能用烟迭代

流程

专业平台

团队支握

故据分析AI技术

技术

XX数据仓隹对比分析交叉分析W谱修织别

能力

Hadoop回归分析数据标签分类BHHR8II

统计分析方法管理分析理论

分析

方法»tti24P用户使用行为PEST5W2H

能力

喜斗法STPBifi遭国树生命网期

数据治理平

2台解决方案

■数据治理体系

大数据时代组织普遍要面对数据多样化，缺少统一标准，集成困难；数据分散，形成信息孤岛，共享困难；数据质量低下，导

瞬计不准确的诸多问题.如何有效管理数据资源使之能弊驱动业务的快速发展，成为数据治理产品的核心价值所在.

采集/集成环节

数据治理平台适用于分析型系统数据处理的各

提供多种数据采策或集成，包括业务系统数据ETL.外部文件.第

个过程，负责数据的加工处理以及加工处理过三方接口抽取，实时消息采集等

程数据标准、元数据和数据质量的管理.平台

加工/计算环节

可以攫供数据输入、数据加工、数据输出等数支湾多种数据加工方式,刨舌批量数据加工，实时交互计算，机器

学习等.

据流图各个过程的全生命周期、全流程的数据

处理，井在数据处理全过程提供中提供数据治决策/探索环节

支持用户个性化需求.自主数据探索，提供固定主题的报表.指标，

理和数据管控的一站式解决方案.

临时报表需求.自助取数,数雅索.数据邮皿功能1.,,、「

级宏治理体系

16

平台设计理念•一个标准化工厂

数据治理产品以为组织打造通用的数据工厂为设计理念，以构建流水式数据产线为核心，帮助组织快速实现从“数据原料”到

”数据产品“整个过程的加工处理、价值转化以及规范管控.

so*AOTCDfMN

SOCADCCOCroc

♦«*»««

4UI»工1“&口■牝

>DCf:也DC构*的口6V.良好的ConlcxtJt有受务化的通义林霎.可以襄着二舟叁没钮丈4Ht的透明危

>一体，面的DCF=珂庾♦ETL♦尢盘如♦«««♦♦JLJ«枪…

标准化生产自动化生产精益化管理

/由场景理解、场景抽象、抽象实现、抽/由数据上下文形成自动化的数据流,由多个工月•

ft£K.方案生成

17

平计理念•四大治H®则

MetadataBeforeCodingBusinessDrivenDesign

业方元1端和技术元数据的强以最大化业务需求吻合度为

制性前向获取机制，杜绝元数目标，所有数据对象的设计

据的后期I卜录，建设保证业和实现，都必须以业翁需求

务元数解技术元数据/技术实为塞动，在最大程度上保证

现这三者一致性的技术机制.数据对象与业务需求的一致

性.

ObjectOrientedArchitecture•@TCUPrinciple

将数据、业务元数据.技术元数数据对象必须遵循TCU(Take

据、数据加工、数据质量检萱等CareofYourself)十威！I,

与数据相关的内容统一作为数据所有与数据有关的工作全部在对应

对象管理起来，且该数据对象是的数据对象内部完成，确保数据对

系统的最小管理单元象之f司只有甥勘DI过程的上下游

标

、七级据治理体系

18

平计"五十台理磔

数据处理工厂化

数据处理工作，必会现工厂化的建设和管理，以“极速、

低成本、高质量”要求来响应业务部门的个性化雌需求.

数据处理工厂化

数据模型标准化整据运营全员化

体现“平台化、开放性”的思想，提

通过数房台理平台将数据模型的要数据模型标准化数据运营全员化

求严格落地，杜绝不满足标准的数高数据开放的可视化，实现人人参与

据模型出现在系统中.数据治理产品化效据安全可控化数据治理、数据建设和数据运维，

数据治理产品化数据安全可控化

数据治理的成果和内容，必须通过体现安全的重要性、必要性，保障系

切实可行的IT手段落实到系统来严统数据安全和数据服务开放过程中数

格执行.据的安全可控.

、心缴据治理体系

19

平台设计理念•三大实施策略

.）系统管控知识管控

1）有实现数据全程的可见、可管、1）有保证业务元数据与技术元数据

1）有保证文档与实现的一致性机制;

可控，最小化业务和技术沟通成本的的T性的理论和机制；

2）有实现对文档系统的低依赖性的

理论和机制；）有保证元数据与数据加工环节的

2ML

2）有实现数据的全生命周期管理的一致性的理论和机制；

理论和机制；3）有实现基于历史经睑的告警机制;

3）有实现开发管理规范和数据管理4）有低成本SS效地解决传统调度面

规范低成本的严格执行的理论和机制;临的问题定位和修复问题最小代价等

4）有实现系统建设过程中问题的低难题的理论和机制.

成本监管和解决的理论和机制；

5）有实现引入第三方独立监管供应

商来负责系统的监控和维护的理论和

OJ.

、心数据治理体系

20

平台总体架构

行业放用电子政务金■零售交通教育制造业农业互联网•・・

用户群体

解决方案

服务能力

基础平台

平台技术架构

采用工厂化的助S处理和管理模式，通过数据生产计划、数据生产执行和数据生产管理三大子模块，保障数据处理全过程透明

可控，实现工具化、流程化和自动化的开发、运维、管理，提升数据开发、生产效率,保持系统健康、持续、稳定的发展.

数据生产计划模块

主要功能为：需求设计、设计确认等

雌处理执行模块：

负责数据处理计划的执行、数据的生产

和数据质量控制等工作

数据处理管理模块：

负责软件开发和数据规范的管控

提供数据对象设计功能

提供元数撕取和管理功能

提供对象化接口模块

提供可视化的标准IDE环境

提供数据质量管理功能

提供与各类底层平台对接功能

■平台采用基于元数据驱动的开发横式，保障元数据与实际系统情况的一致性,

通过元数据准确描述系统，指导系统建设.

平台功能特性•组件化应用

■提供各类组件，支持通过拖拉组件的方式快速形成数据生产线，缩短应用的开发周期、节约应用的开发成本、提高应用

的开发质量，帮助用户更快地完康据模型、数据处理的开发.

■组件采用松耦合式的架构，支持自定义扩展.分为三种类型：功能组件、模板组件、管控组件.

01）功能组件

功段组件对常用的数据处

理.系蟠互等方法进行02）管控组件

封装，实现快速的数据处