数据治理全过程域工具包研究

我擅治数——数据治理全过程域工具包研究亿信华辰数据治理管理工具演变历程及各自阶段典型特点数据治理工具发展趋势伴随着企事业单位信息化不断的深入

、

各种技术持续的发展以及人们对数据治理的认知不断加深

，

数据治理工具在过去的20年也不断的发展信息标准化时代（成熟期）名称

：信息标准化管理系统关键词:

智能工厂、

数据服务主要采用自主ESB数据交换平台采用微服务架构

，满足MES、

PLM等多个层面数据共享动态建模、

移动应用、

内容扩展数据

指标、

多语言数据治理时代（展望期）名称

：数据治理平台关键词

：大数据

，

工业互联网主要采用数据中台技术和微服务架构

初步替代传统架构面向大数据架构下,为数据资源中心

与外部数据系统提供教据服务对内和对外系统提供云服务主数据时代（发展期）名称:

：编码系统、

编码网站关键词：

MIS系统主要采用国外主流产品,SAP等产品

ESB产品较多使用国外产品采用SOA,B/S架构,主要为ERP等经

营管理系统服务编码时代（起步期）名称

：编码系统、

编码网站关键词：

MIS系统主要采用发布主数据代码为主

，采用

接口开发形式分发数据B/S架构、

C/S架构都有1994年-2004年

1994年-2004年2011年-2017年2018年-数据管理职能工具工具说明数据管理职能工具工具说明数据治理线上应用/网站利用线上模式

，通过中心门户或者协作门户提供核心文档数据集成和互操作数据转换引擎/ETL工具数据集成工具箱主要工具

，是每个企业数据集成程序的核心

，通常支持数据转换活动的操作和设计业务术语表数据治理的核心工具

，整理业务术语并获得各方认可

，

并将定义与数据进行关联数据虚拟化服务器对数据进行虚拟抽取、

转换和集成工作流工具更大的组织会考虑使用强大的工作流工具来管理流程企业服务总线面向消息的中间件

，

用于在同一组织的异构数据存储、

应用程序和服务器之间实现近乎实时的消息传递文档管理工具治理团队经常使用文档管理工具协助管理策略和规程业务规则引擎允许非技术用户管理软件的业务规则

，在不改变技术代码的情况下支持对预测模型的更改数据治理积分卡跟踪数据治理活动和制度遵从性的指标集合数据和流程建模工具不仅用来设计目标数据结构

，

而且用来设计数据集成解决方案所需的中间数据结构数据建模工具数据血缘和关系跟踪

，便于架构师管理不同层面的数据模型数据剖析工具包括对数据集的内容统计分析

，

以了解数据的格式、

完整性、

一致性、

有效性和结构数据架构资产管理软件用于管理数据资源目录

，描述其内容以及跟踪他们之间的关系元数据存储库包含有关组织中数据的信息

，包括数据结构、

内容以及用于管理数据的业务规则图形设计应用用于创建架构设计图形、

数据流、

数据价值链和其他架构构件文件和内容管理企业内容管理系统包含核心组件的平台或一组应用程序组件

，包括文件管理、

内容管理系统、

内容和文件工作流等数据建模工具提供基本的绘图功能

，概念模型

，逻辑模型、

物理模型的建设功能协作工具可用于收集、

存储、

工作流程和管理与团队活动相关的文件数据建模与设计数据血缘工具允许捕获和维护数据模型上每个属性的源结构变化的工具

，

可实现变更影响分析。受控词汇表和元数据工具帮助开发或管理受控词汇表和元数据

，包括办公软件、

元数据库和BI工具以及文件和内容管理系统数据分析工具基于元数据验证、

识别数据质量和现有数据工件的缺陷标准标记和交换格式有助于信息系统和互联网之间共享数据元数据资料库用于存储有关数据模型的描述性信息

，包括图表和附带的文本以及其他工具和流程电子取证技术提供许多功能和技术审查大量文件

，如早期案例评估、

收集、

辨认、

保全、

处理等数据模型模式可在多场景下重复和广泛使用的模型结构

，有组件、

套件和整合数据模型模式参考数据和主数据主数据管理工具通过数据整合工具、

数据修复工具、

操作性数据存储、

数据共享中心或专门的主数据管理应用来实现行业数据模型为整个行业预建的数据模型

，包括医疗保健、

电信、

银行、

制造业等数据仓库和商务智

能元数据存储库关键是能够将来自各种来源的元数据

“黏合”在一起

，实现存储库的自动化和集成填充数据建模工具可以帮助数据建模人员自动化执行许多任务数据集成工具用于加载数据仓库数据存储与操作数据库监控工具自动监控关键指标并向DBA和网络存储管理员发出当前数据库问题报警商务智能工具的类型运营报表、

业务绩效管理、

描述性的自助分析数据库管理工具协助DBA管理多种数据库

，包括配置功能、

安装补丁和升级、

备份和恢复等元数据管理元数据存储库包括整合层和手工更新的接口。

提供了在集中位置（存储库）

管理元数据的功能数据安全杀毒软件/安全软件保护计算机免受网上病毒的侵扰数据质量数据剖析工具生成高级别的统计信息

，分析人员能够据此识别数据中的模式并对质量特征进行评估HTTPS给网站配备了加密的安全层建模与ETL工具对数据质量有直接影响

，有助于提高数据质量身份管理技术是存储分配的凭据

，

并根据请求（如当用户登录到系统时）

与系统共享数据质量规则模板给予分析人员机会捕获客户对数据的期望

，有助于弥合业务团队和技术团队之间的交流鸿沟入侵侦测和入侵防御软件对预期模式的了解可检测出异常事件

，

当异常事件发生时系统会发送报警元数据存储库高质量数据的定义是元数据的一种价值呈现方式DMBOK2.0中的

工

具

包亿

信

数

据

治

理

实

施

三

阶

理

论树

靶

子

：

数

据

治

理

顶

层

设

计(定战略,

组团队)战略

、

组织

、

架构

、

评估

、

绩效等定

规

矩

：

数

据

治

理

体

系

建

设

(

促

业

务

,控

风

险

)元数据

、

数据标准和规范

、

数据质量

、

安全等建

应

用

：

数

据

服

务

和

数

据

洞

察

(

融

应

用，

增

加

值

）服务模式

、

数据可视化

、

数据分析与挖掘等数据管理体系

的治理面向数据价值

的治理03统筹与

规划监督和

评估构建和运行改进和优化架构

设计组织

构建制定

战略治理目标监

督评

估指

导0102数据治理全过程实施框架三大阶段

，

十个要点

，

梳理覆盖数据治理咨询规划

、

方案制定

、

执行和评价的数据治理实施闭环式框架。治理战略目标数据治理组织架构设计成熟度评估成熟度评估报告现状分析明确驱动力来源l,

计划(Plan)

-

实施(Do)

-

检查(Check)

-行动(Action)

J数据治理平台建设数据标准管理数据资产管理数据生命周期体系规划与建设数据治理管理办法数据治理体系框架整体规划与实施路线

持续改进

知识转移树靶子：

咨询规划阶段建应用：

平台建设阶段定规矩：

体系建设阶段明确数据治理目标数据摸底调研数据质量管理元数据管理差异性报告数据安全现状调研与分析组织制度建设

战略目标规划

高层战略会议

，

明确数据战略和目标

输出《数据治理总体规划》现状调研数据现状调研分析

系统架构

：系统架构图、

系统清单列表

数据架构

：库表清单、

数据字典、

数据流

向和关系

数据标准

：各业务系统数据规范是否统一

，是否符合国

标、行标

数据质量：

数据问题收集

，

业务数据应用过程中的障碍

数据资产

：数据资产需求

，数据资产盘点、

核心数据资

产识别

数据安全

：数据权限管理调研

，是否进行数据分级管理

输出：《各模块调研报告》驱动力分析

内外部数据治理驱动力分析

业务需求驱动、

外部监管驱动、

能力建设驱动、

实际问题驱动

输出《项目驱动力分析报告》成熟度评估

数据治理成熟度评估

以数据治理成熟度模型作为指导文件完成成熟

度宣讲、

企业自评、

企业预期成熟度目标、

企

业数据管理成熟度评估等工作

输出：《企业预期成熟度目标》

、《成熟度评估报告》

《成熟度差异报告》组织架构建设

项目组架构组

制定数据治理战略

，解决重大争端

数据治理管理委员会

数据治理资源配置

制定实施问责及激励制度

输出《项目组织架构图》

、《项目组织成员通讯录》

数据治理组织制度管理办法

总体管理办法、

专项管理办法、

实施细则咨询规划阶段工具之一：建设工序树靶子：成熟度评估图组织制度建设战略目标规划示例通过模型包中描述的8个数据管理能力域

，

28项能力项

，来辅助政企单位找到

自身数据管理所处的能力级别通过车轮图的指导，

确定数据治理的领域及范围11个知识领域数据架构数据质量元数据

数据治理

数据安全数据集成

和互操作文件和内容管理业务层面技术层面成熟度评估DCMM数据管理能力成熟度评估模型包数据战略DAMA车轮图数据存储和操作数据建模

和设计数据仓库和

商务智能参考数据

和主数据树靶子：咨询规划阶段工具之二：参考管理模型数据

治理数据

架构数据

应用数据

安全数据生

存周期评价标准数据

质量数据

战略数据

标准DCMM制度组织技术流程《数据治理总体规划》《项目组织架构图》《项目驱动力分析报告》《企业预期成熟度目标》《成熟度评估报告》《成熟度差异报告》树靶子：

咨询规划阶段工具之三：

工序模板《各模块调研报告》《数据治理项目通讯录》表单设计工具：

制作问卷调查数据分析工具：

自助式统计问卷结果咨询规划阶段工具之四：

技术工具分析报告工具：

数据调研和现状分

析报告树靶子：数据治理实施策略

数据治理平台部署方案

数据标准落标策略

元数据变更流程

数据标准变更流程

元数据质量提升策略

数据质量规则

数据质量质检方案

数据质量整改策略

数据质量考核策略体系规划架构设计

愿景目标与战略举措

数据治理管理制度制定

项目实施技术架构设计

基于组织架构的流程设计

项目变更流程设计数据治理实施专项能力建设

数据标准化数据标准制定、

数据标准落地

数据质量管理确定数据质量管理范围、

制定数据质量规则、

质量规则落地

数据资产管理数据资产整理、

数据资产需求收集、

数据资产发布

生命周期管理归档策略制定、

归档策略执行、

归档效果评估

数据安全管理确定数据分级管理标准、

数据安全配置

输出：《各模块实施规划细则》定规矩：

体系建设阶段工具之

一：

建设工序图数据治理实施规划

数据治理任务分解

数据治理工作划分

项目整体实施计划制定数据治理体系规划数据治理实施方案数据治理专项能力建设

数据治理管理制度

元数据管理规范

数据标准管理规范

数据质量管理规范

数据质量考核办法数据治理管理体系示例通过

“

一图

、

一卡

、

一表

”

来逐步细化数据治理各领域的工作内容及衡量指标，

为后续治理效果达

成

制

定

绩

效目

标采用业界成熟的数据模型包来构建企业

的数据模型数据模型行业成熟数据参考模型包实施任务分解WBS工具通过专业的工作分解结构软件，

制定数

据治理各领域的详细实施计划定规矩：

体系建设阶段主要工具之二：

参考管理模型数据治理绩效设计平衡积分卡《数据治理管理制度》《元数据管理规范》《数据标准管理规范》《数据质量管理规范》定规矩：

体系建设阶段工具之三：

工序模板《数据质量考核办法》流程

设

计在线知识库内容管理平台建模工具定规矩：

体系建设阶段主要工具之四：

技术工具数

据

应

用应用规划数据分析应用开发数据分析数据自助分析应用推广5.1数据应用

需求分析6.1分析报告.

.

.物资数据质量财务数据质量人员数据质量4.1主数据平台与其他系统采集4.2主数据清洗及转换设计3.4质量成果对比5.2数据分析

指标定义6.2治理大屏标准落地情况元数据情况数据质量情况数据资产情况接口情况

调度情况7.数据自助分析应用推广2.1贴源层数据模型设计

物资

与2.2集市层数据模型设计三违主题

煤质主题

采购主题财务主题

法务主题生产主题设备主题

.

.

.项目财务建应用：

平台建设阶段工具之一：

建设工序图3.1数据质量检查模型设计3.2数据质量方案1.3标准发布与执行1.1元数据信息采集

1.2元数据信息维护1.2标准制定设备数据质量数据采集与质量管理主数据标准大数据平台建模设计管理平台数据质量与发布数据集成4.3数据

资产发布3.3质量整改方案1.1标准需求收集标准数据数据梳理设计阶段大数据平台质量评分煤质主题生产主题质检报告采购主题质检规则元数据主数据客商.

.

..

.

.治理门户数据生命周期数据安全建应用：

平台建设阶段工具之二：

功能图谱治理门户主数据数据标准数据资产数据交换数据质量元数据建设方案建设目标选择工具大数据治理基于既定的治理原则

，

清晰确定数据治理涉及的范围

，

制定可量化、

可执行的实施与评估方法

，

帮助企业或者组织实现其成本、

收益、

风险三者的最优化控制目标

，

并持续迭代完善和优化元数据、

数据标准、

数据质量、

主

数据、

数据生命周期数据资产盘点盘清企业数据资源家底

，

同步构建常态化的数据盘点工作机制

，

推进数据管理与企业其他工作的

有机融合

，

面向企业内、

外统一提供数据资源应用服务元数据、

数据资产数据资产运营管理建立符合企业特点的数据资产运营管理体系

，从工作机制、

技术平台全面改善数据资产的可知性、

可控性、

可信性、

可用性、

和安全性

，循环迭代提升数据资产价值元数据、

数据集成、

数据标准、

数据质

量、数据资产、

数据安全、

数据生命周

期数据标准化及质量管控数据标准化和质量管控是提升数据资产价值的基础性工作

，着眼企业全局

，通过数据标准化体系

建设和质量管控流程

，

提高跨系统数据的标准化程度

，

为后续数据的深度应用打下坚实基础元数据、

数据标准、

数据质量建应用：

平台建设阶段工具之三：

工具选型建议表核心要点：1、

规范的元模型管理2、

内置多样的元数据采集适配器3、

端到端的自动化采集4、

丰富的元数据分析应用5、

严谨的元数据质量检核机制数据源管理接口元数据管理接口采集器管理接口分析服务接口采集器任务接口版本管理标签管理统计分析变更管理元数据浏览元数据维护版本发布标签分类版本恢复标签维护版本比对影响/血缘分析差异分析关联度分析数据地图关系维护树形浏览水平浏览采集

管理基本信息维护采集日志手动采集数据源配置任务配置采集器管理适配器查看元数据功能要点DB数据记录采集配置元模型管理元数据查询模板映射管理全量入库模型转换增量入库模型映射建模工具类日志类采集器DDL采集器报表工具类采

集器ETL工具类采集器存储过程采集器大数据组

件类采集器数据记录类采集器标签映射变更查询变更通知采

集API入

库转

换数据交换任务调度标准管控流程管控核心要点1、

全流程的主数据生命周期管理2、

多样化的主数据模型定义3、智能的主数据相似度检查4、便捷的接口开发及管理能力5、

丰富的主数据分发途径6、

多源异构的主数据集成能力系统管理

消息管理

日志管理

文档管理

备份/恢复

权限管理

参数管理

主数据功能要点主数据质量数据追溯质量报告集成管理接口开发接口管理接口监控门户集成数据管理数据映射数据留痕数据查询数据备份编码管理编码申请规则定义编码维护编码查询模型管理模型定义属性维护关联关系参考数据工作流关系图谱人工录入自动采集数据整合导入导出服务管理对接ESB组织架构系统监控主数据业务管理清洗转换质检规则标准查询分类规范数据字典标准定义主数据维护主数据治理主数据采集主数据分发主数据管控主数据标准失

效变

更冻

结解

冻申

请核心要点：1、

灵活定义的数据资产管理模型2、智能的数据资产分类盘点和目录活化功能3、

丰富的数据资产服务方式4、便捷的数据资产服务开放能力5、

完整的数据资产运营流程和价值评估要素数据资产分级数据资产脱敏数据资产

安全管理数据资产溯源……数据资产

目录管理数据资产

知识管理数据资产地图数据资产分类数据资产登记数据资产识别数据资产生命期管理数据资产变更数据资产处置数据资产盘点……数据资产价值管理数据资产应用……数据资产运营数据资产评估数据资产审计数据资产功能要点规则管理模型管理指标管理…………接口管理服务类接口……管理类接口集成化•

数据治理全过程域流程全覆盖•

整合数据治理11个技术领域中多个领域•

与数据中台、大数据平台等基础架构设施融合•

形成数据总线接口接入全域数据智能化•

数据加工场景叠加智能应用•

机器换人定会出现•

智能交互界面提升用户体验•

预测、预警、智能巡检广泛应用•

从传统的防毒、

防黑到全域环境安全可信•

视数据资产为核心资产•

数据架构底层规划可信计算环境•

数据接口和数据权限基于安全设计我国数据治理工具未来发展的趋势安全化

政

务

大

数

据

管

理平

台项目名称：

某地大数据局大数据治理平台项目内容：

在现有建设的基础上

，

进一步提升数据质量

，

建立数

据标准

，

制定合适的数据问题解决方案

，

通过涵盖全数据生命周

期

数

据

治

理，

建

设

涵

盖

全

市

各

政

务

部

门

超

17

亿

条

数

据，

覆

盖

数

据全生命周期的大数据治理平台

，

提供各类数据服务。项目成效：•通过数据集成工具

，

消除数据碎片

，

打破信息孤岛

，

累计接入

57个部门

，

超17亿条数据

，

累计交换量达88

.

37亿条•通过数据资产工具

，

成功打通省级数据共享直连链路

,

外接93

项资源共670多万条数据•通过数据质量工具

，

建立健全数据管理机制

，

向政务部门定期

发布数据质量报告政府案例：

打通省级数据共享直连链路

数

据

标

准

管

理项目名称：

某城银行城商行数据管理平台项目内容：

完成各银行各业务条线产品的梳理

，

新建系统全面落标

，

规

范字段命名

，

规范业务接口

，

完成了包含元数据管理、

数据标准管理、

数据质量管控三大主体模块的数据管理平台建设

，提升监管数据的数据

质量

，

为业务发展及金融创新提供助力。项目成效：•

长达5个月的元数据管理

，

实现新信贷、

新总账、

新理财、

核算等系

统的注释填充率到达100%

，

实现了元数据的变更事前可控管理。•总计梳理8个主题、

1244条标准

，

通过数据标准工具对7000多个关

键字段进行落地评估

，将治理初期20%的标准通过率提升到现在的

85%的通过率。•基于EAST4.0

，梳理了300余条规则

，

建立了相应的预警机制

，

实现

了监管报送指标的自动化监管。金融案例：

从信息化银行到数字化银行

大

数

据

资

产

平

台

监控大

屏通过数据资产目

录

对

全

集

团

发

布，

并

用

业

务

元

数

据

解

释

数

据含义，

便于业

务

人

员

寻

找

自

己

所

需

的

数

据

。

业

务

人

员

可

以

对

自己所需数据

提

出

申

请，

数

据

管

理

员

审

批

通

过

后，

业

务

人

员

可以利用零代码敏捷分析工具自助分析取数

，

实现数据赋能，项目名称：

某能源集团大数据资产平台项目内容

：

建

立

集

团

级

大

数

据

资

产

平

台，

运

用

大

数

据

技

术

实

现数据采集

、

清

洗

、

分

析

建

模，

实

现

了

集

团

全

量

多

源

异

构

数据采集，

并对

核

心

的

人

力

、

财

务

、

设

备

、

煤

质

、

生

产

安

全

数据进行数据治理

，

形成高质量的数据资产。据资产能源案把握数本兼治例：支持日常生产经营管理。标项目成效：

主数

据

管

理

平

台项目内容：

对人力资源

、

财务

、

物资

、

销售

、

设备、设计

、

工艺

、

生产和物流运输主题域等主数据进行

标准化管理，

建立起企业自己的数据管控团队，

规

范数据管理制度与流程。其中物料主数据

，

涉及40+大类

，

3000+小类

，

10万+实体数据，

并实现供应链等其他经营系统的数

据对接共享。完成人力资源

、

财务

、

采购

、

营销