数据中台与数据治理服务方案

数据中台与数据治理服务方案一

、数据中台是什么二

、数据中台建设三

、数据治理服务四

、案例分享目录2

利用政务服务过程中各部门业务系统产生的和一切拥有或者可以获取的数据，进行整体建模和二次加工，从而产生新的数据，利用这些新的数据驱动政府管理效率、提升政务服务能力以及增强数据活力。这个过程称之为数据化。业务活动数据运营数据治理

数据化的定义数据资产数据资源数据应用数据供应链数据治理过程数据化

运营组织数据化

咨询规划业务创新一网通办一网协同数据应用数据资产数据资源3数据治理：解决整体架构问题数据资源：数据化建设的根基数据资产：完整、健壮、数据中台的核心建设内容数据应用：业务价值的转化关键点数据标准、数据组织：人的保障和标准体系数据质量：保证加工过程中的质量问题数据安全：保证数据正常使用不丢失和被窃取数据治理(数据化架构搭建)数据标准数据质量数据组织数据安全

数据化工作框架图数据应用数据资产数据资源4

Step1

Step2

Step3

Step4

Step4•会计电算化•办公自动化•大量应用使用与部署•

ERP•系统的大量内部集中•信息中心•数据治理•大数据•数据中台•数据应用•BI分析•管理驾驶舱•数据中心•应用中台•分布式•自研发•财务报表•业务报表•编码规范•

AI•数据智能•......

数据化背景SOAESBportal信

息

化数

据

化业务产生数据数据反哺业务Step1Step2Step3•••56

数据中台指导数据化整体规划----全面指导数据化工作；

数据中台汇聚全域数据----构建数据应用的基础，数据资产管理；

数据中台检验数据质量CONTENT

数据中台支持数据应用高效

、低成本落地----缩短应用落地实践的时间，提升成功率；

数据中台提供数据组织规划----组织是数据化能够全面展开的保障

。•数据中台•汇聚数据，拒绝数据烟囱•提升开发效率，降低开发成本•统一建模•大数据开发平台数据中台资源盘点应用规划数据应用数据应用数据应用数据应用数据应用数据应用

数据中台与数据化的关系----检验数据成果，提供高质量数据；数据运营组织规划数据中台：政务服务数据化是一个整体工作，通过数据中台的构建，让其为各个部门的业务活动，

各个层级提供充分的、综合的数据服务。数据中台

(数据大脑)

数据中台的定义业务

(

AP)应用

(

TP)数据7

05

数据资产在线化传统数仓的数据管理和治理，往往花费大量精力，

最终形成的是离线的规范和文档；数据中台则强调

元数据管理统一入口的自动化和数据资产管理的在线化

04数据应用创新传统数仓以某个业务主题的BI报表和决策支持为主，目的性单一，烟囱式建设；数据中台则主张全域数据、打通数据孤岛，释放业务方数据应用创新的能量建设模式传统数仓往往采用自顶向下的建设模式，以明确的业务分析驱动，延续性低；数据中台采用自底向上的方式，结合业务需求变化不断迭代、升级、创新分布式数据平台传统数仓以关系型数据库离线分析为主；数据中台以分布式引擎架构，同时支持离线计算/实时计算/即时计算/智能计算数据开发一站式传统数仓往往将ODS、EDW和ETL开发切割到不同厂商工具实现；数据中台则主张一站式可视化数据开发，借助分布式技术简化数据加工处理的过程数据源丰富传统数仓以业务数据库的结构化数据为主；数据中台涵盖业务数据、日志数据、行为埋点数据、IoT数据、爬虫数据、社会数据等

数据中台与传统数仓的区别020103068数据智能化通过大量智能算法训练，形成数据大脑，产生智慧的力量，预先洞察未来

。数据标准化统一建模、统一视图、

统一管理。避免重复抽取和维护带来的成本浪费。数据不断的进行补充，数据模型不断地进化，通过对数据不断地完

善，使其从最初的单一字段逐渐成长为最

为宝贵的数据资产

。数据服务化数据资产化数据中台是培育业务的创新的方法基础，

是利用数据促进业务

创新的保障

。

数据中台的价值9赋能让部门的前后台用户深入理解价值，推广和持续性的优化赋能数据服务在部门之间的调用，都伴随着数据流动。重

点是输入、输出、自身处理逻辑、沉淀数据内容组织谁负责提炼数据(业务架构负责人)、谁负责持续运营管理共享这种数据在部门间有共享的需求服务以服务的方式对外提供数据展示中台可以支撑业务，也可以辅助决策

数据中台战略的核心要素能力核心是部门数据提炼一

、数据中台是什么二

、数据中台建设三

、数据治理服务四

、案例分享目录1112数据采集存储数据治理数据服务数据开发满足企业各类开展治理，沉可对外提供数支撑数仓建设、型数据的采集存储淀数据资产据，实现共享数据处理计算、数据分析挖掘等获取所有源数据，对数据源质量进行分析，并提供分析结果，推进数据源质量提升解决传统数仓的一些技术瓶颈问题，同时将开源体系的使用门槛降低，开发效率提升。向下推动数据治理，向上推动数据应用，向前推动应用建设和业务变革所有数据汇聚之地数据应用支撑平台技术的革新与进步汇聚全域数据，保证数据的完整建模和使用

数据中台定位数据源质量检测推进平台3.32.4

组织架构设计2.3

数据标准/标签/规范2.2

应用场景梳理2.1

业务模型设计建设数据资产123454.3

算法类数据应用4.2

领导驾驶舱4.1

报表分析类应用开发数据应用3.1技术框架设计

数据中台建设步骤1.3数据资源质量检测梳理体系架构规划运营组织盘点数据资产3.2数据模型设计数据组织规划与建议未来数据资源规划现有数据资源盘点ETL及数据开发运营能力迭代5.21.1

5.1

1.213梳理内容还包括：1、有哪些部门哪些处室权责下的业务活动有系统支撑，系统功能是否完全满足部门开展相应的业务活动的需求、系统产生的数据是否可以共享，共享情况？2、没有系统的部门处室，业务活动产生的数据如何采集、如何共享？3、是否存在僵死系统、未上云系统；4、系统的安全性、数据的安全性；等等方面梳理工作梳理权责清单

(组织架构)按编办“三定方案”对省直部门进行职责梳理、职责对应业务活动的的梳理、业务活动对应业务系统的梳理、业务活动对应所需材料的梳理、已经业务活动对应产生材料的梳理

。梳理间接成果物1、数据责任目录2、数据需求目录3、数据负面目录结合数据资源盘点情况，确认指标支撑情况通过指标关联数据应用场景根据数据应用评估体系进行整体评估确定实施优先级及行动路线

第一步

、

数据资源盘点

(

一

)梳理直接成果物1、职责目录2、系统目录3、数据目录数据血缘关系按数据类型1、结构化数据2、半结构数据3、非机构数据14梳理所有已有数据资源，提出数据资源建议，对数据资源情况做初步评价15可以用一些工具来完成数据资源盘点、梳理工作，一方面便于统计分析确定数据血缘关系，充分了解各部门有哪些数据，另一方面需要把梳理成果作为平台下一个环节的输入。(目前数字政府转型用到的这种数据资源盘点工具很多厂家都在做；国脉也有一整套体系完整的数据资源盘点工具：包括部门职责、行为活动、产生了哪些数据资源、承载数据的系统、系统涉及到哪些网络资源、云资源等等)

第一步

、

数据资源盘点

(二)CONTENT1、结合数据资源盘点情况，确认指标支撑情况；2、通过指标关联数据应用场景；3、根据数据应用评估体系进行整体评估；4、确定实施优先级及行动路线1、将数据应用场景层层拆解，细分到指标及标签粒度；2、依据应用场景标准、指标及报表体系构建数据模型；3、建立管理及维护机制，确保数据权威性和内部一致性。1、了解业务流程、了解数据应用、了解相应的技术，构建业务模型；2、基于最佳实践知识库；3、基于深厚的数据应用能力及经验

。清晰描述所有业务流程，应用场景，相互之间的关联关系，描述数据应用场景所需指标、标签、数据API，及成本评估1、梳理业务流程2、梳理业务架构3、梳理数据责任4、数据安全5、入湖(数据资产)标准

第二步

、

数据应用梳理规划

(

一

)业务架构数据应用场景梳理标准/指标/标签体系构建基于数据资源的实现路径规划16数据模型元数据采集接口采集

第二步，

数据应用梳理规划

(二)数据管理与应用规则数据关系(血缘

、引用)元数据标签数据分类/数据主题数据来源/存储位置数据库表业务对象/过程元数据血缘追溯元数据分布地图元数据统一检索变更自动感知版本管理状态管理流程审批元数据管理功能元数据内容标准化

数据

定义元数据统一服务元数据管控业务

解释数据

记录新增抽取导入17三个主要工作内容

第三步

、

数据资产平台建设

(

一

)数据开发数据建模数据抽取18OneService主题式数据服务主题逻辑表屏蔽复杂物理表统一但多样化数据服务一般查询+OLAP分析+在线服务跨源数据服务屏蔽多种异构数据源19OneData数据标准化数据规范定义从源头标准化技术内核工具化规范定义、建模研发、调度运维、···元数据驱动智能化半自动化->智能化规划计算和存储OneID技术驱动数据连接基于超强ID识别技术连接数据技术内核工具化超强ID识别、高效标签生产、···业务驱动技术价值化孤岛->高质量->高价值

第三步

、

数据资产平台建设

(二)设计方法论全流程一体化从数据采集到数据服务全

链路通向上多样化赋能场景通用场景+主题场景+专

题场景双向联动业务场景&技术协同互助向下屏蔽多计算引擎公共云+专有云+私有云

确定存储结构(存储时间、存储空间利用率和维护代价)

确定索引结构(专用的、复杂的、文档的)

确定存放位置(归并、冗余、建立数据序列)

优化存储分配(块大小、缓冲区大小、个数等)逻辑模型设计物理模型设计

粒度层次划分

事实量度确定

数据分割策略(数据量、分析的实际情况、简单易用)

结构模型确认

第三步

、

数据资产平台建设

(三)数据库模型设计

确定主题

确定主题域的边界概念模型设计20

CDM层又细分为DWD层和DWS层，分别是明细宽表层和公共汇总数据层

DWD：以维度模型方法基础，采用维度退化手法，减少事实表和维度表的关联

DWS：加强指标的维度退化，采取更多宽表化构建公共指标层，提升公共指标的复用性

同步：结构化数据增量或全量同步

结构化：非结构化(日志)结构化处理

累积历史、清洗：根据数据业务需求及稽核和审计要求保存历史数据、数据清洗

个性化指标加工：复杂性(指数型、比值型、排名型指标)

基于应用的数据组装：大宽表集市、横表转纵表、趋势指标串基于OneData数据模型分层设计

第三步

、

数据资产平台建设

(四)业务数据层(

ODS

)21数据融合模型层(

CDM

)数据应用层(

ADS

)高内聚和低耦合主要从数据业务特性和访问特性两个角度来考虑：将业务相近或者相关的数据、粒度相同数据设计为一个

逻辑或者物理模型；将高概率同时访问的数据放一起，将低概率同时访问的数据分开存储

。公共处理逻辑下沉及单一越是底层公用的处理逻辑更应该在数据调度依赖的底层进行封装与实现，不要让公共的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。核心模型与扩展模型分离建立核心模型与扩展模型体系，核心模型包括的字段

支持常用核心的业务，扩展模型包括的字段支持个性化或是少量应用的需要，不能让扩展字段过度侵入核心模型，破坏了核心模型的架构简洁性与可维护性

。22开发过程规则表命名需清晰、一致，表名需易于消费者理解和使用，相同的字段含义在不同表中字段命名必须相同，

必须使用规范定义中的名称。开发规范数据可回滚处理逻辑不变，在不同时间多次运行数据结果确定不

变成本与性能平衡适当的数据冗余换取查询和刷新性能，不宜过度冗余与数据复制。

第三步

、

数据资产平台建设

(五)

第三步

、

数据资产平台建设

(六)数仓开发数据定时/实时同步，建立DW/OLAP分析模型开发历史数据加载的程序和

处理流程开发日常增量加载的程序和

处理流程针对开发后的ETL脚本进行

自测和交叉测试开发数据备份与恢复程序数据模型性能调整和优化数据模型性能优化数据备份和恢复增量数据加载历史数据加载数据模型测试ETL开发23

数据应用是数据中台价值的延伸，是业务价值的直接体现；

从建设流程上来看，数据应用建设分为业务需求调研、业务场景设计、产品设计、应用开发、测试与校验、上线与试运行、运维等阶段；如果应用建设中包含算法类应用，还需预留模型效果验证与调整的节点；

从项目整体建设角度看，数据应用的调研和整体规划要先于数据中台数据模型设计，应用开发可以与数据中台的数据开发工作串并行；

从应用的迭代优化角度看，还需要建立一套规范的数据应用迭代、优化机制，来保证应用上线后的稳定。

第四步

、

数据应用建设

(

一

)需求调研从业务管理目标入手，探索数据应用场景功能设计深入业务应用场景，满足用户使用体验场景设计引入行业分析框架，规划设计应用蓝图迭代与优化需要建立一个相对规范的迭代机制应用测试数据校验是数据应用的重要环节应用研发基于主流BI工具或技术栈研发上线与

试运行上线与试运行

第四步

、

数据应用建设

(二)典型数据应用的建设目的数据中台价值论证数据价值的论证业务协同的磨合25洞察细节业务数据化数据资产化资产价值化看清业务智能决策智能业务建议业务自动运转数据智能

第四步

、

数据应用建设

(三)数据应用三个层次数据分析数据挖掘26交通人力信息数据表社会综合数据表交通服务数据表气象信息数据表旅游水文信息数据表建筑信息数据表ods_国土数据区ods_水利数据区ods_人社数据区ods_公安数据区ods_交通数据区ods_气象数据区dwd_temp_应急dws_信息汇总tdm_标签分类ods_旅游数据区dwd_temp_旅游点dwd_temp_地点dwd_temp_人员水位信息/10,000建筑物信息/3,500旅游点信息/100旅游信息数据表

第四步

、

数据应用建设

(四)统计分析/1,000警务监测/1,000车辆信息/500城市运行

–

日常监测事件分布/突发

公共事件告警公安人社水利国土气象整合明细层DWD日常监测看板汇总层DWS贴源层ODS气象信息/100集市DM数据源过员联

通人关过急联

通应关API27随着这些年政府数字化转型实践不断深入，发现“运营”比“建设”更重要，过去信息化项目建设的交付解决方案已经不能满足需求；数据业务化、业务数据化，数据化与业务活动融为一体，要实现“数据业务化、业务数据化”，数据化项目承建单位需要成立数据化运营的组织、机制和流程。数据化运营

第五步，

数据化运营

(

一

)数据技术发展的要求数据业务化的要求业务数据化的要求政府数字化转型28规范产品数据治理

第五步，

数据化运营

(二)数据组织的定位业务价值数据应用数据资

产数据资源信息化建

设数据标准数据质量数据安全组织29数据资源掌握资源情况(构建委

会体系)进行资源规划建

议成果可视化数据资产数据获取数据仓库建模数据开发数据运维数据应用应用规划应用设计标签/指标设计应用开发应用运营数据标准指标、标签定义数据开发规划数据仓库设计规范数据质量基础数据质量提升(主

数据管理)IDMapping交易数据质量提升行为数据质量

提升数据安全数据生产安全数据存储安全数据获取好和使

用安全数据交换安全

第五步，

数据化运营

(三)数据组织的定位30组织岗位规模职责专业背景业务运营组织数据应用分析师1与相关部门紧密结合，了解数据应用场景数据

需求，分析数据应用结果，优化效果，并提出对应的解决方案，技术方案，及产品方案，为数据成果的应用效果负责1、了解数据应用场景3、了解业务架构、业务流程4、具有较强的分析能力和沟通能力5、具有较强的项目管理能力和组织能力数据应用业务员3辅助数据应用分析师工作，了解数据应用场景，

推进数据应用场景对数据的使用，发现问题

，及时解决1、熟悉业务流程2、具有基本数据分析能力3、了解相关部门数据化状况4、有较强的协调和沟通能力5、较好的执行力数据分析及开发组织数据分析师3针对数据应用场景和各种突发问题，从数据角

度进行全面客观分析，分析结果供各级相关部

门主管使用，对数据分析报告负责，并需要与相关部门一起关注报告的处理结果和效果1、较强的数据应用场景理解能力与数据分析能力2、遵守数据分析人员职业操守3、数据分析经验数据开发3数据开发工作1、SQL书写能力2、建模能力3、业务理解能力算法工程师1通过算法解决复杂数据场景问题1、数据分析能力2、统计类算法能力数据标准化管理组织数据管理主管数据管理的决策和领导，主管信息技术1、事务性工作数据标准化专员1处理数据标准相关的日常问题1、了解政务数据规范与标准运营组织建设

(四)31一

、数据中台是什么二

、数据中台建设三

、数据治理服务四

、案例分享目录32数据需求清单

数据责任清单数据标准元数据......公共数

据资源附加属性业务属性数据仓数据湖数据服务化用业务活动全景图逻辑实体属性业务梳理、系统梳理概念模型制定质

量标准质量改进分析数据流向梳理逻辑模型质量评估六大特性数据质量标准数据模型治全域数据资产数据资产梳理业务流程业务活动

数据治理及数据集设计的整体方法论盘职责目录

系统目录数据目录完整性

有效性

一致性

获取源系统数据字典获取源系统数据资源扩展属性基础属性ID数据负面清单系统&数据业务对

象识别

业务

场景管理

元数据业务

元数据逻辑设计系统调研业务调研业务&数据集主数据扩展唯一性

准确性及时性33...34•提升数据准备度，为业务运作提供可信的足量的数据支撑•实现业务上下游数据的快速传递共享，提升业务运作效率•数据质量的持续提升减少纠错成本，降低运营风险，提升业务服务满意度数据集成与共享数据分布数据资产目录架构模型组织架构数据模型规范数据模型设计实体、属性识别数据模型管控数据模型数据销毁安全数据交换安全数据处理安全数据存储安全数据传输安全数据采集安全数据安全数据落IT系统指标数据数据字典发布业务对象识别数据标准制定数据标准数据质量改进数据质量度量数据质量控制数据质量标准数据质量数据地图血缘关系元数据

元数据规范元数据

数据治理框架•有效的数据质量控制•高效的数据共享•一致的数据标准•可信数据源数据治理组织/流程数据治理框架价值

体现治理

诉求优化提升夯实基础职责&业务活动数据导向展开(自下而上)组织架构&规章制度标准规范业务系统(

OLTP)增量部分落标应用场景导向展开(自上而下)数据安全合规制度规范数据安全(数据分类分级)数据资产目录&数据服务(数据运

营)数据标准核标

(管理看板)技术元数据数据质量检查

(管理看板)业务模型数据资产盘点(元数据-数据标准关联)通过数据模型设计规范贯标业务数据基础数据标准数据模型赋能部门业务

数据治理路径数据湖数据架构(OLAP)主数据35

一体化数据架构这一步是数据中台核心工作内容，其中业务模型、数据模型也是数据中台建设的关键所在。数据资产(数据湖)数据标准业务模型

业务流程业务架构数据责任数据安全

入湖标准元数据数据模型数据资产目录数据资产层标准层架构层加工层36模型发布模型治理运营无人DDL脚本模型上线交付核标与数据质量元数据融合资产目录维护数据权属认责信息分级分类逻辑数据湖数据标准落标模型设计数据湖实时入湖批量入湖元数据管理部门业务系统数据库

TP&AP一体化建模体系技术元数据采集数据标准落标率模型审计定时/自动采集应用&数据

交付一体化数据资产

数据湖4

、连接&萃取自动发布逻辑实体

、属性定时/自动采集5

、应用开发1

、部门数仓3

、数据建模2

、数据同步6

、数据校验数据模型管理湖侧元数据模型验证自助入湖37需求分析运行维护系统测试

开发阶段的数据模型标准化数据模型设计是开发过程的重要一环，影响程序架构，内外部API，会影响业务逻辑，以至分布式组件架构。详细设计业务概念模型逻辑模块领域类图物理模型实现类图模型基线数据库差异数据字典物理模型基线封版上线概要设计上线交付数据库具体实现Hibemate/JPA澄清业务需求设计数据流程功能模块设计主要数据属性数据模型

封板交付编码开发数据库监测

项目成效由数据资产系统建立数据模型管理，实现数据模型事前-事中--事后的管理通过统一模型工具以及在数据资产管理平台简历数据模型管理功能，实现数据模型事前-事中-事后的管理。并且实现了数据资产管理的闭环

。元数据完整性检查其他(模型浏览、探索等)数据资产的闭环，通过模型关联元数据和标准，为数据标准落地打下基础设计模型模型检查与监控模型审核一致性对比架构师等人员审核模型完整性检查数据

模型数据

标准元数据事前事中事后39模型工具自

动审核提供核准通

过证书确定标注主

题逻辑模型参

考模型工具自

动监测差异发送差异报告模型库提供模型落标报告审核重点标

准使用问题通过模型工

具自动落标初期提供落

标指导人员设计上线维护开发测试定位核准监测落标评审

自动化和落标流程基础知识储备培训/架构/工具自动检测

发送报告标准落标

过程管理实时推荐

人工服务自动检测

智能核准工具辅助

人工审核开发过程管理数据标准管理模型设计模型审核元数据管理数据标准管理员项目组模型设计员模型架构师元数据管理员NYYNNY是否提供模型反馈意见N是否通过模型评审N是否与基线模型一致？Y线模型

数据模型管控流程修改模型并提

交模型评审引用数据标准数据库上线采集元数据发布模型报告使用建模工具

进行模型设计数据标准管理数据标准审核

发布邮件通知相关

负责人自定义数据

标准是否有可引用

的数据标准？数据标准体系

建设发布数据

标准？发布基Y•不建议在没有业务需求时，强制按标准进行系统改造•配合已有的系统改造计划，将数据标准要求作为需求执行•可考虑在不同系统交互时，完成标准转换•不强制执行•可作为外购产品的评估指标•可考虑在不同系统交互时，完成标准转换•在业务系统建设时，执行适用的数据标准•新建系统的代码应遵照数据标准项的代码

不同类型系统的落标策略新建

系统现有

系统外购

系统42内部数据重要数据核心数据涉密数据内部公文、业务数据、组织架构等企业经营数据、个人信息等极大商业价值数据、核心商业、敏感信息等国际有关保密规定、涉及国家安全秘密、机密数据、特殊用途研发数据等《数据安全法》《网络安全法》《中央企业商业秘密安

全保护技术指引》《个人信息保护(草案)》《个人信息安全规范等》基础风险排查数据库的漏洞情况，补丁情况，安全配置情况，

是否存在诸如弱口令，缺醒口令，高危代码等认为造成的使用缺陷统计分析，可视化展现账号检查梳理检查已有的数据权限情

况，尤其是高危操作的权限，特权账号的权限，运维人员的权限，以及43在用的管控措施结合法规要求，优化数据分类分级标准，联合数据治理团队，提供数据分类分级方法，识别最重要的数据，形成数据分类分级标准参考目录，同时识别重要数据资产安全风险隐患公开数据

公开发布的财务报表、业务通告和政策等数据资产排查数据分级规则

数据安全分类分级盘点数据资产梳理访问状况源，不同使用场景等条件进行数据资产使用情况的形成资产地图，包括数据库，表的详情和数量按不同时间段，不同访问盘点数据资产分布情况，依

据参

考

数据安全架构和授权体系数据安全三维框架：

人—数—安全框架数据自动授权体系：

建自动访问体系和白名单相结合44OLAP数据资产和安全管理安全定密盘点分类数据标准治理敏感数据识别脱敏数据流脱敏函数脱敏规则访问策略数据安全框架数据安全分级数据安全分类数据安全管理制度组织机构组织人员访问等级数据安全

共享制