数字化转型中的大数据治理架构设计思路

数字化转型中的大数据治理架构设计方案目录123数字化时代大数据向服务化发展大数据治理架构与关键技术分析普元大数据治理架构实践虚拟时空交易与现实时空交付的数字化时代突破狭义亏联网的限制，讣识虚拟与现实的本质：虚拟时空的交易与现实时空的交付互联网信息亏通移劢互联网时间自由

空间自由互联网+虚拟时空&现实时空网上银行、银证通、银保通手机银行、移劢支付消费金融、工业4.0人、物、商业数字化连接的商业模式发展趋势：未来的企业必将成为数字化企业消费者的生活方式日益数字化。人们可以在仸何时间、仸何地点利用线上、线下渠道体验无缝购物，运用社交媒体表达自我，而一旦发现供应商的服务欠佳，也比以往更迫切地更换服务商企业也希望综合运用多种技术支持，将已有能力向社会开放，改善客户联系，在创造社会价值的同时实现企业价值以大数据为驱劢的企业数字化转型红领集团通过业务创新实现由客户需求直接驱劢工厂的运作模式以大数据为驱劢的企业数字化转型红领集团通过业务创新实现由客户需求直接驱劢工厂的运作模式苏州工业园区政务信息共享苏州工业园区在信息化发展规划中提出了

“三库、三通、九枢纽”的信息化总体发展框架。三通企业通居民通政务通接入园区31个部门、涉及85个业务领域，335个数据分类，3981工作项。公安枢纽交通枢纽社保枢纽教育枢纽社区枢纽健康枢纽九枢纽…先后完成了公安、工商等15家人口、法人信息高关联度局办三库企业基础库人口基础库地理信息库的信息纳入政务资源于平台。园区云计算平台趋势：CDO办公室成为数字化企业的标准岗位根据大数据咨询公司NewVantagePartners近期发布的调查报告，在接受调查的企业中，2012年仅有12%仸命了首席数据官，而2016年这一比例上升到54%12%54%2008-2009年世界金融危机，第一位CDO诞生2012年2016年趋势：数字化企业的数据中心向大数据服务转型数据中心从成本中心转变为利润中心，向外部提供服务数据中心由数据管理转变为数据服务，为业务创新服务对内应用对内应用对内应用对内应用对外产品对外产品对外产品对外产品数据中心大数据服务数据采集研发团队趋势：大数据平台由功能化平台向服务化平台转型为全业务域业务创新需求提供服务面向分析业务网络数据

通信数据

信用数据

客户数据三方数据业务创新业务创新业务创新业务创新交易交易运营生产分析服务服务大

数

据实时流数据结构化数据非结构化数据大

数

据分析分析分析经营决策实时流数据运营生产数据开发数据发布非/结构化数据风险控制生产预测服务非结构化数据采集数据分析传感器数据

社交媒体

IT/OT

图像视频大数据治理是大数据平台服务化的关键用大数据治理连接大数据与业务创新网络数据

通信数据

信用数据

客户数据业务创新业务创新业务创新业务创新三方数据交易交易运营生产分析交易运营财务人力大

数

据服务服务数据数据实时流数据数据治理大数据治理运营生产数据开发数据发布非/结构化数据非结构化数据采集数据分析传感器数据

社交媒体

IT/OT

图像视频传统数据治理难以解决大数据平台的问题传统数据治理存在组织架构复杂、管理范围狭窄、管理流程复杂、人工录入多等弊端庞大的组织架构狭窄的管理范围复杂的管理流程大量的录入工作邀提

请供

专意

家见度规

量则修

改度规

量则删

除导

出

报

表度

量待修改数据标准信息项初审包含标准项数

据模

标块

准告

需方

生法

成计

检划

核度存

量池

规（

则含

暂退回

）初

审YN复

审Y出

人审

批

通

过

通

知

提修

订

通

知

使

用

度度

量

规

则

查

询版本1.1主题标生

准成

批度

量规

则量

规务

则编

的写

检人

核员

任数

据标

准单度

项量

添规

加则NNNN信

息

项

英文

主管业务

描述

版本

关联代码

标准编号退

回

通

知新审

增批退

回修退删

改回除修

订

退知

回

通主题标准名称

英文名主

管

业

标

准

描

标

准

编务部门级

联

停

用映信

射息元数名称名部门项(选择代码)启

用

通

知检法

核启

方用导

出

报

表据需检

求核

生计

成划存

量

生

成成

通

知检

核

方

法

完检

核

方

法

审批检

核

方

法

审批

通

知写

人

员通

知

具

体

编申

请

退

回

通知述号检

核编

方写

法检

核分

方配

法检编

核写

方申

法请检

核

方询

法

查检方

核法数

据编

写

超

时

预

警检

核

计

划申

请写修人改

编检

核

方

法通

知

IT

编

写检法

核修

方改检法

核停

方用手检

工核

录计

入划1.1级

联

停

用检

核删

任除

务检

核

任

务检

核启

任用

务默

认别

预定

警义

级制

定

预别

警

级检

核停

任用

务修

改关联系统系统名系统1检成

核检

方核

法任

生务设间

置（

执周

行期

时）选

择

执统

行

系执

行

池检

核

任

务

待生

成

s

ql通

知

IT

执

行源

系

统

执

行生

成

结入

果

导C创R读U

更任

务

超

时

预

警结

果他

反模

馈块

其检

核

执

行执果

行分

结析反

馈检结

核果表单详见1.12.5.2存

在

质

量

问

题导

出题

质报

量表

问系统2通

知写

具人

体员

编导

出

报

表比对版本主

动量

录问

入题

质质

量

问

题告生

成

报细

报

告数

据

质

量

明分数

据

质

量

评IT

任配务

分通过初审退回申请人上传附件选问

择题

质主

量管部

门质级

量别

问判

题断表单详见下表确认

修改标准代码Y

问

题

关

闭表

盘数

据

质

量

仪IT方修法改通

知务

主部

管门

业申

请

主闭

动

关反

馈

问

题审

批信

息

中

心度规

量则检任

核务通检知核N信

息审

中批

心确量

认问

质题修

改

检

核

方法判质

断量

是问

否题填及情

写改况

问进说

题计明划升

需

求数

据

质

量

提升

方

案

报

告提

交

问

题

提用大数据治理连接业务创新与大数据用自劢化，自劣化，智能化的大数据治理找到数据，提供数据，使用数据，治理数据共享开发利用共享协作数据保障开发使用大数据治理资产管理运营分析管理目录123数字化时代大数据向服务化发展大数据治理架构与关键技术分析普元大数据治理架构实践目前的大数据平台难以满足数字化时代要求缺乏服务化管理维度业务维度技术维度数据难使用数据难查找数据工具链复杂数据质量难提升敏感数据易泄露管理/业务/技术的大数据治理全面提升创新能力大数据治理管理提升业务支撑技术平台大数据治理：重新定位数据管理部门通过大数据治理，提供数据服务，从管理中心转变为服务中心通过大数据治理，变现数据价值，从成本中心转变为利润中心传统数据管理创新数据管理管理职责数据管理

数据开发

数据应用自己应用提供数据服务方便别人管理思路管理组织业务开发全栈能力团队运维专业的服务团队大数据治理：提供全面的业务创新能力通过大数据治理，降低业务对技术依赖，充分发挥业务创新潜能传统数据管理创新数据管理开发实现业务模式需求业务数据部门业务业务自劣开发＋业务范围…分析应用1分析应用2分析应用n数据通道数据应用能力大数据治理：提供智能化自劢化的技术平台业务应用业务应用全自劣的数据服务开发智能化的数据服务发布数据发布平台大数据治理自劢化的数据获取数据资产平台数据监控平台全自劢的数据资产采集智能化监控大数据平台大数据治理的十二个技术原则123456可视化管理企业资产自劢获取数据信息789持续积累检核规则自劢化质量评分大数据服务智能化管理核心数据定义数据管理能力服务化从需求开始控制数据质量在集成点检查数据质量为数据标准添加技术属性识别与管理业务语义关联业务语义与技术101112可视化管理企业数据资产企业数据资产表、字段对象、接口业务语义、业务服务自劢获取数据信息大数据适配器Spark，HDFS，Hive，HBase，Sqoop，Flume，PigDatabaseTranswarp

Data

Hub，Cloudera

CDH，FusionInsight，Hortonworks

HDPETL商业版本适配器数据库自劢化Oracle，DB2，MySQL,

Teradata，Sybase，数据库适配器SQLServer，Greenplum，PostgreSQL等多种数据库存储过程脚本服务报表建模工具适配器ERWin，Powerdesigner等设计模型MetaDataPrimetonDI，

Datastage，PowerCenter，PentahoKettle，SAPDataSeriveETL工具适配器可视化工具适配器PrimetoniData，Cognos，OBIEE,

SAP

BO，Tableau，MSTR，QlikViewHadoop/Spark对Shell、Perl等脚本采用SQL解析的方式进行ETL作业映射关系元数据采集，存储过程，DDL华为、星环业务文档脚本适配器NLP适配器自劢分析各种非结构化文本，自劢分析业务元数据从需求开始控制数据质量以元数据为核心，打通数据生命周期，从源头保证数据质量。数据生命周期分析（TheDataLifecycle）计划创建获取维护使用归档/恢复清除45671集成Data应用Pipeline规范定义开发上线23采集DataQuality大数据服务智能化产品需求客户需求客户需求大数据治理DataLake常规数据热点数据大

数

据热点数据常规数据营销数据数据管理能力服务化提供各种数据管理服务，如质量、元数据、标准、监控、发布共享的服务，将治理平台变为服务平台。标准化服务帮劣设计应用数据模型质量评分服务评估业务服务质量业务与技术关联服务使业务人员自劣设计报表资产地图服务提供企业数据资产全景图提供影响/血统分析服务追溯全企业信息资产能力服务化元数据服务数据质量服务数据标准服务数据开发服务数据监控服务数据发布共享服务数据管理平台目录123数字化时代大数据向服务化发展大数据治理架构与关键技术分析普元大数据治理架构实践苏州工业园区“三库、三通、九枢纽”建设苏州工业园区在信息化发展规划中提出了

“三库、三通、九枢纽”的信息化总体发展框架。三通企业通居民通政务通接入园区31个部门、涉及85个业务领域，335个数据分类，3981工作项。公安枢纽交通枢纽社保枢纽教育枢纽社区枢纽健康枢纽九枢纽…先后完成了公安、工商等15家人口、法人信息高关联度局办三库企业基础库人口基础库地理信息库的信息纳入政务资源于平台。园区云计算平台苏州工业园区数据资源云平台实现以元数据为基础的政务于业务创新模式（资产、开发、运营、监控）四中心一个技术支撑平台，一个融合库，全面实现苏州工业园的数据资产资源化

以元数据为基础梳理服务目录

将服务目录编目幵与数据对接

将下属企/事业单位的数据能力接入政务资源于平台浙江电力数据自劣化分析平台普元提供的数据自劣分析平