大数据治理平台建设与应用解决方案

大数据治理平台建设与应用解决方案0大数据治理平台背景②大数据治理平台应用场景分析③大数据治理平台建设方案④大数据治理平台行业案例目录电

信持有大量用户数据，对数据资产的售出，将成为行业的新增长点。金

融各行业的金融信息流可结合第三方数据，更

深入分析

客户情况。制造从传统制造到互联网+的转型，大数据是核心动力政府大数据已经成为国家战略，政府机构大数据将能够更好

的治理社会电

力大数据资产已经成为电力行业的关注重点，利用大数据

在生产，营销，物资等多方面提高效

率大数据时代到来，我们已被海量数据信息包围舆情

数据第三方

数

据研发

数据舆情

信息数据管理

数据广告

数据搜索

数据刑侦

信息风险

信息监测

数据用

户

信息社交

数

据实施了大数据项目，所采用的技术众多模型算法SparkHBase列存储Storm流处理BI分析

数据挖掘Hive大数据存储应用广泛，具备大数据必备因素现阶段大数据技术Hive、Spark、Storm、Hbase已

使

用广泛，解决了大数据存储问题。ETL工具、FLUME组件负责大数据交换问题大数据存储数据的传输问题也有大数据组件解决，如

Flume,主

流ETL

工具等。■数据BI、数据挖掘通过数据BI软件、数据分析挖掘通过大数据平台的相关组件也可以进行相关分析。现阶段我们已经应用了很多大数据技术■数据产品厂商，缺乏场景使用经验数据平台厂商与数据应用厂商往往不是一家，平台厂

商缺乏数据应用建设经验。数据应用厂商不能理解平台内数据业务含义具有涉密数据开发资质的厂商有限，但并不了解大数

据平台内部数据的含义。各厂商之间交换的数据质量得不到保证大数据建设项目被分为数据平台、应用、业务等多个独立项目和厂商，之间的衔接部分没有人管理，造成数据质量差。现阶段已经有了众多的大数据技术团队平台提供商数据分析厂商数据提

供商产品提

供商解决方

案提供商我们还需要

哪些数据建

设厂商?众多数据建设厂商，还缺哪个?业务算

法提供商业务需求·

大数据平台没有创新需求点·

数据使用者无法理解数据模型·

平台建设厂商不懂数据·

拿到的使用数据根本没法用·…....业务需求集中响应·

众多大数据厂商难以协调·

厂商管理之间的空隙没填补

·

数据质量问题来回推诿.…shuttmKstul需要专业的大数据管理团队能否有效的解决大数据快速、透明化的使用管理需求技术需求·

大文件数据传输慢·

大数据量实时传输没有解决方案

·

没有统一的技术管理平台·

跨平台数据问题无法追述需要全面支撑的落地平台·……0大数据治理平台背景②

大数据治理平台应用场景分析③大数据治理平台建设方案④大数据治理平台行业案例目录厂商Z:我只是提供数据共享平台，厂商X的数据特性平台无法支持，产品不能动。厂商Y:

我只是提供数据存储平台，不了

解业务建设需求。厂商X:

只了解业务系统特性，对于大数

据平台需求平台产品特性不清楚。大数据平台化的发展趋势与现状传统的应用按照业务建设，一个厂商需要负责数据采集、存储、数据应用等全部过程；大数据时代，技术更加专注和专业，系统建设趋势是采用横向切分模式。数据中心集中建设需要解决“应用和平台分离”建设模式带来的新问题。应

用百花齐放数据应用

数据应用应用：我有数据分析经验，但是我拿不到高质量的数据。目前拿到的数据不能用。厂商Z厂商Y厂

商X访问层存储层

数据源转鞋数据应用使

用

不

明

确：由于数据业务特性与使用方法不统一，难以对结构化数据、半结构化、非结构化

数据的快速集成和共

享。监

控

不

到

位

：在实际数据运行中，会出现数据

信息发生中断异常或数据量发生突然变化等数据

异常监控。无法通过传统的监控手段及时发现。大数据项目实施中遇到的哪些问题?数据应用厂商BI分析

数据挖掘数据使用批量导入

实时同步管

理

不

规

范：数据模型管理缺乏规范化体系，大数据平台内数据的技术、业务属性不清晰，

没有完善的数据模型管理体系与规范。数据服务数据接入大数据平台专题数据区基础数据区2

)数据服务1

数

据

管

理大数据平台

建设厂商使用临3质量监控意理数据源我的数据都在哪里?数据的业务特点是?我该找谁要数据?数据分析

数据使用如何快速识别数据?大数据平台建议

：1.

自动化获取元数据信息通过自动化采集与解析手段，建立技术、业务、过程元数据的注册输入，标明数据方位。2.标明数据方位，整理业务属性将数据资产按业务属性编目，梳理数据的属性、共享方式、特性、映射。3:建立业务数据服务目录以数据资产为驱动方式，实现数据集成和共享。建立数据服务目录。场景一：建好数据管理体系，快速识别数据元元模型元模型元数据数据数据资产模型数据接口如何自动化管理?

如何快速找到样例数据??数据挖掘建议：1.梳理数据交换需求梳理数据集成、交换需

求。按技术特征划分为实时、准实时、批量等。2.数据资产与服务对接基于数据资产的数据开

发，实现资产与数据服

务的对接。通过服务目

录直接获取所需数据。数据库服务CRUD元数据库场景二：建立专业的数据共享通道，高效使用数据批量数据交换?我需要秒级更新数据?数据太大无法传数据资源服务批量

资源获取数据资源模型内存数据服务实时

资源同步内存数据模型数据资产服务CRUD数据模型资源实例资源服务大数据资源空间场景三：提供专业的数据监控体系，快速发现问题。1.明确重要监控指标梳理数据平台、MPP、Hadoop

平台的重要数据

监控指标与监控需求。2.建立多渠道监控方式对接数据监控平台，以以

邮件、短信等通知方式告

警。数据不一致怎么办?数据量异常波动?数据源变更怎么办?一致性监控数据一致性监控是

对采集时的数据记录

条数和入库的数据条

数进行一致性比对，对不一致的数据采集

作业进行标记的一种监控。数据波动监控数据抖动监控是指通过对数据记录数

的监控，在一段时间

周期内，通过折线图

的方式可以查询一段时间内数据的峰值和

低谷。及时性监控数据文件及时性监

控是指通过对要采集

到大数据平台的内部或外部文件进行存在

性和按时到达性的监

控手段。数据源头监控针对调度监控和数

据源相关监控过程中

的数据进行整合形成

数据源头调度监控的分析报表。50

每日数据变化量检测6月

7月日使用流量建议

：403020(MB)■可以灵活扩展支撑业务变化，保证业务数据保质量、标准化基于模型的数据获取数据，基于数据模型管理，可以让技术与业务人员通过平台可以迅速找到对应的数据资源。支持现有主流的大数据技术平台的对接可对接现有的大数据Hive,Spark,Strom

流数据等主流的数据结构，分为实时数据和批量数据的对接方式。数据获取方式灵活多样，可支持配置化数据订阅管理支持灵活的数据订阅方式，以支推，拉的数据订阅数据与服务接口对接。可以快速的获取到想要的数据活文件。支持多种数据预警机制，随时发现数据任务执行过程中所遇到的问题支持执行任务的全过程监控，执行数量监控，数据波动、数据到达预警监控等，并支持多种信息通知方式，如短信、邮件等。我们需要什么样的大数据治理平台?上基于数据模型管理可对接多种数据源提供数据监控预警机制支持多种数据获取方式0大数据治理平台背景②大数据治理平台应用场景分析3

大数据治理平台建设方案④大数据治理平台行业案例目录大数据平台的核心价值转变通过大数据治理，提供数据服务，从管理中心转变为服务中心通过大数据治理，变现数据价值，从成本中心转变为利润中心数据管理数据开发数据应用方便别人业务

开发

运维

全栈能力团队自己应用提供数据服务专业的服务团队管理

职责管理

思路管理

组织创新数据管理传统数据管理大数据治理平台的定位用大数据治理连接大数据与业务创新网络数据

通信数据

信用数据

客户数据三方数据大数据实时流数据非/结构化数据非结构化数据业务创新交易业务创新运营m

业务创新生产血

业务创新

分析交易运营生产分析大数据治

理平台数据治理传感器数据

社交媒体oT

图像视频财务颌人力服务服务数据数据发布数据开发运营交易数据数据1数据资产平台③

数据

服

务

总线②

数据

开

发

平台大数据平台数据

监控

平台大数据治理平台的架构特征传统大数据平台框架分析展现应用大数据平台数据源以数据存储、处理为核心的传统数据

管理平台过度到大数据治理平台大数据治理平台传统大数据平台大数据治理平台数据应用规范需求企业中哪些角色会直接使用到大数据治理平台业务系统开发人员业务所属部门的

系统开发人员，主

要提供所负责业务

系统功能开发与业

务创新的IT

实现。但往往不清楚大数

据中心数据的特性。

往往把业务人员提

出的需求交给数据

中心实现。大数据中心

管理者大数据中心的管

理员，负责大数据

中心的运营与管理。

负责采集与各业务

系统的数据，接收

各业务系统的提出

的数据业务需求。并负责给数据消费

者提供必要的大数

据支撑。大数据中心开发者大数据中心的开

发人员，负责大数

据中心的数据ETL

加工，并数据管理

中心批准的数据需

求进行开发。通常

需要面对各业务部

门的需求，难以了

解业务部门的数据

特点

。业务运营人员业务运营人员是

企业各业务部门一

线的业务人员，拥

有大量的数据使用

的需求。但通常并

不了解大数据中心

的数据能力与企业

内部其他部门的数

据情况。大数据治理平台的数据使用流程业务运营人员1.提出数据需求4、7.交付数据2.查找数据3.返回数据6.返回数据数据中心开发人员数据提供方→

80%数据使用需求-

-

-

-

-

-

20%需开发数据需求大数据中心管理者业务系统开发人员数据消费方5.

确

认

数

据

需

求运营交易大数据治理平台生产分析大数据中心大数据治理平台总体功能架构图接口应用日志监控性能监控主机告警安全管理波动监控数据监控

平

台内存数据对接需求/流程数据使用流程数据管理流程等标准管理流程服务标准与流程数据开发平台文本数据对接

流数据对接数据使用服务管理调用管理数据服务总线数据资产

平台关系数据库对接资产采集资产维护数据地图流向分析资产编辑资产使用模型设计适配器标准检查版本管理质量检查编

目数据质量规范元数据

规范服务开发模型管理过程开发接口开发目录管理资源查询模型开发策略管理调度管理运营管理路由管理审计管理数据申

请规范服务共享规范应用治理规范服务规范分析应用服劳辖服发监数据服务总线解析组佛大数据治理平台总体技术架构图服务发布服务BFTB

用)服务分类服务注册服务订阅

服务查询

数据订阅

数据分发加型组数据共享/

发布层开发层数据模型氧度监学斯梦HiveSpark数据应用层业分

用教据接旧应用数据加应用数据预则应用数据分机应地数据开发业务数据资

源层ESBStreamDBFlle数据资产使用数据资产分析数据资产地图数据资产统计影响分析全链路分析数据资产访问资产分析服务数据资产检索资产使用情况

血统分析资产订阅数据资产权限

资产变更服务数据资产模型设计元模型设计器元模型设计器

图形模型框架元模型设计执行

元模型反向生成应

用企业全局数据资产

升级影响

数据问题定位

辅助开发大数据治理平台架构-数据资产平台功能架构图数据资产管理/编目数据资产关系维护数据资产认责管理数据资产质量管理元模型管理元模型版本管理元模型关系维护数据资产数据源管理采集日志管理数据资产维护编目管理打标签采集模板管理采集模板映射管理视图管理版本管理状态管理采集调度管理采集任务管理采集适配器管理Excel采

集数据资产采集Hive采集DB

采集数据资产分析统计

数据资产管理

7数据资产存储元模型管理接口文件

DB数据开发

数据应用数据资产接口服务数据监控资产存储…大数据治理平台架构-数据资产平台逻辑架构图数据资产采集大数据治理平台架构-数据资产平台关键技术与特性数据资产采集模型组装数据模型技术模型业务模型采集配置存储数据入库1、解析、组装、入库过程分离，实现数据资产采集和存储解耦采集解析数据采集适配技术采集适配业务采集适配2、可插拔的采集适配器，支持数据资

产管理的无限扩充入库策略

采集调度

解

析

算

法3、采用MOF

模型规范实现数据资产扩展存储OracleDB2多类

型企

业数

据源数据

资产

元模型存储数据资产存储数据

资产

存储TD……权威

建立统一的第三方数据审核机制，不依附于某个业务单元的数据特性，对数据资产重新定位；落地

基于系统运行态环境的元数据采集，真正做到以系统落地环境为基础的数据资产梳理；统一

建立统一的数据模型视图，为业务管理人员方便的获取到数据提供先决条件；扩展

基于MOF

可扩展模型，对业务模型扩展无需改动代码，节省团队管理成本；分析

快速辅助定位问题，出现数据问题可辅助定位与分析问题的根源，迅速响应业务需求；数据资产平台给客户带来的价值数据台数据开发数据交换开发交换模型开发

交换作业开发交换作业开发交换组件管理服务接口开发服务接口开发

服务接口配置应用组件配置组件管理大数据治理平台架构-数据开发平台功能架构图策略管理策略配置加密策略

交换策略脱敏策略

监控策略策略开发策略定义

策略开发策略管理

自定义开发存储模型开发模型设计

模型管理关系维护

配置管理文件交换开发模型设计

模型管理关系维护

存储开发数据资源管理批量资源导入资源展示配置系统管理人员管理权限管理角色管理

…基本信息维护资源关系管理编目管理资源目录管理基础查询维度查询条件查询资源探查模型检索资源检索数据资源探查大数据治理平台架构-数据开发平台逻辑架构图开发者

运营者数据开放门户数据服务目录

数据资源目录数

据

资

源

管

理数据模型开发资源探查数据库

文

件

数据接口使用者文件交换作业开发数据交换作业开发数据共享层数据开发层资源发布个策略管理Hadoop

MPP批量数据门户

门

户数据资产管理数据资产门户File=数据开发服务资源池大数据模型大数据治理平台架构-数据开发平台技术与特性结构描述约束关系结构描述约束2、数据开发层，以数据资产、模型为基础的资源开发。将模型开发与数据发布共享剥离。1、以数据服务目录为基础的目录提供形式，

快速找到所需数据。应用服

务服

务服

务服务数据服务层服目别服务服务接口接复用结构化的组件，利于知识积累与复用。避免人员变动带来的无形中的学习成本；针对业务特性对现有的数据资产进行编目开发，让数据使用者直观理解数据的含义；以数据资产模型为驱动力，实现数据集成与共享的服务创新开发模式；数据开发平台给客户带来的价值提升

提供图形化的开发界面，颠覆以往的数据只能写SQL

代码的情况。直观并可提升开发效率；统一

让项目中的各数据实施厂商都使用统一的数据开发方式，避免技术实现不同所带来的壁垒；数据

开发

平台复用易懂创新大数据治理平台架构-数据服务总线功能架构图服务资源目录中心节点管理节点注册节点审批总线监控中心节点监控启动管理停止管理异常管理组织机构管理

用户管理

数据服务总线基础服务

角色管理

日志管理服务调度调度管理资源扩展路由管理路由服务路由规则服务监控启动管理停止管理异常管理数据交换消息交换文件交换流交换断点续传重发处理优先级服务调用鉴权管理资源查询访问控制服务编排缓存管理流控管理服务审批服务检索服务管理分类管理服务注册发布管理服务维护扩展管理质量管理统计及上报服务视图服务审计传输监控元数据管理数据服务总线标准规范系统安全服务信息的全网同步服务管理大数据治理平台架构-数据服务总线逻辑架构图服务路由

配额管理文件服务开发元数据管理个接入认证

接入路由个资产运营

管理数据/文件订

阅接口服务

文件服务

流媒体服务数据服务注册管理数据传输引擎统计引擎数据开发层数据资产接口服务开发数据采集管理接口运行监

控引擎数据共享层数据消费者数据服务处理引擎OutgoingEvents异步多线程模型-SEDA>

特·点·

段之间基于队列通信·

资源分配Controller资源配额基于队列有策略丢弃异步通知…ESB实

例

2ESB

实例3ESB实例4ESB实例5·数据服务总线重点解决高性能和高可用性能力口单Server处理能力：采用SEDA架构、轻量级部署架构(直接部署JVM之上)、异步Servlet接入等技术

口分布式横向扩展能力：采用灵活的集群部署模式、配置热更新、资源统一监控大数据治理平台架构-数据服务总线关键技术与特性>通过控制台对多个ESB

Server

进行统一管理·

跨机器、跨JVM部署·配置更新、统一监控ESB

管理服务器ESB

实例1超量请求请求积压

外部不稳定单实例处理能

力分布式扩展能力Event

HandlerssssThread

Pool硬

件

硬

件逻辑分段ESB实例n硬件EventQueueLo件硬C提示实时的数据解决方案，支持流数据传传输方式，保证业务数据的及时性；对于海量数据与音视频文件，提供快速的大文件传输机制，快速获得大数据；全方位的数据流量统计方式，让数据的获取与使用更加的透明化；数据服务总线给客户带来的价值渠道

多渠道的数据共享方式，包括数据接口，文件，数据库等，保证业务实现的可行性；数据

服务

总线安全

数据的集成与共享，提供数据加

密

、数据脱敏等配置策略，保证数据的安全性；快速海量统计大数据治理平台架构-数据监控平台功能架构图元数据监控分析报表数据文件及时性监控数据文件完整性监控数据条数监控数据一致性监控文件元模型监控数据源管理代理服务器配置操作日志ETL服务器配置

邮件服务器配置调度服务器配置

导入导出资源用户权限管理数据文件大小监控数据源连通性监控数据抖动监控作业异常监控数据库元模型监控数据

传输

调度

监控系统配

置服务运行情况

监控服务访问情况监控服务依赖关系

监控前台告警

短信告警邮件告警监控规则及方法专题库质量监控

执行源数据质量监控

执行元数据监

控接口模型监控数据服务监控分析报表数据质量监控分析报表数据

标准

落地

监控元数据变更影响范围监控数据

服务

监

控统计分析数据传输监控报表告警

提醒质

量

监控大数据治理平台架构-数据监平台逻辑架构图人员类应用预测类应用

挖掘类应用数据服务总线分析类应用E(抽取)城市数据A

专题库T(转换，清洗)离线数据采集政府数据

人口数据大数据平台治理七条监控线业务

应用数据开发数据资产L(加载)个

实时数据采集流处理内部数B专题库大数据平台其他应用平制外部数据C专题库1数据采集监控线数据采集监控是指对外部和内部的离线数据和实时数据进行采集记录数据层面的监控，如：数据文件大小，数据文件记录数，数据文件增全量采集，采集频率等的监控及预警2作业调度监控线实现大数据平台中离线数据计算处理ETL执行的监控，如作业的启动情况，作业的执行情况，作业的依赖情况，

作业的执行时效，作业状态，作业执行日志。3数据质量监控对数据质量进行统一闭环管理，覆盖数据质量的定义、监控、问题分析、整改和评估，推动质量问题的解决。

围绕数据质量管理，建立监控机制，如，及时性、完整性、准确性、有效性等监控及预警。4数据传输监控线实现大数据平台数据到达情况监控和数据分发成功与否监控，数据到达是指采集的数据文件或DB

数据是否按约

定的时间节点准备就绪，对问题实现预

警；数据分发是指大数据平台中的数据及时传递到目标端的监控。5数据服务监控线数据服务总线服务监控管理，服务监控包括，服务运行情况，消费者访问

情

况

，提供者提供

情

况

，SLA满足程

度，提供者与消费者之间的依赖关系，依赖分析，从而能确定哪个客户端在使用服务6元数据监控线大数据平台中数据模型，与大数据交互数据源数据模型变更的监控，包括数据库表结构，数据文件结构，指标

定义，数据标准规范的技术，业务，管理属性监控，数据字典的监控及预警。7标准执行监控线实现数据标准的变更监控，数据标准的落地映射监控，在数据标准发生现在后调整的时候，能快速的定位变更

的影响，也能知道哪些系统，哪些部门的哪个数据库表落地了数据标准规范。大数据治理平台架构-数据监控平台关键技术与特性及时发现数据的波动、缺失等变化，在影响业务开展之前及时发现问题原因；以提高数据质量为目标，定期数据做质量检查，建立闭环质量管理机制

；通过数据质量监控手段，自动化发现数据标准问题，提供数据标准落地检查机制；数据监控平台给客户带来的价值数据

监控

平台集中

提供集中的数据监控平台，统一监控环境，无需在不同环境配置多套监控产品；便捷监控用户的使用安全，通过邮件、短信等方式无需登录系统可发现数据问题；及时准确标准总结：大数据的全生命周期闭环管理开发利用开发资产管理数据保障大数据

治理使用管理共享共享协作运营分析普元大数据治理平台特色顶层规划，

平台建设，/

过程服务全体系全行业国内最权威的大数据治理厂商全自主

全框架

实践提炼稳定框架涉及数据

全生命周期全部平台自主研发跨行业、

经验丰富大数据治理平台实施的实践路线建立数据服务支撑体系，使数据管理实现为数据服务提供支撑的目的。·建立治理数据的一体化数据治理体系，实现全方位

的数据管理，提升大数据平台数据质量。·根据数据治理平台的建立，以大数据平台为依托，

实施数据治理项目，实现数据管理目的·逐步推进项目实施数据管理，建议先实施元数据·

建立大数据运营平台·

建立大数据治理平台(数据基础监控，数据传输

监控，数据管理监控，数据服务监控)全面提升项目实施平台验证二阶段：项目实施三阶段：治理数据一阶段：建立平台0大数据治理平台背景②大数据治理平台应用场景分析③大数据治理平台建设方案④

大数据治理平台行业案例目录2

金融行业企业自身数字化运营需求和金融监管(银监会、证监会、保监会)要求，重点整合元数据、数据标准、数据质量和数据

流程建设，实现企业数据精细化运营，优化集成和数据架构，

全面提升了数据质量3

制造行业整合大数据治理架构的主数据、大数据基础和交换、元数

据和数据质量，建立大数据治理体系，以主数据质量提升为

目标，实现企业核心数据价值的盘点和质量提升5

电力行业整合大数据元数据、大数据交换与集成、大数据资

产化，大数据质量，重点支撑了电力行业数据资产

化，自顶向下的实现了数据规范，业务口径企业级

统一4

政府机构国50号文《促进大数据发展行动纲要》指导下实现元数据、数据交换与集成、数据标准、数据共享与发布，

提升政府治理能力，推动经济转型升级大数据治理平台在各行业的应用案例1

电信行业整合大数据治理架构的元数据、大数据质量、大数据共享发布，实现电信行业

数据资产集中管理，实现数据服务和数据的内外部开发，为企业数字化运营的前提奠定基础。行业

情况CRMBOSS

网厅

内部系统互联网能力开放

数据超市数据服务共享发布平台案例

·

某运营商数据发布共享平台元数据大数据质

量元数据大数据标准基线版大数据

资产化大数据

共享发布大数据主数据大数据交换与集成集团业务系统

外围合作伙伴业务系统…外部系统数据源

扫描件

外部数据

B域数据

M域数据

O

域数据核心经分库灾备同步

核心库池经分辅库电信行业大数据治理架构OLAP数据池(MPP)Hadoop数据池

(对外吸务)互联网

A

应互联网消费数据用PP数据资产

管理平台大数据PAAS平台Hadoop数据池(对内服务)内存网格

资源池流处理

资源池企业级ETL大数据平台消费层质量检查

流程管理大数据质量大数据资产化元数据大数据

共

享

发

布大数据标

准案例

·

某银行建立企业级的数据治理体系平台建设

平白家施

建流程

平体盛

=管理体系制定数据标准(定义标准、使用标准)制定数据管理办法(管理流程、权责关系)

制定数据应用规则(数据集成、分发规则)制定考核规则(绩效评分卡)标准规范主数据大数据交

换与集成组织体系数据使用者(领导决策层)

数据管理者(IT

管理层)数据生产者(业务层)执行体系流程平台元数据平台

质量平台标准管理平台金融业大数据治理体系架构技术体系元

数

据

质量提升

标准落地

数据安全来安全离n示**

安安金俗方霞的置职子骨酒流指要酒解黑类指望礼日理的容nmr案例

·

某集团以主数据管理为使用基础的大数据环境构建零配件大数据

质量元数据大数据标

准数

据

应

用

开

发流程管理流程设计管理流程应用配置流程执行监控数据集成管理数据源管理Web

服务接口ETL工

具接口运行监控数

据

分

析

应