电子政务领域的大数据解决思路课件

解决思路行业实践总结1问题分析电子政务领域的大数据解决思路解决思路行业实践总结1问题分析电子政务领域的大数据解决思路1行业实践总结2问题分析解决思路

问题分析行业实践解决思路

总结1234目录页ContentsPage行业实践总结2问题解决 问题分析解决思路1234目录页2行业实践总结3问题分析解决思路

问题分析行业实践解决思路

总结1234目录页ContentsPage行业实践总结3问题解决 问题分析解决思路1234目录页3解决思路行业实践总结4问题分析信息资源共享难缺乏统一数

据标准信息孤岛现

象严重面临的问题分析利用

程度低信息共享难

度大数据安全缺

乏保障缺乏统一资

源目录解决思路行业实践总结4问题分析信息资源共享难缺乏统一数信息孤4解决思路行业实践总结5问题分析电子政务建设的问题4项目建设运维成本

高电子政务1缺少总体顶层规划

2条块分割纵强横弱资IT3

源利

用率低标准不一、重复建设、粗放式建设12各自为政、信息共享难、业务协同更难34基础设施利用率低、数据价值没有发挥投资成本高、缺乏专业运维团队、运维成本高、时间成本高（部署、开发）。解决思路行业实践总结5问题分析电子政务建设的问题4项目建设15解决思路行业实践总结6问题分析电子政务的大数据建设目标（1）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台（2）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系（3）不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展解决思路行业实践总结6问题分析电子政务的大数据建设目标（1）6行业实践总结7问题分析问题分析

问题分析行业实践解决思路

总结1234目录页ContentsPage解决思路行业实践总结7问题问题 问题分析解决思路1234目录页解决思7解决思路行业实践总结8问题分析分布式数据中心架构政府公共数据中心…

教育行业数据中心

卫生行业数据中心

交通行业数据中心其他交通监控系统公交调度系统机动车/驾驶

员管理系统…停车引导系统摄像头GPSETC传感器……解决思路行业实践总结8问题分析分布式数据中心架构政府公共数据8解决思路行业实践总结9问题分析逻辑库与物理库卫生公安教育……远程物理库基础库内存闪存硬盘分布式查询引擎逻辑库分布式资源索引资源调度

分级缓存本地资源调度

缓冲库

本地物理库

远程资源调度资源定位资源检索解决思路行业实践总结9问题分析逻辑库与物理库卫生公安教育……9解决思路行业实践总结10问题分析以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用4个阶段的全过程管理Web直报大数据生命周期

数据库数据文件数据接口质量控制

汇集

规整标准化清洗转换元数据库结构化数据库数据仓库数据比对分析服务资源目录信息共享数据展现决策支持抽取报送分类存储数据接口服务提供

非结构化

数据异构数据源

数据采集

分布式文件库数据管理报表服务

查询服务

数据服务

……数据应用解决思路行业实践总结10问题分析以数据流为主线，实现从数据采10解决思路行业实践总结11问题分析相关技术数据分散不规范问题数据一致性问题数据涉密不能落地问题数据标准不一致数据质量问题数据安全性问题数据深入分析不够数据可视化程度低结构化大数据存储非结构化数据存储解决思路行业实践总结11问题分析相关技术数数数数数数数数结非11解决思路行业实践总结12问题分析“三张皮”变“一张皮”业务应用

1业务应用

2业务应用

N

资源

共享应用1

资源

共享应用2

资源

共享应用N

数据

分析应用1

数据

分析应用2

数据

分析应用N业务库

OLTP

共享库三类数据资源主题库

OLAP数据整合共享数据数据建模大数据平台解决思路行业实践总结12问题分析“三张皮”变“一张皮”业务业12即席查询解决思路行业实践总结13问题分析政务大数据应用架构安全防护体系标准规范体系基础设施服务器存储网络资源整合、虚拟化管理、按需分配发改委财政……建委资源共享、业务协同、决策分析、信息门户、……应用平台

KPI仪表盘

ESB

SOA

数据集市

主题域数据库

ODS

采集、整合、服务、监管领导驾驶舱工作流引擎

社管

卫生

环保交通教育……

业务报告Office集成

建交委

公安局

规划局图表展现监测警报

卫生局

教育局

……应用支撑数据中心即席查询解决思路行业实践总结13问题分析政务大数据应用架构安13解决思路行业实践总结14问题分析实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的集中及分布式存储，为政府大数据项目提供基础支撑和保障达梦大数据平台解决思路行业实践总结14问题分析实现数据采集、交换、整合、管14解决思路行业实践总结15问题分析

大型

通用

关系型云数据库安全自主联机分析处理

（列存库）

大数据处理（MPP数据库）

DM7

联机事务处理（兼容

oracle）

安全保护统一接口ODBCJDBCPL/SQLOCIADOPDO达梦大数据平台——数据存储类（DM7）智能索引列存表DMMPP并行加载解决思路行业实践总结15问题分析 大型安全自主联机分析处理15解决思路行业实践总结16问题分析达梦大数据平台——数据存储类（MGBase）MasterMaster

数据服务器

数据服务器列实例列实例列实例Master

数据服务器

面向列的分布式

NoSQL型数据库

构建于分布式文件系统之上

适用于半结构化和非

结构化海量数据存储解决思路行业实践总结16问题分析达梦大数据平台——数据存储类16分布式查询处理全局数据字典管理会话管理安全管理缓存管理数据访问代理解决思路行业实践总结17问题分析达梦大数据平台——异构分布式查询关系型数据库综合查询系统资源目录系统中心节点

内存

闪存

硬盘本地分级缓存TXT、EXCEL、XML和WebService等其

他数据源

数据访问代理非关系型数据库业务节点各类数据源业务节点前置节点分数据中心节点数据访问代理各类数据源数据访问代理

各类数据源

业务节点数据访问代理各类数据源数据访问代理

各类数据源

前置节点数据访问代理各类数据源

采用一致接口访问本

地、远程数据源

支持多级代理，适应

复杂网络部署

支持关系数据库、数

据文件、数据接口、

NoSql数据库分布式查询处理全会安缓存管理数据访问代理解决思路行业实践总结17解决思路行业实践总结18问题分析前置交换库前置交换库前置交换库前置交换库达梦数据交换系统数据中心……

前置交换库交换管理

支持异构数据源采集

Oracle

Sql

ServerDM

dbmsDB2MySql

SybaseExcel文件

其它文件

……

支持多级单位间的数

据交换解决不同单位、不同系统之间的数据采集、数据交换等要求。业务信息库

发改委业务信息库

建委业务信息库

财政局业务信息库规划局业务信息库

审计局达梦大数据平台——数据交换类（DMETL）解决思路行业实践总结18问题分析前置交换库前置交换库前置交换18解决思路行业实践总结19问题分析1.2.3.4.数据备份OLAP\OLTP分离实时同步灾备

达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。达梦大数据平台——数据交换类（DMHS）解决思路行业实践总结19问题分析1.数据备份 达梦数据同步软19解决思路行业实践总结20问题分析达梦大数据平台——数据交换类（请求服务引擎）分布式请求服务引擎

穿透内外网请求转发远程服务代理中心/分中心一体化服务

…分布式请求服务引擎解决数据不能落地的远程数据访问问题。

请求响应列表请求响应协调器

请求响应服务器请求监听列表

数据查询器

请求转发器比对请求交换请求查询请求任务池内网外网外网请求服

务数据库内网请求服

务数据库数据交换平台解决思路行业实践总结20问题分析达梦大数据平台——数据交换类20解决思路行业实践总结21问题分析达梦大数据平台——数据管理类（元数据管理）

版本管理

导入/导出

元数据应用元数据数据来源数据仓库

设计业务分析业务视图数据仓库业务主题统一数据标准，全过程元数据记录，……

数据转换

工具

数据标准

元数据仓库

自动获取

关系维护解决思路行业实践总结21问题分析达梦大数据平台——数据管理类21解决思路行业实践总结22问题分析利用ETL工具

异构数据源支持图形化设计器丰富的清洗转换组件基于插件模式扩展…实现数据的清洗、转换、规整、治理、标准化等达梦大数据平台——数据管理类（数据整合）解决思路行业实践总结22问题分析利用ETL工具异构数据源支22解决思路行业实践总结23问题分析数据管理

数据维护

数据权限

数据发布

备份/恢复

导入导出

…

基于元数据，通过快速配置实现对数据的基本管理、访问权限

控制与发布等功能达梦大数据平台——数据管理类（数据资源管理）解决思路行业实践总结23问题分析数据管理达梦大数据平台——数23解决思路行业实践总结24问题分析达梦大数据平台——数据管理类（资源目录）收集整理所有相关系统、相关数据、相关服务等资源信息方便用户寻找有用的信息解决思路行业实践总结24问题分析达梦大数据平台——数据管理类24行业实践总结25问题分析数据源n

解决思路数据仓库数据共享库…………

ETL数据源1质量报告质量治理质量规则监控

完整性

校验

质量标准定义

质量规则设置

问题数据采集

问题数据管理

问题数据分析

数据治理

达梦大数据平台——数据管理类（数据质量管理）

实现数据质量监控、报

准确性

质

性校验

数

量告及治理……

据

监

探

测

控

服

数据质量管理包括：

务行业实践总结25问题分析数据源n 解决思路数据共享库 ETL25解决思路行业实践总结26问题分析网络服务池服务注册中心服务总线(ESB)服务调度器其它系统用户…………

异质异构服务集成；

分布式服务集成。简化服务的提供和使用！达梦大数据平台——数据管理类（服务管理平台）解决思路行业实践总结26问题分析网服务池服务注服务总服务其它26解决思路行业实践总结27问题分析达梦大数据平台——数据仓库建模工具1.用于数据仓库建模2.辅助数据仓库实施人员完成

从数据仓库概念设计

到最终物理实现全程解决思路行业实践总结27问题分析达梦大数据平台——数据仓库建27解决思路行业实践总结28问题分析达梦大数据平台——OLAP分析1.支持ROLAP、MOLAP、HOLAP2.支持星型模型、雪花模型3.标准化MDX语言4.二次开发：►

支持OLAP访问接口►

支持XMLA协议►

图形化查询工具解决思路行业实践总结28问题分析达梦大数据平台——OLAP分28解决思路行业实践总结29问题分析达梦大数据平台——数据挖掘工具►

数据源类型丰富

►

文件

►

关系数据

►

URL►

多种挖掘分析算法

►

Apriori

►

BFTree

►

FarthestFirst►

多种挖掘分析方式

►

分类与回归分析

►

聚类分析

►

管理分析

►

序列分析►

可视化挖掘►

应用系统可集成解决思路行业实践总结29问题分析达梦大数据平台——数据挖掘工29解决思路行业实践总结30问题分析达梦大数据平台——BI工具►

提供丰富的展现形式

►

网络报表

►

分组报表

►

多维行列统计

►

卡片报表

►

线图

►

面积图

►

……►

提供应用集成接口解决思路行业实践总结30问题分析达梦大数据平台——BI工具►30解决思路行业实践总结31问题分析达梦大数据平台——数据门户解决思路行业实践总结31问题分析达梦大数据平台——数据门户31解决思路行业实践总结32问题分析达梦大数据平台——一张图呈现基于地理信息、移动终端等多种方式呈现解决思路行业实践总结32问题分析达梦大数据平台——一张图呈现32行业实践总结33问题分析解决思路解决思路解决思路

总结234目录页ContentsPage1

问题分析行业实践行业实践总结33问题解决解决思路解决思路234目录页1 问题33解决思路行业实践总结34问题分析行业实践——公安行业公安的数据来

源？

容量大公安数据的特

点？结构多样化

不断增长

价值密度低物理分散

视频监控

卡口

PGIS通信记录

旅店网吧……解决思路行业实践总结34问题分析行业实践——公安行业公安的 34对比项警务平台生产库(oraclerac)平均响应时间警务平台分析库(dmmpp)平均响应时间人口统计100秒16秒接处警统计130秒13秒治安盘查统计110秒15秒治安管理统计120秒17秒案件查询统计140秒16秒主机类型节点数CPURAMDM-MPP4XeonE5-26202.00GHZ*4192GOracleRAC2XeonE5-26802.70GHZ*4256G解决思路行业实践总结35问题分析行业实践——公安行业异构OLTP、OLAP一体化，应用层透明切换Oracle

RACDMHSEP01EP02EP04

EP03DM

MPP数据量：1.6T（不含大对象）数据库并发连接：200-300个对比项警务平台生产库警务平台分析库人口统计100秒16秒接处35解决思路行业实践总结36问题分析行业实践——公安行业

DM

MPPXxx省公安厅最大单表：24.1亿行数据存储方式：MPP，哈希分布精确查询时间：<

1秒Xxx大数据量性能支撑解决思路行业实践总结36问题分析行业实践——公安行业 DM36源库0101110010101010101源库

0101110010101010101源库0101110010101010101解决思路行业实践总结37问题分析融合省厅、市局、外部数据资源，基于分布式查询，为领导、业务部门、外部用户提供透明的数据即服务。...内网数据服务平台外网数据服务平台资

数据仓库

人口主题

案件主题

……分布式查询引擎公安内网服务区公安前置服务区公安边界安全接入平台xxx市公安请求服务引擎综合基础资

源库xxx市公安请求服务引擎综合基础资

源库……Xxx省公安云数据即服务第三方系统警综系统大情报系统

外网共享资

01001

01001

01101

11

01010

10101

01外网请求服务引擎

内网共享01001

01001

01101

11

01010

10101

01内网请求服务引擎

综合基础资0100101101

110101010101

0101001…………行业实践——公安行业源库0101110010101010101源库0137解决思路行业实践总结38问题分析行业实践——公安行业370个数据元

标准

125个数据元标

准和1358个数

据项被公安部采

纳推广

该省被确定为全国四个资源服务试点

单位之一

12万个数据项

数据资源建成全省统一标准

的数据资源目录解决思路行业实践总结38问题分析行业实践——公安行业370个38解决思路行业实践总结39问题分析行业实践——公安行业

基于大数据的动态专题模型库技战

法

100

余种模块化

开

发

应

用理念业务模型业务需求固化经验，服务实战

算法公式固定提取方法各类技战法变成模型

保留在云中全警随时可以调用提升了核心战斗力口袋、脑袋中的经验

放在云上共享解决思路行业实践总结39问题分析行业实践——公安行业 基于大39解决思路行业实践总结40问题分析行业实践——公安行业高级权限普通权限侦查权限侦查权限普通权限网上审批自动收回动态权限，方便全警应用

传统方式

高级权限

动态权限管理

技术按需申请公安云动态

权限变更解决思路行业实践总结40问题分析行业实践——公安行业高级权限40解决思路行业实践总结41问题分析行业实践——地质灾害行业

元数据管理平台

建库

更新审核发布存储授权查询备份恢复导入导出敏感数据库基础数据库脱密数据复制空间数据库管理数据库地质灾害防治

数据仓库元数据库

数据获取系统

单机版系统采集

直接输入

GPRS无线传输及短消息传输通信平台传输

视频会议

采集数据

网络传输

数据中心连接

网络、服务器、存储设备，操作系统、ArcGISETL数据质量管理体系数据安全管理体系数据存储方案标准与政策数据仓库管理查询删除数据访问服务

修改

插入订阅发布数据管理

ETL操作数据库专业属性数据库地质灾害预警决策与应急指挥

分析处理应用预警决策支持与应急指挥系统地质灾害预测预报系统防治工程措施分析及评估系统预测预报分析及评估系统事务处理应用灾害立体地质图建设系统治理工程设计信息系统勘察信息系统三维地质灾害体系统基于GIS的稳定性评价系统OA管理子系统系统管理子系统数据管理平台数据采集子系统数据维护子系统数据质量管理工具元数据服务层分析处理层操作处理层源数据层基础环

境层应用层网络整合、技术整合、数据整

合、应用整合、文档整合30多个业务系统上千种地质数据，空间数

据、专业属性数据、管理数据解决思路行业实践总结41问题分析行业实践——地质灾害行业 元41解决思路行业实践总结42问题分析基于全国产化软硬件平台构建横向打通政法委、公安厅、检察院、法院、司法厅、安全厅六个部门专网，实现案件流转纵向服务于省、市、县、乡四级用户，提升办公效率行业实践——政法行业解决思路行业实践总结42问题分析基于全国产化软硬件平台构建行42解决思路行业实践总结43问题分析行业实践——政府公共数据服务数据中心主题数据仓库数据元数据库数据仓库管理平台综合资源库智慧教育智慧应用安全保障体系运维管理体系标准规范体系…分中心分中心……全文检索数据分析

平台数据质量

平台数据整合

平台集市

SOA服务

平台

元数据

管理平台

数据交换平台请求服务引擎数据资源管理平台智慧医疗智慧交通智慧社区公共信息门户

文档管理

平台信息资源目录

WEB

GIS

3D

GIS整合各委办局分散的数据资源，构建全局的资源目录，提供数据交换服务构建基础信息库：人口、法人、地理信息、宏观经济、…为公共服务提供数据支撑浦东新区公共数据中心襄阳市数据中心扬州市政务资源目录武汉市资源目录和数据交换……解决思路行业实践总结43问题分析行业实践——政府公共数据服务43序号项目名称1湖北省电子政务一期