电子政务领域的大数据解决思路

1、解决思路行业实践总结1问题分析电子政务领域的大数据解决思路电子政务领域的大数据解决思路行业实践总结2问题问题分析分析解决解决思路思路问题分析行业行业实践实践解决思路总结总结1234目录页目录页ContentsPage行业实践总结3问题问题分析分析解决解决思路思路问题分析行业行业实践实践解决思路总结总结1234目录页目录页ContentsPage解决思路行业实践总结4问题分析信息资源共享难缺乏统一数据标准信息孤岛现象严重面临的问题分析利用程度低信息共享难度大数据安全缺乏保障缺乏统一资源目录解决思路行业实践总结5问题分析电子政务建设的问题4项目建设运维成本高电子政务1缺少总体顶层规划2条块分割纵强

2、横弱资IT3 源利用率低标准不一、重复建设、粗放式建设12各自为政、信息共享难、业务协同更难34基础设施利用率低、数据价值没有发挥投资成本高、缺乏专业运维团队、运维成本高、时间成本高（部署、开发）。解决思路行业实践总结6问题分析电子政务的大数据建设目标（1）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台（2）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系（3）不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展）不断整合各类基础设施资源、数

3、据资源，支撑大数据业务的持续发展行业实践总结7问题问题分析分析问题问题分析分析问题分析行业行业实践实践解决思路总结总结1234目录页目录页ContentsPage解决解决思路思路解决思路行业实践总结8问题分析分布式数据中心架构政府公共数据中心教育行业数据中心卫生行业数据中心交通行业数据中心其他交通监控系统公交调度系统机动车/驾驶员管理系统停车引导系统摄像头GPSETC传感器解决思路行业实践总结9问题分析逻辑库与物理库卫生卫生公安公安教育教育远程物理库远程物理库基础库基础库内存内存闪存闪存硬盘硬盘分布式查询引擎分布式查询引擎逻逻辑辑库库分分布布式式资资源源索索引引资资源源调调度度分级缓存分级缓存

4、本地资源调度本地资源调度缓冲库缓冲库本地物理库本地物理库远程资源调度远程资源调度资源定位资源定位资源检索资源检索解决思路行业实践总结10问题分析以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用4个阶段的全过程管理个阶段的全过程管理Web直报大数据生命周期数据库数据库数据文件数据文件数据接口数据接口质量控制质量控制汇集汇集规整规整标准化标准化清洗清洗转换转换元数据库元数据库结构化数据库结构化数据库数据仓库数据仓库数据比对数据比对分析服务分析服务资源目录资源目录信息共享信息共享数据展现数据展现决策支持决策支持抽取抽取报送报送分

5、类分类存储存储数据数据接口接口服务服务提供提供非结构化非结构化数据数据异构数据源异构数据源数据采集数据采集分布式文件库分布式文件库数据管理数据管理报表服务报表服务查询服务查询服务数据服务数据服务数据应用数据应用解决思路行业实践总结11问题分析相关技术数数据据分分散散不不规规范范问问题题数数据据一一致致性性问问题题数数据据涉涉密密不不能能落落地地问问题题数数据据标标准准不不一一致致数数据据质质量量问问题题数数据据安安全全性性问问题题数数据据深深入入分分析析不不够够数数据据可可视视化化程程度度低低结结构构化化大大数数据据存存储储非非结结构构化化数数据据存存储储解决思路行业实践总结12问题分析“三张

6、皮”变“一张皮”业务应用1业务应用2业务应用N资源共享应用1资源共享应用2资源共享应用N数据分析应用1数据分析应用2数据分析应用N业务库 OLTP共享库三类数据资源主题库 OLAP数据整合共享数据数据建模大数据平台即席查询即席查询解决思路行业实践总结13问题分析政务大数据应用架构安安全全防防护护体体系系标标准准规规范范体体系系基础基础设施设施服务器存储网络资源整合、虚拟化管理、按需分配发改委财政建委资源共享、业务协同、决策分析、信息门户、资源共享、业务协同、决策分析、信息门户、应用应用平台平台KPI仪表盘仪表盘ESB SOA数据集市数据集市主题域数据库主题域数据库ODS采集、整合、服务、监管采

7、集、整合、服务、监管领导驾驶舱领导驾驶舱工作流引擎工作流引擎社管社管卫生卫生环保环保交通交通教育教育业务报告业务报告Office集成集成建交委建交委公安局公安局规划局规划局图表展现图表展现监测警报监测警报卫生局卫生局教育局教育局应用应用支撑支撑数据数据中心中心解决思路行业实践总结14问题分析实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的集中及分布式实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的集中及分布式存储，为政府大数据项目提供基础支撑和保障存储，为政府大数据项目提供基础支撑和保障达梦大数据平台解决思路行业实践总结15问题分析大型大型通用通用关系型关系

8、型云数据库云数据库安全安全自主自主联机分析处理联机分析处理（列存库）（列存库）大数据处理大数据处理（MPP数据库）数据库）DM7联机事务处理联机事务处理（兼容（兼容 oracle）安全保护统一接口ODBCJDBCPL/SQLOCIADOPDO达梦大数据平台数据存储类（DM7）智能索引列存表DMMPP并行加载解决思路行业实践总结16问题分析达梦大数据平台数据存储类（MGBase）MasterMaster数据服务器数据服务器列实例列实例列实例Master数据服务器 面向列的分布式面向列的分布式NoSQL型数据库型数据库 构建于分布式文件系构建于分布式文件系统之上统之上 适用于半结构化和非适用于半结

9、构化和非结构化海量数据存储结构化海量数据存储分布式查询处理分布式查询处理全全局局数数据据字字典典管管理理会会话话管管理理安安全全管管理理缓存管理缓存管理数据访问代理数据访问代理解决思路行业实践总结17问题分析达梦大数据平台异构分布式查询关系型数据库关系型数据库综合查询系统综合查询系统资源目录系统资源目录系统中心节点中心节点内存内存闪存闪存硬盘硬盘本地分级缓存本地分级缓存TXT、EXCEL、XML和和WebService等其等其他数据源他数据源数据访问代理数据访问代理非关系型数据库非关系型数据库业务节点业务节点各类数据源各类数据源业务节点业务节点前置节点前置节点分数据中心节点分数据中心节点数据访

10、问代理数据访问代理各类数据源各类数据源数据访问代理数据访问代理各类数据源各类数据源业务节点业务节点数据访问代理数据访问代理各类数据源各类数据源数据访问代理数据访问代理各类数据源各类数据源前置节点前置节点数据访问代理数据访问代理各类数据源各类数据源 采用一致接口访问本采用一致接口访问本地、远程数据源地、远程数据源 支持多级代理，适应支持多级代理，适应复杂网络部署复杂网络部署 支持关系数据库、数支持关系数据库、数据文件、数据接口、据文件、数据接口、NoSql数据库数据库解决思路行业实践总结18问题分析前置交换库前置交换库前置交换库前置交换库前置交换库前置交换库前置交换库前置交换库达梦数据交换系统达

11、梦数据交换系统数据中心数据中心 前置交换库前置交换库交换管理交换管理 支持异构数据源采集支持异构数据源采集 OracleSql ServerDM dbmsDB2MySqlSybaseExcel文件其它文件 支持多级单位间的数支持多级单位间的数据交换据交换解决不同单位、不同系统之间的数据采集、数据交换等要求。解决不同单位、不同系统之间的数据采集、数据交换等要求。业务信息库业务信息库发改委发改委业务信息库业务信息库建委建委业务信息库业务信息库财政局财政局业务信息库业务信息库规划局规划局业务信息库业务信息库审计局审计局达梦大数据平台数据交换类（DMETL）解决思路行业实践总结19问题分析1.2.3.

12、4.数据备份数据备份OLAPOLTP分离分离实时同步实时同步灾备灾备达梦数据同步软件达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。达梦大数据平台数据交换类（DMHS）解决思路行业实践总结20问题分析达梦大数据平台数据交换类（请求服务引擎）分布式请求服务引擎穿透内外网请求转发远程服务代理中心/分中心一体化服务分布式请求服务引擎解决数据不能落地的远程数据访问问题分布式

13、请求服务引擎解决数据不能落地的远程数据访问问题。请求响应列表请求响应列表请求响应协调器请求响应协调器请求响应服务器请求响应服务器请求监听列表请求监听列表数据查询器数据查询器请求转发器请求转发器比对比对请求请求交换交换请求请求查询查询请求请求任务池任务池内网内网外网外网外网请求服外网请求服务数据库务数据库内网请求服内网请求服务数据库务数据库数据交换平台数据交换平台解决思路行业实践总结21问题分析达梦大数据平台数据管理类（元数据管理） 版本管理版本管理 导入导入/导出导出 元数据应用元数据应用元数据元数据数据来源数据来源数据仓库数据仓库设计设计业务分析业务分析业务视图业务视图数据仓库数据仓库业务主

14、题业务主题统一数据标准，全过程元数据记录，统一数据标准，全过程元数据记录，数据转换数据转换工具工具 数据标准数据标准 元数据仓库元数据仓库 自动获取自动获取 关系维护关系维护解决思路行业实践总结22问题分析利用利用ETL工具工具异构数据源支持图形化设计器丰富的清洗转换组件基于插件模式扩展实现数据的清洗、转换、规整、治理、标准化等实现数据的清洗、转换、规整、治理、标准化等达梦大数据平台数据管理类（数据整合）解决思路行业实践总结23问题分析数据管理数据管理 数据维护数据维护 数据权限数据权限 数据发布数据发布 备份备份/恢复恢复 导入导出导入导出 基于元数据，通过快速配置实现对数据的基本管理、访问

15、权限基于元数据，通过快速配置实现对数据的基本管理、访问权限控制与发布等功能控制与发布等功能达梦大数据平台数据管理类（数据资源管理）解决思路行业实践总结24问题分析达梦大数据平台数据管理类（资源目录）收集整理所有相关系统、相关数据、相关服务等资源信息收集整理所有相关系统、相关数据、相关服务等资源信息方便用户寻找有用的信息方便用户寻找有用的信息行业实践总结25问题分析数据源数据源n解决思路数据仓库数据仓库数据共享库数据共享库ETL数据源数据源1质质量量报报告告质质量量治治理理质质量量规规则则监监控控完整性完整性校验校验 质量标准定义 质量规则设置 问题数据采集 问题数据管理 问题数据分析 数据治理

16、达梦大数据平台数据管理类（数据质量管理）实现数据质量监控、报实现数据质量监控、报准确性准确性质质性校验性校验数数量量告及治理告及治理据据监监探探测测控控服服数据质量管理包括：数据质量管理包括：务务解决思路行业实践总结26问题分析网络服务池服务注册中心服务总线(ESB)服务调度器其它系统用户异质异构服务集成；分布式服务集成。简化服务的提供和使用！达梦大数据平台数据管理类（服务管理平台）解决思路行业实践总结27问题分析达梦大数据平台数据仓库建模工具1.用于数据仓库建模用于数据仓库建模2.辅助数据仓库实施人员完成辅助数据仓库实施人员完成 从数据仓库概念设计从数据仓库概念设计 到最终物理实现全程到最终

17、物理实现全程解决思路行业实践总结28问题分析达梦大数据平台OLAP分析1.支持支持ROLAP、MOLAP、HOLAP2.支持星型模型、雪花模型支持星型模型、雪花模型3.标准化标准化MDX语言语言4.二次开发：二次开发： 支持支持OLAP访问接口访问接口 支持支持XMLA协议协议 图形化查询工具图形化查询工具解决思路行业实践总结29问题分析达梦大数据平台数据挖掘工具 数据源类型丰富数据源类型丰富 文件文件 关系数据关系数据 URL 多种挖掘分析算法多种挖掘分析算法 Apriori BFTree FarthestFirst 多种挖掘分析方式多种挖掘分析方式 分类与回归分析分类与回归分析 聚类分析聚

18、类分析 管理分析管理分析 序列分析序列分析 可视化挖掘可视化挖掘 应用系统可集成应用系统可集成解决思路行业实践总结30问题分析达梦大数据平台BI工具 提供丰富的展现形式 网络报表 分组报表 多维行列统计 卡片报表 线图 面积图 提供应用集成接口解决思路行业实践总结31问题分析达梦大数据平台数据门户解决思路行业实践总结32问题分析达梦大数据平台一张图呈现基于地理信息、移动终端等多种方式呈现行业实践总结33问题问题分析分析解决解决思路思路解决解决思路思路解决思路总结总结234目录页目录页ContentsPage1问题分析行业行业实践实践解决思路行业实践总结34问题分析行业实践公安行业公安的数据来源

19、？容量大公安数据的特点？结构多样化不断增长价值密度低物理分散视频监控卡口PGIS通信记录旅店网吧对比项警务平台生产库(oraclerac)平均响应时间警务平台分析库(dmmpp)平均响应时间人口统计100秒16秒接处警统计130秒13秒治安盘查统计110秒15秒治安管理统计120秒17秒案件查询统计140秒16秒主机类型节点数CPURAMDM-MPP4XeonE5-26202.00GHZ*4192GOracleRAC2XeonE5-26802.70GHZ*4256G解决思路行业实践总结35问题分析行业实践公安行业异构异构OLTP、OLAP一体化，应用层透明切换一体化，应用层透明切换Oracle

20、 RACDMHSEP01EP02EP04EP03DM MPP数据量：数据量：1.6T（不含大对象）（不含大对象）数据库并发连接：数据库并发连接：200-300个个解决思路行业实践总结36问题分析行业实践公安行业DM MPPXxx省公安厅最大单表：24.1亿行数据存储方式：MPP，哈希分布精确查询时间： 1秒Xxx大数据量性能支撑大数据量性能支撑源库0101110010101010101源库 0101110010101010101源库0101110010101010101解决思路行业实践总结37问题分析融合省厅、市局、外部数据资源，基于分布式查询，为领导、业务部门、外部用户融合省厅、市局、外部数

21、据资源，基于分布式查询，为领导、业务部门、外部用户提供透明的数据即服务。提供透明的数据即服务。.内网数据服务平台外网数据服务平台资数据仓库人口主题案件主题分布式查询引擎公安内网服务区公安前置服务区公安边界安全接入平台xxx市公安请求服务引擎综合基础资源库xxx市公安请求服务引擎综合基础资源库Xxx省公安云数据即服务第三方系统警综系统大情报系统外网共享资 01001010010110111010101010101外网请求服务引擎内网共享01001010010110111010101010101内网请求服务引擎综合基础资01001011011101010101010101001行业实践公安行业解决

22、思路行业实践总结38问题分析行业实践公安行业370个数据元个数据元标准标准125个数据元标个数据元标准和准和1358个数个数据项被公安部采据项被公安部采纳推广纳推广该省被确定为全国该省被确定为全国四个四个资源服务试点资源服务试点单位之一单位之一12万个数据项万个数据项数据资源数据资源建成全省统一标准建成全省统一标准的数据的数据资源目录资源目录解决思路行业实践总结39问题分析行业实践公安行业基于大数据的基于大数据的动态专题模型库动态专题模型库技技战战 法法 100 余余种种模模块块化化 开开 发发 应应 用用理理念念业务业务模型模型业务业务需求需求固化经验，服务实战固化经验，服务实战算法公式固定

23、提取方法算法公式固定提取方法各类技战法变成模型各类技战法变成模型保留在云中保留在云中全警随时可以调用全警随时可以调用提升了核心战斗力提升了核心战斗力口袋、脑袋中的经验口袋、脑袋中的经验放在云上共享放在云上共享解决思路行业实践总结40问题分析行业实践公安行业高级权限高级权限普通权限普通权限侦查权限侦查权限侦查权限侦查权限普通权限普通权限网上审批网上审批自动收回自动收回动态权限，方便全警应用动态权限，方便全警应用传统方式传统方式高级权限高级权限动态权限管理动态权限管理技术技术按需申请按需申请公安云动态公安云动态权限变更权限变更解决思路行业实践总结41问题分析行业实践地质灾害行业元数据管理平台建库更

24、新审核发布存储授权查询备份恢复导入导出敏感数据库基础数据库脱密数据复制空间数据库管理数据库地质灾害防治数据仓库元数据库数据获取系统单机版系统采集 直接输入 GPRS无线传输及短消息传输通信平台传输 视频会议 采集数据 网络传输 数据中心连接网络、服务器、存储设备，操作系统、ArcGISETL数据质量管理体系数据安全管理体系数据存储方案标准与政策数据仓库管理查询删除数据访问服务修改 插入 订阅发布数据管理ETL操作数据库专业属性数据库地质灾害预警决策与应急指挥地质灾害预警决策与应急指挥分析处理应用预警决策支持与应急指挥系统地质灾害预测预报系统防治工程措施分析及评估系统预测预报分析及评估系统事务处

25、理应用灾害立体地质图建设系统治理工程设计信息系统勘察信息系统三维地质灾害体系统基于GIS的稳定性评价系统OA管理子系统系统管理子系统数据管理平台数据采集子系统数据维护子系统数据质量管理工具元数据服务层分析处理层操作处理层源数据层基础环境层应用层网络整合、技术整合、数据整合、应用整合、文档整合30多个业务系统上千种地质数据，空间数据、专业属性数据、管理数据解决思路行业实践总结42问题分析基于全国产化软硬件平台构建基于全国产化软硬件平台构建横向打通政法委、公安厅、检察院、横向打通政法委、公安厅、检察院、法院、司法厅、安全厅六个部门专法院、司法厅、安全厅六个部门专网，实现案件流转网，实现案件流转纵向

26、服务于省、市、县、乡四级用纵向服务于省、市、县、乡四级用户，提升办公效率户，提升办公效率行业实践政法行业解决思路行业实践总结43问题分析行业实践政府公共数据服务数据中心主题数据仓库数据元数据库数据仓库管理平台综合资源库智慧教育智慧应用安全保障体系运维管理体系标准规范体系分中心分中心全文检索数据分析平台数据质量平台数据整合平台集市SOA服务平台元数据管理平台数据交换平台请求服务引擎数据资源管理平台智慧医疗智慧交通智慧社区公共信息门户文档管理平台信息资源目录WEB GIS3D GIS整合各委办局分散的数据资源，整合各委办局分散的数据资源，构建全局的资源目录，提供数构建全局的资源目录，提供数据交换服务据交换服务构建基础信息库：人口、法人、构建基础信息库：人口、法人、地理信息、宏观经济、地理信息、宏观经济、为公共服务提供数据支撑为公共服务提供数据支撑浦东新区公共数据中心浦东新区公共数据中心襄阳市数据中心襄阳市数据中心扬州市政务资源目录扬州市政务资源目录武汉市资源目录和数据交换武汉市资源目录和数据交换序号序号项目名称项目名称1湖北省电子政务一期工程项目人口库湖北省电子政务一期工程项目人口库2湖北省电子政务一期工程项目宏观经济库湖北省电子政务一期工程项目宏观经济库3辽宁省数字消防综合信息平台辽宁省数字消防综合信息平台4温州市人