




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
环保生态环境大数据平台项目
建设方案
目录
1概述...................................................................3
1.1建设背景...........................................................................3
1.2建设目标...........................................................................3
1.3建设内容...........................................................................5
1.4指导思想...........................................................................6
1.5建设原则............................................................................6
1.6建设依据............................................................................7
2现状与需求.............................................................9
2.1现状分析...........................................................................9
2.2数据信息需求......................................................................13
2.3需求分析..........................................................................14
3总体设计..............................................................17
3.1技术思路..........................................................................17
3.2总体架构..........................................................................17
3.3关键技术..........................................................................18
4建设方案..............................................................21
4.1一网:生态环境监测网...............................................................21
4.2一云:生态环境云计算平台..........................................................23
4.3一中心:生态环境大数据融合共享中心................................................23
4.4一平台:生态环境大数据管理平台....................................................65
4.5N应用:生态环境大数据应用........................................................134
5生态环境大数据研究院.................................................157
5.1生态环境大数据应用方法研究与工具开发..............................................157
5.2生态环境大数据人才资源规划........................................................174
6优势..................................................错误!未定义书签。
6.1技术优势..........................................................错误!未定义书签。
6.2业务优势..........................................................错误!未定义书签。
6.3团队优势..........................................................错误!未定义书签。
2
1概述
1.1建设背景
党中央、国务院高度重视我国大数据的发展和应用,将大数据确定为国家发
展战略。《促进大数据发展行动纲要》设定了大数据未来5~10年的发展目标和
主要任务。《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》
提出要“拓展网络经济空间”,“实施国家大数据战略,推进数据资源开发共享”,
为“十三五”大数据的发展指明了方向。江西省人民政府办公厅关于印发《江西
省生态环境监测网络建设实施方案》的通知(赣府厅字[2017]63号)要求,把
生态环境大数据平台和生态环境监测网络作为环保管理提升途径,将区域生态环
境的改善和生态文明建设作为管理目标。
《国家生态文明试验区(江西省)实施方案(征求意见稿)》中提出“建立
环保、农业、水利、国土、林业、气象等部门协调机制,构建统一规范、布局合
理、覆盖全面的生态环境监测网络。2017年启动环保监测机构垂直管理改革,
强化省级环境质量监测事权,下移重点污染源监督性监测和监管重心。建设全省
“生态云”大数据平台,整合生态与环境数据资源,开展生态环境大数据分析应
用,推动建立生态环境质量趋势分析和预警机制。加快推进环保部门机构和职能
调整,强化气、水、土环境质量监管,建立健全以改善环境质量为核心的环境保
护管理机制。实行排污许可“一证式”管理模式,落实企业排放许可制。探索建
立排污权交易制度。完善企业环境信用评价制度,推动企业环境信息纳入金融信
用信息基础数据库,向金融机构开放共享。全面推进环境质量信息、企业排污信
息、监管部门环境管理信息公开”。
1.2建设目标
遵循环保部《生态环境大数据建设总体方案》的要求和思路,满足江西省生
态文明试验区建设要求,健全和完善环保数据的采集来源、覆盖范围、质量提升、
管理机制,实现数据的多元融合和提高数据的应用价值开发。响应环保管理组织
3
体系的变革,实现环境监测监察的整合,对环保监管能力的提升提供更加有效的
支撑,提升环境监管工作的效率,服务于严格环保执法、强化执法监督和责任追
究。
到2020年,全市生态环境监测网络基本实现环境质量、重点污染源、生态
状况监测全覆盖;建成生态环境大数据平台,部门和区县的生态环境数据系统互
联共享;监测预报预警、信息化能力和保障水平进一步提升;生态环境监测制度
和测管联动、部门协同等工作机制进一步健全完善;初步建成要素统筹、规范统
一、天地一体、上下协同、信息共享的生态环境监测网络,使生态环境监测能力
与生态文明建设要求相适应。
本方案具体建设目标包括:
1、生态环境监测网络进一步完善。
全市环境质量监测点位布设满足环境质量评价、考核和预警需求,实现大气、
水、土壤、噪声监测点位覆盖所有区县,陆地、水体、饮用水源等辐射监测点位
进一步完善,全面反映我市辐射环境质量状况;重点污染源监测制度进一步健全,
重点监控企业建成稳定运行的污染物排放在线监测系统;生态状况监测网初步建
成,生态保护红线监管平台有效运行。
2、实现生态环境监管精准化。
充分运用大数据提高环境监管能力,助力简政放权,健全事中事后监管机制,
实现“用数据管理”。利用大数据支撑法治、信用、社会等监管手段,提高生态
环境监管的主动性、准确性和有效性。
3、实现生态环境综合决策科学化。
将大数据作为支撑生态环境管理科学决策的重要手段,实现“用数据决策”。
利用大数据支撑环境形势综合研判、环境政策措施制定、环境风险预测预警、重
点工作会商评估,提高生态环境综合治理科学化水平,提升环境保护参与经济发
展与宏观调控的能力。
4
4、实现生态环境公共服务便民化。
运用大数据创新政府服务理念和服务方式,实现“用数据服务”。利用大数
据支撑生态环境信息公开、网上一体化办事和综合信息服务,建立公平普惠、便
捷高效的生态环境公共服务体系,提高公共服务共建能力和共享水平,发挥生态
环境数据资源对人民群众生产、生活和经济社会活动的服务作用。
1.3建设内容
生态环境大数据平台按照“一网、一云、一中心、一平台、N应用”的总体
架构进行建设,构建市政府领导、各部门齐抓共管、全社会共同参与的平台。
“一网”:生态环境监测网,为生态环境保护决策、管理和执法提供充足的
数据支持。
“一云”:生态环境大数据云计算平台,为大数据平台提供统一的存储、网
络和计算资源支撑,实现计算、存储、云服务、云管理、运维的统一管理和分配。
“一中心”:生态环境大数据融合共享中心,整合生态环境相关内外数据资
源,实现海量数据的采集、组织、存储、计算、分析以及可视化。服务于生态环
境管理工作,提升区域生态环境管理与经济发展和宏观调控的能力。
“一平台”:生态环境大数据分析与应用平台,为数据应用提供存储、计算
服务、数据分析、可视化服务、数据服务、安全管控服务与支撑。
“N应用”:监测大数据分析、大气环境综合分析、水环境综合分析、土壤
环境综合分析、污染源综合分析、环境风险综合分析、生态保护综合分析,完善
各级环境管理责任部门信息化应用为各级责任部门的日常工作提供支撑,提高环
境监管能力;利用统计模型、数据挖掘等方法,利用可视化技术实现预警预报精
细度、准确率的提高。
5
1.4指导思想
深入贯彻党的十八大、十八届三中、四中、五中全会精神和习近平总书记系
列重要讲话精神,按照党中央、国务院决策部署,以改善环境质量为核心,加强
顶层设计和统筹协调,完善制度标准体系,统一基础设施建设,推动信息资源整
合互联和数据开放共享,促进业务协同,推进大数据建设和应用,保障数据安全。
通过生态环境大数据发展和应用,推进环境管理转型,提升生态环境治理能力,
为实现生态环境质量总体改善目标提供有力支撑。
1.5建设原则
生态环境大数据平台项目是一项系统工程,以整体设计、分步实施、稳步推
进、突出持色的建设方针,以节约投资、注重创新、保障安全为原则。
•顶层设计、应用导向
围绕生态环境治理体系和治理能力现代化开展大数据顶层设计,顶层设计开
放、创新应用全面、基础架构灵活,不断适应生态环境管理新形势、新任务和新
要求。
•开放共享、强化应用
统筹整合内外部数据资源,边整合边应用,推动数据资源开放共享。鼓励业
务创新、管理创新和模式创新,逐步形成生态环境大数据应用新格局。
•健全规范、保障安全
建立生态环境大数据管理工作机制,健全大数据标准规范体系,保障数据准
确性、一致性和真实性,强化运维管理和安全防护,保障信息安全。
•分步实施、重点突破
大数据建设既要有阶段性,也要有重点突破。先在环境影响评价、环境监测、
环境应急、环境信息服务等方面实现突破。
6
•整合资源,节约投资
依托城市现有的基础软硬件平台,对现有的信息化成果进行全面梳理,明确
需要建设和整合的具体内容,充分利用已有信息化资源,最大程度发挥现有各类
资源的效益,保护已有的投资。
•规范管理,注重创新
构筑以信息技术手段为支撑的环境管理体系,以信息化促进管理规范,提升
管理效能,优化资源配置,实现全程监管和高效配置;同时应考虑到制度设计和
观念的创新,加强技术应用,重点加强污染源监管方式、管理方式、服务方式的
改革创新和行政管理效能的全面提升。
•建用并举,保证安全
要以需求为导向,适应环境管理的新形势、新任务,以应用促发展,保证应
用的不断推进和完善。同时,应通过制订相关的信息安全与保密制度,引进和研
制系统安全与数据保密技术,最大限度地确保系统和信息的安全。
1.6建设依据
1.《国务院关于印发促进大数据发展行动纲要的通知》(国发(2015)50
号)
2.《国务院关于加快推进“互联网+政务服务”工作的指导意见》(国发
(2016)55号)
3.《国务院办公厅关于印发生态环境监测网络建设方案的通知》国办发
(2015)56号
4.中华人民共和国国民经济和社会发展第十三个五年规划纲要》(2016年
3月)
5.环保部《国家环境保护“十三五”规划》
7
6.环保部编制的《生态环境大数据建设总体方案》(环保部2016年3月
印发)
7.《国务院关于加强环境保护重点工作的意见》(国发(2011)35号)
8.《关于全面加强环境信息基础能力规范化建设的意见》(环发(2010)
87号)
9.《国家电子政务工程建设项目管理暂行办法》(国家发展和改革委员会
令第55号,2007年)
8
2现状与需求
2.1现状分析
2.1.1已经建成或已应用的信息系统
环保局现有和应用信息系统情况如下表:
编
号系统名称来源部署情况数据情况
环境空气质量预报预警市局机房
1市局实时采集
业务管理平台2016年建成
国家空气质量联网监测市局机房
2市局实时采集
管理平台城区9个子站
南昌空气质量实时发布市局机房
3市局实时采集
系统
市局机房
4城市摄影系统市局实时采集
空气质量联网监测管理
市局机房
5平台(县区空气质量监市局实时采集
区县13个子站
测)
市局机房
6噪声监测管理平台市局实时采集
13个环境噪声自动监测点
市局机房
5个赣江和抚河交界断面
7地表水监测市局的水质自动监测站,1个实时采集
位于鄱阳湖入口直报环保
部的国家断面自动站
市局机房
8饮用水源地监测市局包括4个饮用水源地水质实时采集
自动监测站
专网
重点污染源在线监测系总共97套,其中废水58
9省厅实时采集
统(省控)套,烟气39套;视频监控
点26个
污染源“一企一档”管
10省厅专网人工
理录入系统
11移动执法系统省厅专网人工
环保部,
重点污染源在线监测系
12西安长天专网实时采集
统(国控)
开发
13环境统计环保部,单机版本年度上报
9
西安长天
开发
环保部,
排污费征收信息化管理
14西安长天
系统(国发)
开发
1512369网络举报平台环保部统一应用
建设项目环境影响登记
16环保部统一应用企业填报
表备案系统
2.1.2硬件配置网络情况
环保局计算机机房比较陈旧,目前在服务器上运行的主要应用系统包括空气
质量在线监测、地表水饮用水在线监测等。
目前市环保局网络分为两类,如下所示:
1、一监测专网:是全省环境和重点污染源自动监测监控系统等实现互联直
通的业务网,纵向专线连接省、市、县环保局。与办公内网物理隔离,与办公外
网安全隔离(两网之间的终端办公电脑不能互相访问,但可通过数据交换系统实
现服务器之间的数据交换)。
2、办公外网:是工作人员处理环境信访、行政审批综合应用平台等需要与
互联网联通的业务网。与互联网逻辑隔离,与监测专网安全隔离,与市政府政务
外网联通。
3、办公内网:主要用于政府收发文件,以及日常行政管理等事物和资源调
度,包括通过办公外网转入到内网进入行政管理流程。
4、互联网:主要对移动端应用提供支持,以及为企业服务、公众服务等提
供的基本网络平台,为全社会参与生态环保的建设和监督提供通道。
环境保护局现有的系统网络拓扑图如下所示:
10
环境质量状况网络图
空气声量及嗓声贤测胭务器空气用量实时发布系统
空气质量预蜜预报服务器
环境信息中心目前网络如下图所示:
11
信息中心网络图
存储服务器
1嘤声虚拟服务器(互联网)
2地表水虚拟服务器(互联网)
备注:
1、重点污染源自动监测系统服务器部署在省厅,市局通过环保专网WEB页
面访问。
2、重点污染源自动监控系统服务器部署在省厅,市局通过安装客户端访问。
3、市局门户网站服务器部署在市信息中心机房。
2.1.3现有数据属性分析
目前环保局现有信息系统主要采用了SQLServer和oracle的数据库,此外
由于视频装备和公众的参与,以及管理部门需求的扩展和应用的深入,图形图像
信息和多媒体信息的处理需求也日益增加。本项目处理和存储的主要信息类型包
括文本信息、数值信息、图形图像信息等。
数值型信息:主要包括各种基础业务数据、污染源动态监测数据、规划计划
指标数据、模型测算结果数据等;
文本型信息:主要是各种规划计划文本、政策文件、研究报告、法律文献、
公众反馈意见等;
图形图像信息:主要是空间地理信息、关系环保的基础设施、建设项目资料、
各种扫描文件等。
2.2数据信息需求
本项目基于生态环境监测网络和生态环境大数据进行规划设计,因此从数据
信息的需求方面不仅仅限于对环保业务应用数据的需要,同时还对包括国土、规
划、交通、城建、卫生、工业生产、产业经济、社会管理、日常行为等各个方面
的数据有需要,依托大数据平台的分析工具,实现大数据的深入挖掘,从而可以
更好的服务本地的环境管理、环境治理和生态文明建设。
1、环保管理类的信息资源可以分为下面几类:
>污染源数据:包括建设项目管理、重点污染源在线监控、污染源监督性
监测、排污申报、排污收费、公众监督与现场执法的各方面业务管理数
据。
>环境质量数据:包括水环境、空气环境质量及噪声环境质量数据。
>核与辐射数据:辐射建设项目管理数据、辐射许可证管理数据、辐射环
境监测管理数据、核与电磁辐射管理数据及放射源监督管理数据。
>应急管理数据:环境应急接警与预警管理数据、环境应急指挥调度数据、
环境应急监测管理数据、环境突发事件后评估管理数据等。
>生态环境数据:包括区域生态环境管理数据、农村生态环境保护管理数
据以及生物多样性保护数据等。
>环境空间数据:包括各类基础地图数据、环境专题图数据及遥感数据,
用以支撑业务数据的空间应用与分析。
13
A文档数据:主要包括各类环保政策法规、规划及公文数据,用以支撑环
境管理业务工作。
>信息分类及标准代码:主要包括环境管理的各类标准化代码,如污染源
类别、行业类型等。
>机动车尾气监测治理相关数据。
>环境统计数据。
>污染源普查数据。
2、非环保类的数据主要需要:
>气象数据
>人口数据
>国土规划数据
>农业种植分布
>法人库
>社会经济运行数据
2.3需求分析
现有信息系统和网络、数据等资源,目前可以基本满足日常的工作需要,但
是由于环保局正在由环境污染被动应对向主动监管的模式转变,全局协同建设环
境生态环境大数据平台,因此需要在以下几个方面满足新需求,实现新突破:
>以生态环境大数据平台的建设为重心,为做好基础性建设,在规划阶段
即建立相关的标准和规范,如:资源目录规范、数据融合平台数据元规
14
范、数据交换平台数据校验标准、对外公布数据的规范标准、行政执法
事项数据规范等;
以环境质量为核心的管理思路,需要对污染源监管、环境质量监测等相
关系统从业务协同、数据共享和决策分析等方面实现更深的融合;
更广泛的生态环境监测网络建设,一方面需要整合现有的自动监测、常
规日常监测、第三方监测以及其他各种方式的人工监测等数据,另一方
面需要从监测点位数量和设置方式上进行扩展,通过地理信息系统实现
对全市各类监测、监控的点位、目标实现统一的管理,直观便捷的为管
理决策的实施调度提供支持;
为了满足更加精细化和有针对性的监管,在本级需要针对污染源的在线
监控,以及污染源的视频监控提供更全面覆盖全市重点污染源的环保物
联网监控平台,实现涵盖国控污染源和非国控污染源的全面管理,为全
市环境管理、治理、规划等决策提供本地化的支持服务;
落实生态红线管理,严格红线准入规范,更好地为的及发展服务,通过
环保建设项目、环评等审批的准入,实现生态红线“划得出守得住”,
为实施生态补偿、农村环境治理、项目准入提供更全面的支撑服务。
满足与环保相关的其他机构、单位、个人提供的环保监测、业务处理、
数据分析、主题分析、专项统计等数据,通过统一共享交换平台实现数
据的整合,完善生态环保大数据的内容建设。改善现有数据共享和数据
挖掘的不充分、不及时、不完整和不准确等现状,进而可以提供更加可
靠的决策支持;
生态环境大数据平台的建设,需要进一步满足对全市的政府、企业、公
众所关注的环境质量信息的获取要求,包括提供更多媒体和渠道的信息
服务,确立环境信息的一致性、权威性,同时还要为全民参与环保提供
便利的途径。
15
综合以上需求分析,环保局的生态环境大数据平台建设,必须要完成生态环
境大数据融合共享中心的规划建设,实现全市环境管理相关的数据信息的采集、
整合、数据分析和应用服务支持,并且做好数据存储安全、元数据定义、质量提
升、共享交换和统一发布等管理工作,并实现与空间地理信息的完美融合和展现,
最终为服务各种业务协同、行业监管、决策分析提供统一高效的支撑平台。
16
3总体设计
3.1技术思路
生态环境大数据平台的规划设计,遵循环保部编制的《生态环境大数据建设
总体方案》指导,遵循全面采集、数据整合、共享交换、业务协同、分析挖掘和
决策支持的总体思路,结合统一门户管理和信息发布管理,建设生态大数据平台
的应用支撑。
在技术设计方面,主要遵循分层建设、集成架构和迭代演进的思路,实现生
态大数据平台的规划建设在持续的应用服务中得到更新完善。
(-)分层建设思想
生态环境大数据平台由多个子系统组成,包含众多的功能,其中有公共的功
能部分,也有特定的功能。分层从逻辑上将子系统划分成许多集合,而层间关系
的形成要遵循一定的规则。通过分层,可以限制子系统间的依赖关系,使系统以
更松散的方式耦合,从而更易于维护。
(二)集成架构模型
通过采用集成架构模型,以集成目前已经开发和未来要开发的各种应用系
统,解决各个相关部门内部的各种应用系统之间的信息共享、流程整合的问题。
(三)分步建设,迭代演进思想
生态环境大数据平台建设不是一蹴而就而是循序渐进的过程,根据生态环
境管理目标要求,分阶段、有重点的进行信息化建设,务求实效。
3.2总体架构
生态环境大数据平台按照“一网、一云、一中心、一平台、N应用”的总体
架构进行建设。其中,“一网”指的是生态环境监测网,“一云”是指生态环境
17
大数据云计算平台,“一中心”是指生态环境大数据融合共享中心,“一平台”
是指生态环境大数据分析与应用平台,“N应用”指的是指监测、监察、监管、
政务四大业务应用系统和生态环境科学决策创新应用。总体框架如下所示:
.一网:生的境监测网
--S:算平台
^曾
■一中心:副!合共享中心
一院—公司
■一平台:分析与应用平台
■四应用:监测、监察、监管、政务大系统
■六创新:生福梯科学决策创新应用
(包括为、水、土壤、污染源、环啊
险、生态保护六方面创新应用)
“智囊服务、平台共建、运营支持”
一院:生的境大产业研究院
■3司:生的境大数据运营公司
以改善环境质量为核心,以管理模式创新和技术创新为驱动,以大数据思维
为引领,建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机
制,推进环境管理转型,提升生态环境治理能力,为实现生态环境质量总体改善
目标提供有力支撑。
平台建设按照“智囊服务、平台共建、运营支持”的指导思想进行推进。
3.3关键技术
3.3.1数据中间件技术
数据中间件为客户端与服务端提供的适配的中间层,从而简化客户端的操作
对象和方式,将与服务器、数据库、硬件、软件系统等的交互工作,统一到中间
层进行管理和实现。并且中间层可以对客户端完全透明,为业务逻辑的更新提供
工具支撑,从技术层面降低客户端与服务端的耦合度,实现可分可合的业务逻辑
构建,是一套面向对象的,支持分布式、跨语言、支持持久化数据、支持丰富数
据类型的组件框架。
3.3.2安全接入平台技术
18
生态环境大数据搭建专网平台,在隔离的基础上实现数据交换,支撑分布在
专用网上的应用需经常进行大量数据交换,甚至有些业务逐渐融合。接入业务操
作方式分为数据交换和授权访问两大类。
安全接入平台对数据交换和授权访问提供了整合管理,让用户通过安全接入
平台可以方便的访问所需的数据和系统,由平台配置实现安全管理的全部操作和
控制保障,包括:身份认证、终端认证、授权与访问控制、数据完整性保护、数
据格式过滤、数据内容过滤、数据加密、数字签名、安全审计、单道访问、安全
隔离、注册管理服务、监控管理服务、审计管理服务、监管探针和监控管理。
3.3.3实时数据中心技术
本期项目建设需要接入大量实时类数据,如污染源、环境质量、视频等各类
实时监测类数据,同时数量还会不断扩大,又存在同时监测,同时数据上传.实时
数据对网络、存储、计算都带来了很大的压力,带来的压力是持续不断的,挑战
主要不在于带宽,而在于对海量小数据、高并发性条件的处理能力。
在数据采集层面,采用分布式生态采集架构,允许多点接入、多种方式接入、
多个系统接入、多个单位接入。在数据集成层面,将数据采集与数据存储分离。
在数据存储方面,使用分布式存储替代传统关系型数据库。在数据处理层面,除
了采用分布式并行计算框架处理海量历史数据外。在应用平台层面,通过集群技
术提供扩展性和负载均衡。
3.3.4分布式系统运行动态管控技术
对于生态环境大数据的日常应用过程中,建立系统运行动态管控监控机制,
对日常系统运行的软硬件状况实现动态管控.系统能实现服务的动态配置管控,
提供该平台基础设施监控,采用模块化分布式架构、直观便捷地展示各类软硬件
资源的运行状况,准确快速地定位设备故障源,并提供二次开发接口,实现模块
扩展和集成管控。
3.3.5跨平台移动智能终端技术
跨平台移动智能终端中间件,将操作系统的差异性和软硬件环境的差异性封
装在中间件之下,使得开发的版本都能稳定运行,并保持用户体验一致;有效支
19
持IOS和Android移动端操作系统,并通过此中间件实现移动GIS的深度集成,
进行整体中间件核心框架搭建,同时实现界面定制及展现的自适应。
20
4建设方案
4.1一网:生态环境监测网
江西省人民政府提出到2020年,全省生态环境监测网络基本实现环境质量、
重点污染源、生态环境质量监测全覆盖,各级各类监测数据系统互联共享,监测
预报预警、信息化能力和保障水平明显提升,监测与监管协同联动,初步建成天
地一体、上下协同、信息共享的生态环境监测网络,使生态环境监测能力与生态
文明建设要求相适应。
生态环境监测物联网数据是开展大数据分析的重要数据基础,为生态环境保
护决策、管理和执法提供充足的数据支持。生态环境监测物联网体系主要包括环
境质量监测物联网、污染源在线监测物联网、生态环境遥感动态监测物联网。
本方案主要实现实现全市生态环境监测信息集成共享,具体内容如下:
(1)建立生态环境监测数据集成共享机制
按照环境保护部“一库一网一平台”的要求,融合国土资源、环境保护、住
房城乡建设、交通运输、农业、林业、水利、卫生计生、气象等部门获取的生态
环境质量、污染源、水资源、水土流失、农村饮用水源、地下水、耕地等生态环
境监测数据,实现有效集成、互联共享。
(2)构建生态环境监测大数据平台
加强生态环境监测数据资源开发与应用,开展大数据关联分析,构建生态环
境监测大数据平台,并与国家、省、县形成逐级贯通的生态环境监测数据传输网
络,满足生态环境保护决策、管理和执法的数据需求。
(3)统一发布生态环境监测信息
建立统一的生态环境监测信息发布机制,制定生态环境监测信息发布管理规
定,规范发布内容、流程、权限、渠道等,及时准确发布全市生态环境质量、重
21
点污染源、企业自行监测及生态状况监测信息,提高政府环境信息发布的权威性
和公信力。
(4)完善生态环境质量预警监测体系
通过空气质量预报预警系统的试点,为逐步开展全省环境空气质量数值预报
预警工作提供经验,形成“区域-省级-城市”环境空气质量预报预警体系。拓展
水质自动监测范围,涵盖南昌主要河流市界断面、集中式饮用水源地,开展水质
变化趋势和风险预警预测研究。
22
4.2一云:生态环境云计算平台
云计算平台主要为生态环境大数据平台运行提供存储和计算资源支撑。满足
市环保局100MB接入、县环保局及直属单位10MB接入,省、市、县环保厅局之
间可以任意相互访问。基于云计算平台的硬件更新快及维护难的现实情况,建议
采用租用政务私有云和公有云的方式。
4.3一中心:生态环境大数据融合共享中心
4.3.1信息资源规划与数据库设计
依据统一的技术规范和技术标准,建设信息资源规划体系框架,建立生态环
境大数据中心,逐步实现各业务条线数据的接入,通过资源整合,使信息系统用
户能够使用的基础信息库,初步实现业务与信息资源的统一管理应用。
信息资源规划
.1设计原贝
信息资源是大数据中心的基础,必须遵循以下原则进行设计:
1.符合国家标准,信息资源规划和数据库建设应符合国家相关信息资源标准
规范。
2.能够兼容现有业务系统数据,大数据中心应使用各业务系统产生的数据,
以保证信息资源的连续性。
3.数据准确性,数据的准确性是大数据中心可用的基本要求,在建设时必须
对数据的准确性进行严格的审核、校验工作,保证系统的正常运行。
4.数据的访问效率,在建设时必须把对数据的访问效率设计放到重要的位置
给予充分的设计。
5.数据安全性,信息资源规划和数据库建设必须保住数据安全。
23
6.数据可追溯性,为了保证监管行为的有效性,提高监管的力度,以及提高
监管的响应时间,必须将数据的产生、处理、采集、转换等信息完整的保存下来,
并清楚的标注数据处理流程,以达到追溯数据源头的目的。
7.信息可扩展性,为了延长系统的使用寿命、有效保护系统投资,在建设时
应充分考虑系统的扩展性,以满足不断变化的国家政策和业务需求。
.2数据资源分类
1、按数据格式划分
从数据存储格式上看,项目接入的数据为生态环境相关的结构化数据、半结
构化数据和非结构化数据。
•结构化数据包括存储在各类关系型数据库中的数据;
•结构化数据包括互联舆情数据、公众上网行为数据;
•非结构化数据包括各类图片、声音、视频及文档。
2、按获取方式划分
从获取方式上看,数据资源分为垂直单位、市级单位。
•垂直单位:在调研过程中,有不少信息系统由垂直单位承建,这类数据
信息从已经建设的基础库中抽取
•市级单位:由市级单位独立建设的系统,则直接从市级单位获取数据,
如市各委办局的应用系统。
3、按更新频率划分
从更新周期上看,数据资源包括长期静态数据、周期更新数据、定期更新数
据、实时监测数据。
•长期静态数据是指在相当长一段时间内数据资源内容不会发生变化的数
据,如企业名称、污染源编码、人的身份证号码、性别等信息;
24
•周期更新数据是指在比较长的一段时间内或一定周期内进行有变化或更
新的数据,如环统数据、污普数据、企业法人变更等;
•定期更新数据是指在固定一段时间(通常1年以内)按照规定的时间间
隔进行更新的数据,如重点污染源、监督性监测数据等;
•实时监测数据是指通过自动监测仪器获取的实时变化数据,包括环境质
量、污染源在线等自动监测数据等。
4、按生命周期划分
从数据资源的生命周期进行划分,包括数据的采集过程、数据的交换过程、
数据的整合过程、数据的服务过程、数据的应用过程以及数据的监控过程。
.3数据流向及网络通道
根据生态环境大数据平台项目实施过程的环境来定义,数据通过政务专网和
互联网通道接入。
1、政务专网通道
对于有政务专网环境的各相关业务管理单位,相关单位用PC机通过政务专
网访问放置在政务专网区域的系统来接入项目相关数据。
2、互联网通道
对于没有政务专网环境的相关单位,通过互联网通道访问放置在互联网区域
的系统来接入项目相关数据,互联网区域的系统支持传统PC机的连接访问,以
及移动智能终端访问系统的有限功能。
4.3.1.2数据库设计
.1框架设计
数据库总体框架结构设计如下图所示:
25
源数据层ODS层基他层主题应用层
包括源数据层、ODS层、基础层、主题应用层四个层次,具体如下:
1、源数据层:源数据层是数据的源头,主要项目涉及的相关部门提供的数
据资源。
2、ODS层:通过数据采集交换,源数据层的数据被集中到数据中心的ODS
层,实现内部资源、外部资源的集中存储、清洗规整。
3、基础层:该层则是按相关规范对ODS层的数据进行分类组织,形成可再
生利用的基础数据资源。为保证基础数据的标准性、规范性、扩展性,基础层还
设置了各类标准、规范、配置等元数据库,以及各种可复用的业务模型库等。
4、应用层:该层次则是根据应用的具体需求,直接使用基础数据,或基于
主题对基础层相关资源进行重新组织,建成各种主题库。
.2源数据层
源数据层主要包括对接系统的数据库、前置库、其他数据中心或接口。
4.3.1.2.3ODS层
26
ODS层是数据处理的重要组成部分,主要实现对来自各部门交换来的数据进
行集中管理,按照数据标准规范,对来自多源头的数据进行清洗、比对、合并、
汇聚,并找出问题数据,控制数据质量。
ODS层模型:该库按业务形态组织,实现数据资源数据的集中存储,并保持
数据的原生态性。
4.3.1.2.4基础层
1、公共基础库
1)宏观经济库
生态环境大数据平台建设采用数据接入的方式从统计局等相关单位获取数
据,完成宏观库信息的采集,字段结构保持一致。
2)地理空间库
依托于原有地理信息数据,在其基础上进行整合规划局、国土局等相关图层
数据,以满足现阶段需求,并符合数据交换共享未来发展和建设方向。同时,将
污染源监管信息与地理信息库对接,实现污染源企业的二维平面在地理信息库中
的三维立体化展示,即在“一张图”中查询阅览污染源企业信息资源,帮助各部
门开展日常工作。
3)人口基础数据库
人口基础数据库建设,以现有的常住人口和流动人口基础信息为基础,逐步
整合公安、计生、社保、民政、教育、卫生、统计等部门与人相关的基础信息,
建成标准统一的全市人口基础数据库。涉及常住人口、流动人口、特殊人群(如
失业、低保、残疾、社区矫正、刑释等)等自然人信息。
包括但不限于人口户籍信息、户籍变更信息、人口出生信息、育龄妇女信息、
计划生育信息、适龄人口信息、在校学生信息、学生团员信息、学校教师信息、
就业人员信息、失业人员信息、个人劳动保障代理信息、职业指导信息、离退休
人员信息、养老保险信息、医疗保险信息、失业保险信息、工伤保险信息、生育
保险信息、工伤人员信息、工伤鉴定信息、医疗机构信息、婚姻档案信息、离婚
27
登记信息、健康档案信息、伤残军人信息、烈士家属信息、干部编制信息、国家
公务员信息、专业技术人员信息、人事调动信息、个人黑名单信息企业接受公安
厅行政处罚信息、企业及重点人群重大经济犯罪信息、住房公积金个人公积金年
度汇缴明细信息等基础数据。
4)法人基础数据库
法人基础数据库是以社会统一信用码为唯一标识,结合市场监管部门的法人
数据库实际建设情况和与上级共享交换平台法人数据交换情况进行建设,加强信
息共享交换,通过确定信息比对规则,对法人基本信息的历史数据进行批量比对
和数据纠错,保证法人基础信息在各主要管理部门的一致性和惟一性,推动数据
资源综合利用。
依托现有电子政务数据资源,将分散在各政府部门的信息资源通过共享和交
换平台进行整合,重点涵盖登记变更、税源税务、行政许可、行政处罚、人力资
源、信用评估、资质认证、荣誉表彰、市场监管、规划统计、水电燃气、科技创
新、金融投资、产业经济、土地房产等方面年度、季度、月度共享数据,进一步
拓展与完善法人基础数据库内容。
包括但不限于企业所得税信息、减税免税及其他相关事宜信息、纳税信用等
级纳税人备案信息、企业领购发票情况、营业税入库情况、注销税务登记信息、
被执行人的“老赖”信息、企业案件信息、特种行业许可证信息、企业拖欠电费
信息、企业用电量信息、国税欠税信息、一般纳税人增值税应纳税额信息、小规
模纳税人增值税应纳税额信息、企业免抵税信息采集表、双定户超定额信息、双
定户定额信息表、国税税务登记基本信息、纳税信用等级纳税人备案信息、注销
税务登记表、工商联会员企业信息、会员企业荣誉信息、违法违章受处罚企业信
息、吊销登记信息、监督抽查信息、工商开业登记信息、守合同重信用企业资料、
注销登记信息、企业安全培训机构资格认可信息、非煤矿矿山企业安全生产许可
证信息、危险化学品经营许可证核发信息、危险化学品生产许可证核发信息、、财
政补贴信息、地税变更税务登记信息、地税欠税信息、地税税务登记基本信息、
地税停业税务登记信息等基础数据。
28
2、公共业务库
公共业务库是除公共基础库,即四大基础库以外的业务数据的补充。根据各
数据资源的分布情况,从各委办局接入数据并与公共基础库做整合。
4.3.1.2.5应用层
建设公共专题库的基本框架,并实施分库管理,以支撑其他应用的接入。
4.3.2数据对接接口设计
4.3.2.1接口概述
生态环境大数据平台的大数据中心提供各部门系统接入的接口,实现大数据
中心与各信息系统的有机结合,以统一的接口规范实现不同数据库、不同数据格
式的数据自动提取。
在接口的调用过程中,存在相关信息系统调用本统接口的情况,这时候,相
关信息系统作为客户端,生态环境大数据平台作为服务器端。
4.3.2.2对接方式
4.3.2.2.1WebService接口接入
需要在接入的应用系统前置机上部署数据接口程序,数据接口程序通过调用
大数据中心提供的WebService接口实现各系统的数据提取等功能。
4.3.2.2.2消息中间件数据交换接入
各行政单位如果具备数据交换中间件的,可采用数据交换中间件模式进行,
数据交换中间件可以直接从各数据接入单位的业务数据库中提取XML格式数据,
并通过大数据中心的WebService或数据库接口直接写入,完成数据接入,要求
数据交换中间件支持XML数据交换模式。
4.3.3大数据交换共享系统
29
数据交换共享系统,以数据目录及数据虚拟化技术为核心,将数据交换共享
平台物理库上的数据注册到虚拟化平台,上层应用或机关单位通过数据目录索引
查询所需数据,平台提供及时访问、数据加工、数据调用的服务。
4.3.3.1数据交换
依据数据提供单位、数据使用单位的特点,数据交换主要提供三种服务能力,
即:
1.对接入单位的IT系统提供公共基础数据,为IT系统提供通用信息资源
以及数据的导入;
2.对大数据主题应用提供元数据信息及主题数据信息;
3.对前端门户界面展示提供数据传输服务。
总体如下图所示:
数提请求方数据交换处理服务
大数据中心
问叫使和,服务
前岗六工展示应用API.(api.webservice.jdbc^)
------------------------------------------1-------------------------
.1数据交换请求管理
用户通过门户发起数据交换请求,该请求总体分为两大类:
第一类指数据传输采集交换,即由接入单位的IT系统、大数据主题应用发
起数据采集请求;该请求通过审核审批后,直接传输到数据采集抽取系统;
30
第二类指数据界面展现请求,即用户通过门户查询基础数据、主题数据及目
录数据等,通过API形式(含jdbc等)将数据传输到门户界面进行展示,该请
求无须审核,根据用户的权限进行数据展示。
系统提供数据交换请求的管理与审批。
.2ETL数据抽取与加载服务
ETL采集与抽取工具,接收到数据采集指令后,执行数据采集任务,对基础
数据、主题数据、非结构化数据进行采集,支持离线批量采集与实时采集,采集
完成的数据通过ETL工具压缩进行传输。
采集的数据由ETL传输到数据交换共享平台的前置服务设备进行存储,待接
入单位或主题应用单位进行采集。
.3消息通知服务
用户请求交换的数据完成采集后,系统通知相关用户,告知用户数据已完成
采集,由用户自行到数据交换共享平台的前置服务设备进行下载。
.4API数据交换服务
用户通过门户检索、查询目录系统等相关数据时,由系统自动调用API服务,
根据数据量、计算规模的大小,实时或非实时地将数据推送给门户界面。
4.3.3.2数据共享
4.3.3.2.1共享服务提供
数据共享基于数据虚拟化过程实现。数据虚拟化管理包括数据发现和注册、
数据目录、共享管理及租户管理。
4.3.3.2.2数据注册
平台在复杂数据环境中定位多个数据孤岛中的相关实体,自动完成数据匹配
工作,发现可用数据,建立隐藏关系,并注册在数据虚拟化平台,形成逻辑上的
数据中心。
4.3.3.2.3数据目录
31
针对平台发布的可共享数据接口,将数据接口最终封装成一个一个的服务包
对外发布,并进行分类整理。以数据目录形式,提供在线服务查询索引、服务展
示及数据调用功能。
4.3.3.2.4共享服务
1)查询服务
对上层业务提供灵活的数据查询,屏蔽下层不同存储处理方式的查询。通过
统一的接口让使用者和物理数据源隔离开来。使异构的数据存储不会对使用者产
生不利影响。
半/非结构化数据查询:使用OpenApi的形式,通过HTTP协议来查询小批量
数据,系统提供高稳定性与低延迟的性能保证。适用与指标库、标签库等类应用
的数据访问。
结构化数据查询:使用各种复杂的SQL中聚合分组语法来获取数据,导出
XML、JSON等格式数据,适用于稍大数据量的即时分析类查询需求。
2)资料服务
对上层应用提供帮助文档信息,主要包含数据模型、指标口径和API文档。
数据模型:把元数据系统中的数据表、模型定义信息通过接口开放给业务使
用者,可以查询出来表定义相关的数据处理流程。
指标口径:开放指标的口径信息,清晰的表达出来指标代表的含义。
API文档:API列表,可以在线查询API的参数,帮助信息,并提供在线测
试用户界面。
3)文件接口服务
支持在内外部系统的不同存储间(如Hadoop、DB2等),进行数据的交换、
同步、分发。交换可以通过接口文件、JDBC等多种方式。针对大批量数据的交
互,应通过调用底层事件服务与分发服务,提交一个异步分发请求到事件服务,
如输入分发脚本、分发目录包装成消息,数据导出完成后分发到相应的主机目录。
32
4.3.3.2.5数据权限管理
主要面向平台使用者和数据资源管理人员,提供信息资源查询和展现能力,
以及相应的信息资源权限管控。
1)平台使用者
快速目录检索:通过数据资源目录,由平台实现数据快速检索功能;
权限快速申请:提供权限申请调用接口,用户在图列表中点击申请权限,完
成申请信息提交,由管理员进行审批。
2)权限管控
对内数据权限管控,验证内部用户是否有能够访问当前数据的权限。在具备
权限条件下,才允许调用共享服务。
提供待审批列表:数据资源管理员通过待审批列表快速浏览到待审批的权限
申请,包括申请时间、申请人帐号、表资产名称、所属库、所属表空间、权限状
态(待审批/已审批)、用途说明等,并能够支持根据关键选项快速检索;
提供已审批列表:查看已审批的数据权限列表;
提供权限审批:支持打开申请记录,审批申请人的数据权限,完成授权;
提供历史审批查询:根据时间范围、表资产、所属库等关键条件查询历史权
限审批列表。
3)租户管理
共享服务调用通过多租户形式进行管理。
多租户是将数据查询、数据处理和数据调用能力按需、可控的进行开放,在
保障数据安全性、数据可控性的前提下,通过租户的方式实现用户及用户组管理,
以达到资源管控及数据权限控制的目的。
多租户注册,由管理员创建并维护,每个租户都被分配一定的计算资源和存
储资源,可以根据应用情况动态的调整。使用开发平台的账号,用户与租户的关
33
系是多对一,同一个应用开发厂商或是数据开发部门的用户都属于同一个租户,
使用租户对应的计算资源和存储资源。
资源分配,对租户的计算资源和存储资源进行分配。
4)计算资源
计算资源的分配主要是依据CPU虚拟核数和内存量。
每个租户分配一定的计算资源,此资源为租户的独占资源,在租户内部各任
务根据优先级抢占资源。独占资源耗尽时,自动抢占系统共享的空闲资源。
5)存储资源
计算资源的分配主要是依据硬盘容量。
每个租户根据名称分配不同的HDFS存储目录,指定目录的存储空间(最小
单位MB)。
4.3.3.2.6共享服务方式
共享方式说明应用场景示例
平台将数据主动导出文件,发
文件接口即席查询临时周期性生成数据
送给数据需求方
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 人教版一年级上册数学乐园教案及反思
- 人教版小学二年级上册数学 2.1.4 练习二 课时练
- 城市基础设施建设项目承包合同2025
- 房产买卖合同范例
- 采购家具合同范本
- 2025授权财务合同书
- 《瑞士山间小镇规划案调整》课件
- 2025装修工人劳动合同协议书示例
- 2025石油买卖合同书范本
- 高中化学人教版 (新课标)选修4 化学反应原理第三节 盐类的水解第2课时教案及反思
- 【武汉大学】2025DeepSeek驱动下的地图生成报告
- (广东二模)2025年广东省高三高考模拟测试(二)历史试卷(含答案)
- 反邪教测试题及答案
- 跨语言文本生成-全面剖析
- 天车培训考试题及答案
- 预见性护理及早期风险识别
- 中途入伙开店协议书
- 外科学普外科试题及答案
- 2025年郑州铁路职业技术学院单招职业适应性测试题库必考题
- 做最勇敢的自己
- (新版)六西格玛绿带认证考试复习题库(含答案)
评论
0/150
提交评论