揭阳市生态环境监测数据库服务项目建设需求书

揭阳市生态环境监测数据库服务项目

建设需求书

一、项目概述

1.1项目名称

揭阳市生态环境监测数据库服务项目。

1.2项目情况

1.2.1项目背景

党的十九大提出，要坚持人与自然和谐共生，坚定走生态良好的

文明发展道路，建设美丽中国。“十三五”时期是坚决打好污染防治攻

坚战，“十四五”时期要深入打好污染防治攻坚战，从“坚决打好”向

“深入打好”，这是一个重大的转变，意味着所面临的矛盾和问题层次

更深、领域更宽、要求更高。总的考虑是，坚持方向不变、力度不减,

延伸深度、拓展广度，更加突出精准治污、科学治污、依法治污。同

时，2021年《政府工作报告》中提出要加快数字化发展，协同推进数

字产业化和产业数字化转型，提高数字政府建设水平，营造良好数字

生态，建设数字中国。

为响应国家深入打好污染防治攻坚战，广东省十四五规划及2035

年远景目标建议中提出，要持续深化污染防治，坚持大气污染区域治

理、水污染流域治理、土壤污染属地治理，深入打好蓝天、碧水、净

土保卫战。同时，提出要大力发展数字经济。抓好数字社会、数字政

府建设，提升公共服务、社会治理等数字化、智能化水平。

为扎实打好碧水、蓝天保卫战，揭阳市生态环境局该项目将采用

先进的大数据、移动互联、GIS等技术，通过网络化、电子化信息共

享和高效协作工作模式使揭阳市生态环境系统整体工作效能得到显著

提升，从整体上改善环境保护条件，提高行政管理效率，推动环保战

略目标的实现。

1.2.2建设目标

本项目需要建设一套具有科学性、先进性和可操作性的业务数据

管理平台，提高大气、水环境数据的采集效率和准确性，提高业务工

作的自动化、信息化水平，方便管理人员的日常工作，提高工作的效

率和效果。具体业务目标如卜：

1、实现生态环境数据全面融合

推进生态环境保护数据整合集成。接入应对水、气生态环境数据

资源信息，依托相关数据传输与交换平台，推动生态环境数据统一汇

聚和集中管理，力争实现与省生态环境厅纵向信息交换共享，加强数

据资源管理，推进全局数据资源的整合，加快部门内部信息系统整合

共享。

2、助力污染防治攻坚决策支持

进一步加强揭阳市环境监管管理要求，落实对水环境、气环境现

状跟踪，提供多元化的专题图信息汇聚展示功能，进而帮助揭阳市生

态环境局及时、准确地掌握断面水、气动态变化趋势。

3、提高环保业务的信息化、智慧化程度

建立适应新时期工作要求的信息化系统，利用新技术、新方法、

新途径全面支撑环保工作各项业务的开展，以信息化建设、业务优化

统筹规划的思路，优化调整相关的组织、人员职责，建立相适应的工

作制度，促进各业务工作的开展，发挥科技引领作用，提升大气、水

环境监测业务的智慧化程度。

1.2.3设计依据

＞《环境空气质量标准》(GB3095-2012)及其修改单

＞《地表水环境质量评价办法(试行)》(环办［2011］22号)

＞《地表水质量自动监测技术规范》(试行)环办函［2010］261号

＞《水污染物名称代码》(HJ525-2009)

＞《环境信息分类与代码标准》(HJ/T417-2007)

＞《环境信息术语》(HJ/T416-2007)

＞《环境保护应用软件开发管理技术规范》(HJ622-2011)

＞《环境数据库设计与运行管理规范》(HJ/T419-2007)

＞《环境信息化标准指南》(HJ511-2009)

＞《计算机软件可靠性和可维护性管理》(GB/T14394-1993)

＞《信息技术软件维护》(GB/T20157-20060)

＞《信息安全技术信息系统安全管理要求》(GB/T20296-2006)

＞《环境监测信息传输技术规定》(HJ660-2013)

1.2.4建设依据

(1)政策法规

＞《大气污染防治行动计划》(国发［2013］37号)

＞中共中央国务院关于全面加强生态环境保护坚决打好污染防治

攻坚战的实施意见(中发［2018U7号)

＞《国务院关于印发打赢蓝天保卫战三年行动计划的通知》(国发

[2018]22号）

＞《国务院关于印发水污染防治行动计划的通知》（国发（2015）

17号）

＞《关于印发生态环境监测网络建设方案的通知》（国办发（2015）

56号）

＞《环境监测数据弄虚作假行为判定及处理办法》（环发（2015）

175号）

＞《国家生态环境质量监测事权上收实施方案》（环发（2015）176

号）

＞《国家地表水水质自动监测站管理办法（征求意见稿）》（2018

年）

＞《国家地表水自动监测站运行管理办法》（总站水字（2007）182

号）

＞《中华人民共和国水污染防治法》（主席令第七十号）

（2）数据标准

＞《环境空气质量标准》（GB3095-2012）

＞《大气污染物名称代码》（HJ524-2009）

＞《环境空气质量指数（AQI）技术规定（试行）》（HJ633-2012）

＞《数值修约规则与极限数值的表示和判定》（GB/T8270-2008）

＞《环境空气质量评价技术规范（试行）》（HJ663-2013）

＞《污染物在线监控（监测）系统数据传输标准（HJ212-2017）》

一、现状与需求分析

1、项目建设的目的意义和建设的必要性

揭阳市目前在环境监测数据方面的信息化水平有待提高，大气、

地表水环保信息化主要面临数据资源分散独立、没有一套智能化的数

据库系统等问题。同时监测管理能力有限，应通过建立揭阳市生态环

境监测数据库服务项目，实现数据互联互通、共用共享，增强部门间

的联动配合、业务协同，形成统一智慧的环境监测数据体系，从根本

上解决工作中数据统计的难点和痛点。

2、现状分析

2.1总体现状分析

当前，在面对大气污染攻坚战、蓝天碧水保卫战不断深入开展，

揭阳市缺乏对环境空气、地表水质量数据进行综合统计的信息化平台,

难以高效地汇总大气环境和水环境的监测数据，及时发现环境空气、

地表水质量现状与达标质量目标之间的差距，难以及时的发现达标有

压力和风险的区域，没有一个最基本的数据分析平台对制定大气、水

污染防控决策提供数据支撑，并且日常的数据分析工作多为人工操作,

工作量大且繁琐，极易出错。

2.2与存量系统的整合，衔接和利旧分析

通过多年环境信息化系统建设，揭阳市已建成了涵盖众多环境管

理业务的信息化系统，包括揭阳市生态环境局0A系统、揭阳市污染源

在线监控平台、揭阳市生态环境局机动车遥感监测平台、揭阳市机动

车环境管理综合业务平台、揭阳市城市环境空气质量预报预警系统等

等，与各系统相关的前端基础设施建设也较为完善：

1）揭阳市生态环境局0A系统：主要是解决揭阳市生态环境局公

文流转审批、部分业务流程的流转审批、综合档案管理以及日常办公、

认识管理、计划管理等工作的信息化平台。

2）揭阳市污染源在线监控平台：提供了解企业排污状况及污染治

理情况的窗口，及时掌握超标排放情况，提升环境执法水平，提高环

境执法效率，建立起全方位统一的在线监控网络和完善的预警报警体

系，为环境污染防治提供依据，为我局高效管理和科学决策提供有力

支撑。

3)揭阳市生态环境局机动车遥感监测平台：利用全市机动车尾气

排放遥感监测数据进行分析应用，以提升机动车业务管理的水平和高

污染排放车辆的监管能力；

4)揭阳市机动车环境管理综合业务平台：提高机动车排气污染防

治的监管技术，加强揭阳市机动车排气监测监督管理工作；

5)揭阳市城市环境空气质量预报预警系统：实现城市空气质量预

报预警信息发布。

项目新建系统的数据来源于非存量系统，且业务内容与功能与存

量系统并无直接整合关系。本项目新建系统的数据来源于中国环境监

测总站下发的空气质量监测联网城市版国发平台、广东省生态环境监

测中心空气质量监测联网系统、以及本地的手工监测手工填报数据，

均与本局存量系统无直接关联。

3、需求分析

项目需要建设一套具有科学性、先进性和可操作性的业务数据平

台，提高大气、水环境数据的采集效率和准确性，提高业务工作的自

动化、信息化水平，方便管理人员的日常工作，提高工作的效率和效

果。

具体的，项目的建设满足以下具体的业务需求：

(1)满足数据信息化管理的需求。通过一个系统，完成数据汇集,

信息化存储、调用、展示，提高工作效率。

(2)满足对本市大气、水质的质量达标分析，为环保治理决策提

供具体的、能速算的工具与依据。

(3)满足对本市大气、水质质量的形象、具体化展示，基本满足

需要“用数据说话”业务场景。

(4)基本满足日常大气、水质数据统计、分析、上报的基本业务

要求，高效且准确，基本杜绝人为的统计错误。

二、总体设计

1、设计原则

项目建设遵循“以业务应用为导向、以模式模拟和监测数据为基

础”的建设思路，以“高起点规划、分阶段实施、以业务服务为主、

业务与科研相结合”的建设方针。

项目建设中遵循以下几个原则：

1技术先进，系统成熟可靠

系统的开发设计，既要采用先进的管理理念、计算机技术和方法,

又要注意软件系统、硬件设备、开发工具、软件产品的相对成熟。

系统的开发设计，从设计思路、开发原则、系统架构、网络拓扑、

实施软件系统、硬件设备、开发工具等各种角度考虑整体解决方案的

先进性，所选主体产品的技术架构具有先进及前瞻性，确保所选主体

产品在技术上处于领先水平，充分考虑系统今后的延伸。

1高起点规划，分阶段实施

本项目涉及技术面广，与空气、地表水质量业务系统密切相关，

因此在建设规划中需整体考虑，高起点规划。同时项目又涉及到多方

面的基础支撑，因此采取分阶段实施的方式，稳抓稳打，以提供整体

投入产出比和更好地发挥系统的效能。

1规范性与标准性原则

系统建设时充分考虑数据规范标准，符合国际、国内及行业的有

关信息化标准和行业规范。软件体系结构、通信协议和接口标准均采

用国际标准或主流行业标准，使应用系统很容易地进行互连、扩充和

操作管理。系统中的环保业务信息管理，地理信息数据管理等均严格

遵循现有的国际、国家及环保行业技术标准。数据指标体系及代码体

系统一化、标准化，符合国标颁发标准。

上安全性与保密性原则

由于整个系统所涉及的数据是政府内部资料，因此保证系统安全

与数据保密是系统设计的根本要求，系统的建设必须在能保证这一原

则的基础上进行，建立全面的权限管理机制，确保数据和产品的安全

管理。通过设计合理的身份认证、权限、角色等系统来实现对数据的

安全使用。同时通过物理或软件手段保证数据不被非法入侵和盗用或

破坏。

系统软件具有良好的安全性能，确保系统网络和数据安全，防止

前端非法访问、入侵或攻击行为，系统升级后进行漏洞扫描，提供系

统漏洞扫描安全报告。提供系统日常安全防护，确保系统7X24小时

安全、稳定及可靠运行。

1开放性与可扩展性原则

系统总体方案设计在体系结构、软件平台的确定方面充分考虑“标

准和开放”的原则，在应用系统的设计与开发方面，依据标准化和模

块化的设计思想，在此基础上建立具有一定灵活性和可扩展性的应用

平台，使系统不仅在体系结构上保持很大的开放性而且同时提供各种

灵活可变的接口，系统内部也保持相当程度的可扩充性。

系统的建设既要充分体现系统业务的特点，充分利用现有资源，

合理配置系统软硬件，保护用户投资；又要着眼建成后使用，具有良

好的扩充能力，可以根据不断增长的业务需求扩展，能够随着需求的

发展而不断地平滑扩展和升级系统的能力。

L易用性和美观性原则

对系统网页设计、排版进行同步改版，满足美观、实用的需求。

系统用户界面根据用户需求灵活更改（增强标签分类特性），注重用户

体验，使系统各项功能易见、易学、易用。

严格遵循易用性、美观性原则，实现从产品的部署、登录、使用、

维护、升级、扩展的全方位易用及界面简洁，从而提升系统的黏着度。

提供统一的访问地址，便于用户使用。在登录页为用户提供加入

收藏、设为首页等操作，方便用户以后快速访问系统。

L业务性原则

系统建设应紧密围绕环境监测应用业务，系统应能适应目标的多

重性，环境的多变性，系统结构的伸缩性，方法的多样性；遵从环保

行业标准，体现环境应用系统运行、管理、环境监测、环保应用、辅

助决策、客户服务等业务应用的特征。

1系统和流程同步建设原则

系统与业务服务密切相关，因此在建设系统的同时，应加强业务

流程、上报流程、发布流程、系统维护流程等方面的建设，做到系统

功能实现到哪，相关流程制定建设到哪。

2、系统总体设计框架

2.1系统架构设计

揭阳市生态环境监测数据库服务项目主要是搭建一个环境监测数

据管理平台，包括揭阳市水环境管理子系统、揭阳市大气环境管理子

系统两大部分。

2.1.1水环境子系统架构设计

水环境管理子系统架构图

水环境子系统框架总体从四层。

底层为数据源头，主要吸纳地表水手工监测数据。数据录入的方

式有2中，在系统平台上直接手工填报，或下载指定EXCLE模板填报

后导入系统，进行入库。

数据接口作为数据导入的中间数据处理层，处理录入数据的格式

转换与清洗，使数据顺利入库。

数据库层则为系统提供数据支撑，除了监测数据，还有系统用户

的一些衍生、派生数据，以及对数据加工的统计数据。

应用层则为用户提供具体的业务功能应用交互，完成数据业务的

交付使用。

2.1.2大气环境管理子系统架构设计

大气环境管理子系统架构如下图所示:

数据查询

数据分析数据质量

业务系统实测辘颉空气质量常规报表分析

（数据应用）

历史案据查询空气质量对比分析数据安全

空气质量排名分析

数据标准

接口规范

ETLS!则

数据备份

整据同步

性能监控

*数据接口数据清洗、转换*、加载支*持Webseryice支*持XML直传

市控站点省控站点国控站点

数据源

污染物浓度污染物浓度污染物浓度

\/V____________________________________________________________）

大气环境管理子系统架构图

数据源层：数据主要由国控空气监测网络的揭阳城市平台、广东

省空气质量联网监测平台、揭阳市本地空气质量联网监测平台获取。

数据接口层：处理数据的对接协议，完成数据的对接获取。数据

的对接需要进行程序的封装，包装传输过程的加密性以及一致性。

数据库层：提供结构化的数据存储。

业务应用层：主要面向客户提供数据查询以及各类数据统计分析

报表等功能的操作交互应用，协助用户完成日常业务。

2.2系统业务流程设计

项目的系统业务流主要包含水环境管理子系统业务流与大气环境

管理子系统业务流。

根据业务需求的具体业务流程设计如下:

水环境子系统业务流数据基础展示

2.3系统网络拓扑设计

本项目网络拓扑结构设计如下:

用户终端用户终端

网络拓扑图

项目管理平台、数据库部署在政务云端，分别部署于不同的虚拟

服务器，并共用政务云的网络安全防护设备（如防火墙、审计设备等）。

平台从国家环境空气质量监测网揭阳城市平台、广东省空气质量

监测联网平台获取本市的大气监测数据（国控点、省控点数据），地表

水手工监测数据通过平台填报导入。相关数据将从平台保存到数据库

系统。用户通过互联网、通过账号密码登陆平台，对平台业务功能进

行访问操作。

三、项目建设方案

1、环境监测数据管理平台建设方案

1.1、管理平台简介

环境监测数据管理平台前端交互共分三大模块：

(1)登陆门户页面

(2)水环境管理子系统

(3)大气环境管理子系统

下面就三大模块具体内容设计作详细介绍。

＞系统跳转界面

建设平台登陆门户页面，为用户提供入口选择

＞登陆的安全相关开发设计

登录信息加密：登录账号密码加密算法

验证码机制：利用CAPTCHA防御暴力破解

权限认证：登录帐号信息权限确认与授权

1.2、环境监测数据管理平台登陆门户页面

建设环境监测数据管理平台登陆门户页面，使得用户通过系统登

陆页面输入用户名与密码后，跳转至登陆门户页面，提供大气环境管

理子系统以及水环境管理子系统的入口选择。

用户：XXX

揭阳市环境监测数据管理平台欢迎您

水环境管理大气环境管理

子系统子系统

系统登录门户页面示意图

1.2.1总体框架

管理平台整合策略为：标准先行，数据集成，业务关联，统一登

录。

标准先行：首先将需要集成的系统涉及到的标准进行分析，并结

合目前国家信息化标准、环保部信息化标准，制订适合揭阳市环境监

测总站实际的信息化标准。

数据集成：必须将各个分系统的业务数据有机地集成到数据交换

平台，进行挖掘分析，同时也可以提供给其它系统使用。

业务关联：对环境监察业务进行分析，通过应用集成中间件将分

散到各个不同业务之间的流程进行集成、整合，使得业务可以一体化

运行。

统一登录：建立全局的统一用户管理、统一权限管理及身份证证

管理体系，所有的业务系统统一通过门户登录，保证数据集成和业务

关联的实现。

系统集成框架图

＞服务总线，解决总站各系统间的通信方式，构建总站的应用集成平

台。

＞元数据管理：元数据管理提供丰富的元数据管理功能，能够满足对

元数据的管理要求。

＞主数据管理：主数据管理通过集中统一的主数据管理实现对环境监

测点、用户、部门、权限、标准等基本资料数据进行集中管理。

＞目录服务管理：目录服务管理主要提供用户管理、身份认证和分级

权限管理等功能。其主要应用目标是为不同应用系统提供统一的身

份认证服务，解决多个业务系统的用户统一认证问题，实现单点登

陆（SSO）、访问控制、并采用相关的安全机制，增强用户身份认证

过程的安全性。

＞Portal：Portal融合ajax技术与SpringMVC技术，提供了灵活而

丰富的个性化和管理定制功能，可实现完美的界面集成。

＞流程集成引擎：流程集成引擎对业务流和审批流的设计、执行、监

控、分析及改进提供全面支持；帮助用户在业务过程中，全面记录

过程流、协作流、信息流的内容；帮助用户依据流程运行的事实和

结果，进行有效的流程分析，以优化过程流的环节、降低协作流的

时滞、压缩资源流的成本，实现流程的改进。

＞消息集成引擎：消息集成引擎支持手机短信、电子邮件、系统公告、

待办事务等多方面的消息集成，可以进行灵活配置，从多层次进行

消息发送，确保政府决策及时、有效。

1.2.2、流程集成

项目中的相关任务的指派、生成等都需要工作流支持，对于跨部

门、跨信息系统并且需要协同工作的业务也需要进行流程集成，流程

集成设计如下：工作流平台将应用逻辑和过程逻辑分离，可以不修改

具体功能实现而只修改过程模型来改变系统功能，实现对环境业务部

分或全部过程的集成管理，有效地把人、信息和应用工具合理地组织

在一起，提高软件的重用率，发挥系统的最大效能。

流程集成引擎的核心是工作流引擎，它负责解释执行由业务流设

计器和审批流设计器设计的流程定义。工作流技术是当今一项飞速发

展的技术，它最基本的特性就是它能够结合人工和机器的行为，特别

是能够与应用程序和工具进行交互，从而完成业务过程的自动化处理。

工作流技术从出现到现在，已逐渐发挥越来越重要的作用。工作流能

够为政府应用提供业务流程建模、管理和控制功能。工作流技术已成

为信息化建设方案中必不可少的内容之一。流程集成引擎可以将多个

系统的流程一体化的集成起来，达到政府的整体信息化的业务流程一

体化。它是对政府的流程进行建模的平台，其工作流模型由四部分组

成，分别是过程模型、组织模型、功能模型以及信息模型（工作流相

关数据）。过程模型用来定义工作流的过程逻辑，包括组成工作流的所

有活动以及活动之间的依赖关系。组织模型用来定义政府人员的组织

结构，包括几种不同形式的组织元素以及每种组织元素内部的递阶层

次关系。功能模型说明政府中需要完成的工作或者任务是什么，或者

说功能模型说明了政府的目标是通过哪些具体的功能活动来实现的。

它确定了政府业务功能的逻辑结构和相互关系。信息模型说明了政府

处理的业务对象中所包含的信息以及业务对象间的关系。

过程模型采取基于活动网络图的过程模型，与其它的过程模型（如

事件驱动过程链EPC、Petri网、语义-行为模型等）比较，活动网络

图具有直观自然、可读性好的特性。

流程集成引擎包括业务流程和审批流程两个部分，整个业务流程

框架的核心是工作流引擎。它负责解释执行由业务流设计器和审批流

设计器设计的流程定义。流程定义可以引用系统建立的功能模型、组

织模型以及各种元数据。用户可从工作列表中查看到工作流引擎分配

给他的工作项。通过单据动作（比如提交、审批、弃审、驳回等）来

处理工作项，从而驱动流程流转。

流程集成引擎在流转过程中还可以调用各种自动应用，包括电子

邮件、脚本以及Web服务等。业务流程框架还提供了管理监控工具对

运行中的流程实例进行状态查询和管理。对于流转过程中涉及到的数

据交换，工作流引擎将调用交换引擎根据规则进行数据映射。

流程集成引擎对业务流和审批流的设计、执行、监控、分析及改

进提供全面支持；帮助用户在业务过程中，全面记录过程流、协作流、

信息流的内容；帮助用户依据流程运行的事实和结果，进行有效的流

程分析，以优化过程流的环节、降低协作流的时滞、压缩资源流的成

本，实现流程的改进。

1.2.3、数据集成

数据集成，主要是指基于政府分散的信息系统的业务数据进行再

集中、再统一管理的过程，是一个渐进的过程，只要有新的、不同的

数据产生，就不断有数据集成的步聚执行。政府有不同阶段的信息化

发展，凌乱、重复、歧义的数据接踵而至，数据集成的空间与需求日

渐迫切，政府需要一个主数据管理(MasterDataManager)系统来统

一环境监测点、用户、部门、权限、标准等信息；需要一个数据仓库

(DataWarehouse)系统来提高领导层的决策意识，进行环境管理决

策；需要一个数据中心(DataCenter)系统来集中交换、分发、调度、

管理环境监察业务数据。

从数据集成应用的系统部署、业务范围、实施成熟性看主要可分

三种架构。一种是单个系统数据集成架构、一种是企业统一数据集成

架构、一种是机构之间数据集成架构。环境监测数据平台系统的建设

采用“统一数据集成架构”。

统一数据集成架构适用于组织结构较复杂的大型政府部门，此类

单位具有业务结构相对独立、数据权力敏感、数据接口复杂繁多等特

征，更需要多个部门一起协商来建立一个统一的数据中心平台，来解

决部门之间数据共享的需求。

>数据集成工具(ETL)

ETL是数据抽取(Extract)>转换(Transform)、加载(Load)

的简写，ETL是指对数据清洗、整合、转换、加载等各个过程，用于实

现业务系统到操作数据存储(ODS)、操作数据存储(ODS)再到数据仓

库(DW)的转换过程，ETL过程整合数据、处理数据，并最终形成面向

查询与分析的可用数据。ETL抽取整合数据的质量直接影响到最终的结

果展现，所以，在建立数据集成服务(ETL)时，必须重点考虑以下方

面：

1)数据抽取时考虑不同数据源的不同处理方法;

2）设计良好的规则将抽取得到的数据进行转换、清洗，处理冗余、

歧义的数据，使本来异构的数据格式能统一起来；

3）对操作数据存储（ODS）和数据仓库（DW）进行增量更新时必

须考虑周密的调度策略；

4）对于ETL过程中产生的数据质量问题，必须有保障手段，也就

是数据验证机制，其目的是能够在ETL过程中监控数据质量，产生报

敝自o

通过ETL过程实现数据集成，将数据处理分为抽取、综合和聚类

三个步骤，下图中指明了ETL过程中的元数据流动和实际数据流动的

过程和特点。

元数据流0卷实例特征w映射关系

数据流®转换规则辍过滤和聚类规则

ETL数据处理结构图

上图指明了ETL过程中对数据模式和实例的处理过程，处理过程

中使用的元数据类型。本节余下部分将重点阐述，本项目中ETL过程

中的每个阶段的关键技术和相应的解决方法。

1、数据存储

从数据源系统抽取数据仓库系统所需的数据，数据抽取采用统一

的接口，可以从数据库抽取数据，也可以从文件抽取。对于不同数据

平台、源数据形式、性能要求的业务系统，以及不同数据量的源数据，

可能采用的接口方式不同，为保证抽取效率，减少对生产运营的影响，

对于大数据量的抽取，采取“数据分割、缩短抽取周期”的原则，对

于直接的数据库抽取，采取协商接口表的方式，保障生产系统数据库

的安全。

(1)增量数据抽取

获取业务系统数据库的日志

OLTP系统对数据库中数据的任何增、册U、改操作都会记录在数据

库的日志(log)中。ETL系统获取到业务系统数据库的日志文件，调

用相应的log分析工具，获取增量数据。

数据库快照的比较

ETL系统在转存区(StagingArea)中保存相邻两次业务系统数

据库的快照，对这两个数据库快照进行比较分析，获取增量数据。

数据库表增加触发器

在业务系统的数据库的所有需要抽取的表上，建立触发器，对表

中记录的任何增、册人改操作都记录到相应的数据变化表中，ETL系

统从数据变化表中获取增量数据。在系统设计时，我们将针对不同的

业务系统情况，采用不同的增量获取方法。

(2)增量数据抽取设计

增量数据抽取的设计，符合以下要求：增量抽取策略必须支持要

很方便跟踪进程运行状态；增量抽取支持抽取类型为增量或全量，抽

取方式为日、月、季度等多种方式通过设定简单的参数，如：table_name,

firstdayofrun,load_type,load_methods等，就可以设置一个抽

取的过程。

2、数据转换

数据转换对抽取的源数据根据数据仓库系统模型的要求，进行数

据的转换、清洗、拆分、汇总等，保证来自不同系统、不同格式的数

据和信息模型具有一致性和完整性，并按要求装入数据仓库。数据转

换和数据清洗是数据ETL过程面临的两大挑战，前者关注的是数据库

模式层不同模式集成的问题，后者关注数据质量问题。

模式集成的步骤包括模式比较，统一模式，合并和重建模式。其

中模式比较处理检测多个数据源的名字冲突和结构冲突。名字冲突包

括同名异义和异名同义，结构冲突包括实体属性类型冲突，依赖冲突,

关键字冲突和行为冲突。

统一模式处理诸如属性和实体的转换。这一步目的是统一或联合

不同数据库的模式，使得它们能彼此兼容得以集成。相当于解决冲突,

转换模式。

合并和重建过程完成模式的重建。需要考虑完整性，最小性（关

系依赖非冗余）和易理解性。

3、数据清洗

数据清洗是检测和移除数据的错误和数据间不一致性，以便提升

数据质量的过程。数据清洗活动是ETL过程的重要组成部分，清洗活

动依附与数据的抽取、转换和加载的各个环节，在各个环节中保障数

据的质量和数据间的一致性，从而降低数据清洗工作的复杂程度，提

供数据清洗的效率。

数据清洗问题在数据源的异构性上分为单数据源问题和多数据源

问题，又进一步分为模式层和实例层问题。单源模式层问题主要包括

数据库缺乏整体的约束，不好的数据表设计等导致违反了唯一性和引

用完整性等；单源实例层问题包括数据输入错误导致拼写错误，重复

记录和矛盾值等。多源模式层问题包括异构的数据模型和数据表设计

导致命名冲突和结构冲突；多源实例层问题包括记录重叠，冲突和不

一致的数据导致不一致的聚集等。数据清洗通过定义转换规则和解决

冲突来保证数据质量。

在实现数据清洗活动时，本项目定义数据清洗相关的元数据并将

元数据存储与元数据库中，与基于数据仓库的其它应用元数据统一进

行管理和使用。数据清洗元数据主要可分为，语法错误检查元数据和

语义一致性检查元数据。语法元数据用于检测单源数据库的唯一性约

束、引用完整性约束、数据拼写错误、重复记录检测和矛盾值检测。

语义元数据用于检测多源数据库的命名冲突、逻辑结构冲突、多源实

例导致的记录重复等问题。

4、数据加载

数据加载是将转换后的数据加载到数据仓库中，可以采用数据加

载工具，也可以采用API编程进行数据加载。数据加载策略包括加载

周期和数据追加策略，对于企业级应用，采用对ETL工具DataStage

进行功能封装，向上提供监控与调度接口的方式。数据加载周期要综

合考虑经营分析需求和系统加载的代价，对不同业务系统的数据采用

不同的加载周期，但必须保持同一时间业务数据的完整性和一致性。

数据加载分为历史数据加载(InitialLoad)和日常数据加载

(IncrementalLoad)。历史数据加载指在第一次加载数据到数据仓库

中，此时数据仓库中不存在历史数据。日常数据加载是指在历史数据

加载完成后，将变化了的增量数据加载到数据仓库中。

我们认为只需要建立一套增量加载的ETL同样处理历史数据加载

和日常数据加载，而不再开发另一套全量加载ETL程序处理历史数据

加载。这样只需要开发一套ETL程序作业，减少了开发工作量，并且

避免了两套程序可能出现的数据算法不一致造成的数据不一致的错

误。

对于历史数据加载的策略，我们可以采用时间窗口的分段的方法

来处理历史数据量大的表的装载，即我们可以一个一个时间段来加载

历史数据。

5、容错处理

在复杂的ETL过程中，难免会产生错误。企业级ETL利用作业调

度控制可以处理各种异常错误情况。

在作业流程中可以设置异常的条件，如当错误记录超过一定的条

数或者错误级别达到一定的级别时，作业掉转到异常处理流程，进行

自动处理，系统设计的原则是尽量不中断ETL作业流程，当然如果错

误特别严重，也可以转到手工处理。

错误的恢复策略：

每条记录中有数据ETL的时间戳，对小数据量的数据表，可以通

过该时间戳清除掉本次加载的数据。

对于大数据量的表，可以利用时间窗口功能，如果大表某一天的

数据出现错误后，可以直接进行一天数据的recover。

1.2.4、服务集成

集成服务主要提供统一的账户管理、身份认证和分级权限管理等

功能，其主要应用目标是为不同应用系统提供统一的身份认证服务，

解决多个业务系统的用户统一认证问题，实现单点登陆（SSO）、访问

控制、并采用相关的安全机制，增强用户身份认证过程的安全性。

用户管理：提供用户统一集中管理，支持多种用户账号配置、用

户字段自定义配置、用户分类分组、多种用户接口（AD,LDAP等）、身

份认证方式等方面的管理。

认证服务：提供集中统一的认证服务，支持PKI、用户名/密码、

身份令牌等多种身份认证方式，并结合系统强大的加密与安全技术，

实现高效、安全的认证服务。

授权管理：对用户的访问提供统一授权服务(PMI),用户身份到

应用授权的映射功能，实现权限和证书的产生、管理、存储、分发和

撤销等功能。

单点登陆(SSO)：用户在通过认证后，可直接访问已授权的各应

用系统，实现不同应用系统的身份认证共享，从而达到多应用系统的

单点登陆。

数据共享：系统存储了用户的基本身份信息，所有应用系统均可

以充分利用这些信息，减少用户信息的重复录入。

1.2.5、展现集成

展现集成可以将已有的很多信息系统集成起来，并以统一的方式

提供给用户，统一可以有流程的统一，如：登陆、定制、浏览；界面

的统一，如：显示风格登高度的模块化。通过Portal技术提供的plugin

技术，可以根据总站用户的需求编制标准的模块，并嵌入Portal系统,

供用户使用。

Portal提供内容聚集的平台，提供个性化、单点登陆、不同来源

的内容整合功能，从而实现了信息的集中访问。用户通过Portal单点

登陆到各个业务系统中，实现无缝连接集成。

1.3揭阳市水环境管理子系统

1.3.1数据接入

1.3.1.1数据导入

在数据上报界面，通过下载不同断面类型或数据来源的模板，在

本地电脑将监测数据录入模板表格后，再将表格导入到平台来达到数

据汇集的目的。

数据上报选择模板、监测月份，上传数据表，点击确定完成数据

导入。

＞手工自定义导入

通过手工方式将揭阳市不同断面监测数据导入到平台来达到数据

汇集。

＞河流断面数据十三五导入模板

河流断面数据按照十三五模版加载。

＞湖库断面数据十三五导入模板

湖库断面数据按照十三五模版加载。

＞河流断面数据十四五导入模板

河流断面数据按照十四五模版加载。

＞湖库断面数据十四五导入模板

湖库断面数据按照十四五模版加载。

＞十三五河流采测分离断面共享数据导入模板

按照十三五模板加载河流采测分离断面共享数据。

＞十三五湖库采测分离断面共享数据导入模板

按照十三五模板加载湖库采测分离断面共享数据。

＞十四五河流采测分离断面共享数据导入模板

按照十四五模板加载河流采测分离断面共享数据。

＞十四五湖库采测分离断面共享数据导入模板

按照十四五模板加载湖库采测分离断面共享数据。

＞导入记录查询

对导入的记录进行查询操作。

1.3.1.2数据接口共享

预留系统数据接口。未来若有上传审核数据的业务需求，市级监

控中心只需要再开发数据接口的对接城市，可实现上报审核数据的功

能及数据共享接口服务。

＞河流断面数据共享接口

预留河流断面数据接口，实现数据共享接口。

＞湖库断面数据共享接口

预留湖库断面数据接口，实现数据共享接口。

＞河流采测分离数据共享接口

预留河流采测分离数据数据接口，实现数据共享接口。

＞湖库采测分离数据共享接口

预留湖库采测分离数据接口，实现数据共享接口。

＞断面基础信息

预留断面基础信息数据接口，实现数据共享接口。

1.3.1.3数据预审

系统对导入上报的数据会进行自动预审，对不符合预审规则的数

据填充标识，提醒审核员关注数据。如红色为浓度值超过断面水质目

标的标准限值，橙色表示接近标准限值10%以内。

＞预审规则设定

数据预审规则系统预设以及人工设定功能。

＞预审规则执行

根据既定的数据预审规则，开发程序，自动判断，对异常数据进

行标记，以此对数据进行自动预审。

＞报警提醒

根据既定的数据预审规则自动判断，对异常数据进行标记，以此

对数据进行报警提醒。

＞规则调整

根据预设规则审批流，进行规则调整。

＞数据标记

根据既定的数据预审规则，开发程序，自动判断，对异常数据进

行标记。

＞预审记录

支持对已完成的预审记录进行查询。

1.3.1.4导入记录查询

可按照数据来源（国家采测分离、市站数据、普宁数据、市站3

日1次加密、枫江3日1次加密、第三方数据、入海河流、锡中云光

数据）、上报时间、上报单位等条件查询数据的的导入记录，同时可以

在列表看到已上报数据的审核状态（待审核、数据回退、审核通过），

不同状态可对应进行不同操作。

＞导入错误记录

对于数据导入错误记录进行查询。

＞导入警告记录

对于数据导入警告记录进行查询。

＞导入记录信息

对于数据导入记录进行查询。

＞导入记录删除

对于数据导入记录进行删除。

1.3.2数据查询

可根据断面所在所在水体、断面类型、断面属性、控制级别、考

核级别、联合监测情况、水质目标等条件筛选断面，并可把不同条件

组合另存模板，方便重复快捷选择。

另外，还支持按监测时间、断面名称、数据来源、数据模板等条

件筛选不同模板列表的地表水手工监测数据。支持以EXCEL格式以任

意时段范围、选择的任意点位导出数据。

数据查询支持备注列导出，备注列系统根据导出数据情况自动填

充该断面是否参与了评价，时间段的评价要求断面有效数据月份与

50%o

＞数据筛选设定

河流断面数据查询：以河流断面数据作为条件进行数据筛选查询

湖库断面数据查询：以湖库断面数作为条件进行数据筛选查询

河流采测分离数据查询：以河流采测分离数据作为条件进行数据

筛选查询

湖库采测分离数据查询：以湖库采测分离数据作为条件进行数据

筛选查询

＞条件模板设定

内置默认的数据查询模版并支持模块规则调整

＞后台数据查询

后台查询逻辑执行

＞备注栏

预留对数据的自定义描述数据项

＞EXCEL导出

河流断面数据导出：以河流断面数据作为条件进行数据导出

湖库断面数据导出：以河流断面数据作为条件进行数据导出

河流采测分离数据导出：以河流断面数据作为条件进行数据筛选

查询

湖库采测分离数据导出：以河流断面数据作为条件进行数据筛选

查询

1.3.3汇总统计

对地表水手工监测数据进行多维度统计分析，包括断面超标统计、

达标统计、水质优良比率统计。

地表水水质自动监测数据管理实现水质自动监测站监测数据的采

集、审核、查询、统计、水质评价，实现对水质自动监测站更有力的

监管。

＞断面超标统计

河流断面数据超标统计：对地表水手工监测数据以河流断面维度

进行超标统计分析。

湖库断面数据超标统计：对地表水手工监测数据以湖库断面维度

进行超标统计分析。

河流采测分离数据超标统计：对地表水手工监测数据以河流采测

分离维度进行超标统计分析。

湖库采测分离数据超标统计：对地表水手工监测数据以湖库采测

分离维度进行超标统计分析。

超标数据计算：综合多维度结果对地表水手工监测数据进行超标

统计分析数据采集。

＞达标统计

河流断面数据达标统计：对地表水手工监测数据以河流断面维度

进行达标统计分析。

湖库断面数据达标统计：对地表水手工监测数据以湖库断面分离

维度进行达标统计分析。

河流采测分离数据达标统计：对地表水手工监测数据以河流采测

分离维度进行达标统计分析。

湖库采测分离数据达标统计：对地表水手工监测数据以湖库采测

分离维度进行达标统计分析。

达标数据计算：综合多维度结果对地表水手工监测数据进行达标

统计分析。

＞水质优良比率统计

水质指数算法：针对揭阳实际环境条件数据，调整默认的水质指

数算法。

水质优良算法：针对揭阳实际环境条件数据，调整默认的水质优

良算法。

比率算法：针对揭阳实际环境条件数据，调整默认的比率算法。

河流断面优良比率统计：以河流断面条件进行优良比率进行统计。

湖库断面优良比率统计：以湖库断面条件进行优良比率进行统计。

河流采测分离优良比率统计：以河流采测条件进行优良比率进行

统计。

湖库采测分离优良比率统计：以湖库采测分离条件进行优良比率

进行统计。

实时监测数据

实时获取并可查看揭阳市省控点的地表水自动监测数据。采集的

数据包括断面名称、监测时间、监测项目数值，并根据数值评价断面

水质类别。

数据补测

由于设备或站房环境问题，连续三天以上无法提供自动监测数据

的，需要手工采水，到实验室进行自动或手工监测，再将监测数据录

入系统。系统提供手工数据补录功能，补录的手工数据需加上手工数

据的标记。

选择要补录监测数据的站点，录入监测时间、监测项目对应监测

数据值，如果该时段有自动监测数据，则该时段不能人工补录数据。

联网情况

展示各监测站点的联网情况，包括站点状态、最后活动时间、在

线时长、离线时长、离线次数、流量等信息，支持按站点名称进行查

询。

联网情况

站点概况

展示各水质监测站点的站点概况，包括站点名称、最近一次在线

时间、实时联网状态等信息，支持按站点名称进行查询。

站点概况

通讯状态

以图表和列表的方式展示某时段内各监测站点的通讯状态，包括

在线时长、离线时长、离线次数、累计流量，并可以将图表下载成图

片格式进行保存。

通讯状态

数据审核

数据审核包括自动审核和人工审核两种数据审核方式保障数据完

整性和统计数据的准确性，未审核、异常标记数据不纳入统计分析的

范畴。

根据《地表水水质自动监测数据审核技术规范》规定，并结合揭

阳市水质自动监测业务实际，管理平台实行三级审核机制：运维机构

先行一级数据审核，提交数据后经地市监测站进行二级审核，提交数

据后再经省站执行三级审核，审核完毕后，最终数据入库。审核全过

程全环节实行记录留痕。

数据初审

数据采集后系统会根据预设审核规则自动进行一次数据有效性判

断，并将判断结果用不同的数据标记标识，提示审核人员重点关注这

些数据。

数据标识

有效无效I云鑫一

标识代码描述

CF数据连续3条及以上不变

KPF仪器上传的关键参数不合格精隹

OVL大于上一次监测值的3倍

OVS小于上一次监测值的1/3倍

WQB当前参数水质类别变好

WQW当前参数水质类别变差

L监测浓度超仪器下限或小于检出限

T监测）浓度超仪器测量上限

数据标记

委托运维机构数据审核人员对原始数据进行审核，可以看到系统

自动审核结果和数据标识。点击某项因子数值，可以看到数据的详细

情况，包括质控结果、流程日志、最近一周的历史数据、上下游数据

（目前未维护）、运维情况（目前未有运维功能支撑）、审核操作记录、

era

上传的佐证材料。如果数据没问题，可以点击进行数据确认

有效。

数据操作

详细情况•浊度

监测值60NTU监测时间2020-10-0602.00:00

质控数据日期范围2020-10-012020-10-06

流程日志监测项目变化趋势图

•列表H

历史数庭-o-as

监测时间浊度(NTU)

上下游数据

运维2020-10-0100:00:0028

2020-10-0101:00:0084

操作记录

2020-10-0102000078

佐证资料2020-10-0103:00:0058

2020-10-0104:00:0030

2020-10-0105:00:0066

2020-10-0106:00:0067

2020-10-0107:00:0080

数据详细信息

审核备注X

亩蜴S述:

数据已能认

数据审核确认

针对存疑数据和无效数据点击或“按钮，可以进行数据勾选和

提交，并上传佐证材料，提交后数据将打上橙色填充“存疑？”或红

色填充“无效义”的标记。

存疑数据标记

数据复核

市站人员进行二级审核，主要针对一级审核中标记的存疑数据进

行复核。如同意一级审核结果，可确认数据进入下一级审核；如对一

级审核结果有异议，可对存疑数据进行标记，并加批注写明原因，及

时将存疑数据反馈，并在规定时间内提交存疑数据及相关佐证材料。

具体展示方式同数据初审界面。

数据终审

省站人员对一级审核和二级审核提出的存疑数据进行审核，包括

二级审核提交的存疑数据相关佐证材料，综合分析判断数据最终是否

有效，最终审核有效的数据才纳入统计分析的范畴。具体展示方式同

数据初审界面。

审核进程

可以按断面监测时间、审核节点、审核人员的信息查询断面数据

审核过程信息，留痕记录每个站点的数据审核进程。

二

三

三

三

三

三

审核进程

质量控制

通过集成水站监测设备工作状态和动力环境设备，应用组态工艺

技术，图形化展示水站采配水流程的管道和设备实时运行状态，支持

远程执行PLC和仪器的校准、重启、测试，以及单台仪器的质控命令,

提高自动监测水站设备运行维护的工作效率及站点自动化水平。

远程质控

采用仿真界面，动态显示水站各单元设备和关键部件工作状态参

数。展示水质自动站仪器联机状态、仪器监测数据、动力环境参数、

系统集成状态等信息。用户可通过站点仿真界面向水站现场端的水质

分析仪、PLC设备发送远程质控或反控指令。具体远程质控内容包括:

仪器状态及数据

在仿真页面中，五参数分析仪面板上显示pH、温度、浊度、电导

率、溶解氧的最新监测数据以及仪器状态信息，状态信息分为在线、

离线、故障3种，分别用绿色、灰色、红色小圆圈表示。氨氮、高猛

酸盐指数等其他分析仪器也分面板进行展示。

五参数分析仪面板

@仅罂参数横埃•在线•

其他分析仪面板

远程质控与反控

点击水质分析仪器面板，可以进行反控指令和质控指令的远程下

发执行，反控指令包括：进入待机、提取仪器时间、设置仪器时间；

五参数分析仪质控指令包括：标液核查、空白校准、标样校准，其他

参数分析仪质控还包括；平行样测试、零点核查、跨度核查。

远程控制《浊度）X

I令I酶指令

进入待机提取仪器时间没置仪器时间

国跳作记录

五参数分析仪远程指令下发

远程控制（础）X

制（喇X

令I质询令I

凉液核查如原回收平行在测试零点核查

跨度核查空白校潜标样校准

1远程操作记录

其他分析仪远程指令下发

以工控机的电脑屏幕画面表示数采仪，点击数采仪展示可远程控

制的反控指令，结合系统通讯协议要求，将数采仪控制指令分为系统

设置、提取信息、时间设置爱、仪器清洗、其他五类，具体能实现哪

些指令下发与执行，需要根据水站现场仪器支持情况及仪器厂商通讯

协议开放情况而定。

远程控制PLCX

系统设置提取信息时间设置仪器清洗其他

设置超盯时间及重发次数设置数采仪时间设置数荚仪，

远程操作记录

PLC远程指令下发

日质控

日质控包括零点漂移和跨度核查，评价对象包括氨氮、高锌酸盐

指数、总磷、总氮。提供氨氮、总磷、总氮、高镒酸盐指数日质控结

果查询，查询条件包括站点、时间、监测项目等，查询结果以列表+图

表形式展示。

日质控查询

周核查

周质控指的是标样核查，评价对象是pH、水温、电导率、浊度、

溶解氧常规五参数。提供对常规五参数仪每周进行标样核查的质控结

果查询，查询条件包括站点、时间、监测项目等，查询结果以列表+图

表形式展示。

周核查查询

月质控

月质控类型包括加标回收、集成干预检查、多点线性核查。多点

线性核查评价对象包括氨氮、高锌酸盐指数、总磷、总氮，湖库断面

加测叶绿素a、蓝绿藻密度；加标回收和集成干预检查评价对象包括

氨氮、高镒酸盐指数、总磷、总氮（浮船站除外）。

加标回收

提供每月对氨氮、高锌酸盐指数、总磷、总氮分析仪进行加标回

收的质控结果查询，查询条件包括站点、时间、监测项目等，查询结

果以列表+图表形式展示，能对查询结果导出。

月质控查询（加标回收）

集成干预检查

提供每月对氨氮、高锌酸盐指数、总磷、总氮分析仪进行集成干

预检查的质控结果查询，查询条件包括站点、时间、监测项目等，查

询结果以列表展示，能对查询结果导出。

多点线性核查

提供每月对氨氮、高锌酸盐指数、总磷、总氮分析仪进行多点线

性核查的质控结果查询，查询条件包括站点、时间、监测项目，数据

结果包括不同浓度的标液浓度、以及不同标液浓度对应的仪器测试值、

相关系数等，查询结果以列表展示，能对查询结果导出。

水样手工比对

每月必须做一次实际水样比对，通过水站上传的系统自动监测数

据与实验室手工监测数据进行比对，通过这些措施来检测自动仪器监

测数据的准确性。评价对象包括常规五参数、氨氮、高镒酸盐指数、

总磷、总氮。系统支持界面录入手工监测数据，或者下载模板EXCEL

录入。比对数据和误差结果以列表展示，能对查询结果导出。

新增手工数据X

点位：监测M间：202040*01

项目：忘氨手工：•自动：3.37mg/L

项目：高宿酸盐指数手工：♦自动：6.0mg/L

项目：as手工：-自动：0.11mg/L

项目：手工：-自动：0.376mg/L

项目：水温手工：-自动：126X

项目：pH手工：-自动：8.1元墨8

项目：溶解氧手工：-自动：832mg/L

项目：电导率手工：-自动：368yS/an

项目：注度手工：•自动：197NTU

水样比对数据录入

数据查询

包括对自动监测历史数据查询、日志查询、超标统计查询、故障

统计查询，查询的数据报表支持以EXCEL格式导出。

历史数据查询

可按照站点所属区域、流域、站点属性快速选择站点，查询指定

站点在一定时段的自动监测历史数据，亦可按照任意时间段、监测项

目、数据类型等条件对结果进行筛查，数据类型“有效数据”是指审

核通过为有效的数据，数据类型为“原始数据”是指水站上报的未经

审核的原始数据，包括存疑和无效数据。支持以EXCEL格式导出查询

的数据。除了数据列表外，系统同时提供检索时段内的单参数数据图

表、多参数数据图表，以折线图形式展示数据变化趋势。

历史数据查询列表

历史数据查询图表

日志查询

提供所选择监测站点日志查询功能，包括系统日志、仪器状态、

参数日志的查询。

运行日志

运行日志分子站端数采系统运行日志和分析仪器运行日志，是指

水站现场端数采系统在不同工作状态下的具体流程记录。日志数据支

持导出EXCEL表格。

运行日志

状态日志

状态日志是指水质分析仪状态在不同工作状态下的具体的流程日

志，可选择站点的监测参数进行查询。仪器状态包括：空闲（0）、水

样测试（1）、标样核查（2）、零点核查（3）、跨度核查（4）、空白