水务管理系统数据库建设

水务系统数据库及其管理系统建设一、 概述根据实际情况，结合本项目需求，从水安全、水资源、水环境等各类数据的存储与管理要求出发，依据“统一规划、统一标准、统一设计、数据共享”的基本原则，建立局核心数据库及各行业数据库。各数据库的建设要以水务局信息化规划和各类标准化体系为依据，充分考虑与其它行业的协调及统一，避免数据库的封闭建设，提高数据的可用性，满足相关行业业务需要的数据库。数据库建设是系统建设的重要支撑，根据信息中心建设所涉及到的各种数据的存储、管理特点，数据库整体结构采用“集中与分布相结合”的方式。二、 数据库设计原则l 数据的一致性与标准性数据库的设计除遵循数据库设计的软件行业标准外，还遵循国家、地方标准及行业的习惯性事实标准，以方便数据交流及功能的实行。为方便与其他系统之间进行数据交换，数据库的设计将充分考虑以前已建立系统的数据。l 数据的实用性与完整性数据库设计充分考虑工作的实际情况和实际应用特点，按照系统规模和实际需求，遵循“先进性与实用性并重”的原则，保证数据的实用性。数据完整性用来确保数据库中数据的准确性。数据库中的完整性一般是通过约束条件来控制的。约束条件可以检验进入数据库中的数据值。约束条件可以防止重复或冗余的数据进入数据库。在系统中可以利用约束条件来保证新建或修改后的数据能够遵循所定义的业务知识。l 数据的独立性和可扩展性设计时需要做到数据库的数据具有独立性，独立于应用程序，使数据库的设计及其结构的变化不影响程序，反之亦然。另外，根据设计开发经验，需求分析再详细，使用人员所提的需求不可能全面提出，此外，业务也是在变化的，所以数据库设计要考虑其扩展性能，使得系统增加新的应用或新的需求时，不至于引起整个数据库结构的大的变动。l 数据的安全性数据库是整个信息系统的核心和基础，它的设计要保证安全性。通过设计一个合理和有效的备份和恢复策略，在数据库因天灾或人为因素等意外事故，导致数据库系统毁坏，要能在最短的时间内使数据库恢复。通过做好对数据库访问的授权设计，保证数据不被非法访问。l 数据分级管理机制根据系统访问角色，将用户分成领导决策分析用户、系统管理用户、运行浏览用户和运行调度用户等几个角色，分别赋予角色访问数据的权限和使用系统功能的权限，严格控制角色登录，实现数据的分级管理。l 统一考虑空间、属性、设施、模型数据的兼容性数据库设计的时候充分考虑数据采集、数据入库、数据应用的紧密结合。便于在空间数据的基础上进行设施及相关属性的考虑；空间数据格式设计时充分考虑与模型所需数据的结合，利于模型数据直接使用空间及设施的相关数据。三、 编码原则数据编码主要遵循以下原则：保持地理空间对象的逻辑一致性和唯一性，使不同类型用户能够对共享的数据进行综合查询；体现数据指标的整体系统性。在保持各专业数据库本身数据分类编码体系逻辑一致性的同时，通过分类编码体现中心综合集成后整体数据的分类系统，满足建立和动态更新综合数据库的需要；需保持数据库中数据项编码相对稳定的要求。数据库中的数据结构是通过数据项之间的ER模型（实体-关系模型）通过软件实现的，在编码方案试验中，各数据库一致表示，对于运行中的大型数据库，频繁改变数据项编码将影响数据库的安全性和稳定性。鉴于统一编码的主要目的恰恰在于反映集成后的数据结构。为此，数据库建设中将频繁变动的内容放到元数据中去解决，数据库综合集成过程中，统一重新编码的范围仅限于数据项，这些指标反映了现有数据库的ER结构，相当固定，进行统一编码后便于进行数据库集成；编码方案原则上符合国家标准或行业标准，又要与已有的编码标准和实际相一致。目前在局层面已经建立水务管理信息分类编码和图式标准，行业管理单位和区县水务局，进一步细化标准内容，并逐步形成水资源、污染源、工程设施普查或调查中的数据采集、水文水质数据采集、防汛水情报汛、工程设施运行数据采集、灾情数据采集、河道遥感监测等标准，形成信息化标准体系对于没有标准编码的空间数据、业务数据，在建设中应依据空间数据和业务数据的一般编码规则，给出能反映专题分类层次结构的编码体系，并使编码与数据库中的其它编码保持结构上的一致性；简化与统一相结合，具有可扩充性。空间数据的编码应考虑水务已经建立的编码标准，并结合行业的实际情况。数据的编码要经过调研分析后才能制定出合理、有效、有用的编码方案。结合以往的经验，提出对具有空间特性的数据进行分类编码要求：1、编码对象需要确定2、编写目的要明确3、分类方式：采用对图形信息采用线分类法，分类结果形成树形机构分类目录；对属性信息采用面分类法，分类结果形成互不从属的面，每个面是一个属性项。4、编码方式：组合码，分类码标识码5、编码原则：尽量简化，同时充分分类码8位，结构如下：04要素实体代码行政区划代码三级分类代码二级分类代码一级分类代码主题类代码标识码由分区定位码要素实体代码，共9位。四、 数据库关系数据库建设是“数字水务”工程的重要支撑，局核心数据库是政务和行业数据库的合集，包含了所有局层面监管与决策所需的行业数据内容，其信息来源于各行业数据库的异构处理和数据归并。行业管理单位可以通过局核心数据共享访问其他行业的数据内容，从而实现双向的数据共享。图表 1 数据库关系图五、 数据库设计分类1.1 局核心数据库局核心数据库是水务局决策支持系统和跨行业管理的数据基础，是各行业数据库的总和。局核心数据库在逻辑上分为水安全数据库、水资源数据库、水环境数据库、政务信息资源库等。支撑局层面的业务应用、决策支持、电子政务等应用系统。各行业可通过局核心数据库调用其它行业的数据。部分数据与“数字城市”实现数据共享。主要存储五部分内容：1.信息资源目录数据。根据信息资源的梳理建立的水务局信息资源目录元数据，作为信息资源交换的依据和基础；2.存放局决策支持系统所需的数据。包含防汛决策数据、水资源调度数据、水环境整治数据、行政许可、行政执法和局政务办公数据等。3.存放跨行业管理所需要的数据。包括供水、排水、水利行业提交的需要在水务局内共享的数据，如水情、水质等。4. 基础类数据。主要包含基础地形数据、遥感影像数据、社会经济数据等，这些数据为其他数据提供基础参考，共享给各行业单位进行行业数据库建设。5. 各类数据的元数据。水务局元数据内容放在局核心数据库内进行统一管理。各行业管理单位通过元数据管理软件可以实现对本行业数据的元数据的编辑、更新等操作。元数据主要包含数据的质量、内容、更新情况、存放位置、共享情况、发行情况等内容，是描述数据的数据。图表 2 局核心数据库内容1.2 行业基础数据库水利行业数据库按照目前的管理机制，行业数据库分成供水、排水、水利、水文水资源、滩涂海塘等专题数据库进行建设。行业数据库建设由各行业管理单位负责，本项目是利用行业数据库的建设成果进行局核心数据库建设。1.2.1 供水基础数据库供水基础数据库主要存储供水行业管理数据。存储供水行业规划、执法、设施管理、供水调度等所需要的行业数据，主要有原水水情、原水管渠、供水管网、供水水厂、污泥、用水户、入境水量水质、地下水利用、节约用水等信息内容。同时也存储基础的社会经济信息数据，如行政区划、重要单位、道路、河流、影像数据等。供水行业基础数据库为行业GIS应用系统和WebGIS应用系统提供数据基础。1.2.2 排水基础数据库排水数据库主要存储排水行业管理数据。存储排水行业规划、设施管理、排水许可、监察、排水调度等所需要的行业数据，主要有雨情、河道水文水质、排水管网、排水泵站、污水厂、污泥、积水点等内容。同时也存储基础的社会经济信息数据，如行政区划、重要单位、道路、河流、影像数据等。排水行业基础数据库为行业GIS应用系统和WebGIS应用系统提供数据基础。1.2.3 水利基础数据库l 河道水闸数据库河道水闸数据库主要存储河道水闸行业管理数据，包括全市河道(湖泊)基本情况、大断面资料、河道分类情况、河道整治信息、全市水闸基本情况、水闸运行情况、水资源综合调度运行情况等信息。河道水闸数据库为行业GIS应用系统和WebGIS应用系统提供数据基础。l 排灌数据库排灌数据库主要存储排灌行业管理数据。存储市郊结合部排涝泵站分布、灌溉泵站泵站分布、水利工程设施、水土保持等信息、排灌管理单位情况；同时也存储基础的社会经济信息数据，如行政区划、重要单位、道路、河流、影像数据等。排灌数据库为行业GIS应用系统和WebGIS应用系统提供数据基础。l 堤防数据库堤防数据库主要存储存储堤防行业管理数据库，堤防数据库存储全市防汛墙（海塘）管理相关信息，包括全市防汛墙分布情况、防汛墙基本信息、全市海塘分布、海塘基本信息、堤防维护信息、险工险段分布、堤防管理单位情况等。堤防数据库为行业GIS应用系统和WebGIS应用系统提供数据基础。1.2.4 水文水资源基础数据库水文水资源数据库主要存储水文信息和水资源管理数据。水文数据包括全市水文站网分布及站网设施信息、自动采集设备采集或人工采集的水雨情、水温、蒸发、风速、风向、水质、底质等数据，还包括通过分析、整编、统计后的水文数据；水资源数据是指全市水资源管理相关数据，包括全市水资源分布情况、原水地、自来水厂、年度用水量、地下水水资源量、地下水开采情况、河道水质污染状况等信息。水文水资源数据库为行业GIS应用系统和WebGIS应用系统提供数据基础。1.2.5 滩涂海塘基础数据库滩涂海塘数据库主要存储滩涂海塘行业管理数据。滩涂海塘数据库存储滩涂海塘管理行业相关数据，包括全市滩涂海塘分布、滩涂海塘利用情况、滩涂海塘利用规划信息、滩涂圈围工程信息、滩涂利用申请审批信息等。滩涂海塘数据库为行业GIS应用系统和WebGIS应用系统提供数据基础。六、 数据入库1.3 数据入库分类系统建设过程中，对数据的设计、采集、检查、入库，到应用系统使用数据，都提出了很高的要求。本系统建设中对各行业基础数据库要求考虑数据入库基本分成三类形式：空间/设施数据入库：根据空间实体之间的关系，在GIS系统中，建立空间实体模型，在此基础上将采集得到的空间/设施数据入库。通过模型，可以检查数据采集中的错误，更有效的保证数据的合理性和正确性，降低数据错误概率。实时运行数据入库：利用现有的SCADA数据采集系统，可以收集已采集的各类实时数据。在统一的接口传输标准体系下，建立接口程序，进行实时数据的传输入库。其他数据入库：包括业务知识数据库、管理信息数据库、模型数据库及其它数据库。此类数据与应用系统功能紧密相连接，可以根据业务需要导入或录入相关数据到行业基础数据库。图表 3 数据入库图1.4 历史数据迁移历史数据迁移的实现可以分为三个阶段：数据迁移前的准备、数据迁移的实施和数据迁移后的校验。由于数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是完成数据迁移的主要基础。具体而言，要进行待迁移数据源的详细说明，包括数据的存放方式、数据量、数据的时间跨度，建立新旧系统数据库的数据字典，对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；新旧系统代码数据的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法，开发、部属ETL工具，编写数据转换的测试计划和校验程序，制定数据转换的应急措施。数据迁移的实施是实现数据迁移的三个阶段中最重要的环节。它要求制定数据转换的详细实施步骤流程；准备数据迁移环境；业务上的准备，结束未处理完的业务事项，或将其告一段落；对数据迁移涉及的技术都得到测试；最后实施数据迁移。数据迁移后的校验是对迁移工作的检查，数据校验的结果是判断新系统能否正式启用的重要依据。可以通过质量检查工具或编写检查程序进行数据校验，通过试运行新系统的功能模块，特别是查询、报表功能，检查数据的准确性。1. 数据迁移的技术准备通常包括多项工作：旧系统数据字典整理、旧系统数据质量分析、新系统数据字典整理、新旧系统数据差异分析、建立新旧系统数据之间的影射关系、开发部署数据转换与迁移程序、制定数据转换与迁移过程中的应急方案、实施旧系统数据到新系统的转换与迁移工作、检查转换与迁移后数据的完整性与正确性。2. 数据的检查包括：数据格式检查；数据长度检查；空值、默认值检查；完整性检查；一致性检查。3. 数据抽取和转换数据抽取前，需要作大量的准备工作。(1) 根据映射关系中记录的转换加工描述，建立抽取函数。该映射关系为前期数据差异分析的结果。(2)根据抽取函数的SQL语句进行优化。可以采用的优化方式为：调整参数设置、启动并行查询、采用提示指定优化器、创建临时表、增加索引。(3) 建立调度控制表，包括ETL函数定义表、抽取调度表、装载调度表、抽取日志表、装载日志表。(4) 建立调度控制程序，该调度控制程序根据抽取调度表动态调度抽取函数，并将抽取的数据保存入平面文件。4. 数据迁移后的校验在数据迁移完成后，需要对迁移后的数据进行校验。数据迁移后的校验是对迁移质量的检查，同时数据校验的结果也是判断新系统能否正式启用的重要依据。对迁移后的数据进行质量分析，可以通过数据质量检查工具，或编写有针对性的检查程序进行。1.5 实时数据的同步实时数据的同步通过水务公共信息平台实现。具体描述参见第七章。七、 技术要求各类数据库建设（包含本项目数据库，同时也包含本项目范围内的其他数据库）应满足以下技术要求：1. 所选用数据库产品需支持开放的系统结构支持主流的硬件和操作系统平台；支持多种网络通信协议（IPX/SPX, SNA, TCP/IP）；支持多种拓扑逻辑（B/S, C/S,）；支持与其他系统数据源的集成；支持主流的中间件产品。2. 所选用数据库产品需达到的技术性能要求支持中文多字节编码；支持100GB以上的数据卷；支持多并发用户；具有资源管理机制。3. 所选用数据库产品需满足的功能要求提供并行处理、数据分区、分布式操作功能；具备死锁处理能力；提供并发控制机制、在线备份和恢复、数据库复制功能；能提供从单CPU至SMP，Clu