水资源多元数据融合与治理技术探讨

水资源多元数据融合与治理技术探讨作者：王铭铭董凯颂来源：《长江技术经济》2021年第05期IiI■I|ItfII*.I故果入府一敢据关旺代就一收机眼苻f敢■联男性*/；r■■:「•获W反页::实中按收::共攵1H1：i::IiI■I|I；r■■:「•获W反页疝质也据::iHffiKift:;象中采集；；■i.—a»♦一-_■■_水思职血求Eft诀件i£1rf;思取A疏水思职血求Eft诀件i£1rf;思取A疏水源木站水源水成Jt他*■•咆何&姐珞瑚缺堀11监”tJJ.nJ.J-Hte-•*旧水计E?取水圳批Jk水诈町一户lnKfe••*空制EtllhJu水I1焙虹&J1.:水资源多元信息汇集技术路线图摘要：水资源多元数据融合与治理是水资源走向智慧化管理的必经之路。探讨了水资源多元数据融合与治理技术，包括多元数据汇聚、数据融合、数据治理等内容，实现水资源数据资源一体化汇聚、动态化管理和高效化服务。技术成果在安徽省水资源监管体系中得到了广泛应用，推动了水资源管理向数字化与智慧化的发展。成果在安徽省水资源取用水监测与管理中得到广泛应用，为水资源取水动态监管、智能预警、一站式业务线上服务等提供了坚实的数据支撑，有效促进了安徽省水资源监管能力提升。关键词：水资源;多元数据;数据融合;数据治理中图法分类号：TP311.13;TV213文献标志码：ADOI:10.19679/ki.cjjsjj,2021.0516水是人类赖以生存的自然资源，同时也是国家经济发展与人民生活水平持续提升的关键所在，最严格水资源管理、创建节水型社会、改善水生态环境等是当前我国开展的重要工作。数据是水资源管理的基础，水资源管理涉及水源、取水口、取水户、排污口等多类信息，每类信息不仅包含基础、空间、多媒体等静态数据，亦包含水量、水质、排污等实时动态数据。水资源取用水相关数据存在数据种类各异、分布地点各异、数据管存形式各异及数据库表结构各异，以及数据难查、难找、难管等多种问题，制约着数据资源服务与支撑作用发挥。以安徽省为例，在水资源监测数据采集方面，水资源各类监测点工况各异，采用的通讯接口、通讯协议、采集频次等各不相同，技术标准不一;在水资源数据融合方面，取水、水源地、入河排污口、调水断面等监测系统建设先后开展，相对独立;在数据管理方面，当前各市县自行开展的系统建设，多数数据落地于本地机房，小部分系统数据落地于承建单位的私建机房或商用云平台，存储方式、库表结构、数据治理等方面亦存在很大差异。针对上述情况，专设研究课题对安徽全省水资源数据基本情况的调研和分析，开展数据集中采集软件与解析技术、数据整编及核查登记方法、虚拟下位仪表等数据共享技术的研究，完成水资源多元数据异地异构数据的集中监测与管理，形成水资源数据服务，为水资源业务管理提供支撑。1水资源多元信息汇集技术路线基于对水资源取用水业务管理数据的集中梳理，调研根据不同类型数据的存放地点、方式等情况，构建了一体化多元信息汇集技术路线，如图1所示。对于纸质数据、电子数据及需调研核查的数据，通过整编、校核、编码等流程，变成可入库数据，通过数据汇集录入模块实现不同地区的数据汇集;对于已存放在平台内的静态数据采用webservice接口的方式进行数据共享;对于已存于取用水户本地的数据，采用虚拟下位仪表的方式，软件模拟RTU采集并上传数据;对于集中存储的动态数据，采用消息组件的方式，实现数据的实时共享对于尚未监测的动态数据，采用统一采集与解析的方式进行在线采集。系统设计并开发数据库，同时研究并开发与实际需求匹配的数据共享接口、数据汇集模块、集中接收软件、数据共享组件等，最终实现数据入库、关联匹配、数据服务及数据无限检索等。2多元数据集中监测2.1统一采集通信协议通信协议统一是实现水资源各类数据集中采集的基础，目前国家颁布了两部水资源相关传输协议，分别是《水资源监测数据通讯规约(SZY206-2016)》和《水文监测数据通信规约(SL651-2014)》，水资源涉及的水量、水位、水质等数据采集与传输，均可按照或参考上述标准，因此，对于安徽省新建水资源相关系统应严格执行上述技术标准，对于全省已建水资源监测系统，应按照上述标准进行技术改造，最终实现全省水资源数据采集协议的标准统一。以水资源取水监测数据采集为例，由于计量设备通信协议未实行统一标准，且不同取水户先期安装计量设备种类众多，不同品牌的计量设备往往具有自定义的通信协议。据调研统计，安徽省取水计量监测点安装的计量哉备就有20余种之多。若实现对不同计量设备的数据采集，需设计通用协议转换软件模块，实现对不同省内常见的不同协议计量设备无障碍数据采集，并转为统一的SYZ206-2012协议，进而实现向水资源取水监测平台的数据传输发送。2.2数据集中采集数据集中采集与管理是打破数据壁垒最有效的方式，也有利于建设资源共享、降低项目投资。数据集中采集需根据标准协议，定制开发省级集中采集软件，支持水资源各类站点数据的在线接收、解译、存储与管理。以安徽省为例，构建了省级的数据集中采集系统，可实现对全省水资源水量、水位、水质等信息的在线集中采集与管理。对于取水口核查登记等基本信息，采用线下核查、线上填报、系统管理的模式，将监测数据与基础数据关联，并纳入省水利云平台统筹管理，实现水资源全量数据的云端管理。2.3一套数据计算算法统一数据计算算法是保障数据一致性的关键，以非农业取水量数据计算算法为例，安徽省采用同套计算策略，对于同一监测点，固定时间节点采集数据，并用一套算法开展水量的计算，对内对外提供的数据成果为计算后的结果数据，这样解决了因计算时间节点与计算方法的不同，导致水量数据差异性等问题。2.4计量数据图片集中采集在实际应用中，部分取水点已安装不具备在线采集数据的计量设备，且现场无法重新安装、更换新的计量设备，针对此类应用场景，研究采用定时拍照与图像识别的方式，采用开放式FTP协议，实现各站点向FTP服务器制定路径，基于4G通道向图像集中采集平台指定端口服务实时上报，定时发送图片信息。基于图像识别技术，开发数据识别软件，识别出现场的瞬时流量和累计流量，进而实现数据的采集与上传。此外，获取图片通过标准数据报文解析，完成站点运行状态等情况的在线监控，并将该部分数据通过服务的方式上报至监测平台。3多元巽构数据汇集据调研，安徽省内来安县、蚌埠闸、淠史杭灌区等单位早期建有取水在线监测系统，数据都在机房存储或PC机中。由于各系统的数据库表设计不同，监测的目标要素各异，数据制式亦不规范，导致所建取水监测数据无法直接共享接入。与对于此类监测系统，此前均采用重建系统或取水计量监测站的方式实现数据的监控。前者是抛弃已有系统，按照国家水资源监控能力建设项目办制定的标准，重新设计数据库库表及系统软件;后者是避开已建系统，重新安装计量及监测设备。两种方案均会导致资源的大量浪费，且新旧系统数据源不一致，统计周期也存在不同，常会出现数据不匹配的现象，严重影响水资源取用水监控项目建设和最严格水资源管理工作的开展。通过分析异构数据源技术标准、数据类别和共享策略，利用计算机软件和虚拟技术，对异构数据共享、数据质量控制、数据规整、数据模型构建、数据资产管理等技术进行了研究，开发了虚拟下位仪表采集、异构数据汇集与数据资产管理软件。系统可兼容Oracle、SQLServer2000、Access等各类数据库，软件将不同数据库的操作方式进行封装，用户可根据不同数据库通过“工具一数据库一数据库选择”进行选择。同时，构建取水计量、取水水源、取水工程、取水户档案、取水户排污口等多元信息关联模型，按照一数一源的思路，实现跨地区跨平台信息集中监管。4水资源数据融合与治理4.1数据治理基于监测数据、基础数据、多媒体数据、文件（非结构化数据）、数据库表等不同结构数据，通过数据规整、逻辑判断、数据清洗、数据建模完成从数据接入到数据治理过程，让数据成为可靠性高的数据资产，进而为业务系统提供数据共享、数据分析和其他数据服务，支撑各业务系统作业需求。平台上开发了30余种错误数据检查组件，针对水位、水量、水质等实时监测数据与历史监测数据、相关工程基础数据之间的逻辑关系，构建了30多种数据清洗转换处理模块，实现对各类数据的逻辑判断和清洗，完成数据的治理。4.2数据融合基于水资源取用水多元信息的汇集，形成了水资源数据管理和服务，通过数据关联关系梳理，确定了每类数据的关联对象，然后找到数据的关联因素，建立好数据关联模型，开发数据融合软件，实现对水资源取用水综合信息的融合与检索。按照水资源数据分类，信息查询模块可分为水资源取水监测信息、取水许可信息、取水计划信息、水功能区和水源地信息、取水工程信息、取水户“一户一档”信息、排污口信息等，根据各专题信息的特点，分布定制信息展示模块，实现对各类专题数据的汇集查询和分类查询。综合而言，在已建综合信息展示及分类信息展示的基础上，按照数据关联模型，研究并开发了数据联想查询功能，通过单项数据的查询或单项业务的办理，可联想查询相关数据。例如，查看取水工程基础信息时，自动联想查询相关联的水源地、取水户、取水量等对象;若选择关联取水户之后不仅可看取水户基本信息，亦可进一步联想查询其关联是取水许可、取水计划、排污口、取水量、水源地及取水工程等实现无限联想检索。5结语水资源业务类别多、管办压力大，需要强有力的数据资源支撑。课题通过研究并构建水资源多元数据采集与汇聚体系，开发数据治理与融合模型，打通从数据采集到数据服务的全过程通道，有效解决数据难查、难找、难管等问题，对于推动水资源监管数字化与智能化发展有重要意义。参考文献：[1]赵芳，华东，田质胜，等.基于水资源监测的多元大数据平台研究[J].水利信息化，2020（03）：6-9+15.⑵冯钧，许潇，唐志贤，等.水利大数据及其资源化关键技术研究[J].水利信息化，2013（04）：6-9.李文，李永欣，王兴浩，等.基于数据核心技术的水资源信息平台融合设计[J].中国农村水利水电，2018（09）：64-68.王铭铭，徐浩.基于物联网的安徽省农田灌溉实时监测及自动灌溉系统研究[J].节水灌溉，2017（01）：68-70+75.刘超.基于虚拟下位仪表的水资源取水实时监测技术研究[J].治淮，2019（02）：34-35.向莉英，张涛，达瓦次仁.西藏水资源业务数据管理现状与建议[J].水利信息化，2016（05）：70-72.DiscussiononWaterResourcesMultivariateDataFusionandGovernanceTechnologyWangMingming1DongKaisong2[1.AnhuiProvince（HuaiheWaterConservancyCommissionoftheMinistryofWaterResources）HydraulicResearchInstitute，Hefei，230094，China;2.HualiangtingIrrigationDistrictManagementOffice，AnqingCity，AnhuiProvince，Anqing246511，China]Abstract:Waterresourcesdiversifieddatafusionandgovernanceistheonlywayforwaterresourcestomovetowardsintelligentmanagement.Discussedwaterresourcesdiversifieddatafusionandgovernancetechnology，includingdiversifieddataaggregation，datafusion，datagovernance，etc.，torealizetheintegrationofwaterresourcesdataresources,dynamicmanagementandefficientservices.TechnicalachievementshavebeenwidelyusedinthewaterresourcessupervisionsystemofAnhuiProvince，whichhaspromotedthedevelopmentofdigitalandintelligentwaterresourcesmanagement.TheresultshavebeenwidelyusedinthemonitoringandmanagementofwaterresourcesinAnhuiProvince，prov