大数据技术在综合管廊环境监测中的应用

1、    大数据技术在综合管廊环境监测中的应用    童丽闺+杨浩摘 要：针对综合管廊环境监测海量数据管理需求，该文运用大数据技术，提出综合管廊监测大数据以及关键技术，建立管廊监测大数据中心，给出了大数据技术在管廊环境监测中的应用前景和方向，高效地获取非结构化数据所蕴含的有效的管廊监测信息，对管廊健康状况进行分析与预警，实现智慧的管廊监测分析和决策。该研究可为保证综合管廊的正常运行和提高突发事件的处置能力提供借鉴。关键词：大数据 综合管廊 环境监测：tp27 ：a ：1672-3791（2017）03（a）-0028-02近年来，随着城市化进程的加快，我国

2、市政工程的建设规模越来越大，综合管廊通过集约化建设、统一运营管理的方式，解决城市快速发展对市政设施的负荷需求，是市政管线建设的趋势和方向。综合管廊整体建于地下，只有少量的投料口、人员出入口和通风口与外界相通，内部空间相对密封，易对综合管廊内设施设备造成破坏、甚至还会造成人员伤亡等灾难性后果1。综合管廊属于地下密闭空间，一旦发生灾害，甲烷、一氧化碳等危险气体达到一定浓度时，将对抢修人员造成人身安全威胁。由于管廊监测点众多且分布极广，现有的基于物联网技术的管廊环境监测系统，利用温湿度传感器、液位传感器、氧气传感器、甲烷传感器、硫化氢传感器等，对管廊环境进行综合监测、感知，产生了海量的由传感器产生而

3、又不适于关系模式的非结构化数据。如何有效地管理这些非结构化数据，迫切需要利用大数据技术，高效地获取非结构化数据所蕴含的有效的管廊监测信息，实现智慧的管廊监测分析和决策，让管理人员及时掌握管廊健康状况，对即将出现问题进行处理，预防事故发生。该文提出了使用大数据技术建立管廊监测大数据中心的新概念，给出了大数据技术在管廊监测中的应用前景和方向，可对管廊健康状况进行分析与预警。1 管廊监测大数据1.1 大数据定义维基百科对“大数据”的定义是：“使用常用软件工具获取、管理和处理数据所耗时间超过可容忍时间的数据集”。2大数据通常被认为是pb（1024 terabytes）或eb（1eb=100万tb）或更

4、高数量级的数据，包括结构化的、半结构化的和非结构化的数据，其规模或复杂程度超出了常用传统数据库和软件技术所能管理和处理的数据集范围。31.2 非结构化数据非结构化数据已逐渐成为大数据的主体。非结构化数据例如文本、图形、图像、音频和视频等，从内容上没有统一的结构，数据是以原生态形式（raw data） 保存的，因此，计算机无法直接理解和处理，需要基于描述性信息实现对非结构化数据内容的管理和操作。41.3 管廊监测大数据管廊监测大数据将包括：管廊范围内所有的管廊本体数据（管廊本体空间位置、属性信息），管廊内部附属设施数据（消防栓、通风口、积水井等），以及管廊环境监测系统所产生的温湿度传感数据、液位

5、传感数据、氧气传感数据、甲烷传感数据、硫化氢传感数据等，见图1。2 关键技术2.1 大数据管理技术在应对海量的综合管廊监测数据时，需要实现快速的数据储存和讀取，并且管廊监测大数据中半结构化数据和非结构化数据所占比重越来越大，关系型数据库已无法满足需求，nosql非关系型数据库技术将为管廊监测大数据管理提供可靠的保障。nosql技术简单分为key-value存储、文档数据库和图数据库等。2.2 大数据分析技术管廊监测大数据分析技术首先要解决如何将多源异构的数据正确解读、综合分析的问题，并从海量数据环境中，挖掘出数据中潜在的、事先未知的有用信息，为管廊健康状况进行分析与预警。大数据分析技术将包括数

6、据挖掘、信息聚合等技术。2.3 大数据处理技术海量增长的管廊监测大数据要从不同类型的数据里迅速获取有价值的信息，需要处理大量、非结构化的数据，在处理环节中可以采用采用高性能、大规模并行的海量数据处理的算法模型与平台来提高海量数据的处理能力。2.4 大数据展示技术大数据展示技术包括数据分析过程和结果的可视化显示、历史数据的可视化、信息流展示，将大数据复杂的分析，用直观的形式进行展现出来，进而提高管廊监测大数据的利用效率。3 管廊监测大数据中心围绕管廊监测领域业务流、数据流，以地理空间数据、具有时空标识的传感监测数据为基础，结合管廊监测领域空间数据和属性数据，利用计算机技术、3s技术、图形处理技术

7、，建设一个现势性强、真实准确的、集管廊监测数据和电子地图数据、空间信息和属性信息为一体的管廊监测大数据中心，使之成为“智慧管廊”建设的数据基础，全面实现城市地下、地上数据共享应用。4 结语该文简要分析了大数据及管廊监测大数据的定义，研究讨论了大数据关键技术，面向综合管廊监测领域开展大数据管理、大数据分析、大数据处理和大数据展示等技术研究，基于对大数据技术的理解，提出管廊监测大数据中心，对提高综合管廊环境监测的智能化水平具有重要的现实意义，促进城镇化发展质量和水平全面提升。参考文献1 郑立宁，王建，罗春燕，等.城市综合管廊运营管理系统构建j.建筑经济，2016（10）：92-98.2 林文敏.云环境下大数据服务及其关键技术研究d.南京大学，2015.3 申德荣，于戈，王习特，等.