堤防工程数据库发展现状及其在国内的发展趋势

1、堤防工程数据库发展现状及其在国内的发展趋势堤防工程管理论文第五篇：堤防工程数据库发展现状及其在国内的发展趋势摘要：通过分析数据库技术与堤防工程数据库的发展现状, 探讨了堤防工程数据库未来发展的趋势。随着现代技术的不断进步、基础数据的不断累积, 堤防工程基础数据库的构建是一个长期的系统工程。利用新技术开展堤防工程数据库的研究与开发工作, 整合现有堤防的海量数据, 实现堤防工程全寿命周期基础数据的管理与共享, 是堤防工程信息化管理的重要基础, 并为堤防工程安全运行提供基础支撑。关键词：数据库; 大数据; 全寿命周期; 非结构化; 堤防工程;Development summary of embank

2、ment engineering database at home and abroadHAN Xu MA Guisheng JIANG Yuan MA Danxuan LUO Dengchang1 引言洪水灾害是当今人类经常遭受的最严重灾害之一。据统计, 世界上发生的自然灾害当中有60%是洪水灾害, 我国约有2/3的国土面积受到不同程度的洪水灾害。1998年夏季相继发生在中国长江流域、嫩江和松花江流域的特大洪水, 以及2005年8月美国新奥尔良市由飓风卡特里娜;导致的洪水灾害, 都给当地人民带来了巨大的经济与财产损失。堤防工程是防御洪水最普遍、最有效的工程措施, 也是人类最早抵御洪水、保护自

3、身的方式。黄河堤防始建于公元前500多年, 距今近2 500多年;长江荆江大堤始建于公元300多年, 距今有l 600多年的历史;浙江海堤始建于1153年, 距今有850多年1。目前, 我国已建设江、河、湖、海各类堤防累计长达数十万km, 在综合防洪工程体系中起着非常重要的作用2, 为我国的经济与社会发展发挥了巨大的效益。我国堤防建设经历了数百甚至上千年的历史, 在建设与维护过程中积累了大量地质、险情、抢险加固等方面的资料。1998年大洪水过后, 全国各地针对堤防工程开展了全面、细致的工程地质勘察、除险加固等工作3, 也积累了大量的基础资料。随着现代科学技术在水利上的应用, 流域堤防工程管理的

4、观念发生了根本的改变, 尽管世界各国河流的自然条件千差万别, 但实现流域堤防工程管理信息化, 是世界各国发展和追求的共同目标, 也是当今社会进步的强烈需求4。利用新技术开展堤防工程数据库的研究与开发工作, 整合现有堤防的海量数据, 实现堤防工程全寿命周期基础数据的管理与共享, 是堤防工程管理信息化建设的重要组成部分, 让堤防管理部门及时准确地掌握堤防运行状况, 为防汛抢险和堤防日常运行管理提供必要的保障5。2 数据库技术发展概况20世纪50年代初数据管理还只是对穿孔卡片进行存储管理, 直到后来出现以磁带为存储介质并按照字母顺序作为索引的数据库, 这其中要以1951年雷明顿兰德公司推出的每秒存储

5、几百条数据的磁带驱动器作为代表。第二次世界大战以后, 尤其是苏联的第一颗人造卫星的发射带来计算机和信息技术的高速发展, 情报资料猛增6, 从而数据库的数量大幅度增加, 而同时磁盘技术的加速发展带来了联机检索, 磁盘带来的最大好处是可以随机存储数据。随着后来人们共享数据的意识越来越强烈, 过去传统的文件管理系统已经不能满足人们日益增长的需求, 这时统一管理和数据共享的管理系统 (DBMS) 产生了, 但是无论各种各样的管理系统有着怎样的功能, 它们都是建立在数据模型的基础上, 而在这其中数据模型分成:第一代数据模型为网状和层次数据库, 第二代为关系型数据库, 第三代为面向对象数据库7。美国通用电

6、气公司在1961年开发了第一个网状数据库管理系统IDS, 而其后便是层次数据库, 这其中要以IBMS 1968年开发的IMS的层次数据库为代表。第二代关系数据库最大的优势是解决了网状和层次数据库在数据独立和抽象方面的缺点。关系数据库产品也主要分成桌面数据库和客户/服务器数据库。桌面数据库主要是以Access和Foxbase为代表, 但也只是适合小型单机应用程序。客户端/服务器数据库主要以SQL Server、Oracle为代表, 适合于大型系统, 后来出现的Mysql适合小型且使用方便的系统, 越来越受程序开发者的青睐。虽然关系数据库在存储及管理方面非常强大, 但是仍然无法适应频繁变动的需求。

7、20世纪80年代已开始出现面向对象的数据库, 作为第三代数据库具有前两代数据库无法比拟的优点, 满足复杂数据结构和海量存储需要, 是新型数据库如多媒体数据库、空间数据库、演绎数据库、工程数据库实现的基础8, 多数这样的面向对象数据库被用于基本设计的学科和工程应用领域。分布式数据库的出现主要是数据库技术与计算机网络技术的结合。随着网络技术的发展, 人们希望共享所有有用信息, 原来的集中式数据库将数据存储于单个计算机上, 难以实现这个目标。后来研究者们提出了分布式的概念, 将数据分别存储在多台计算机中进行存储, 这样就可以通过并发操作提高数据的访问能力;分布式中的数据相互独立, 提高数据的安全可靠

8、性;多台计算机存储也可以提高数据的存储容量, 以及在不同的操作系统上, 可以通过不同的网络来进行通信等等。在这其中典型的代表当属Sysbase数据库9。由于多媒体技术的发展, 数据不仅呈现异构多元化、信息量大、数据实时性要求高、交互性强等特点, 而且对数据存储也有着极大的需求, 从而促进了多媒体与数据库的结合。与此同时, 由于人工智能的迅速发展, 它可以模拟人的逻辑思维能力, 对于数据分析和挖掘有着很大的优势, 但是信息检索能力不好, 而数据库在信息检索和存储上却有着显著优势。人工智能与数据库的结合产生了数据仓库, 数据仓库主要是通过数据挖掘等工具来从各种结构类型的数据源中挖掘出有价值的信息。

9、在这过程中数据源的存储也促进了非结构化数据库的产生, 如MongoDB、Redis等, 非结构化数据库主要采用倒排挡技术来对媒体数据库比如音频、视频、图片等各种非结构化数据进行存储。随着Web技术的大力发展, Web数据库也得到快速应用。Web数据库是建立在浏览器/服务器 (B/S) 模型之上的10, 通过Web接口方式来访问数据库资源, Web数据库主要将数据库服务器、中间件、Web服务器、浏览器组织在一起, 从而实现在Internet环境下对数据库的访问操作。3 国内外堤防工程数据库发展现状国外早在20世纪60年代就充分利用现代信息技术对堤防工程数据进行管理, 如意大利、葡萄牙、西班牙、法

10、国等, 在堤防工程安全监测上建立较为完善的监控系统11。美国在20世纪70年代就开始对全国的大坝数据进行管理, 通过立法并授权美国陆军工程师团 (USACE) 负责进行建设、维护、发布、管理联邦所有大坝的基本信息网络数据库12。该数据库共计收录82 642座大坝, 每两年进行一次更新维护, 用户可通过互联网访问并浏览有关信息。美国大部分堤防建于20世纪中叶, 由联邦、州和地方机构或私人建造, 多数超设计寿命期限服役。2006年USACE开发了包含十几万英里堤防基础数据的美国堤防数据库 (NLD) , 为堤防安全决策提供数据资源。英国基于Microsoft Access和ArcGIS构建了泰晤士

11、河口防洪数据库13, 用于存储和维护与伦敦泰晤士河口沿河堤防相关的所有数据, 实现了对结构化数据与图形文档的管理与共享。法国大约有9000km的堤防, 2004年法国环境与农业科技研究院 (IRSTEA) 基于Microsoft Access和ArcView开发了法国堤防数据库SIRS Digues1.0版14, 实现对超过1000km堤防结构化数据以及图形文件的存储与管理。后来经过不断的改进, 于2015年发布了SIRS Digues 2.0版, SIRS Digues 2.0采用Java编程语言, 基于面向文档的NoSQL数据库Apache CouchDB、以及地理空间数据库库Geotoo

12、lkit和Apache-SIS, 可兼容Linux、Windows、MacOS等操作系统, 并开发了基于Web的移动客户端。20世纪70年代, 数据库技术开始传人我国。90年代以后, 我国开始重视堤防工程安全监测自动化。南京水利科学研究院和南京电力自动化研究院等开发了分布式土石坝安全监测采集系统, 实现了数据自动采集、数字量传输和资料整理的自动化。2002年水利部大坝安全管理中心开始开发堤防工程安全管理信息系统, 探索堤防工程基本资料数据库建设及网络化信息发布的技术途径, 成果包括基于C/S的数据库管理和基于B/S方式的信息发布, 其Web Server为Apach, 网络数据库采用Oracl

13、e8i11。长江水利委员会于2003年建立了长江堤防工程地质信息系统15, 系统以数据管理为核心, 集成了GIS、DBMS、和CADS等技术, 保障了流域级堤防数据的一致性、完整性、准确性和安全性, 有效存储并管理了长江堤防工程地质资料。长江堤防工情信息服务系统16提出了一种基于Client/Server, Browser/Server, Browser/ArcIMS三重架构的开发模式, 构建了系统的体系结构, 对后台数据库进行了优化和重组, 提出了一种基于树形数据结构的超;实体多级递归算法, 给出了无限层次的动态下拉列表实现方法, 引入面向对象技术, 采用多种开发工具, 实现了DBMS与GI

14、S的集成一体化。长江重要堤防隐蔽工程勘测设计数据库系统17基于ArcGIS, 采用关系数据库Access、Dbase4以及空间数据库Arc/Info, 建立了隐蔽工程勘测设计数据库, 为勘测设计技术数据资料构建一个具备输入、贮存、管理、查询、输出和分析应用等功能的平台。黄河下游堤防地质信息管理及安全评价系统18将数据库管理系统和图形管理系统有机结合, 不仅实现了数据库的输入、输出、统计分析, 以及其与图形属性库之间的转换与管理, 而且实现了信息的空间查询、空间分析、图形编辑、输出和图形管理, 系统同时提供堤岸稳定性评价的方法和其它实用工具, 为黄河下游堤防安全管理和规划提供了辅助决策工具。黄河

15、堤防管理信息系统19以VS.NET和SQL Server技术为基础, 结合了WebGIS关键技术, 实现了B/S环境下数据的显示、查询、统计及组织管理, 通过预留接口还可以实现堤防工程实时监测、安全评价、预警预报、专用分析等功能。珠江流域重点堤防数据库系统20、第二松花江地理信息系统21数据库底层的RDBMS均采用SQL Server 2000;而淮河流域基础空间数据库22、海河流域数据库23均选择Oracle作为数据库管理系统, 并基于ArcGIS应用平台, 实现大规模、多类型海量空间数据的统一管理, 提供强大的地理信息存储访问和分析功能。安徽数字长江信息系统24基于ArcGIS, 采用B/

16、S结构的组织模式, 以Oracle数据库服务器作为基础空间数据库建设基础, 提供基础空间信息、元数据的查询, 为用户提供对长江安徽段基础信息数据、水利工程数据、防汛、长江河道演变和采砂数据、影像数据的显示、查询、统计、分析、服务等功能。4 国内堤防工程数据库的发展趋势自20世纪90年代以来, 我国堤防工程数据库的研究与开发有了很大的发展。迄今为止, 国内各大流域均已建成堤防数据库或基础数据库管理系统, 但大都是十几年前建成的, 建设的年代相对久远。其次, 传统的堤防数据库多以关系数据库为主, 不能处理非结构化的数据, 扩展性较差。另外, 堤防基础数据规模正在呈几何级数增长, 数据规模越来越庞大

17、, 数据库应当具备支持海量数据、高性能、高可靠性、易扩展、资源的高重复利用率等特性, 而现有的存储体系架构很难满足这些需求。随着信息技术的不断发展, 信息传播量的日益剧增, 传统的数据库已经满足不了新时代背景下对新技术以及海量信息处理的需求。计算机科学技术日益革新, 在未来发展中, 堤防数据库技术升级也必将持续进行。在此背景下, 一些新的数据管理系统如并行数据库、网格数据库、分布式数据库、云平台、可扩展数据库等, 它们为解决堤防工程海量数据提供了多种选择25。大数据、云计算、物联网26以及人工智能27作为目前最热门的技术话题, 其理念已经在智慧城市、智慧政务的建设中发挥出了巨大潜能28。云计算

18、技术的发展和社会对大数据的需求为非关系型数据库带来了新的机遇, 云计算所处理的海量数据使传统的RDBMS (关系型数据库) 的性能瓶颈日益突出。而为了突破这些瓶颈问题, NoSQL数据库的设计和实现是云数据管理领域中非常典型的且行之有效的解决方案29。5 结语数据库作为现代人们管理各种数据的基本工具, 已经深入到了生活中各个领域, 与人们的生活息息相关。本文根据国内外在海量堤防基础数据库方面的发展建设情况, 探讨了堤防数据库未来发展的趋势。海量的多格式、多类型、多尺度、跨地域的堤防工程基础数据, 形成了一个分布式的、异构的、跨部门的、资源类型多样的数据库群。在大数据时代的浪潮下, 如何实现堤防

19、工程基础数据的存储、管理与共享, 如何将堤防基础大数据与现代网络、云计算、物联网以及人工智能等新技术相结合, 对其进行科学的挖掘与利用, 提高相应的服务水平, 对于促进国民经济发展, 具有十分重要的意义。参考文献1包承纲, 吴昌瑜, 丁金华.中国堤防建设技术综述J.人民长江, 1999, 30 (10) :15-16.2解家毕, 张金接, 刘舒, 等.堤防工程信息管理与风险评价系统的研究与开发J.水利水电技术, 2007, 38 (3) :69-72.3SL 188-2005堤防工程地质勘察规程S.4尚宏琦.国内外典型江河治理经验及水利发展理论研究M.郑州:黄河水利出版社, 2003.5孙金勇

20、.堤防工程运行管理系统的技术研究与系统实现D.武汉:华中科技大学, 2010.6羿文.数据库发展史的回顾与思考J.情报学刊, 1989 (6) :52-56.7黄丽.数据库技术的发展J.科技风, 2018 (14) :82.8朱亚楠, 毛国平, 孙圣军.面向对象数据库技术及其前景分析J.软件导刊, 2009, 8 (2) :162-164.9吕玲玲.数据库技术的发展现状与趋势J.信息与电脑 (理论版) , 2011 (8) :118-120.10汪倍贝.Web数据库访问技术的研究J.科技资讯, 2010 (24) :24-26.11常向前, 沈细中, 冷元宝, 等.中国堤防工程管理信息系统开发

21、与应用M.北京:中国水利水电出版社, 2014.12黎刚.美国大坝数据库综述J.水利水电快报, 2010, 31 (5) :32-36.13Ciria, Ecology M O.The International Levee HandbookR.2013.14Moins I, Boggio D.SIRS Digues 2.0:A Cooperative Software For Levees ManagementR.2016, 7:04018.15刘军旗, 黄长青, 吴冲龙.长江堤防工程地质信息管理策略及实现方法J.长江科学院院报, 2007 (4) :38-41.16张瑞军, 陈定方, 石林, 等.基于三重模式的长江堤防信息系统的研究与实现J.武汉理工大学学报 (交通科学与工程版) , 2007 (1) :27-30.17 翟建军.长江重要堤防隐蔽工程勘测设计数据库系统C/长江护岸及堤防防渗工程论文选集, 武汉:水利部长江水利委