海洋基础科学数据库及其信息管理系统的建立

1、海洋基础科学数据库及其信息管理系统的建立栾振东第一作者：栾振东 出生于1976年，助理研究员。电话：E-mail: luan。 阎 军 代亮 范奉鑫 陈长安（中国科学院海洋研究所，青岛 266071）提要 探讨了把GIS技术和空间数据仓库技术引入正在建设的海洋基础科学数据库及其信息管理系统中，从空间数据仓库的技术手段上阐述了建设海洋基础科学数据库及其信息管理系统的构想和实现方法。关键词：海洋基础科学数据库，信息管理系统，空间数据仓库，GIS 1、 建立海洋基础科学数据库及其信息管理系统的必要性随着信息技术的飞速发展，数字地球的观念深入人心，各发达国家纷纷竞相投入巨大

2、的人力、财力进行开发和研究。数字地球基础平台是多维、多种分辨率，能嵌入巨大数量的地理数据、属性数据和多媒体数据等。构成数字地球的数据的基石是可以具有空间信息属性的空间数据库，数字海洋则是数字地球的重要组成部分。在我国，海洋学的研究，已经经历了近百年的时间。建国以来，各相关单位在我国海域和大洋地区相继开展了多次大规模的海洋调查研究工作，积累了丰富的资料。随着以信息化技术为代表的高新技术的应用，例如遥感、多波束探测等，使得海洋研究数据呈指数规律爆炸性增长。海洋学是一门综合性极强的学科，涉及众多的领域，而以上每一领域又包括了众多的研究方向和研究手段，在海洋科学研究领域中，从资料采集、数据处理到研究方

3、式都发生了巨大的变化，如何从浩瀚的资料中快速提取所需的信息用于特定研究目的，是摆在科研人员面前的重要问题。近几年来我们已开发的数据库系统基本上是面向事物处理的简单管理信息系统随着海洋信息需求的日益广泛、复杂和迫切、这些传统的数据库系统存在的问题也越来越明显1： （1）数据系统随机性的综合信息提取功能差；（2）原有数据库系统是面向事物处理而非面向分析处理的；（3）原有系统难以适应研究对象对数据的要求。地理信息系统（GIS）技术作为一种利用计算机对地球空间数据进行采集、存储、检索、查询、分析、建模 和表示的有效工具，不仅能够管理属性数据及空间数据，而且能够进行各种空间分析。自20世纪60年代中期，

4、加拿大建立起世界上第一个地理信息系统（CGIS, 主要用于土地资源管理）以来，GIS在应用和技术方面都有了飞速的发展，在测绘、制图、环境及资源管理等传统领域有了更深入、更广泛的应用。随着海洋科学的不断发展，信息的大量增加,GIS技术已成为海洋科学研究中不可缺少的组成部分，在海洋科学研究与管理的各个领域发挥愈来愈重要的作用2。空间数据仓库技术是近几年才兴起的一门新技术。空间数据仓库就是面向主题的、集成的、稳定的、不同时间的空间数据集合，用以支持空间信息管理中的决策制定过程。自二十世纪90年代开始对海洋基础数据信息管理系统研究至今已有十余年的历史。最初的海洋基础数据信息管理系统是基于数据库、数模库

5、的系统结构。实践证明，这种系统结构很难做到内在的统一和完整，加上缺乏面向最终用户的决策支持工具多年来直处于理论探讨和实验阶段，没有取得实质性进展。近年以来，国外兴起的空间数据仓库(Spatial Data Warehousing)技术、联机分析处理(OLAP)技术及数据挖掘(DM)技术为海洋信息决策管理系统的研究和系统开发提供了一条新的途径，将海洋研究推向了实用化阶段。空间数据仓库是现代计算机系统信息处理技术的热点之一1更是计算机应用领域里的一个崭新方向。空间数据仓库以集成的、全海洋行业范围的历史数据作为坚实的基础，把行业的原始操作数据和来自外部的数据汇集和整理成数据库群，在此基础上通过通畅、

6、合理、全面的信息处理使最终用户从数据仓库提取数据进行各种数据分析。可以迅速准确地对某一海域的科学研究、资源开发、利用和管理、环境监测与保护，油气生产宏观调控、及港口建设等提供基础数据，为各种方案的分析比较和重大战略决策提供信息服务。面向分析处理(oLAP)、支持数据的多维分析与挖掘（DM）、支持决策系统是数据仓库的主要持征，就是将空间数据仓库技术与空间数据挖掘技术运用到海洋基础科学数据库及其信息管理系统中来2。当代海洋学问题的提出和解决常常要求多学科多部门之间的协作。因此，空间信息的共享与互操作、分析与综合在对于海洋学问题的综合研究中便显得日益重要。2、 海洋基础科学数据库及其信息管理系统的主

7、要内容海洋信息有明显的空间信息特点和多用途的服务对象。利用数据库和地理信息系统（GIS）技术建立空间数据库是解决这一问题的途径之一。健全的海洋基础科学数据库及其信息管理系统可以迅速准确地对某一海域的资源开发、利用和管理、环境监测与保护，油气生产宏观调控、及港口建设等提供基础数据，为各种方案的分析比较和重大战略决策提供信息服务。其信息具有类型多、数据量大、来源多、获取代价大等特点。目前各研究、生产和其它相关机构基于不同的目的，已经和正在建立各种各样的海洋空间数据库，这为历史资料的查询和资料存储、更新提供的很大的方便。正在建设的海洋科学数据库包括：物理海洋基础数据库、海洋地质基础数据库、环境物理参

8、数数据库、海洋遥感数据库、海洋生物数据库等（见图1）；完成后数据量可达400GB以上。海洋科学数据库物理海洋库海洋地质库水文库海流库地形库沉积类型库 各学科数据库各专业子库各专业子库图1 海洋科学数据库结构框图由于现在的GIS技术是一种面向空间数据管理及处理的技术，因此这就要求资源与环境信息系统设计中首先建立资源环境信息向GIS空间概念的影射关系，其空间特征的正确表达是最重要的5。海洋基础科学数据库及其信息管理系统对数据的管理是基于图层的，并通过关键字段将空间数据和属性数据连接起来3。为了能对数据合理地分层，首先必须进行合理地分类，设立主题、亚层主题等。其次，应对每一层的空间符号（点、线、面）

9、进行定义，制定出合理分类、分层体系。属性数据通常用来反映与空间实体对应的属性，一般是通过分类、量算、命名、统计等方法得到的。海洋基础科学数据库及其信息管理系统主要内容包括栅格数据和矢量数据的输入、存储，地理数据的操作和分析（矢量数据空间分析和栅格数据空间分析）、将用户查询的结果或是数据分析的结果以合适的形式输出1。海洋基础科学数据库及其信息管理系统栅格数据和矢量数据的质量控制方法及标准：各专子库都包括一个质量标准表，含质量标志码、质量级别、数据精度、说明等信息，数据库中业每条数据记录都含有质量标志描述，具体标准将根据各专业历史及现状，用户需求而定。质量控制过程采用分阶段（粗筛与精筛）自动与人机

10、交互相结合，以确保数据入库的质量与速度。海洋基础科学数据库及其信息管理系统的进一步开发，就是将空间数据仓库技术与空间数据挖掘技术运用到海洋科学数据库及其信息管理系统中来，通过空间数据仓库技术、空间数据挖掘技术、元数据管理技术、网络技术以及地理信息系统（GIS）技术，将不同来源、不同格式的空间数据库资源有机结合起来，为用户提供统一、友好的界面，以人机交互方式实现海量数据的海洋科学信息分析系统，将极大的提高海洋科学信息的使用效率。3、 海洋基础科学数据库及其信息管理系统的结构设计3.1资料预处理（数据抽取） 由于历史的原因及各类资料采集设备的不同，原始资料的数据结构与格式和应用标准间存在着很大差异

11、，需要编制相应的资料预处理软件对其进行抽取、整理、转换等处理；另外还要将需要的图件及模拟资料数字化；数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面。数据仓库的数据并不要求与联机事务处理系统保持实时的同步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。在技术发展上，数据抽取所涉及的单个技术环节都已相对成熟，其中有一些是躲不开编程的，但整体的集成度还很不够。目前市

12、场上所提供的大多是数据抽取工具。这些工具通过用户选定源数据和目标数据的对应关系，会自动生成数据抽取的代码。但数据抽取工具支持的数据种类是有限的；同时数据抽取过程涉及数据的转换，它是一个与实际应用密切相关的部分，其复杂性使得不可嵌入用户编程的抽取工具往往不能满足要求。因此，实际的数据仓库实施过程中往往不一定使用抽取工具。整个抽取过程能否因工具的使用而纳入有效的管理、调度和维护则更为重要。 3.2 数据存储和管理系统对大量数据的存储和管理，这里所涉及的数据量比传统事务处理大得多，且随时间的推移而累积。从现有技术和产品来看，只有关系数据库系统能够担当此任。关系数据库经过近30年的发展，在数据存储和管

13、理方面已经非常成熟，非其它数据管理系统可比。目前不少关系数据库系统已支持数据分割技术，能够将一个大的数据库表分散在多个物理存储设备中，进一步增强了系统管理大数据量的扩展能力。采用关系数据库管理数百个GB甚至到TB的数据已是一件平常的事情。数据仓库要解决并行处理问题，在传统联机事务处理应用中，用户访问系统的特点是短小而密集；对于一个多处理机系统来说，能够将用户的请求进行均衡分担是关键，这便是并发操作。而在数据仓库系统中，用户访问系统的特点是庞大而稀疏，每一个查询和统计都很复杂，但访问的频率并不是很高。此时系统需要有能力将所有的处理机调动起来为这一个复杂的查询请求服务，将该请求并行处理。因此，并行

14、处理技术在数据仓库中比以往更加重要，主要包括数据的录入、维护、查询等功能。录入模块将预处理过的数据资料经筛选、质控检验入库；维护模块负责对入库数据进行修正、剔除等操作；查询模块可查询输出已入库数据内容。系统是面向数据管理与操作人员的。通过系统可保证数据准确无误的入库。3.3数据服务系统系统包括信息发布、数据咨询服务等功能，是面向最终用户的。3.4海洋基础科学数据库及其信息管理系统的工作流程（图2）显示、校验地理底图图形予处理及数据分类数据采集输入属性数据数据录入关系数据库空间数据数字化采集空间数据库ID码数据匹配（自动、手动）合法性检查入库进入信息发布、咨询系统编辑、修改有错否数据整理分类数据

15、予处理数据录入 有错图2 海洋基础科学数据库及其信息管理系统的工作流程图4、 海洋基础科学数据库及其信息管理系统采用的主要技术数据仓库技术并不是一种市场上现成可买的软件产品，但许多软件生产厂商都提供相应的数据仓库解决方案，并开发了相应的数据仓库开发支持软件工具产品。使用这些软件产品可以方便地根据自己应用需求构建相应数据仓库。下面是市场上可见的几种数据仓库解决方案：（1）Infomax数据仓库产品；（2）Sybase数据仓库产品；（3）Oracle数据仓库解决方案及OLAP产品技术分析。数据仓库技术理论日趋完善，国内外在企业界已经有了广泛的应用，成功开发出了许多基于数据仓库的应用系统4。联合和交

16、叉是未来学科发展的方向。海洋科学也不例外。用于只能采集、存储、管理、利用海洋信息资源的海洋基础科学数据库及其信息管理系统必然要面临解决一系列新的问题，虽然现在要描述一幅完善的未来蓝图尚有困难，但一些方向已日渐明朗。首先对目前所拥有的数据库进行面向主题的数据“仓库化”处理在此基础上进行应用系统的多次开发，因而在技术上可以根据它的工作过程分为：数据的抽取、存储和管理、数据的表现以及数据仓库的设计的技术咨询四个方面。由于海洋信息中的数据具有多来源性，这就决定了网络技术和分布式数据库技术会在今后的海洋信息系统发挥日益重要的作用，加上数据仓库技术，可将海洋基础科学数据库及其信息管理系统组织为图3所示的整

17、体结构。数据仓库数据库，是整个数据仓库环境的核心，是数据存放的地方和提供对数据检索的支持。相对于操纵型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。元数据是描述数据仓库内数据的结构和建立方法的数据。元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。包括：数据源信息；数据转换的描述；数据仓库内对象和数据结构的定义；数据清理和数据更新时用的规则；源数据到目的数据的映射；用户访问权限，数据备份历史记录，数据导入历史记录，信息发布历史记录等。元数据为访问数据仓库提供了一个信息目录（information directory），这个目录全面描述了数据仓库中都有什么数据、这

18、些数据怎么得到的、和怎么访问这些数据。是数据仓库运行和维护的中心，数据仓库服务器利用他来存贮和更新数据，用户通过他来了解和访问数据。从图3中可以看出所有内容都基于一个统一的主题数据库全局数据仓库，全局数据仓库中动态地保存着国家或某部门最新的海洋基础数据。应用数据抽取工具，把数据从各种各样的存储方式中拿出来，进行必要的转化、整理，再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键，应能生成COBOL程序、MVS作业控制语言（JCL）、UNIX脚本、和SQL语句等，以访问不同的数据。数据转换都包括，删除对决策应用没有意义的数据段；转换到统一的数据名称和定义；计算统计和衍生数据

19、；给缺值数据赋给缺省值；把不同的数据定义方式统一。海洋源数据是应用数据仓库管理中专门的数据提取程序在网络上或从分散的分布式数据库中抽取出来并经过严格的数据筛选、综合和集成后才进入全局数据仓库的。应用时，不同研究领域从全局数据仓库中提取自己所需要的数据形式而成一个领域的数据集合-DataMart，该领域的不同研究单位 再按需要和权限从中提取数据，应用系统分析工具进行处理。关系数据库数据文件其他数据仓库管理工具抽取，转换，装载综合数据用户查询工具当前数据历史数据DM工具数据建模工具OLAP工具元数据库C/S工具海洋源数据全局数据仓库系统分析工具数据仓库管理DataMart图3： 海洋基础科学数据库

20、及其信息管理系统框图需要说明的是，整个系统都是在基础系统网络下运行的，基础系统网络把不同地区、不同环境（操作环境和信息环境）和不同技术系统连接到一个统一的物理网络之中，实现系统的基本功能：及时、难确、随机地向决策者及需求者提供信息；直接面向决策者及需求者、简单易用的操作界面；提供精度可控制的、多层次的信息访问处理功能；多维数据视图及数据挖掘；信息分析处理功能。5、海洋基础科学数据库及其信息管理系统模块的开发应用海洋数据涵盖了众多的领域，包括地质学、生物学、海洋化学、物理物理学、古海洋学、海洋遥感等，而以上每一领域又包括了众多的研究方向和研究手段，例如，海洋地球物理学就包括了重力、磁力、地震（人

21、工、天然）、电法、地热等众多内容。用户范围包括国内各职能部门及其他一些研究单位，数据库使用频率相当高，原来的数据库系统已经无法满足用户纷繁复杂的查询和分析要求。海洋基础数据信息管理系统的数据应来源于中国科学院等多家涉海研究单位长期积累的多学科、多尺度、多类型的科学资料和信息，面向决策支持及科研的，数据量大，数据类型多样，既有空间特性又有时间特性，因此，空间信息的共享与互操作、分析与综合在对于海洋学的综合研究中便显得日益重要5。传统的数据库系统一般是面向某一个具体应用、由日常的工作流程驱动的，数据往往处于采集时的原始状态；系统应用也只是对存储数据进行增、删、改等事务处理操作和简单的空间查询与分析

22、。为了更好地适应当今全球变化和可持续发展研究的需要，需要用一个统一的信息视图将来自不同学科的相关数据按照相应的主题转换成统一的格式，集成、存储在一起，然后通过各种专业模型从多个角度去得到有用的信息和知识，在设计上需要按照不同的主题来组织数据。因此海洋基础数据信息管理系统的空间信息研究比较适合利用空间数据仓库技术来完成。海洋基础科学数据库及其信息管理系统中的数据来源于不同的平台，如Mapinfo、Arc/info、Mapgis、Intergraph/MGE,类型多种多样，有海洋地质学数据、海洋生物学数据、海洋化学数据、物理海洋学数据、古海洋学数据、海洋遥感数据、统计数据和专题数据等。为更好的将多

23、年来积累的丰富数据为决策和科研服务，海洋基础科学数据库及其信息管理系统按照不同学科的基础数据的时空变化为主题来组织数据。海洋基础科学数据库及其信息管理系统是面向主题的、集成的、稳定的、不同时间的空间数据集合，用以支持空间信息管理中的决策制定过程。系统中的空间数据面向主题与传统的空间数据库面向应用相对应。主题是一个在较高层次将空间数据归类的标准，每一个主题对应一个宏观的分析领域。空间数据仓库的集成特性是指在空间数据进入空间数据仓库之前，必须进行数据加工和集成，这是海洋基础数据信息管理系统的关键步骤，首先要统一原始空间数据中的矛盾之处，还要将原始空间数据结构做一个从面向应用向面向主题的转变，系统的

24、稳定性是指空间数据仓库反映的是历史空间数据的内容，数据经加工和集成进入空间数据仓库后是很少修改或根本不修改的；空间数据仓库是不同时间的数据集合，它要求空间数据仓库中的数据保存时限能满足进行决策分析的需要，而且空间数据仓库中的数据都要标明该数据的历史时期。数据组织采用多维数组结构进行数据存储，并有维索引及相应的元数据软件与数据相对应。为优化查询、分析过程，采用星型模型使系统的复杂查询可直接通过各维层次比较等操作完成3。以现有系统为基础，应用空间数据挖掘（Spatial Data Mining）技术从大量的、不完全的、有噪声的、模糊的、随机的空间数据中，提取隐含在其中的、人们事先不知道的、但又是潜

25、在有用的信息和知识的数据，转化更新到的的系统之上进行统一管理。常用的方法有分类、聚类、关联、序列分析、孤立点分析、依赖关系分析、偏差检测、概念描述、模式识别、决策树、遗传算法、不确定性处理等。 数据管理和调度部分通过元数据（Metadata）集中统一地管理；元数据是有关海洋基础空间数据的属性数据、空间数据、其他非结构化数据等的详细描述。采用ESRI的空间数据引擎SDE平台和Sybase数据库，适合于多用户并发查询，具有强大的在线分析。并可利用ArcView等工具软件进行数据的查询和显示，建立应用模型、可视化分析工具、数据汇总、报表和详查工作3。将空间数据仓库技术与空间数据挖掘技术运用到海洋基础

26、科学数据库及其信息管理系统中来，走出了此前类似系统的简单性和非实用性，达到了服务科研和支持决策的目的。通过空间数据仓库技术、空间数据挖掘技术、元数据管理技术、网络技术以及地理信息系统（GIS）技术，将不同来源、不同格式的空间数据库资源有机结合起来，为用户提供统一、友好的界面，以人机交互方式实现海量数据的海洋基础科学数据库及其信息管理系统。6、 结束语海洋基础科学数据库及其信息管理系统建设将是我国目前及今后相当长的一段时间内很重要的基础信息建设工程。该工程在实施过程中必须综合利用世界范围内的新理论、技术和方法。数据仓库技术是信息领域的一门新兴技术，该技术的一些核心思想早在数年前就已被应用在我国信息系统建设中，把数据仓库技术引入到海洋基础科学数据库及其信息管理系统中是一种着眼现在、面向未来的合理解决方案。海洋基础科学数据库及其信息管理系统不仅要服务于海洋的科学研究，同时服务于海洋预报、海洋工程环境的评估、军事海洋学的战场环境准备、生物多样性的研究、海域使用评价与论证以及海洋科普工作等国家需求的各个方面。综上所述，可以看出，正在建设和开发的海洋基础科学数据库及其信息管理系统，不仅对海洋科学研究有强劲的推动作用，还有着广阔的市场前景。不仅具有重要的经济意义，还具有极大的