面向科学研究的水利科学数据共享数据汇交体系研究

面向科学研究的水利科学数据共享数据汇交体系研究

1水利科学数据共享水生科学是科学的控制和使用。它涵盖了水文、水资源、水环境、水旱灾害、节水灌溉、土壤水分、节水工程等多个学科。水利科学数据是指人们在对水进行控制和调配以防治水旱灾害、开发利用和保护水资源等过程中产生的原始基本数据,以及根据不同科技活动需要进行系统加工整理的各类水利数据集,是国民经济建设和国家宏观决策的重要支撑性科学数据。水利科学数据是国家基础信息资源的重要组成部分,在国家宏观政策制定、科技创新、国民经济持续发展、国家安全和社会生活中均发挥着不可替代的作用。特别是作为基础性公益科学数据的重要领域,水利科学数据在资源、环境、生态、农业等诸多领域科研活动中都是不可或缺的重要数据资源。当今世界上的许多科学热点问题的研究,如全球变暖、荒漠化、可持续发展等都以获取完整可用的水利科学数据作为其首要任务。因此,水利科学数据的共享在国家科技进步与创新中占据重要地位,存在着巨大的需求。水利科学数据共享指以计算机、通讯、网络、信息分类存储等信息技术综合应用为支撑,以水利科学数据为资源,经科学分类,应用软件工程手段建立的基于一定共享规则下的数据共享体系。当前,我国水利科学数据的获取和积累主要是靠政府投资完成,包括:政府部门专项计划所产生的、维持其业务系统运行的水利科学数据;国家各类科技计划、专项科技活动产出的水利科学数据;研究院所、高等院校的水利科学数据,以及国际科技数据组织所拥有的国际水利科学数据资源,乃至科学家个人手中的水利科学数据等。因此,要实现这些分散在不同单位、部门和科学家个人手中的水利科学数据共享,必须通过建立数据质量控制办法、数据分类编码、元数据标准等相关政策和标准,设计一套完整的共享数据汇交体系。2美国科学数据共享政策科学数据的共享是一个国家科学成就和国家实力保持世界领先地位的基本保障,是科技、国防、教育、国际事务等诸多领域可持续发展的重要步骤。西方发达国家的科学数据共享工作起步较早,国家和国际间的科学数据共享普遍,而美国则是其中走在最前列的。美国的科学数据共享工作始于20世纪80年代末。1990年,美国航空航天局(NASA)着手建设分布式最活跃数据档案中心群(DAACs—DistributedActiveArchiveCenters),由此标志着美国国家层面上的科学数据共享工作划时代的开始。DAACs由9个数据中心构成,其中之一为水循环数据中心——MSFC:麻沙空间飞行中心全球水资源中心()。此数据中心主要提供水文循环、大气对流、闪电、恶劣天气等大尺度的数据共享,包括实时和历史的数据。美国对国有科学数据采取“完全与开放(FullandOpen)”的政策,除涉及危害国家安全、影响政府政务和公务员个人隐私的数据外,其他都必须公开。国家为科学数据共享投资,建立和健全科学数据共享政策法规体系,同时建设国家级数据中心群和数据共享网,有效保障了科学数据源源不断地产生和共享渠道的通畅。通过这些数据中心群和共享网络,也建立起高效有序的行业科学数据共享的汇交机制和服务管理机制。现在,“完全与开放”的科学数据共享政策已经惠及地球科学、生命科学、材料科学等各个领域,而且极大地刺激了经济的发展。有经济学家估算,数据共享政策使美国经济增长率平均每年提高1.1个百分点。美国的各类水利科学数据,以数据中心的形式面向社会和公众提供信息,数据也同样采用完全与开放的管理发布方式,用户只要拥有一台计算机,能连接万维网,就能下载所需的数据资料。如美国联邦地质调查局(USGS)的NWIS(NationalWaterInformationSystem)系统,就免费提供历史和实时的水文、水环境、节水用水、水土保持、水利工程等方面信息的共享,并通过分布在全美各地、波多黎各和关岛的150多万个站点及时将收集的水利数据,汇交至NWIS系统,最频繁的能达到每15min更新1次。另外,美国国家垦务局、天气局、环保局等联邦机构以及特定流域机构都有相应的数据中心,并拥有一套完整的数据汇交体系提供有关水利科学数据的查询和共享服务。3中国科学数据分析的集合3.1数据共享问题目前,在国家层面的科学数据共享问题上,我国正处在类似美国20世纪80年代中、末期的情况,水利科学数据共享方面也大致相当。长期以来,我国科学数据共享管理及共享的政策法规体系还不够健全,缺乏有效的数据汇交和管理制度,致使科学数据分散在不同单位、部门和科学家个人手中,无法有效地共享,不能充分发挥其应有的作用。因此,缺乏科学数据共享服务的管理机制和数据汇交机制是我国科学数据共享存在的主要问题。就目前情况来看,我国水利科学数据的基础性数据已具备了科学严格的采集、整编、刊印管理机制,但缺乏共享服务的相应机制,缺乏全国性的数据汇交管理机制。数据由中央、各流域机构、省级数据管理部门分布式管理,往往形成的是谁采集谁把关的局面,把数据视同部门资产,形成了严重的数据壁垒,缺乏国家层次的宏观管理和协调,更没有制定相关的共享政策。近20年来,这种壁垒始终未能打破。以水文数据为例,目前虽然已经恢复了停刊十多年的水文年鉴的刊印工作,但是水文资料的共享也仅仅停留在传统的以纸质介质为媒介的共享模式上,没有建立起更大范围的基于先进信息网络技术的共享模式。在科研教育领域,我国的科学家仍不能方便地获得对于科学研究具有重要价值的历史水文资料共享服务,这也在一定程度上影响了水利和相关领域的科技进步与创新。国家各类科技计划中产生的科学数据,由于未建立有序的数据汇交、共享管理制度,仍然采用成果验收的形式,由科技成果的验收、登记及推广部门管理,却没有数据汇交、验收、共享分发机构,未形成有效的数据汇交体系。科学数据一直散发在科学家和科研单位手中,难以共享,重复研究,诸多项目由于得不到足够数量具有代表性的科学数据而降低科研和设计标准,严重制约了国民经济建设的质量提高和科技创新能力的提升。3.2国家科技基础条件平台在科技部和各方面的共同努力与支持下,国家科学数据共享工程在2001年启动。科学数据共享工程是国家科技创新体系建设的重要内容,是提高我国科技整体水平,增强国家科技竞争能力的坚实基础。科学数据共享工程是在国家科技基础条件平台统一规划、政策调控和相应法规的保障下,应用现代信息技术,整合离散的科学数据资源,构建面向全社会的网络化、智能化的管理与共享服务体系,实现对科学数据资源的规范化管理及其高效利用。科学数据共享工程从科学数据共享试点工程入手,进行规划研究、共享技术开发、政策法规研究、共享规章制度制定、推动立法进程,国家科学数据中心的构建与服务试点,共享服务网的构建与服务试点,重点突破基础性、公益性科学数据资源的整合与共享服务。在此基础上全面推进,继续进行共享技术开发、政策法规研究、共享规章制度制定、推动立法,国家科学数据中心的构建及服务推广,共享服务网的构建及服务推广,试点中心和服务网完善与运行。4面向社会公众和科学研究的共享服务网络体系水利科学数据共享服务体系是以水利科学数据共享的政策法规、共享技术标准、共享服务机构建设为支撑,以水利科学数据资源整合改造为核心,依托水利网络平台搭建水利科学数据共享服务门户网站,建立面向社会公众和科学研究的共享服务网络体系。该体系具体由共享数据汇交体系、共享标准体系、共享管理服务体系和共享平台建设等体系构建完成。共享数据是整个水利科学数据共享中的基础和核心,建立严格完备的共享数据汇交体系是确保数据共享服务可持续发展的关键。对于各类水利科学数据采用统一的共享数据验收办法加以评定审核,在不改变数据原有知识产权所属关系和遵守有关保密制度的基础上,形成分级分类的数据集产品,通过统一的水利科学数据共享平台,提供数据共享服务。4.1项目本质的数据的汇交在共享数据汇交体系中,汇交的数据文档一般要包括数据实体、元数据和数据字典文件、数据报告、以及简单的技术文档说明,形成对数据的完整说明体系。一般数据的来源主要通过数据汇交和数据捐赠2种途径:数据汇交针对政府专项计划投资、国家科学计划项目产生的科学数据,这部分数据应按课题项目合同或项目计划任务书中规定的科学数据汇交计划,将其汇交至水利科学数据共享管理中心;数据捐赠涉及到的数据一般为科研机构自行投资采集或者科研工作者自行收集整理的数据和数据集。汇交体系中对汇交的数据依据数据质量控制办法、数据验收的相关要求和验收办法进行验收,合格则由数据验收部门出示数据汇交证明,涉及到用户捐赠数据的,则颁发数据捐赠证书,以确定数据的产权、使用范围等。共享数据汇交体系结构及汇交流程分别参见图1、图2。数据汇交要素组成数据汇交体系中涉及到的数据集和数据产品,一般包括数据(资料)实体、元数据文件、数据字典文件、数据报告和相关的技术文档资料,其中,应至少包含数据实体、元数据以及数据字典文件,这三部分在对数据或者数据集的描述中是必不可少的。4.1.1数据分析的结构科学数据作为水利数据共享的核心内容,主要包括矢量数据、属性数据、栅格数据、文本数据等4种类型,针对每种数据类型,依据相应的验收管理办法,提供统一格式的共享。矢量数据:以坐标或坐标串表示的空间点、线、面等图形数据及与其相联系的有关属性数据的总称。在矢量数据结构中,点数据直接用坐标值描述;线数据用均匀或不均匀间隔的顺序坐标链来描述;面状数据(或多边形数据)用边界线来描述。矢量数据的组织形式较为复杂,以弧段为基本逻辑单元,而每一弧段以两个或两个以上相交结点所限制,并为两个相邻多边形属性所描述。矢量数据的格式一般表示为国内外通用GIS软件的交换格式,如E00、SHP、MIF等;属性数据:通常指对某个数据项的数值或文字的描述,从而形成对某一系列或者事务的记录。属性数据一般表示为通用关系数据库格式,如SQLSever、ACCESS、ORACIE、DBF等;栅格数据:由正方形或者矩形栅格点组成,每个栅格点或者像素的位置由栅格所在的行列号来定义,所对应的数值为栅格所要表达的内容的属性值。栅格数据一般表示为通用图像、影像数据格式(TIF、GEOTIF、BIL、GIF、JPEG、AVI、MPEG等)、通用的GRID格式;文本数据:用文本形式记录的水利科学数据,通常采用WORD格式、纯文本格式、HTML格式、XML格式表示。4.1.2生长状结构的内部数据集的组织元数据(Metadata)被概括地定义为“关于数据的数据”,也可译为诠释数据,即关于数据的内容、质量、状况和其他特性的信息,用于描述数据的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等有关信息。元数据按层状结构进行组织,其内容应该包括:对数据集内容的描述;对数据集中各数据项、数据来源、数据量以及数据生产过程等的说明;对数据质量如数据精度、数据的逻辑一致性、数据的完整性等的描述;对数据的表达方式、数据的起止时间、空间范围、数据的尺度以及空间参考系、坐标等的说明:对数据存储格式、存储介质、存放地点、索取方式、数据及元数据所有者信息的描述:对数据处理信息的说明,如量纲的转换等;对数据转换方式的描述;对数据集更新周期、集成方式的说明等等。元数据是关于数据的描述性数据信息,因此它应当尽可能多地反映数据集自身的特征规律,以便于用户通过元数据可以检索、访问数据库,可以更有效地利用数据资源,可以对数据进行加工处理和二次开发,以促进数据集地高效利用和充分的开发。4.1.3数据汉字的设计数据字典(DataDictionary)是存储“关于数据项的数据”,它记录有关数据的来源、说明、与其他数据的关系、用途和格式等信息。建立数据字典的目的主要是为数据管理、开发和使用人员提供有关数据的来源、说明、格式和与其他数据的关系等信息描述。该标准包括3部分内容:数据表信息,数据字典管理信息和数据项(字段信息)。参见图3。其中,数据字典管理信息是唯一不重复的部分,数据表和数据项信息是可重复使用的部分。4.1.4交通流量数据报告数据报告是对上交数据的总体说明,是某一个或者几个数据集的全方位描述。在数据汇交环节中,数据报告不是必备的部分,但是作为对详细数据集的诠释,一般要求数据汇交者提供关于上交数据的数据报告。数据报告采用文字和图表的方式对上交的数据和数据集做出具体描述,包括数据的来源、格式、各个数据项的意义等。较之元数据和数据字典文件而言,数据报告更能明确的表达数据集的内涵,更饱满的展示数据集的特征,便于数据中心的验收、发布和管理,同时也为将来的数据使用者提供了使用说明。4.1.5提供的医疗文件材料技术文档资料作为对数据集的补充说明,亦不是数据汇交方必须提供的文档。一般在当数据集中涉及到使用相关专业的计算公式、推理或者论断时,应附上相应的技术文档资料备查,文档中需列出详细的推理论证,保障数据的可读性和真实性。4.2通过数据管理质控数据汇交(捐赠)方严格按照数据中心的汇交办法和数据汇交的格式标准对数据进行整理,在指定时段内进行汇交。数据中心根据数据验收质量控制标准及相关管理办法对上交的数据进行验收。对于合格的数据和数据集提供方反馈以数据汇交证明或者数据捐赠证书