气象网格中气象数据获取方法的研究

1、气象网格中气象数据获取方法的研究摘要本文首先介绍了气象应用网格的根本框架，然后介绍了开放网格效劳构架-数据访问与集成penGridServiesArhiteture-DataAessandIntegratin，GSA-DAI以及Agent技术在网格计算中的应用，最后讨论了气象网格中气象数据的按需获取方法。关键词气象应用网格，开放网格效劳构架-数据访问与集成，代理，按需获取网格(Grid)计算源于元计算etaputing，其初衷是将分布的多台超级计算机连接成为一个可远程控制和访问的元计算系统，逐步开展为遵循开放标准、聚集网络上广泛分布的计算、存储、数据、软件、仪器设备和传感器等各种资源的分布合作

2、计算平台，以效劳的方式支撑大规模计算和数据处理等各种应用，将Internet变为一个功能强大、无处不在的计算设施。开放网格效劳构架-数据访问与集成GSA-DAI是一种中间件，其设计目的是提供一种简便的方法，在网格环境中实现数据的访问和集成。而将Agent技术应用在网格计算中可以有有效地节约网络带宽，提供实时的远程交互，支持离线计算等诸多优点。气象网格那么是网格技术的一个详细应用，它的作用是实现网络环境下的按需预报，有效提升科研业务体系、聚合高性能计算资源，进步资源的利用率、建立异地协同攻关的网络环境，加快重点攻关工程的研究进度、实现气象信息的共享、增加信息反应的渠道。目前的气象数据获取方式主要

3、是各个台站被动的承受来自主站的气象数据进展筛癣分析，预报。这无疑产生处理效率低、实时性较差、网络带宽资源严重浪费等缺点，且人力物力花费大。本文在以下的章节里，介绍气象应用网格框架，引入Agent技术和GSA-DAI，在此根底上提出一种新型、高效的气象数据获取方法。1气象应用网格1.1网格技术概述网格(Grid)的概念诞生于20世纪90年代中期,它借鉴了电力网的思想,希望利用互联网或专用网络,把地理上广泛分布的各种计算资源互连在一起,使得分布在各地的计算资源互相连接,组成充分共享的资源集成(即虚拟组织)。高度的资源共享是网格计算技术追求的目的。目前已出现的解决资源共享的方案和技术,如:因特网,企

4、业计算,对等计算,分布计算等,均难以满足直接对计算机、软件、数据和其他资源的灵敏访问以及可控的高度共享。网格技术致力于到达这个目的,提供建立虚拟组织所需要的资源共享的灵敏性和可控性。1.2气象应用网格简介以中国气象应用网格为例，它是由中国气象科学研究院发起，许多相关单位参加的科研应用网格。主要研制基于网格技术的数值天气预报软件及其支持软件，研究观测资料和数值预报气象数据的海量处理技术，实现应用网格对海量气象数据集的远程访问和智能恳求管理等。利用中国气象局已有的卫星气象通讯网络和高性能计算资源，在2022年，建立包括国家气象中心、气象科学研究院、广州区域气象中心、北京区域气象中心和上海区域气象中

5、心的中国气象网格平台，为行业内部的研究人员提供一个资源共享、远程高性能科学计算的数值预报技术研究和模拟环境，实现数值预报应用层的互联互通、资源共享和协同工作。提供网格中尺度气象数值天气预报形式系统、海量气象数据处理系统、网格气象可视化系统、气象软件开发协同工作环境。逐步形成气象网格的技术标准，指导中国气象局的业务系统现代化建立，提升我国的气象应用程度，促进全国气象数值预报的整体可持续性开展。它的构造如图1所示：图1气象应用网格系统框架各系统的作用和特点：代码共享和协同开发系统：1.为不同的用户设置新一代数值预报系统的使用、源代码阅读和修改等共享权限，实现网上的代码版本控制；2.提供远程应用的协

6、同工作环境，提供远程气象数据的访问与效劳才能。网格数值预报系统：1.良好的可移植性：形式时间、空间分辨率可随意调节；2.程序执行时的可定制性：因不同需求而定制程序运行方式、预报区域大小及动力框架主干及物理过程；3.良好的可维护性及可扩大性：形式动力框架及物理过程可任意插拔；4.单一原码程序保正可以在多种机型上有效运行。海量气象数据处理系统：1.数据存储设计：采取nline和ffline方式，根据用户对数据的访问频率和访问响应时间要求的不同分别在一级磁盘阵列、二级磁带库、三级脱机磁带等设备上进展存储；2.数据迁移；3.数据采集；4.数据检索效劳网格气象可视化系统：用户可以在客户端通过菜单方式选择

7、显示的数据源和显示方式。数据源包括数据库系统和网格数值预报的输出，以及一些常用的文件类型；显示方式包括不同类型数据的显示，如向量场和标量场，不同的地图投影方式，时间演变曲线，直方图，剖面图，探空图，时间动画等。2.开放网格效劳构架-数据访问与集成GSA-DAI即开放网格效劳架构数据访问和集成(penGridServiesArhiteture-DataAessandIntegratin),它符合基于GSA的网格标准,并在GlbusTlkit3.0上进展开发。支持DB2、rale、Xindie、ySql等数据库管理系统。网格数据库是对现有数据库的网格化,基于开放网格效劳体系构造GSA提供网格数据库

8、效劳,使网格用户或其他网格效劳可通过网格数据库效劳访问网格中的各种异构数据库,从而到达数据资源的高度共享和协同处理,对数据资源的访问更加透明、高效、可靠,网格数据处理的才能更强,满足虚拟组织的数据处理需求。GSA-DAI的体系构造如图2所示，可以看出,其体系构造与ebServie很相似,都是Disver、Bind、Publish机制。图2GSA-DAI体系构造网格数据效劳(GirdDataServie,GDS):：为访问某个数据资源(关系数据库或XL数据库,甚至是存储在普通文件中的数据)提供效劳。网格数据效劳工厂(GridDataServieFatry，GDSF)：用于创立一个GDS实例,以访

9、问特定的数据资源。效劳组注册器(ServieGrupRegistry，DAISGR)：用于找到所需要的GDS,也可以通过它找到用于创立所需GDS的工厂。执行文档(PerfrDuent)：一种XL格式的文档,用于定义要在GDS上执行的活动,如一条SQL查询,然后再定义如何将查询的结果传送给第三方。响应文档(RespnseDuent)：一种XL格式的文档,是GDS处理执行文档后返回的结果。活动(Ativity或Ativities)：实现程序功能的核心功能模块。它们之间的交互关系如图3所示，整个交互户过程如下：(1)运行GSIntainer为永久性效劳；(2)此时GDSF代表database：Frg

10、sDatabase；(3)GDSF在DAISGR上注册；(4)假如用户想理解数据库,可以直接查询GDSF,也可以通过DAISGR定位符合需要的GDSF；(5)用户恳求创立一个GDS；(6)用户发送PerfrDuent和GDS通信进展交互；(7)GDS返回一个RespnseDuent；(8)用户销毁GDS或者让其自动消亡。图3元素间交互关系3Agent技术在网格计算中的应用agent技术集软件、通信、分布系统的技术于一体,agent具有封装私有特征的才能、灵敏的协调才能和更好的网络适应性,具有比对象粒度更粗、抽象级别更高的特征,更符合人的认知过程。代理技术是适应网络平台的一种新型软件技术,为分布

11、开放系统的分析、设计和实现提供了一个崭新的途径,为网格计算思想的实现提供了一种有力的手段。其优点可概括为：(1)节约网络带宽、(2)提供实时的远程交互、(3)支持离线计算、(4)实现负荷卸载、(5)易于发布效劳、(6)增加应用的强壮性、(7)提供平台无关性。3.1Agent在网格计算中的应用模型Agent的优点使得它有重大的应用价值,在网格计算中可以应用在很广泛的范围。目前网格计算技术中,开放网格效劳体系构造GSA成为研究和讨论的热点。在GSA下,应用Agent技术可以采用基于BDI的Agent模型,由四元组(,Ag,S,F)组成,见图4。图4基于BDI的Agent模型其中：是delfGrid

12、Servies,表示agent对网格效劳和自身状态的认识；Ag是Agenda,即BDI中的Desire,表示agent期望到达的结果状态；S是Strategy即BDI中的Intentin,是agent根据和Ag所采取的策略；F是FiniteStateahine,一个State对应一个Strategy,F的当前状态对应于agent正在执行的策略,F中状态的转移反映了策略的执行顺序。图4所表达的含义是:网格效劳(GridServies)通过一系列事件(Event)反映到agent的delfGridServies中,agent根据要到达的目的(Agenda)和当前delfGridServies中的信

13、息决定执行状态机(FiniteStateahine)中的哪个策略,策略的执行结果可以影响delfGridServies,也可以作用于外部世界。3.2Agent在GSA构造下的应用方向网格效劳助理：agent的一个重要的特点在于它的可挪动及恢复执行的特性。所以它可以代表网格效劳在网络中完成一定的任务,成为网格效劳的助手。它可以在远程主机上单独运行,不管网络是否连通,而发送者可以关掉自己的计算机,免除线路持续的连接。在agent运行完毕之后用户再建立网络连接进展回收。这不但防止了由于网络带宽低、费用高、不可靠带来的一系列问题,而且节省了资源。例如为了指定一个需要多个网格效劳协同完成的计算操作,发起

14、者(一个网格效劳)只要发送一个agent与代表其它网格效劳的agent交互,这些agent经过协商后制定一个时间表,最后返回给各个网格效劳。分布信息查询：在网络中,当信息资源分布于不同的计算机上时,查询信息的一般做法是将各个信息源的信息数据通过网络传递到本地机上,再在本地机上建立应用进展查询。这样网络信息的传递量将是宏大的,而且用户在进展查询时并不能关闭计算机。目前的网格中的信息查询主要是通过查询注册效劳中的信息,而假如采用了agent技术,可以创立一个这样的agent任务,把它派遣到远程主机上,这样它就可以自动寻找信息资源进展访问,在用户想要接收信息时,将查询结果返回给用户。这一点表达了ag

15、ent目的驱动和行为预知的特点。监视和通知：当需要对网格中的特定资源进展控制时,获得其当前的状态是非常必要的。作为被控制方,由于状态的多样,是没有义务随时向控制方报告其状态的。作为控制方,可以派遣专门的agent到被监视机上负责这项工作,再也不必采取一些被动的措施,例如隔一段时间进展一次查询,或者被动地等待被监视方返回一些无用的信息。比方agent可以脱离自身的出生地,及时地监视某一信息源,等待该信息源上可用信息的出现。这样的agent也可以以网格效劳的形式存在于网格环境中,各个控制方只要调用这一类网格效劳就可以轻松地对相关资源进展控制。当然，agent在GSA构造下的应用远不止以上三点，比方

16、，还有并行处理、实时控制、信息发布等等，限于篇幅和本文章讨论的内容，在这里就不一一表达了。4气象数据获取方法目前，基层气象台站的预报方式主要是通过自身被动的承受来自主站的气象数据来进展分析、预报。由于每天有大量的气象数据通过主站发送到各个台站，而每个台站所需要的气象信息可能只是其中的一小局部，这无疑对资源和网络都造成了很大的浪费。预报员还要整理这些数据，从大量数据中挑选出自己所需要的局部来进展分析预报，这也浪费了大量的人力、物力，效率也不高。再次，假如台站的接收机出现断电，死机等问题使得暂时无法接收来自网络的数据，可能就会耽误预报的时间。因此，我们提出了一种基于Agent和GSA-DAI的全新

17、的气象数据获取方法，来解决这一问题。4.1agent构造设计该气象数据获取方案突出了一个“按需获缺的概念，即主动的通过网络中主站或者其他存有气象数据的节点获取与本台站预报所相关的气象数据。详细构造如图5所示，主要分为3个局部：台站：即台站的主机，用来订制Agent并承受Agent返回的最后结果AgentHe:台站向网络节点发送Agent的中转站，其本身也是一个Agent，属于台站订制的Agent的上层代理，用来协调转发Agent和Agent的处理数据，是台站和Agent之间的接口，一个区域的几个台站共用一个AgentHe。为了节约网络资源，AgentHe还要负责最短途径的查找，以便使存有所需数

18、据的最近的效劳器上的Agent工作。Agent：台站详细订制的代理，用来完成气象数据的按需获取和分析工作，通过AgentHe统一协调工作。图5气象数据按需获取方案构造利用Agent作为气象数据获取的工具，台站负责订制一个Agent，由AgentHe负责分析存在台站所需数据的节点包括主站和其他一些存有气象数据的效劳器的最短途径，使工作在最短途径上而且可用的Agent工作。这样Agent就作为一个监视者不断的监视节点信息，一旦信息源上的可用数据出现，Agent就立即做出响应,提取所需数据并进展分析处理，并将所需结果返回给AgentHe。假如台站主机定制完Agent以后就处于离线状态，这些Agent

19、照样自主运行而不受任何限制，然后将计算结果返回给AgentHe，AgentHe检测到台站主机在线时就立即将结果转发给台站，由台站技术人员完成进一步的处理工作。而Agent和节点之间详细的数据访问操作，那么是通过GSA-AI构造框架来实现的。4.2GSA-DAI组件的应用在图6的操作中包括一个Agent，一系列的GSA-DAI组件和网格数据传输效劳，这些GDS中均存在Agent所需的数据。图中椭圆GSA-AI组件，矩形表示Agent，绿色箭头表示控制信息，红色粗箭头表示GDTS(GridDataTransferServies)。如今要做的工作是1获得从数据源1和数据源3中合成的数据；2将数据源1

20、、2、3中所获得的合成数据传给第三方AgentHe。图6工作流程Agent使用GSA-DAI的步骤如下：(1)找到DAISGR的位置并发送一个它要恳求的效劳的描绘给那个DAISGR。描绘大概是3个可访问的数据源和恳求的操作。(2)DAISGR用一个说明所恳求的GDS不存在的指示作为应答，但同时提供了一个的GDSF列表，GDSFs可能产生恳求的GDS。(3)在进展一番对话后，客户选择其中的一个GDSF。3个恳求对应选中的GDSF上的reateServie操作，GDSF恳求所需的GDS的创立。(4)选中的GDSF负责3个GDS的创立和初始化，并且为3个恳求源逐个创立GSA-DAI适应性代理，而且为对应客户的每个GDS返回一个GSR(包括一个GSHGridServiesHandle)。(5)在每个GDS被查询后，即用FindServieData操作确定它的才能的详细细节(不显示)后，客户发信息给每一个GDS表示操作(如，查询、更新、巨量装载)被恳求执行。在本例中：GDS1应该传送一批数据(从一个查询操作)到GDS2并发送一个数据流到GDS3，这些数据流和批数据被GDSs上操作利用。GDS2承受一批GDS1操作的数据和从GDS3来的数据流。GDS2应该建立流向第三方的数据流。GDS3应该执行一个操作发送一个数据流(从一个关于来自GDS3的数据的操