（计算机应用技术专业论文）网格环境下基于动态调度策略的自适应容错机制的研究.pdf

摘要 网格计算属于分布式计算领域的一个新的分支，其目的是通过网格这种新兴的技 术，将地理上分散的、属于不同组织的各种异构资源充分整合起来，提供给用户一个高 性能、高透明、高可靠性的统一的计算环境。但由于网格计算环境的资源分布共享、资 源异构及高度动态等特性，使得网格计算环境的可靠性保证成为了一个难于解决的问 题。 现有的网格容错研究大多针对网格环境下的错误检测进行，对错误处理技术的研究 并不是很深入，而且一般的错误检测技术都只是实现对特定的应用进行错误检测，随着 网格环境下应用的不断复杂化和动态化，传统的网格容错技术面临着巨大的挑战。 针对网格计算的可靠性问题，本文深入研究现有网格容错技术并对其优缺点进行对 比，在分析网格应用特殊性的基础上，提出了一种新的自适应容错网格系统原型，对系 统中的信息服务、调度服务、错误检测服务和错误管理服务进行了详细设计。本文重点 对错误检测算法和错误处理选择策略进行了深入的研究，在错误检测方式上，对静态心 跳错误检测算法进行改进，使其具有自适应错误检测的功能，改进后的算法允许用户设 定参数自定义错误检测服务级别，用来检测不同程度的错误，可以更好地满足各种应用。 在错误处理方式上，采用了基于q o s 的选择策略，对错误处理方式进行形式化描述， 并分析其各自的优缺点，选取最符合用户需求的错误处理方式进行错误恢复。最后对改 进的自适应错误检测算法进行了实验，并对结果进行了分析比对，从而验证了算法的合 理性和可行性。 关键词：网格计算，可靠性，容错，自适应，q o s r e s e a r c ho fa d a p t i v ef a u l t - t o l e r a n ts t r a t e g y b a s e do nd y n a m i c s c h e d u l i n gi ng r i d g a oy u a n t a o ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db ya s s o c i a t ep r o f l i a n gh o n g a b s t r a c t g r i dc o m p u t i n gi san e wb r a n c h o fd i s t r i b u t i n gc o m p u t i n g ，w h o s eo b j e c t i v ei st o i n t e g r a t et h er e s o u r c e st h a ta r eg e o g r a p h i c a l l yd i s p e r s e da n dm a y b eb e l o n gt od i f f e r e n t o r g a n i z a t i o n s w h a tt h e 酣dc o m p u t i n gc o u l dp r o v i d ei s ah i 曲p e r f o r m a n c e ，h i g h t r a n s p a r e n c ea n dh i 曲r e l i a b i l i t yu n i f i e dc o m p u t i n ge n v i r o n m e n t s i n c et h ec h a r a c t e r i s t i c so f h i g h l yd i s t r i b u t i v e ，h e t e r o g e n e o u sa n dd y n a m i co fr e s o u r c e s ，i th a sb e e nad i f f i c u l tp r o b l e m t og u a r a n t e et h er e l i a b i l i t yo fg r i dc o m p u t i n g m o s to ft h ep m s e n tm s e a r c hi nf a u l t - t o l e r a n tg r i dm a i n l ya i m e da tf a u l td e t e c t i n ga n dn o t m u c hr e s e a r c hh a sb e e nt a k e ni nf a u l th a n d l i n g s m o r e o v e r , t h ec o m m o nf a u l td e t e c t i n g t e c h n i q u e sw e r et y p i c a lt os o m es p e c i a la p p l i c a t i o n s t h et r a d i t i o n a lf a u l t - t o l e r a n tt e c h n i q u e s w e r ef a c e d 、析t l lg r e a tc h a l l e n g e sa sv a r y 啦o ft h ec o m p l e x i t ya n dd y n a m i ci n g r i d a p p l i c a t i o n s a i m i n g a tt h er e q u i r e m e n to ff a u l t - t o l e r a n c e ，t h e p a p e ra n a l y z e d t h e p r e s e n t f a u l t t o l e r a n tg r i ds y s t e m sa n dc o m p a r e dt h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s ，t h e np r o p o s e d a na d a p t i v ef a u l t - t o l e r a n tg r i ds y s t e mm o d e lb a s e do nt h e s er e s e a r c h e s t h ep a p e rg a v ea d e s e r i p t i o no ft h ea r c h i t e c t u r e ，d e s i g ni d e aa n db a s i cf l a m eo ft h em o d e li nd e t a i l ，e s p e c i a l l y t h em a i nm o d u l e so ft h em o d e l ，l i k ei n f o r m a t i o ns e r v i c e ，s c h e d u l i n gs e r v i c e ，f a u l td e t e c t i n g s e r v i c ea n df a u l tm a n a g i n gs e r v i c e t h e naf u r t h e rd i s c u s s i o nw a st a k e ni ns e v e r a lk e y t e c h n i q u e s t h i sp a p e rp u tf o r w a r da na d a p t i v ef a u l td e t e c t i n ga l g o r i t h m ，w h i c hc a ne x p o r t t h ep r o b a b i l i t yo ff a u l ta ta n yt i m e i ta l l o w su s e r st os e tt h er a n ko ff a u l td e t e c t i o nf o r d i f f e r e n tl e v e lf a u l tt o l e r a n c e s ，w h i c hc a ns a t i s f yt h er e q u i r e m e n t sf o rs p e c i f i ca p p l i c a t i o n s t h e n , t h ep a p e ra p p l i e das t r a t e g yb a s e do nq o so nt h ec h o i c eo ff a u l th a n d l i n g s b y f o r m a l i z i n gs e v e r a lf a u l th a n d l i n g s ，t h ep a p e ra n a l y z e dt h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s b a s i n go nt h ep e f f o r m a n c 冶o fe x e c u t i n gt i m e ，e x p e n s e sa n dr e l i a b i l i t y , t h e nu t i l i z e das i m p l e m e t h o dt os e l e c tt h em o s ts u i t a b l ef a u l th a n d l i n ga c c o r d i n gt ot h eu s e r s r e q u e s t sa n dt h ef a u l t h a n d l i n g s a u t h o r i t y i nt h el a s tp a r to ft h ep a p e r , e x p e r i m e n t sw e r et a k e nt ov a l i d a t et h e e f f i c i e n e yo f t h ea d a p t i v ea l g o r i t h m t h ea l g o r i t h mw a sp r o v e dt ob ef e a s i b l ea n de f f e c t i v eb y a n a l y z i n gt h ee x p e r i m e n t s r e s u l t sa n dc o m p a r i n g w i t ho t h e ra l g o r i t h m s k e y w o r d s ：g r i dc o m p u t i n g ，r e l i a b i l i t y , f a u l t - t o l e r a n t ，a d a p t i v e ，q u a l i t yo f s e r v i c e 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：函丝盗 日期：翮年，月“日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印 刷版和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门 ( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被 查阅、借阅和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用 影印、缩印或其他复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：i 运丕渣 指导教师签名： 进j 塑 日期：矽。g 年f , 9 以b 日期：矿皤年3 - 月名e 1 中国石油大学( 华东) 硕士学位论文 1 1 选题背景 第一章绪论 随着科学技术的不断发展，计算在科学研究中的应用越来越广泛，成为了一种重要 的解决问题的工具。随着人们探索领域的不断扩展，许多科学研究问题正朝着高性能、 大规模、多样性的方向发展，对计算的要求也是越来越高。虽然计算机的性能在不断提 高，但仍无法满足许多大规模、高复杂性的问题求解，正是基于求解此类问题的需求， 诞生了一种新的计算技术网格计算。 网格计算技术要求将地理上分布的、异构的各种高性能计算资源、存储资源、数据 资源以及其它特殊资源通过高速网络连接起来，形成一个虚拟的超级计算机，来共同完 成某个重大应用问题的求解。在网格这种广域分布、普遍异构的计算环境中进行协同资 源共享和问题求解将会面临许多具有挑战性的问题，随着网格规模的不断扩大，如何在 资源故障发生较频繁的情况下保证网格系统的高可用性和高可靠性，就成为了一个亟待 解决的问题。 在地震勘探领域，随着三维地震勘探和高分辨率地震勘探等新技术的应用和推广， 地震勘探的精度越来越高，地震资料采集的数据量较以往也有了大大增加，地震资料中 间处理流程的计算量也变得空前庞大，传统的地震处理和解释系统平台已无法满足地震 勘探数据处理的需求，开展大规模分布式数据处理，己成为了地震资料处理发展的必由 之路。而网格计算技术恰好可以提供超强的计算能力，可以很好地满足地震资料数据处 理对更强、更大、更灵活的计算力的需求。 本文的研究是基于中国石油天然气集团公司石油科技中青年创新基金项目“基 于地震资料数据处理的应用网格技术 进行的。为了将基于集群的地震处理解释系统移 植到计算网格环境中，使地震资料处理高效地利用网格的超强计算力，课题组分为资源 调度与容错、数据管理与传输、地震资料处理算法研究等小组，根据网格技术的特点， 研究设计适合地震勘探数据处理的网格基础设施，为地震资料处理需要的高性能计算能 力提供平台，并在此平台上开发地震资料处理解释系统。本论文是其子课题之一，旨在 研究网格系统的可靠性，加强网格系统的容错计算能力，为网格技术在地震勘探资料处 理领域中提供稳定可靠的应用做好基础性工作。 第一章绪论 1 2 关键技术及研究现状 1 2 1 错误检测技术 容错网格系统设计的主要目标就是通过系统自动检测出发生的故障，然后执行相应 的错误处理策略，避免发生的故障造成更大的影响，来提高系统的可靠性。因此，首先 要解决的就是错误检测问题，在错误检测方面已经有了很多相关研究，常见的具有错误 检测功能的系统有： ( 1 ) c o n d o r - g 0 系统：该系统能够有效地监视网格下的资源，但其内部的网格协议 没有考虑容错问题，采用的是a dh o c 方式的错误检测机制，通过定期向网格服务器发 送错误检测信息来检测错误的发生，这种方式只能检测到通用网格服务器或者主栅网 络的错误，而不能确定是否为作业执行故障。 ( 2 ) g l o b u sh b m l 2 ：g l o b u sh b m 是一种协同分布式系统的通用错误检测服务，应 用程序通过接收心跳信息来确定任务错误类型，但是g l o b u sh b m 无法检测到用户自定 义的异常情况，也不能区分网络错误和系统错误。另外，g l o b u sh b m 的实现方式也不 够便捷，但是可以基于该服务来为应用程序创建特定的错误监控系统。 ( 3 ) l e g i o n 3 】【4 】系统：该系统使用的是p i n g 机制来检测任务失效，系统通过接收任 务发来的消息来确定任务的正常执行，若系统在一定的时间段内没有收到消息，则认为 任务发生故障。同样的，这种p i n g 机制也不能区分是网络主机发生故障还是任务本身 失效。 这些系统虽然能够提供错误检测服务，但是具有一定的局限性，它们都是采用超时 机制来判断错误的发生，而对于超时并没有一个精确的定义，因此并不能很好地判断是 否发生错误，而且它们都不能根据用户的需求来定制错误检测服务。 1 2 2 容错系统 除了错误检测系统外，学术界对网格容错技术方面也有相关的研究，并产生了一些 网格系统的容错组件。主要有： ( 1 ) g a l l o p 5 】采用副本的方法进行容错，为任务保留一定数量的副本，如果某一 任务失效，系统会重新调用保留的副本继续执行任务，只要有一个副本能够顺利执行， 任务最终就可以成功完成。但是为了避免副本执行产生不可预期的副作用，系统都是在 所有任务都执行完后才提交任务结果，这样无疑降低了网格系统的任务吞吐量。 ( 2 ) g l o b u s t 6 提供了一种可靠、一致和普适访问高端计算能力的基础设施，而不必考 2 中国石油大学( 华东) 硕士学位论文 虑资源和用户的地理位置的分散性。g l o b u s 错误检测服务作为一种网格组件提供服务， g l o b u s 错误检测架构分为本地监视器和数据采集器两种。本地监视器负责监视本地计 算机的状态；数据采集器负责接收本地监视器发出的心跳信息，并据此判断是否存在失 效组件。但是，g l o b u s 不提供任何容错机制，一旦系统组件失效或者应用程序出现错 误，g l o b u s 不能实现错误恢复，网格应用程序必须自己处理错误。 ( 3 ) 文献【7 】提出了一种基于工作流模型的容错网格架构，该架构针对应用层的任务 级和工作流级两个层次上的错误进行处理，可以实现多种错误处理方式。但是该架构的 错误检测模块是基于静态心跳机制的，并不能很好地满足网格系统的动态性。而且该架 构只是针对应用层中出现的错误进行相应的处理，不具备可扩展性。 ( 4 ) 文献【8 】提出了一种计算网格作业调度的随机p e t r i 网模型，该模型可以根据用 户作业的优先级，对不同优先级别的作业提供不同计算能力的计算节点，同时通过平衡 各节点等待队列，来实现系统的负载平衡，从而减小任务出错的概率。该模型的优点是 可以根据用户需求，为高优先级作业提供高质量的服务，但是并没有考虑网格系统中可 能出现的错误类型，而只是简单地利用负载均衡来达到容错目的，具有很大的局限性。 综上所述，在网格容错系统方面虽然已经有了一定的研究成果，但是其中多数是用 于监视网格性能的一种监控架构，而且一般都是基于静态的心跳机制进行状态监控，这 种静态的心跳错误检测机制对错误的发生有着固定的定义，而网格环境下的各种具体应 用对错误有不同的容忍程度，也就意味着不同的应用可能具有不同的错误定义，因此， 这种静态的心跳错误检测机制并不能很好地满足网格应用的错误检测需求。有的系统虽 然实现了检错容错功能，但是具有一定的局限性，只是针对应用层出现的错误进行处理， 而网格环境下的应用又具有复杂多变的特性，对错误处理服务的需求也各不相同，因而 这种针对应用层进行容错的系统也不能很好地满足网格环境下应用的多样性。因此，本 文对网格环境下容错系统的研究具有一定的创新性，有进一步研究的价值和意义。 1 3 论文研究的目标和内容 本文在研究网格可靠性和容错服务的基础上，对原有网格系统进行扩展，设计并实 现一个通用的高效可靠的自适应容错网格系统，为网格环境下的应用提供可靠的服务保 证。论文的主要研究内容如下： ( 1 ) 网格系统研究：明确网格的定义，了解网格的体系结构，解析计算网格的特点 以及对可靠性的需求，掌握网格中间件g l o b u st o o l k i t 的使用方法； 3 第一章绪论 ( 2 ) 容错技术研究：了解网格环境下可用的几种容错技术，分析了各种容错技术的 优缺点，为下一步的容错处理服务的选择奠定基础； ( 3 ) 网格容错系统研究：分析网格系统对可靠性的需求，对网格环境下错误处理服 务的需求进行了深入的分析，提出了网格环境下容错系统的设计目标； ( 4 ) 自适应容错网格系统原型的研究：自适应容错网格系统原型的设计，主要对原 型系统中的错误检测服务和错误管理服务进行详细分析，针对系统中涉及的错误检测以 及错误管理服务，对静态心跳错误检测算法进行改进，提出了一种自适应的错误检测算 法和基于q o s 的错误处理决策算法； ( 5 ) 实验测试与结果分析：对提出的自适应错误检测算法进行实验验证并对结果进 行分析，验证算法的有效性。 1 4 论文的组织结构 论文的结构安排如下： 全文共分为7 章。 第一章绪论：阐述论文的研究背景，分析国内外相关工作的研究现状，明确论文 的研究目标和内容，给出论文的组织结构： 第二章网格基础理论：介绍网格技术的基本概念和体系结构，并总结网格技术的 研究现状； 、 第三章网格计算技术及容错技术：介绍网格计算技术的特点，分析网格计算技术 的研究现状以及网格计算可靠性需求，接下来重点介绍了几种常用的容错技术，并对比 分析了它们的优缺点，最后给出网格下容错服务的基本需求，总结网格环境下容错服务 的研究现状； 第四章自适应容错网格系统原型：在定义网格计算环境下的错误类型基础上，结 合现有网格容错系统研究现状，设计了一种能够适应不同应用的容错网格系统原型框 架，主要涉及信息服务、任务调度服务、错误检测服务和错误管理服务，并对错误检测 服务的体系结构以及采用的错误检测技术进行了详细介绍，最后对三种错误处理方法进 行了形式化描述，为错误管理服务进行错误处理选择提供依据； 第五章自适应错误检测算法和错误处理决策算法：针对a f t g s m 模型中涉及的两 个关键问题错误检测算法和错误处理选择策略算法，进行了深入分析，并对传统的 静态错误检测算法进行改进，使其具有自适应错误检测的功能，并提出了基于q o s 的 4 中国石油大学( 华东) 硕士学位论文 错误处理服务决策算法； 第六章测试与结果分析：对改进后的自适应错误检测算法的有效性进行了验证， 对结果进行了分析，并与其它检测算法进行了比较，验证了该算法的有效性； 第七章结论：总结本文的研究过程及成果，并指出了文章的不足之处及今后研究 的重点。 5 第二章网格基础理论 第二章网格基础理论 本章主要对网格技术进行介绍，明确网格的基本概念和特点，深入分析网格体系结 构，追踪网格研究最前沿的技术，并总结了网格技术的国内外研究现状，为后续章节打 好坚实的理论基础。 2 1 网格技术的出现 网格代表了一种先进的技术和基础设施，是继i n t e r n e t 之后计算机技术的又一重大 的科技进步。传统因特网实现了计算机硬件的连通，w e b 实现了网页的连通，而网格试 图实现互联网上所有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、 信息资源等。网格将是未来社会信息化必不可少的一种基础设施，这个基础设施将会为 全球的商业、政府、教育科研等领域提供最强有力的支持。 对于网格这个概念的定义，到目前为止还没有一个确切的标准。到底什么是网格? 网网格就是一个集成的计算与资源环境，或者说是一个计算资源池【l o l 。它可以充分吸纳 各种计算资源，并将它们转化成一种随处可见的、可靠的、标准的同时还是经济的计算 能力。这里的计算资源除了通常意义上的各种类型的计算机外，还包括网络通信能力、 数据资料、仪器设备，甚至可以是操作这些设备的科技人员等各种相关的资源【1 1 1 。网格 是一个硬件资源和软件资源集为一体的集成环境，通过网格中间件进行统一管理和调 度，其结构关系如图2 1 所示： 图2 - 1 网格资源、网格管理与网格环境之间的关系 f i 9 2 1r e l a t i o n s h i po fg r i dr e s o u r c e ，刚dm a n a g e m e n ta n dg r i de n v i r o n m e n t 网格可以提供给用户地理位置透明、与具体计算设施无关的通用的“计算能力 ， 其主要特征是：( 1 ) 网格由多个管理域组成，系统不能干涉现有的各组成单元的管理和 6 中国石油大学( 华东) 硕士学位论文 自治，不能危及现有的用户和远程站点的安全，不能替换现有的操作系统和服务：( 2 ) 系 统具有动态性，允许远程节点自由加入和离开计算环境；( 3 ) 在硬件和软件两个层次上 提供对异构组件的支持；( 4 ) 在广域环境下，各种差错无法避免，所以网格必须提供一 个可靠的、容错的底层，不存在单点失败问题；( 5 ) 由于通信带宽等资源都是共享的， 所以通信延迟更不确定。b 2 2 2 网格体系结构 在文献【9 】中，i a nf o s t e r 将网格体系结构定义为“划分系统基本组件，指定系统组件 的目的与功能，说明组件之间如何相互作用的技术”。文献 1 1 】中，都志辉、刘鹏对网 格体系结构的定义如下：网格体系结构是关于如何建造网格的技术，它给出了网格应该 包含的基本组成部分以及各部分功能的定义和描述，描述了网格各个组成部分之间的相 互关系与集成方法，刻画了网格有效运行的机制。从以上两个定义可以看出，网格体系 结构是网格最核心的技术，是网格的骨架和灵魂，只有建立合理的网格体系结构，才能 够设计和建造好的网格，才能够使网格的效能得到最好的发挥。 网格体系结构的发展历程如图2 2 所示： 8 0 年代中后期9 0 年代中后期 2 0 0 12 0 0 22 0 0 4 元计算计算网络多层网络o g s i w s r f 体系结构 图2 - 2 网格体系结构发展历程 f i 9 2 - 2t h ed e v e l o p m e n to fg r i da r c h i t e c t u r e 到目前为止，国际上比较著名的网格体系结构主要有五层沙漏结构、开放网格服务 结构( o p e ng r i ds e r v i c ea r c h i t e c t u r e ，o g s a ) 两种，下面将详细介绍这两种体系结构。 2 2 1 五层沙漏结构 五层沙漏结构【1 3 】是一种影响广泛的结构，它是以协议为中心的沙漏型体系结构。按 照沙漏模型的原理，少量的核心协议( 资源层和连接层) 形成了协议层次结构中的一个 瓶颈，对于最核心的部分，要实现上层协议( 沙漏的顶层) 向核心协议的映射，同时实 现核心协议向下层协议( 沙漏的底层) 的映射。它的特点就是结构简单，主要侧重于定 性的描述而不是具体的协议定义，这对于从整体上把握网格结构是有用的。五层沙漏结 构体系结构如图2 3 所示： 7 第二章网格基础理论 i 应用层 l 上 汇聚层 1r 资源层 r 连接层 图2 - 3 五层沙漏结构及其与t c p i p 网络协议的对比 f i 9 2 3 c o n t r a s tb e t w e e nf i v e - l e v e lf r a m ea n dt c p f l pp r o t o c o l 在五层沙漏结构中，最底层是构造层( f a b r i c ) ，构造层面对的是一个个具体的物理或 者逻辑资源，它通过对这些局部资源的管理，向上层提供对这些资源的管理和控制界面。 构造层的上面是连接层( c o n n e c t i v i t y ) ，主要是为下层的物理资源提供安全的数据通信能 力，这是资源之间进行互操作的前提，连接层使得孤立的单个资源之间建立了联系。连 接层的上面是资源层( r e s o u r c e ) ，它反映的是抽象的局部资源的特征，而资源层上面的汇 聚层完成的功能是如何将下面以单个资源形式表现出来的资源集中起来，协调解决多个 资源之间的问题。最上面的应用层( a p p l i c a t i o n ) 和资源的距离最远，它关心的是有什么样 的资源可以由下面提供给虚拟组织，解决不同虚拟组织的具体问题。 2 2 2 开放网格服务结构 如果说五层沙漏结构是以协议为中心的“协议结构”，则开放网格服务体系结构就 是以服务为中心的“服务结构 b 4 。在o g s a 中一切资源都被看成是服务，这里的服务 是指具有特定功能的网络化实体，它是任何一个网络可达的并能提供某些能力的实体， 包括各种计算资源、存储资源、数据库以及其他类似的资源。在o g s a 中，实现的将是 对服务的共享，从资源到服务的这种抽象将资源、信息、数据等统一起来，有利于灵活、 一致共享机制的实现，使得系统管理有了标准的接口和行为。o g s a 最核心的思想在于 它不像沙漏结构一样以协议为中心，而是以服务为中心，为了使服务的思想更加明确和 具体，在网格和w e bs e r v i c e 的概念和技术之上，o g s a 定义了“网格服务 ( g r i ds e r v i c e ) 的概念。网格服务就是一种w e bs e r v i c e ，该服务提供了一组接口，这些接口定义明确， 并且遵守定义好的一套标准接口和行为规范，即网格服务= 接k i 行为+ 服务数据。o g s a 8 圈圈 中国石油大学( 华东) 硕士学位论文 使用w e b 服务描述语言( w e bs e r v i c ed e s c r i p t i o nl a n g u a g e ，w s d l ) 定义服务接1 5 1 ，将服 务标准化、透明化，使得用户和应用程序能以一致的方式进行访问和调用。o g s a 中服 务的调用关系如图2 4 所示： 图2 _ 4o g s a 的服务结构示意图 f i 9 2 - 4 t h es e r v i c ea r c h i t e c t u r eo fo g s a o g s a 架构由四个主要的层构成，如图2 5 所示，从上至下分别是：资源层、w r e b 服 务以及定义网格服务的开放网格服务基础结构( o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ，o g s i ) 扩展、基于o g s a 架构的服务和网格应用程序【1 5 】。下面分别对不同层次的功能进行分析。 图圆圈圈图 图2 - 5o g s a 主要架构 f i 9 2 5 t h em a i nf l a m eo fo g s a 资源层：包括物理资源和逻辑资源，物理资源包括服务器、存储器和网络；逻辑资 源通过虚拟化和聚合物理层资源来提供特定的功能； w r e b 服务以及定义网格服务的o g s i 扩展：该层提供了w e b 服务的基本功能，用于数 9 第二章网格基础理论 据的表示和信息的交互，主要包括以下三个方面： 1 ) 标准化的信息表示：采用x m l 对数据的格式进行标准化； 2 ) 标准化的信息传输：w e b 服务基于s o a p 协议对x m l 数据进行传输； 3 ) 规范化的交互协议：w 3 c 规定的用于w e b j 艮务交互的基础协议，如地址协议 w s - a d d r e s s i n g 、协商协议w s - a g r e e m e n t 、安全协议w s - s e c u r i t y 等。 o g s i 进一步扩展了w e b 服务的定义，对底层资源和上层服务起到了承上启下的作 用：对下屏蔽各种资源的异构性，对上提供统一的访问接口； 基于o g s a 架构的服务：g g f 目前正致力于在诸如程序执行、数据服务以及核心服 务等领域开发基于网格架构的服务，随着这些新服务的出现，o g s a 将变成更加有 用的面向服务的架构( s e r v i c eo r i e n t e da r c h i t e c t u r e ，s o a ) ； 网格应用程序：随着网格技术的发展，基于网格架构的服务不断被开发出来，使用 这些网格架构服务的网格应用程序也将相继出现，这些应用程序构成了o g s a 架构 的应用程序层。 2 2 3w e b 服务资源框架 2 0 0 4 年，o g s i 被重新划分为两大部分：w 曲服务资源框架( w s r d 和w 曲服务通知 规范( w s - n o t i f i c a t i o n ) 。其中w s r f 为一套w 曲服务规范，它根据特定的消息交换方式和 相关的x m l 模式来定义给定的w e b 服务资源，并定义了有状态资源的w 曲服务访问以及 如何将“状态和w 曲服务结合的一簇w 曲服务约定【1 6 】。 传统的w e bs e r v i c e 是无状态的，服务都是永久性的，而在网格应用环境下，对服务 提出了一些更高的要求，诸如有状态的服务、服务的动态创建和销毁、服务生命周期管 理以及通知等，因此，需要对原有的w e bs e r v i c e 进行扩充。为此，全球网格论坛( g g f ： g l o b a lg r i df o r u m ) 提出了o g s i 规范。o g s i 规范定义了如何命名和引用网格服务实例， 定义了常见于所有网格服务的接口行为、消息交换和接口描述，定义了如何对网格服务 接口和操作进行扩展。o g s i 仓 建了一种新的w s d l 扩展模型，称：为g w s d l ( g r i dw e b s e r v i c ed e s c r i p t i o nl a n g u a g e ，g w s d l ) ，利用g w s d l 和x m ls c h e m a ，o g s i 对网格 服务定义了一套标准化的接口。 但是o g s i 也存在明显的不足，其过分强调网格服务和w e b 服务的差别，导致了两者 之间不能更好地融合在一起。o g s i 单个规范中的内容太多，所有接口和操作都与服务 数据有关，缺乏通用性。为解决o g s i 和w e b 服务之间存在的矛盾，提供一种通用的方式， 1 0 中国石油大学( 华东) 硕士学位论文 2 0 0 4 年3 月，i b m 、b e a 与微软联合发布t w s - a d d r e s s i n g 协议。基于该协议规范，g l o b u s 联盟和i b m 迅速推出了w e b 服务资源框架w s r f t l 7 1 。w s r f 采用了与网格服务完全不同 的定义：资源是有状态的，服务是无状态的。为了充分兼容现有的w e b j 报务，w s r f 使 用w s d l l 1 定义o g s i 中的各项能力，避免对扩展工具的要求，原有的网格服务已经演 变成了w e b 服务和资源文档两部分。w s r f 推出的目的在于，定义出一个通用并且开放 的架构，利用w e b 服务对具有状态属性的资源进行存取，并包含描述状态属性的机制， 另外也包含如何将通知机制延伸至w e b 服务中的方式。 2 0 0 4 年，由i b m 、g l o b u s 联盟和h p 共同提出了w e b 服务资源框架和w e b 服务通知规 范【1 8 】。w s r f 实现了网格与w e b 服务的有效融合，w e b 服务具有提供用户访问和操作服 务的状态数据的能力，定义管理服务状态数据的规范，便于应用以标准和可操作的方式 发现、观测和交互状态资源。 2 3g i o b u st o o i k i t 简介 g l o b u st o o l k i t 工具包来源于g l o b u s 项目，g l o b u s 项目是国际上最有影响力的与网 格计算相关的项目之一，是由来自世界各地关注网格技术的研究人员和开发人员共同努 力的成果。g l o b u st o o l k i t 是一个开放源码的网格的基础平台，基于开放结构、开放服 务资源和软件库，并支持网格和网格应用，目的是为构建网格应用提供中间件服务和程 序库。g l o b u st o o l k i t 是一个组件化的中间件，其各组件之间的组成关系如图2 - 6 所示： 第二章网格基础理论 d e l e g a t i o n c o m m u n i t yp y t h o nw s s c h e d u l e r c o r e s e r v i c e f r a m e w o r k cw s c o m m u n i t y t a u t h o f i z a t i o no g s a d a i s e r v i c e 网格 资源发现与 w s r e l i a b l e 资源分配监控 w s - 一 a l m 删 i c 桶 f i l e 6 v s ( r i d s 4 )j a v a w s 组阵 a u t h o r i z a t i o n t r a n s f e r g r a m )c o r e p r e - w s 资源分配 c a u m d 正盘妇 g r i d f t p( p r e - w s ： m d s 2 c o m m o n a u t h o r i z a t i o n g r a m il i b r a r i e s j e li i ，s 组件 o 1 i r c r e d e n t i a l m a n a g e m e n t 1 2 中国石油大学( 华东) 硕士学位论文 传输和对应用程序基本透明的远程文件i o 访问，并且支持第三方传输、断点传输 以及并行传输等特性； 网格安全基础设施这是网格计算环境正常运行的保护，g l o b u s 主要结合目前成 熟的分布式安全技术并进行一定的扩展以满足用户安全、高效地使用网格提供的各 种资源的要求。 g l o b u s 工具包提供的上述四方面的技术可以使得在网格计算环境下开发应用更加 方便，而且使得网格应用程序的执行效率更高。 2 4 网格技术研究现状 2 4 1 国外研究现状 国际上网格研究主要采用开放源码、公开合作的研究模式。美国是网格技术的倡导 者，也是目前网格技术的引领者。全球网格论坛( g l o b a lg r i df o r u m ) 是网格研究主要的 合作组织，网格研究现状信息均由此发布。近年来，国际上许多国家都启动了自己的网 格计划，并得到了产业界如i b m 、s u n 等公司的大力支持。目前已有许多网格研究的组 织和项目： ( 1 ) 著名的g l o b u s 项目是美国a r g o n n e 国家实验室在网格技术方面的研发项目，是 目前网格技术的旗舰产品，被认为是网格技术的典型代表和事实上的规范。g l o b u s 联 盟先后推出了g t 2 、g t 3 和g t 4 ，g t 3 是第一个基于o g s a 体系结构的网格平台， 目前稳定的运行版本是v 3 2 1 。该团队于2 0 0 5 年1 月推出了g t 4 的正式版本。 ( 2 ) d a t ag r i d 是在欧盟资助下，由欧洲原子能研究机构c e r n 实施的项目，旨在通 过连接广泛分布的科学资源，建立支持数据密集型计算( d a t ai n t e n s i v ec o m p u t i n g ) 应用 的下一代计算平台。d a t ag r i d 最初的设计主要针对c e r n 的高能物理应用，解决海量 数据的分解存储和处理问题，同时将之扩展到其他应用，如地球观察应用和生物应用， 并试图将其推广到其他可能的应用。 ( 3 ) 英国的e s c i e n c e 计划开始于2 0 0 1 年，主要解决大规模科学计算、数据可视化、 信息资源共享等问题，提供端到端的计算、数据和信息服务。这是一个比较庞大的网格 计划，包含着很多的子项目，其中英国网格操作支持中心是一个虚拟的管理机构，负责 支持网格计划的正常执行，其核心是构建英国的国家网格。 在亚洲，韩国、日本、印度、泰国、马来西亚和新加坡等国家也正在积极开展网格 技术的研究工作，并积极与国际上的其它网格计划进行合作研究。 1 3 第二章网格基础理论 2 4 2 国内研究现状 与国外相比，我国网格技术的研究起步较晚，但是我国政府对网格研究十分关注， 在重点研究机构和各大高校先后启动了一批8 6 3 、9 7 3 网格研究项目，多项网格研究已经 取得了突破并投入科研和生产中。 ( 1 ) 国家高性能计算环境( 亦称中国国家网格) 【2 1 】：由中国科学院设计并实现的国家 高性能计算环境( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ，n h p c e ) ，是国家级 高性能计算和信息服务的战略性基础设施，是聚合了高性能计算和事务处理能力的新一 代信息基础设施的实验床，通过资源共享、协同工作和服务机制，有效支持科学研究、 资源环境和信息服务等应用，2 0 0 5 年1 2 月2 1 日中国国家网格正式开通运行。 ( 2 ) 中国教育科研网格( c h i n a g r i d ) ：中国教育科研网格( c h i n a o n d ) 是教育部“2 1 1 i 程 公共服务体系建设中重要的8 6 3 项目。它充分利用中国国家教育科研网c e r n e t 和 高校的大量计算资源和信息资源，开发相应的网格软件，将分布在教育和科研网上自治 的、分布异构的海量资源集成起来，实现c e r n e t 环境下资源的有效共享，将高性能计 算送到教育和科研网用户的桌面上，成为国家科研教学服务的大平台。目标是在全国一 百所大学建立最大的教育科研平台，来实现科研、教育项目的合作。目前，已经有2 0 多 所高校加入进来，已部署了生物信息学网格、图像处理网格、流体力学网格、以数据密 集型为背景的海量信息处理网格和远程大学课程在线网格等5 大专业应用。 ( 3 ) 上海信息网格：上海信息网格启动于2 0 0 3 年1 0 月，以上海大学、上海交通大学、 上海超级计算中心、同济大学和上海交通信息中心为主要结点，建立信息网格基础互连 设施和开放的结点接入环境，开发具有自主知识产权的信息网格系统软件、应用支持环 境和虚拟研究平台，通过对虚拟组织中的计算、数据、软件等各种信息的共享和协同， 研究具有上海特色的信息网格典型应用。 可以看出，我国的网格技术研究正在逐步兴起，并积极与国际其他国家的研究相接 轨，在以后在网格发展中，我国必将会扮演越来越重要的角色。 2 5 小结 本章从网格概念入手，首先介绍了网格体系结构的发展