（计算机应用技术专业论文）一个网格资源管理系统的设计和实现.pdf

一个删格资源管理系统的设计和实现中文摘要 一个网格资源管理系统的设计和实现 中文摘要 高速网络的发展使得将分散的、异构的资源有机地整合到一起形 成网格成为可能。但由于网格所具有的广域性、动态性、异构性的特点， 网格资源管理，特别是作业的调度仍然是目前网格研究的一个难点。 本文首先介绍了当前网格资源管理的特点和不足，提出了一个网 格资源管理模型。该模型分为资源发现、资源调度、任务提交和监视三 个部分。调度模型采用了层次结构，分为上层的全局调度器和下层的局 部调度器( c o n d o r ) 。这样既保证了下层资源对调度拥有自主权，同时， 又保证了全网格的一致性和可管理性。 随后本文介绍了各个模块的设计和实现。重点介绍了全局调度器 和资源信息采集器。全局调度器通过作业收集器、作业调度器、作业分 派器、信息采集器和数据库模块对网格中的资源和作业进行了有效的管 理和分配。资源信息采集器负责对网格中的资源信息进行实时收集整 理，为了保证信息的安全，采用了多重注册模式。同时，针对下层c o n d o r 机群，设计了专门的资源提供者，为调度提供了详细的信息。 最后根据调度的特点，在研究了现有的调度算法的基础上，设计 了基于历史的作业运行时间预测算法和全局调度的算法。实验证明，算 法是有效的。 关键词：网格、资源调度、资源管理、信息采集、作业调度 作者：支丽艳 指导老师：朱巧明 垒! 坐兰! 里! ! ! g ! 塑皇! ! 里堕! 兰! ! 璺 ! ! ! ! ! 鱼! 垡垦! ! ! ! ! ! ! 坚! ! 塑! 竺竺! ! ! ! 堕竺 d e s i g na n di m p l e m e n t a t i o no fag r i dr e s o u r c e m a n a g e m e n ts y s t e m a b s t r a c t i nr e c e n ty e a r s ，t h eh i g h s p e e dn e t w o r k sd e v e l o pv e r yf a s t ，w h i c h m a k e si tp o s s i b l et oi n t e g r a t et h ed i s t r i b u t e da n dh e t e r o g e n e o u sc o m p u t i n g r e s o u r c e si n t og r i d b e c a u s et h er e s o u r c e si ng r i da r e d i s t r i b u t e d ， h e t e r o g e n e o u sa n dd y n a m i c ，t h e r e s o u r c e m a n a g e m e n to f t h e g i r d ， e s p e c i a l l yt h et a s ks c h e d u l i n gi ss t i l lac h a l l e n g i n gp r o b l e m t h i st h e s i sf i r s ta n a l y z e st h ec h a r a c t e r i s t i c sa n dw e a k n e s so ft h eg r i d a n dt h e np r o p o s e sag r i dr e s o u r c em a n a g e m e n tm o d e l t h em o d e lc o n s i s t s o ft h r e ep a r t s ，r e s o u r c ed i s c o v e r y , r e s o u r c es c h e d u l i n g ，t a s ks u b m i t t i n ga n d m o n i t o r i n g t h es c h e d u l e rc a nb es u m m a r i z e da sah i e r a r c h i c a lm o d e lw i t h g l o b a ls c h e d u l e ro nt o pa n d t h el o c a ls c h e d u l e r , u s i n gc o n d o r , o nt h eb o t t o m s oi tn o to n l yc a ng i v eu s e r saf r e eh a n dt od e c i d eh o wt os c h e d u l ei nl o c a l ， b u ta l s oe n s u r ec o n s i s t e n c ea n da d m i n i s t r a b l ei nt h eg r i d t h e nt h e ，t h e s i si n t r o d u c e st h ed e s i g na n di m p l e m e n t a t i o no fa l lt h e p a r t so ft h er e s o u r c em a n a g e m e n t i tm a i n l yi n t r o d u c e st h eg l o b a ls c h e d u l e r a n dr e s o u r c ei n f o r m a t i o nc o l l e c t o r t h eg l o b a ls c h e d u l e r , m a k i n gu po ft a s k c o l l e c t o r , t a s ks c h e d u l e r , t a s kd i s p a t c h e r , i n f o r m a t i o nc o l l e c t o ra n dd a t a b a s e m o d u l e ，c a na l l o c a t ea n dm a n a g et a s k sa n d r e s o u r c ei na ne f f i c i e n tw a y t h e r e s o u r c ei n f o r m a t i o nc o l l e c t o rt a k e sc h a r g eo fc o l l e c t i n ga n da n a l y z i n g i n f o r m a t i o nf r o ml o c a lr e s o u r c ei nr e a lt i m e t oe n s u r et h es e c u r i t yo f i n f o r m a t i o n ，i tu s e st h em u l t i - r e g i s t r a t i o n m e a n w h i l e ，a st h el o c a lr e s o u r c e i sm a n a g e db yc o n d o r , w ed e s i g nas p e c i a li n f o r m a t i o np r o v i d e rt oc o l l e c t d e t a i l e di n f o r m a t i o nf o rs c h e d u l e r a tl a s t ，w i t ha n a l y z i n gt h ec h a r a c t e r i s t i c so fs c h e d u l i n ga n ds t u d y i n g n 里竺! 婴! 型! 塑堕! 兰! ! 苎! 塑! ! ! 尘型垦! ! ! ! ! ! ! 坚! ! 塑! 坚坐! ! ! ! ! 里垒! ! 竺! ! ! s t u d y i n ga l l k i n d s o fw a y so fs c h e d u l i n g a l g o r i t h m ，w ed e s i g nt w o a l g o r i t h m s o n ei st op r e d i c ta p p l i c a t i o nr u nt i m e sb yh i s t o r yi n f o r m a t i o n ， a n t h e ri st oa l l o c a t et a s k s i no u re x p e r i m e n t ，i ts h o w st h a tt h e s e a l g o r i t h m sw o r k w e l l k e y w o r d s ：g r i d ，r e s o u r c es c h e d u l i n g ，r e s o u r c em a n a g e m e n t ， i n f o r m a t i o nc o l l e c t i o n ，j o bs c h e d u l i n g 儿 w r i t t e nb yz h il i y a n s u p e r v i s e db yz h uq i a o m i n 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文 不含其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏 州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作 出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本 声明的法律责任。 研究生签名：盔盔旌日期：望型。羔& 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论 文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论 文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的 保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 一个嘲格资源管理系统的最计和实现 1 i 研究背景 第一章绪论 随着互联网的快速发展，接入互联网的计算机资源越来越多，可实 际上大部分资源并没有得到有效的利用，网格【l 】就是一种可以充分利用 互联网上大量闲置资源的技术。网格的研究始于上世纪9 0 年代，经过 十几年的发展，网格技术已逐渐成熟。网格是一个集成的计算与资源环 境，或者说是一个计算资源池。它能够充分吸纳各种计算资源，并将它 们转化成一种随处可得的、可靠的、标准的同时还是经济的计算能力。 除了各种类型的计算机，这里的计算资源还包括网络通信能力、数据资 料、仪器设备、甚至是各种相关的资源。网格最大的特点是共享。它可 以共享互联网上的所有资源，通过对计算资源进行大规模共享，满足应 用对高性能计算的要求，并且这种对计算资源进行大规模共享是动态 的、柔性的、安全的、协作式的和可被高度控制的。资源或服务的提供 者和消费者要明确的定义哪些资源可以被共享，谁能共享以及共享的条 件。最近几年，网格技术和w 曲s e r v i c e 技术的相结合，使网格的应用 更为普及和力便。 中文信息处理经历了半个世纪的发展，已取得了十分丰富的成果。 然而面对互联网时代出现的w e b 信息爆炸，原先研究的一些技术，如 巾文分词、未登录词识别、信息检索和信息抽取等出现了局限性。 首先，信息处理的各个研究的实现是相互独立的，各有各的平台， 这就造成了极大的资源浪费。其实这些研究是相互依存的，如分词的结 果可以更好地帮助未登录词的识别，而未登录词识别出来后又可以反过 来充实分词的词库，提高分词的效率；信息检索和信息抽取类似于对食 品的粗加工和细加工，信息检索就是从一堆食物中找到符合用户要求 的，而信息抽取就是对食物的每一部分进行分析，两者在处理上有很多 第一章绪论 一个网格资源管理系统的嫂汁和娈现 互通性。 其次，在信息处理研究中，计算资源和存储资源的芡享范围有限。 目前信息处理研究的已有效果并不是很理想，比如目前信息检索中的通 用搜索引擎主要通过关键字进行查询，如g o o g l e 、y a h o o 、b a i d u 等。这 些引擎正面临巨大挑战：一个主要原因是它们返回的结果过于庞大，并 且有时得到的信息与检索的关键字相关度不高，不能满足人们日益增长 的对个性化服务的需要。w e b 抽取技术同样面临很多问题：一是要处理 的对象是海量信息，分布在世界各地并且不断更新；另外，该技术涉及 的网页结构分析、内容分类、抽取规则学习等算法计算复杂度高，运算 时问长。解决这些问题的一个重要方面就是通过共享高性能的计算资源 和存储资源来给研究提供一个更好的平台。 所以。结合网格技术，通过把这些研究移植到网格平台上，可以给 以上问题提供一个可行的，可靠的解决手段。 同时，虽然网格经历了十多年的发展，并出现了一些比较成功的研 究成果，但还有很多重要问题没能解决：资源管理、安全、p o r t a l 设计 等都是现在研究的热点。尤其是资源管理，要实现一个实际的网格平台， 设计并实现个良好的资源管理器就势在必行。 1 2 研究现状及意义 在网格环境下，由于资源具有并发性、共享性和随机性的特点，传 统环境下的资源管理系统无法应用于网格之中。传统的资源管理系统在 单台计算机或小规模局域网范围内，对资源有完全的控制，故可在与外 界隔离的情况下实现高效的管理机制和调度策略。而网格资源管理是在 开放的广域网内考虑，对资源无法完全的控制，对资源的状态变化不可 预料，且异构的资源大大复杂化了资源管理任务。这使得传统的资源管 理工具无法胜任网格生态系统的资源管理与调度任务。 目前，很多研究机构都在资源管理上做了研究，比较有名的网格资 源管理软件有： 一个蜘格资源管理系统的使计和实现 第一帝绪论 a p p l e s l 2 i a p p l e s ( a p p l l c a t i o n l e v e ls c h e d u l e r ) a g e n t 不是资源管理系统，而 是给各个用户提供为用户定制的调度策略的中间件，需要依赖于 g l o b u s ，l e g i o n 这样的系统。它的调度步骤很简单，由资源选择器 ( r e s o u r c es e l e c t o r ) 选择可以完成任务的资源组合，然后由规划器 ( p l a n n e r ) 在资源组合上分派任务得到规划，再由性能衡量器( p e r f o r m a n c e e s t i m a t o r ) 根据n w s ( n e t w o r k w e a t h e rs e r v i c e ) 给出的预测和用户要求对 每个规划进行评价，选取最好的规划交给执行组件( a c t u a t o r ) 执行。类似 a p p l e sa g e n t 的调度机制都存在移植性差的缺点，因为a g e n t 和特定种 类的应用相适应，不同种类的应用任务的a g e n t 之间无法互相替代，即 要把一种新的应用任务移植到网格上需要先开发与之适应的新a g e n t ， 这限制了把各个应用领域更多类型的应用任务移植到网格上。 c o n d o r l 3 c o n d o r 是威斯康星麦迪逊大学的研究项目，它是一个专业的计算 密集型负载管理系统，提供队列机制、调度策略、优先级方案、资源监 控、资源管理等功能。用户向c o n d o r 提交自己的作业后，c o n d o r 把作 业放在队列中，并根据一定的策略，选择合适的时间在合适的常点上运 行用户提交的作业。作业运行过程中，它监控作业的运行过程；作业运 行结束时，通知提交作业的用户。用户提交的作业可以是串行作业，也 可以足并行作业。关于c o n d o r 在后文还会有详细介绍。 c s f l 4 l 社区调度程序框架( c o m m u m t ys c h e d u l e rf r a m e w o r k ，c s f ) 是一 个丌放源代码的框架，可以用它来实现网格计算的元调度程序。所谓元 调j 豆程序为用户进入网格调度系统提供了一个一致的接口。它协调多个 在本地级别或群集级别上运行的异构调度程序之问的通信。 它的调度机制比较简单，默认是先到先服务循环调度程序，它将队 列中的下一项作业分发到下一个可用资源上。作业是根据其提交到队列 第一章绪论一个弼格资源管理系统的墩计和缺燃 中的时间来分发的，还可以根据先前的资源预定或作业提交过程中提供 的群集名称，将作业映射到某个资源管理器上。如果作业与这两者没有 关联，那么调度程序将根据循环选择的规则，从索引服务产生的可j 1 j 资 源列表中选出一个资源管理器。 到目前为止，虽然已经开发了很多的资源管理系统，但是在资源管 理的关键部分资源调度上各自还有很多不足之处。由于网格中的资 源调度是个n p 完全问题，再加上不同的网格环境对资源调度有不同的 需求，目前并没有一个通用的，可靠的资源调度工具。因此需要针对不 同的应用系统开发特定的网格资源管理系统。所以开发面向应用系统的 网格资源管理工具很具有现实价值。同时，目前网格的调度算法仍然是 个难点、热点，对其进行研究也具有很高的理论价值和应用价值。 1 3 研究内容 本文的工作是江苏省高技术研究项目( b g 2 0 0 5 0 2 0 ) 和江苏省教育 厅自然基金( 0 4 k k b 3 2 0 1 3 4 ) 项目的一部分。该项目主要研究网格环境 下的中文信息处理，而本文主要研究该网格的资源管理，为该网格的实 现提供资源管理器。 网格的资源管理分为资源发现、资源调度、任务提交和监视资源三 个部分。通过阅读大量文献，研究了目前主要的网格资源管理技术及网 格中间件，发现当前网格资源管理的主要难点是资源调度。所以本课题 除了设计了本系统的资源管理器之外，还针对资源调度的需求和目标， 重点研究网格中的资源调度。 本人所做的工作有： ( 1 ) 研究网格资源管理技术，在深入了解网格资源管理与调度的基 础上，结合现有网格环境，提出了适合本系统网格的资源管理模型。 ( 2 ) 针对本系统现有的网格中间件在资源调度上的欠缺，对网格调 度进行了研究，提出了基于历史的作业运行时间预测算法和全局调度算 法，并将算法在模拟环境中做了测试和分析。 一个嘲格资源管理系统的垃计和实现 第一审绪论 1 4 论文结构 本文的章节安排如下： 第一章，绪论。介绍本文的背景，研究意义以及所要做的主要工作。 第二章，工作基础。首先介绍了什么是网格资源管理器及其抽象模 型和系统结构模型。随后介绍了本文的资源管理器用到的工具和技术， 如g l o b u st o o l k i t ，c o n d o r 。最后介绍了面向信息处理服务网格的总体框 架。 第三章，网格资源管理器的设计和实现。首先提出了本网格的资源 管理器框架。然后，针对该框架，提出了实现方法，重点介绍了信息采 集、作业提交和监控的实现方法。 第四章，网格作业调度算法设计和实现。介绍了目前常用的调度策 略，并详细介绍了本文提出的调度算法：基于历史的作业运行时间预测 算法和全局作业调度算法，并在模拟环境( g r i d s i m ) 中对算法进行了 测试。 第五章，总结和展望。总结了本资源管理系统的不足和改进的方向。 第一章工f f 基础 一个刚格资源管理系统的改计枷宴现 2 1 网格资源管理介绍 第二章工作基础 i f o s t e r 和c k e s s e l m a n 于1 9 9 5 年开始了网格协议和标准的研究， 自此点燃了网格研究的热潮。目前国内外的政府、研究机构、1 t 巨头们 都在网格领域进行了大量的资金投入、理论研究和项目实践。网格基础 设施的理论和技术也得到了飞速的发展，并经历了几个阶段的演化，如 五层沙漏模型、o g s a t ，j 等。 网格是构筑在互联网上的一组新兴技术，它将高速互联网、计算机、 大型数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓 提供更多的资源、功能和服务。互联网主要为人们提供电子邮件、网页 浏览等通信功能，而网格则能提供更多更强的功能，它能使人们共享计 算资源、存储资源和其他资源【l 】。其实质是在动态的可扩充的虚拟组织 中可控且平等地使用和共享资源。因此，在网格环境中如何有效地管理 资源和作业就成为影响网格计算能否成功的重要因素之一。同时，由于 资源在广域上分布、本质上异构、由不同的个人或组织拥有、有不同的 存取和花费模式、负载和可用性动态变化，使得网格环境下的资源管理 更加复杂和更具有挑战性。网格资源管理是网格的核心组件，它必须能 够调度和控制网格环境中的所有元素来满足网络应用的各种需求。它侧 重予控制网格资源如何提供能力及可用服务给其它请求者，并不关心资 源的功能，或是该功能工作的方式。 2 1 1 网格资源管理 在网格中，广义的资源可以是任何能为用户所共享的软件和硬件， 比如处理器周期、共享的打印机和其它设备、网络带宽、数据库等。本 文讨论的资源仅指能分配给网格中任务进程的处理器及处理器运行时 一个同格资源管理系统的设计和实现 第一章t f r 毕础 间。 针对网格系统的特点，网格资源管理系统g r m s ( g r i dr e s o a r c e m a n a g e m e n ts y s t e m ) 需要考虑满足多种要求【6 】： ( 1 ) 资源的分布自治性。资源跨多个管理域，地理上分布、自治， 规模庞大，g r m s 需支持对资源、用户的全局命名空间；资源的共享与 私有并存，不同的管理域有不同的本地资源管理系统l r m ( l o c a l r e s o u r c em a n a g e m e n t ) ，g r m s 对资源的无完全的知识和控制，需与 l r m 的交互， 共同使用资源。 ( 2 ) 资源的异构性。资源的种类多，有不同的类型和不同的性能特 征，相比于传统的资源管理系统，其异构性更强。g r m s 要解决异构环 境下 对相似资源的配置和管理，定义标准的资源管理协议【刀。 ( 3 ) 技术的多样性。资源属于不同的机构，不同的机构对资源有不 同的使用、调度策略和安全机制。g r m s 需建立资源和用户需求的表达 的标准机制【8 】，且资源管理框架要足够的灵活，易于扩展，以支持新的 策略和机制。 ( 4 ) 参与者目标的不一致性。参与者众多，且资源使用者与资源提 供者有不一致甚至矛盾的目标、目的、策略和需求模式。g r m s 需支持 它们之间的协商及不同目标的平衡机制。 ( 5 ) 动态性与自适应性。用户需求和资源状态动态变化。资源提供 者与资源消费者的身份、需求可能发生变化，资源信息具有不确定性， 资源的配置和能力也在动态变化。g r m s 需要具有一定的自适应性，有 效且高效地利用资源和处理失败的容错能力。 ( 6 ) 资源的协同性。很多网格任务需要跨域协同分配多个资源9 舯】。 g r m s 需完成跨域的资源协同分配，这需要了解不同域的安全机制、资 源特征，进行任务的跟踪，并处理各种形式的错误。 综上所述，网格资源管理系统的最大特点是虚拟化与协同使用广域 分布和异构的资源。 、 第一章t f r 草础 一个同格资源管理系统的设计和实现 目前网格资源管理系统有g l o b u st o o l k i t 、c o n d o r 、l e g i o n 、p u n c h 、 e u r o p ed a t ag r i d ，n i m r o d & g r a c e ，a p p l e s ，n e t s l v e 、m y g n d 、m o l ， n i n f 等。在文献1 1 1 】【埘中，对网格资源管理系统( g r m s ) 按不同属性进 行了分类，如表2 1 所示。资源的组织结构影响了g 刚s 之间的通信模 式，并决定了资源的调度体系结构的扩展性。 表2 i 资源管理系统分类 g r m s 属性g r m s 分类 网格类犁 资源组织 资源模掣 服务质母 资源信息存储 调度结构 调度策略 状态估计 再调度 计算网格，数据网格、服务网格 扁平型、蜂窝型、等级型 模板、对象模型 软件、硬件、无 网格目录，分布式对象 集中式、分级式、分散式 系统为中心、用户为中心、面向市场 预测式( 理论预测、基于历史预测、 试验性预测) 、非预测式 周期性、事件驱动 2 1 2 网格中的资源管理模型 已存在的网格资源管理系统结构是十分不同的。图2 1 所示的一个 抽象资源管理系统模型显示了网格环境下的一个基本g r m s 应具有的 功能单元及它们之见的交互操作。该抽象模型共把g r m s 分为1 1 个功 能单元，这些功能单元被分为三部分：资源发现、资源调度、任务提交 和监视。图中的虚框包含的部分：发现、发布、命名和资源监管属于资 源发现功能；虚圆圈包含的部分：调度、状态估计、资源代理属于资源 调度功能；剩下的请求解释，资源预置、任务监督和执行管理属于任务 提交和监视功能。当然，实际的资源管理器并不一定有这所有的功能单 元，并且实际的资源管理器的构件和功能单元之间也不一定是一一对应 一个婀格资源管理系统的设计和实现 第一章t 仃肇础 的关系。模型仅仅描述g r m s 整体而不关注具体细节。此外，虽然每 个网格资源管理器可能具有不同的实现方法或细节，但是任何网格资源 管理器都必须具备这三个部分。 l 一j 图2 1 资源管理系统抽象结构 上面介绍的是网格资源管理的抽象模型，下面来看网格资源管理系 统的结构模型。由于网格系统将属于不同个人和组织的资源逻辑上组合 在一起，因此选择一个适合的资源管理模型来管理网格中的资源是非常 重要的。不同的模型对网格系统整体可扩充性和可靠性的影响是不同 的。适当的网格资源管理模型能够鼓励资源拥有者共享它们的资源，使 用户能够平等地使用共享资源，并能够合理地管理资源以使用户的资源 需求能够映射到恰当的资源集合。目前，网格资源管理系统结构模型主 要分为三类：层次模型、抽象所有者模型和市场模型。各种模型提出了 网格资源管理系统应该具有的功能和应该提供的服务接口形式，但是并 没有对资源管理系统的体系结构和构建形式提出特别要求。 在层次模型中整个资源管理系统分成若干功能层，较高层次的组件 利用较低层次组件提供的服务实现自身的功能。层次模型是现在多数网 格项目中采用的体系结构模型。该模型由被动和主动两种组件构成。被 动组件包括以下几个部分：( 1 ) 资源( 2 ) 任务( 3 ) 作业( 4 ) 调度：是指在一定 第一章t 作摹础 一个网格资源管理系统的设计和实现 时间内将作业映射到资源的过程。主动组件包括以下几个部分：( 1 ) 调度 器( 2 ) 信息服务( 3 ) 局部资源管理器( 4 ) 发布代理：通过与域控制代理进行 协商来获得资源和启动任务运行，从而实现调度( 5 ) 用户( 6 ) 许可控制代 理：它决定系统是否能够容纳附加作业以及当系统饱和时拒绝或推迟作 业( 7 ) 作业监视器( 8 ) 作业控制代理。这些部件在资源分配、发现和调度 过程巾相互协调来完成用户提交的作业。 抽象所有者模型在资源共享过程中遵循定购和交货模式。每一个网 格资源甚至网格本身都用一个抽象所有者( a o ) 来代表，它是资源的经纪 人。通常，网格资源的用户并不关心谁是资源的所有者，他们所关心的 是如何就需要使用资源的情况、资源的价格以及付款方式等达成一致。 与用户交涉的实体并不是真正的资源所有者，而是与所有者交涉的经纪 人。a o 的一般结构就像快餐店，由一个订购窗口和一个提货窗口组成。 为了从a o 处获取访问资源，客户与a o 在订购窗口就资源是否可用、 价格如何以及获取资源时所使用的协议进行协商。若客户对协商结果满 意，则进行预订，否则终止协商。预定后，客户可在规定的时间通过交 货窗口从a o 处获取资源。抽象所有者模型只是理论上的一个模型，还 有很多问题要解决，目前还未有具体的网格系统采用。 市场模型使用市场买卖方式分配资源，将用户对资源的购买报价与 各个资源所有者的服务报价进行匹配。在计算经济环境中，资源用户希 望最小化费用，而资源所有者希望最大化投资回报。这就需要系统提供 合适的工具和服务来使资源用户和所有者表达他们的要求。例如：用户 能指定其所需服务的质量及价格，资源所有者能指定收费标准以及使用 方式。计算经济模型是分层模型和抽象所有者模型的综合。计算经济模 型的主要组件有用户应用程序、网格资源经纪人、网格中间件和局部资 源管理者。资源发现、资源选择这样的过程都由网格资源经纪人完成。 同层次模型相比，其特殊之处是网格中间件。网格中间件的组件包括： 交易服务器、价格算法和记账系统。其中，交易服务器代理资源所有者 负责与资源用户进行协商以出售资源的访问权，它的目标是最大化资源 使用率，并为其所有者获取最大利润；价格算法制定资源所有者如何向 一个网格资源管理系统的鼓计和实现 第一章t 竹基础 用户收取由供求关系决定的费用；记账系统负责记录资源使用情况并根 据资源经纪人和交易服务器达成的协议来向用户收费。市场经济模型将 市场买卖机制引入网格资源的分配过程中，不仅有利于用户公平合理的 使用网格资源，而且将会激励和吸引更多的资源拥有者将资源投入到网 格中来，并在竞争机制的作用下提高网格资源的服务质量，而基于供求 机制的经济原则将使得网格上的资源获得良性发展。 2 2 网格中间件- - g l o b u st o o l k i t4 g l o b u s a l h a n c e 开发了g l o b u st o o l k i t l l 引，用于在多个管理域之间进 行资源共享。g l o b u s t o o l k i t 提供了很多服务，可以支持异构环境中的作 业提交、监视和控制功能。另外，它还提供了一种安全基础设施，并提 供了一些服务来实现资源发现、监视和管理的功能。安全基础设施可以 简化授权用户对于远程资源访问的身份验证问题，而资源发现服务则可 以根据需要来为作业定位资源。 随着时间的推移，g 1 0 b u st o o l k i t 已经成为网格基础设施的事实标 准。原因之一是g l o b u st o o l k i t 是基于开放标准的，它为在其上构建其 它服务提供了一个坚实的基础。其目标不是要提供一个功能完备的m 格，而足要提供一些构造基础来简化网格解决方案的开发和集成。这些 构造基础，或者称为g l o b u st o o l k i t 组件，提供了很多网格基础设施。 目前g l o b u st o o l k i t 的最新版本是g t 4 ，它实现了w s r f t l 4 l 和 w s n t ”1 标准。 2 2 1g t 4 的结构 如图2 2 t 旧，g t 4 的结构包括了一系列的服务和相关的程序库。在 g t 4 中即提供了w e bs e r v i c e ( w s ) 组件( 图中左边部分) ，也提供了 n o n w s 组件( 图中右面部分) 。其实c l i e n t 中白色的框框代表可以访 问下层服务的客户应用或者第三方工具。 在s e r v i c e 区域中列出了g t 4 中提供的主要服务和部件。包括用 ! 生! ! 笪苎堡 二尘塑塑至塑竺型墨墼竺垦立塑壅墨 来管理作业的g r a m ，发现资源的m d s ，用来传输数据的g n d f t p 等。 图2 2 g l o b u s t o o l l a t 4 结构图 2 2 2g t 4 中的资源管理工具 g l o b u st o o l k i t 提供了网格资源管理中的资源发现、任务提交和监视 功能。然而，g t 中并没有包括调度器。调度器的作用就是要制订有关 何时何地运行作业的智能决策。调度器可以根据作业的需要和资源信息 ( 例如属性、可用性和状态) 为作业标识适当的资源。调度器确定何时 何地运行作业，然后与g t 进行协调，从而在所选定的资源上运行作业 并指定相关的任务，例如身份验证、文件分段传输、监视和控制。 下面介绍资源管理的各部分和在g t 中的实现。 ( 1 ) 资源发现，指为特定应用任务找到所有可用资源的过程。在 g l o b u s 工具箱( g t ) 中信息服务支持这一功能。在基于o g s a 标准的 g t 4 中，由m d s 负责。它的功能主要有两个方面：收集各个服务以 及服务所在平台的信息，支持用户对服务信息的查询。它主要分布在 o g s a 四层模型的资源层( r e s o u r c el a y e r ) 和汇聚层( c o l l e c t i v el a y e r ) ， 交换的数据采用x m l 的格式，支持标准化的查询。 ( 2 ) 资源调度，指在从利用资源发现服务中得到的可用资源列表中 一个嘲格疆荫管理系绩的世计和实现第二审t 竹挚础 选择适合特定任务的资源集的过程。g t 对这个问题基本没有涉及，因 为g t 的定位是中间件，而不同用户、不同应用和具体平台的调度差异 很大，资源调度无法作为一般服务整合到g t 中。在网格这样分布、动 态、管理权分散的环境中，资源调度是十分困难的任务，而为特定任务 选择的资源的适合程度对特定任务的执行效率具有决定性的影响所以 它是网格中最重要的问题之一，本文在下文中详细讨论这个问题。 ( 3 ) 任务提交和监视，它是在为特定任务选定了资源后，把任务提 交到远程的资源并开始执行，并在任务完成之前监视任务的状态的过 程。g t 中的资源管理组件，主要是g r a m ，提供对任务提交和监视的 支持，包括远程提交任务、任务执行状态查询等。 在任务提交和监视中存在再调度的问题，再调度是在任务执行过程 中，中止任务并把任务迁移到别的资源上继续执行的过程。需要调度的 情况包括任务所在的远程机器崩溃，远程资源执行的效果和预期不符， 或者在任务开始之后又出现了更合适的资源等，总之，再调度的目的是 进步提高任务的性能，而它的问题在于通过任务迁移得到性能提高是 否值得付出任务迁移的代价。再调度中的资源选择问题和资源调度本质 相同，在资源调度巾使用的方法在再调度中也能使用。至今，g t 仍然没 确直接支持冉涮度。 2 2 3g t 4 的资源管理组件 上一节对g t 中的资源管理组件做了简单介绍，下面将详细介绍以 上组件。 1 g r a m g l o b u st o o l k i t4 中基于w s i 强协议的资源分配管理者被称为w s g r a m ，该组件提供了一组w e b 服务，它们采用了w s r e s o u r c e 框架， 其没计目标是在网格环境中提交作业和管理作业。g r a m 可以用于那些 需要信任证书、可靠执行以及协调文件步骤的作业。它可以帮助实现信 任证书的管理，从而提交作业，监视作业的进展状况，控制作业的执行 1 1 第一章t 竹摹础一个网格资源管理系统的设计和实现 情况，并分阶段地处理相关的数据。不同的信任证书可以用来代表不同 的功能。g r a m 提供了一个可靠的执行环境，并集成了多个专门用来在 复杂环境中对作业执行管理进行优化的调度器。g r a m 和支持服务提供 了文件分段传输的功能，甚至还提供了在作业运行时访问输出数据文件 的功能，从而有效地实现对输出数据的利用。 g r a m 的核心是由一系列服务构成，包括m a n a g e d j o bs e r v i c e 和 m a n a g e d j o b f a c t o r ys e r v i c e 。它们和相应的资源一起构成w s r e s o u r c e 。 m a n a g e d j o b f a c t o r y 的资源是每个计算节点，它会对提交到该节点的作 业生成相应的m a n a g e d j o bs e r v i c e 。后者的资源是作业，它负责监视作 业的状态和结束作业。 同时，g r a m 还提供了专门的资源描述语言r s l 用来传递资源请 求。针对于具体应用的资源代理和协作分配器组成了g r a m 的两层结 构。 当提交作业时，g r a m 创建一个m a n a g e d j o b 对象，并返回其句柄。 然后用户就可以使用这个句柄与这个作业进行交互。网格作业可能会消 耗大量的计算周期，因此一个网格环境通常会包含很多资源集群。这些 集群通常是由一个调度器进行控制的。调度器负责对资源的使用进行优 化，从而按照定义好的策略来有效地执行作业。在w s g r a m 中提供 了多个调度器适配器，包括l o a ds h a r i n gf a c i l i t y 、c o n d o r 和p o r t a b l e b a t c hs y s t e m 等。 g r a m 使用调度器适配器将作业描述语法转换成调度器可以执行 的命令。除了为调度器提供的接口之外，g r a m 还包含了一种派生新的 u n i x 进程来启动作业的机制。这适用于小型的串行作业，它们在运 行时不需要集群资源，也不需要共享内存或消息传递。派生进程使用一 个f o r ks t a r t e r 程序来启动并监视针对g r a m 的作业进程。它还记录了 些数据，例如启动时间、结束时间以及该作业的退出代码。当提交作 业时，事件会被写入日志文件中。当有重要的事件发生时，会继续在后 面添加日志。这些调度器日志文件是由称为s c h e d u l e re v e n tg e n e r a t o r ( s e g ) 的进程进行监视的，它会让g r a m 通过监听相关的事件并与 一个网格资源管理系统的设计和实现 第一章t 作犟础 其通信，来保持与作业状态的同步。 g r a m 提供了作业和执行管理服务来提交、监视和控制作业，但是 这都依赖于用来传输文件和管理证书所使用的支持服务。g r i d f t p 所提 供的文件服务用来帮助g r a m 实现对输入和输出文件的分段传输。证 书管理服务处理证书对其他服务和所需要的分布式网格资源的委托。 2 m d s g t 4 版本的m d s 称为m d s 4 或w s m d s ，主要用于以下目的： ( 1 ) 服务发现，用来识别和描述虚拟组织( v o ) 中的组件。 ( 2 ) 资源状态信息，启用元调度程序的调度操作。 ( 3 ) 针对相应资源的使用情况的应用描述和执行监督。 ( 4 ) v o 范围内的状态监控，用于容错或故障诊断的目的。 m d s 除了解决了这些问题外，还允许对关于资源和计算状态的查 询进行搜集、管理、编索引和响应。w sm d s 是基于g t 4 的w sc o r e ， 使用了j a v a t m 、c 和p y t h o n 实现，它贯彻了w s r f 和w s n o t i f i c a t i o n 。 这些技术为资源的监控和发现提供了有用的构建块，并可以定义一些监 控和发现的属性。 3 g r i d f t p g r l d f t p 协议及其系列工具源自意识到这样一个问题，即网格环境 需要一种快捷、安全、有效而且可靠的传输机制。计算网格十分的庞大 和分散，因此需要一种健壮的传输机制。g r i d f t p 因其支持下列功能而 满足了这些需求： ( 1 ) 并行数据传输：使用多个t c p 流比使用单个t c p 流提高了带宽。 并行数据传输由f t p 命令扩展和数据通道扩展提供支持。 ( 2 ) 网格安全性基础设施( g r a ds e c u r i t yi n f r a s t r u c t u r e ，g s i ) 和 k e r b e r o s 认证支持：由用户控制各种数据完整性和机密性级别的设置。 这种功能为传送文件提供了健壮且灵活的认证、完整性和机密性机制。 ( 3 ) 数据传输的第三方控制：支持为大型分布式社区管理大型数据 第一章t 作皋础一个网格资源管理系统的设计和实现 集。它使第三方能够对存储服务器之间的传送进行控制。 ( 4 ) 分块数据传输：能够将数据分割放置在多个服务器上，从而提 高聚集带宽。g n d f t p 是通过定义在网格论坛( g r i df o r u m ) 草案中的 扩展来支持分块数据传输的。 ( 5 ) 部分文件传送：与标准f t p 要求应用程序传送整个文件不同， 新型f t p 命令支持传送文件的某些区域。 ( 6 ) 可靠的数据传输：故障恢复方法可以处理瞬态网络故障和服务 器故障，同时可以重新启动失败的传送。 ( 7 ) 手工控制t c p 缓冲区大小：支持获取最大t c p i p 带宽。 ( 8 ) 集成检测( i n s t r u m e n t a t i o n ) ：支持返回重新启动和性能标记。 2 3c o n d o r c o n d o r 【3 是由美国威斯康星大学研究的一个全新的计算密集型作业 资源管理系统。 在一个由c o n d o r 管理的机群中，资源( 主机) 和资源请求( 作业) 的集合被称为c o n d o r 池( c o n d o rp 0 0 1 ) 。其中一台用来收集信息、进行 资源与资源请求匹配的机器被称为中央管理器( c e n t r a lm a n a g e r ) 。它负 责接收提交的作业并把它分配到合适的机器上。 c o n d o r 可以通过使用一些特性，例如检查点、任务迁移、远程系统 调用和c l a s s a d ，从而有效地利用资源。下面来看一下这些特有的特性。 检查点是一个保存程序状态的进程，这样稍后这个程序就可以从这 个状态重新开始执行，而且可以在另外一个位置启动。周期性的检查点 可以提供一定的容错能力，方法是如果任务失败，就允许这个任务从最 近的检查点恢复执行。这对于长时间运行的任务来说尤其有用。检查点 可以在程序的关键点处设置，也可以周期性地设置，例如每个小时一次。 如