（计算机软件与理论专业论文）基于移动代理的网格作业动态调度模型的研究.pdf

鸯宗鄹l 毽大学硕| j 戮究生学佼论文孛交擒要 中文摘要 网格作为新一代的网络技术和基础设施，已经引起了广泛的研究和开发热潮。在网格 环境中，有大量不同需求的作业和广域分布的计算资源，这些资源没有全局的控制中心且 动态变化，动态形成的多体制虚拟组织加剧了作业运行的复杂性。作业调度成为网格环境 中的重要环节，网格的动态性和异构性对传统的作业调度提出了挑战。 移动代理是自治的软件实体，能够在异构的网络环境中从个主机迁移到另一个主 机。在移动过程中，它携带着自己的代码、数据、甚至执行状态，能够自主决定访问节点， 与本地服务或其它代理进行交互。由于移动代理具有的自主性、移动性、协作性、安全性、 智能性等优秀特性，本文将移动代理与网格计算结合起来，对基于移动代理的网格作业动 念调度模型进行了研究。 本文首先介绍了网格计算和作业调度的基本概念，然后研究了网格作业调度的特征、 性能豳标、调度算法以及现有的网格调度系统等。接着在研究移动代理技术特性的基础上， 将移动代理引入网格计算体系，提出了基于移动代理的网格作业调度系统，并介绍了该系 统的结构和执行过程。本文还重点研究了作业动态调度中的关键技术，包括作业调度的策 略、调度算法、基于移动代理的作业监控、动态调度和跨域调度等。本文设计与实现了网 格作业动态调度系统各主要模块，给出了基于移动代理的耀格作业动态调度模型的原型系 统，并通过实例验证取得了预期效果。 关键词：网格计算，移动代理，作业调度，作业监控 南京邮i 乜人学硕 ：珥f 究生学位论文 a b s t r a c t a b s t r a c t a san e wn e t w o r kt e c h n o l o g ya n df o u n d a t i o ne s t a b l i s h m e n t ，t h eg r i db r i n g st h eu p s u r g eo f r e s e a r c ha n dd e v e l o p m e n t 。i nt h eg i r de n v i r o n m e n t ，m a n yt a s k sa n dr e s o u r c e se x i s tw i d e l y t h e d y n a m i cr e s o u r c e sa n dh e t e r o g e n e i t yo fv i r t u a lo r g a n i z a t i o ns t r e n g t h e nt h ec o m p l e x i t yo ft h e r u n n i n go fg r i dt a s k s t h ed y n a m i ca n dh e t e r o g e n e i t yo fg r i de n v i r o n m e n tp r e s e n tan e w c h a l l e n g ef o r t a s ks c h e d u l i n g m o b i l ea g e n ti st h ea u t o n o m i cp r o g r a me n t i t y , w h i c hc a nm i g r a t ef r o mo n ep ct oa n o t h e ri n ah e t e r o g e n e o u sn e t w o r k i nt h ep r o c e s s e so fm i g r a t i o n ，t h em ac a r r i e st h ec o d e ，d a t aa n ds t a t u s a n di td e t e r m i n e st h et a r g e ti t s e l fa n di n t e r a c t sw i t hs e r v i c e so ro t h e ra g e n t s o w i n gt ot h e a d v a n t a g e so fm o b i l ea g e n ts u c ha sa u t o n o m y , m i g r a t i o n ，c o l l a b o r a t i o n ，s e c u r i t ya n di n t e l l i g e n c e ， t h i sp a p e ri sl o o k i n ga tt h ei n t e r m i n g l i n go fg r i dc o m p u t i n ga n dm o b i l ea g e n t i tp u t sf o r w a r da s o l u t i o no fg r i dt a s ks c h e d u l i n gb a s e do nm o b i l ea g e n t f i r s tt h eb a s i cc o n c e p to fg r i dc o m p u t i n ga n dt a s ks c h e d u l i n ga r eg i v e n t h e nt h i sp a p e r i n v e s t i g a t e st h ec h a r a c t e r s ，p e r f o r m a n c eo b j e c t i v e s ，a r i t h m e t i ca n ds o m ee x i s t i n gs y s t e m so fg r i d t a s k ss c h e d u l i n g i tp r o p o s e sag r i dt a s ks c h e d u l i n gs y s t e mb a s e do nm o b i l ea g e n ta c c o r d i n gt o t h ea t t r i b u t e so fm o b i l ea g e n t t h ec o m p o s i t i o na n de n f o r c e m e n tp r o c e s s e so ft h es y s t e ma r e i n t r o d u c e d a n dt h ek e yt e c h n o l o g i e ss u c ha ss c h e d u l i n gs t r a t e g ya n da r i t h m e t i c ，t a s km o n i t o r i n g a n dc o n t r o l l i n g ，d y n a m i cs c h e d u l i n ga n dc r o s sv os c h e d u l i n gb a s e do nm o b i l ea g e n ti sa l s o a n a l y z e d t h i sp a p e rp r o v i d e st h ed e t a i l e dd e s i g na n di m p l e m e n t a t i o no fap r o t o t y p es y s t e m b a s e do nt h i ss o l u t i o n ，w h i c hh a sg o tt h ee x p e c t e de f f e c tt h r o u g he x a m p l ev e r i f y i n g k e yw o r d s ：g r i dc o m p u t i n g ，m o b i l ea g e n t ，t a s ks c h e d u l i n g ，t a s km o n i t o r i n g 南京i t l l l t k 大学硕i ：研究生学位论文缩略词 缩略词 缩略词 英文全称译文 a c ia d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e 先进计算基础设施 a da u t o n o m o u sd o m a i n 自治域 a p i a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e应用程序编程接口 c sc l i e n t s e r v e r 客户朋艮务器 c o r b ac o m m o n o b j e c tr e q u e s tb r o k e r公用对象请求代理 a r c h i t e c t u r e ( 调度) 程序体系结 构 c p uc e n t r a lp r o c e s s i n gu n i t 中央处理器 d a s d i s t r i b u t e da s c is u p e r c o m p u t i n g 分布式a s c i 码超级 计算 d c o md i s t r i b u t e dc o m p o n e n to b j e c tm o d e l 分布式对象组件模型 f i p af o u n d a t i o nf o ri n t e l l i g e n tp h y s i c a l 智能物理代理基金会 a g e n t g g fg l o b u sg r i df o r u m 全球网格论坛 g r a mg r i dr e s o u r c ea l l o c m i o nm a n a g e r 网格资源分配管理器 g sg r i ds e r v e r 网格服务端 g s hg r i ds e r v i c eh a n d l e r 网格服务句柄 g s rg r i ds e r v i c er e f e r e n c e 网格服务引用 g u g r i du s e r 网格用户 i ，o i n p u t o u t p u t输入输出 - 7 6 - 南京邮f 也大学硕士研究生学位论义 缩略词 l d a p l i g h t w e i g h td i r e c t o r ya c c e s sp r o t o c o l 轻量级冒录访问协议 m a m o b i l ea g e n t 移动代理 m c tm i n i m u mc o m p l e t i o nt i m e 最短完成时闻 m e tm i n i m u me x e c u t i o nt i m e 最短执行时间 n h p c en a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n g 国家高性能计算环境 e n v i r o n m e n t o g s a o p e ng r i ds e r v i c ea r c h i t e c t u r e开放网格服务架构 o g s i o p e ng r i ds e r v i c ei n f r a s t r u c t u r e开放网格服务基础架 构 o m g o b j e c tm a n a g e m e n tg r o u p 对象管理组织 o r 转 o b j e c tr e q u e s tb r o k e r对象请求代理 p 2 pp e e r t o p e e r 对等计算 p cp e r s o n a lc o m p u t e r 个人计算机 p d ap e r s o n a ld i g i t a la s s i s t a n t 个人数字勃手 q o sq u a l i t yo fs e r v i c e 服务质量 r p cr e m o t ep r o c e s sc a l l 远程过程调用 r m 薹r e m o t em e t h o di n v o c a t i o n 远程方法调用 r nr e s o u r c en o d e 资源节点 s d k s o f t w a r ed e v e l o p m e n tk i t 软件开发工具包 s o a p s i m p l eo b j e c ta c c e s sp r o t o c o l简单对象访阆协议 u d au s e rd i r e c ta s s i g n i n g 用户直接指派 1 l i h eu s e rh o s te n v i r o n m e n t 用户宿主环境 u m lu n i f i e dm o d e l i n gl a n g u a g e 统一建模语言 u r iu n i f o r mr e s o u r c ei d e n t i f i e r 通用资源标志符 - 7 7 南京邮电大学硕士研究生学位论文缩略词 v ov i r t u a lo r g a n i z a t i o n 虚拟组织 v o e v i r t u a lo r g a n i z a t i o ne n v i r o n m e n t 虚拟组织环境 w 3 cw o r l dw i d ew e bc o n s o r t i u m 万维网联盟 w sw e bs e r v i c e w e b 服务 w s d lw e bs e r v i c ed e s c r i p t i o nl a n g u a g e w e b 服务描述语言 w s r fw e bs e r v i c er e s o u r c ef r a m e w o r k w e b 服务资源框架 w w ww o r l dw i d ew e b 万维网 x m le x t e n s i b l em a r k u pl a n g u a g e 可扩展标记语言 一7 8 南京邮电人学硕二卜研究生学位论文图表清单 图表清单 图2 1 网格资源共享关系图5 图2 2 网格体系的分层结构图l o 图2 3o g s a 架构1 1 图3 1 集中式调度模式2 4 图3 2 分散式调度模式2 5 图3 3 分级式调度模式2 5 图4 一l 移动代理的生命周期3 4 图4 2 网格计算系统模型3 7 图4 3 网格计算系统的逻辑视图3 8 图4 4 基于移动代理的作业调度体系4 2 图4 5 基于移动代理的作业动态调度过程图4 3 图4 - 6 网格作业调度层次图4 4 图4 7 网格作业状态图4 6 图4 8 基于移动代理的网格作业监控结构4 9 图4 - 9 网格作业动态调度5 l 图4 1 0 应用移动代理的网格安全平台的作业异常时的跨域调度图5 2 图5 1g r a s s h o p p e r 组件抽象结构图5 5 图5 - 2g r a s s h o p p e r 平台中的通信5 5 图5 3s t a r t r e g i o n 、r e s a g e n c y 的父类类图5 6 图5 4 基于移动代理的网格作业调度系统部署图5 7 图5 5 用户登录界面5 9 图5 - 6 资源注册界面5 9 图5 7 网格作业提交流程6 0 图5 8 作业提交界面6 1 图5 - 9 作业提交的s o a p 消息片断6 1 图5 1 0 作业调度流程图6 2 南京邮电大学硕士研究生学位论文图表清单 图5 1 1 网格作业的分解图6 3 图5 1 2 基于移动代理的作业迁移流程6 4 图5 1 3 作业代理的迁移6 5 图5 1 4 网格作业调度系统一6 5 图5 1 5 作业监控流程图6 6 图5 1 6 基于移动代理的作业监控6 7 图5 1 7 作业异常处理的流程图6 8 图5 1 8 作业动态调度和跨域调度的实现6 9 图5 一】9 代理的多播通信7 0 图5 2 0 结果返回界面7 0 表2 1 网格服务接口类、方法和功能描述1 2 表2 2w s i u 五大标准规范1 4 表5 1 不同规模作业等待时间对照表( 单位：m s ) 6 8 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：型i 叠缒日期：兰璺绌! 丑 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：鲻盈：导师签名 南京邮l u 人学烦l ：_ f i j f 究生学位论文 第一章引言 1 1 课题背景 第一章引言 网格代表了一种先进的技术和基础设施，它把整个互联网集成为一台巨大的超级计算 机，其根本特征是资源共享，消除资源孤岛，实现全球范围的资源共享。网格给最终用户 所提供的是与地理位置无关、与具体的计算设施无关的通用的计算能力。近年来，网格技 术飞速发展，网格计算已经成为研究的热点。国际上大批网格项目开始实施，并建立了多 个计算试验床。 作业方式是使用网格资源的一种形式，它根据用户确定的流程，为用户提供使用资源 的功能。网格作业一般都在远端节点上运行，作业提交者对远端设备的控制能力是非常有 限的。为了提供用户更好的服务，实现资源的充分利用，网格需要作业管理模块为用户作 业在远程节点上的运行提供透明支持，应用网格作业调度提供网格资源的透明互享和作业 的协调工作。 在网格环境中，有大量不同需求的应用和大量广域分布的计算资源，这些资源没有全 局的控制中心和统一的价格机制，且动态变化，任务调度决策直接影响网格应用的性能。 而网格自身的自治性、异构性、动态性、分布性等特性对传统的调度算法提出了新的挑战， 传统的并行计算调度算法旨在减少并行运行任务间的通信开销和等待开销，使任务的执行 时间最短，提高实时任务的响应速度；网格任务调度则需要处理两种对象：计算任务对象与 计算资源对象，并且采用计算任务提出者( 即用户) 所提出的q o s 需求在两种对象之间建 立关联。同时，有效的网格作业调度除了必须实时响应作业对网格资源的调用请求、合理 为其分配资源，还应该实时准确地监控网格中的资源情况，及时发现产生故障的主机和异 常运行的资源等，在最短时间内恢复或调整作业调度系统使其持续稳定的正常运行。如何 合理地对网格作业进行调度成为一项意义重大的课题。 1 2 课题来源及本人工作 江苏省自然基金项目“基于移动代理网格计算中关键技术研究”( 项目编号 b k 2 0 0 3 1 0 5 ) ：国家自然科学基金项目：“应用移动代理的网格计算安全关键技术研究”( 项 南京邮电大学硕：i ：研究生学位论文第一章引言 目编号6 0 5 7 3 1 4 1 ) 。 本人所做工作和主要创新为： 提出基于移动代理的网格计算体系 提出网格作业调度与移动代理结合的体系结构 提出网格作业调度算法 基于移动代理的作业监控的研究 基于移动代理的动态调度和跨域调度的研究 作业动态调度各关键模块的设计和实现 网格作业动态调度原型系统的实现 1 3 本文组织 全文共分六个章节，内容组织如下： 第一章为全篇论文的引言。主要介绍了该论文课题产生的技术背景、项目的来源以及 本人所作的工作。 第二章是网格计算技术的概述。首先介绍了网格计算的基本概念和特点，然后介绍了 网格计算的发展进程和研究现状。 第三章介绍了网格作业调度。首先介绍了网格的作业机制，然后介绍了作业调度的定 义和功能，详细研究了网格环境中作业调度的特征、性能目标和调度模式，接着介绍了作 业调度算法的相关研究，最后还介绍了已开发出的网格作业调度系统。 第四章介绍了一种基于移动代理的作业调度体系。首先介绍了移动代理技术，然后详 细介绍了该系统的结构和实施过程。对网格作业动念调度的相关主要技术，包括作业调度 的策略和算法、基于移动代理的作业监控、动态调度、跨域调度等进行了详细研究。 第五章是网格作业动态调度系统的设计与实现。首先介绍了作业调度系统的构建方 法，包括移动代理平台的实现和调度平台的系统部署等技术。然后根据作业动态调度的流 程，介绍了调度系统主要模块的设计与实现方法，并实现了网格作业动态调度系统的原型 系统。 第六章总结了本文所做的工作，并对该课题进一步研究的重点方向进行展望。 南京邮电人学硕l ：研究生学位论文第二章网格计算概述 2 1 网格计算技术 2 1 1 网格的基本概念 第二章网格计算概述 网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据 库、传感器、远程设备等融为一体，为科技人员和普通百姓提供更多的资源、功能和交互 性。网格的功能比目前的互联网更多更强，能让人们透明地使用计算、存储等其他资源【n 。 网格在动态变化的多个虚拟机构间共享资源和协同解决问题【2 】，首先从概念上，网格 计算的目标是资源共享和分布协同工作。其次，网格是一种技术。为了达到多种类型的分 布资源共享和协作，网格计算技术必须解决多个层次的资源共享和合作技术，制定网格的 标准。最后，网格是基础设施，是综合网络中的计算机、数据、设备、服务等资源的基础 设施。 网格必须同时满足三个条件【3 】：一是在非集中控制的环境中协同使用资源：网格整和 各种资源，协调各种使用者，这些资源和使用者处于不同的管理域。网格应该解决在这些 分布式环境中的安全、资源管理策略、使用费用和成员权限等问题。二是使用标准的、开 放的、通用的协议和接口：网格建立在多功能的协议和接口之上，这些协议和接口用于解 决认证、授权、资源发现和资源存取等基本问题。三是提供非平凡的服务：网格允许协调 使用资源，以得到多种服务质量，满足不同使用者需求，如系统响应时间、流通量、有效 性、安全性。 网络计算通过高速网络把分散在各处的硬件、软件、信息资源连结成一个巨大的整体， 从而使得人们能够利用地理上分散于各处的资源，完成各种大规模的、复杂的计算和数据 处理的任务。网格整合分布在局域网或广域网的资源，使这些资源成为一个巨大的虚拟计 算机系统，目的是在大量个体、机构组织等之间利用安全、协同式的资源共享，创建一个 动态虚拟组织，基于这种动态虚拟组织的网格计算不仅跨地域，而且延伸到不同的组织、 异构的软件硬件平台，为每一个连接到网格的用户提供一个无限的计算能力、沟通协作能 力及信息获得能力。 网格计算的主要目的【4 】是希望提高或拓展企业内所有计算资源的效率和利用率，满足 1 南京邮r u 人学烦l ：研究生学位论文第二章网格计算概述 最终用户的需求，同时能够解决以前由于计算、数据或存储资源的短缺而无法解决的问题； 建立虚拟组织，通过让他们共享应用和数据来对公共问题进行合作；整合计算能力、存储 能力和其他资源，能使得需要大量计算资源的巨大问题求解成为可能；通过对这些资源进 行共享、有效优化和整体管理，能够降低计算的总成本。 网格计算主要包括如下类型：计算网格( c o m p u t i n gg r i d ) ，以解决复杂的科学与工程计 算为主；数据网格( d a t ag r i d ) ，以数据密集型问题的处理为核心；信息网格( i n f o r m a t i o ng r i d ) ， 以信息互通和共享为主；知识网格( k n o w l e d g eg r i d ) ，以知识共享和协作求解问题为主；行 业网格( 地震网格、军事网格、地球系统网格等等) 。 与本文研究相关的网格基本概念解释如下： 虚拟组织( v i r t u a lo r g a n i z a t i o n ) 所谓虚拟组织，它是由遵守资源共享规则的一组个体、机构组成，虚拟组织的典型例 子有：应用服务提供商、存储服务提供商、企业及企业所采用的应用所构成的系统等。虚 拟组织的动态性是指组织结构、对外交互、管理模式及业务模式等是随时间变化的；虚拟 组织的异构性是指各组织在目标、结构、规模、管理、运行模式等方面是不同的。 自治域( a u t o n o m yd o m a i n ) 加入网格环境的内部具有一致安全体系的个体、组织、部门和团体等。 资源( r e s o u r c e ) 在网格中的资源包括各类计算设备、存储设备、i o 设备、通信系统、文件、数据库、 程序、信息、知识、仪器等，并具有面向用户和透明性的特点，用户可以在不考虑资源物 理位置的情况下，方便的使用资源。此外，资源也具有动念变化的特性。资源节点是指在 网格服务提供域中的能够对外提供资源服务的最小单位成员。 2 1 2 网格资源共享 网格计算的出现对分布式计算技术提出了挑战。网格是一种高性能计算环境，它通过 对各种分布的、异构的、动态的计算资源的集成，向用户提供随处可得的、可靠的、一致 的、标准的、廉价的计算能力，这里的计算资源除了各类型的计算机之外，还包括网络资 源、数据资源、仪器设备等各种相关的资源。在网格环境下，相互连接的资源是异构的， 这些资源可以动态地加入和退出，网格可以从最初包含少数的资源发展到具有成千上万资 源的大网格。由此可能带来的一个问题是随着网格资源的增加而引起的性能下降以及网格 延迟，故网格必须能适应规模的变化。当前的分布式计算都是基于传统的c l i e n t s e r v e r 模 式，通过远程过程调用r p c 或消息传递( m e s s a g ep a s s i n g ) 等方式实现跨平台操作，比较适 4 南京邮电火学硕i ：研究生学位论文第二章网格计算概述 合稳定的网络环境和应用场合，难以适应网格计算的要求。 网格平台的构建有赖于用户自愿提供资源，实现资源的共享和交换，减少资源冗余， 从而形成了一个非合作式的网络计算环境。那么，在这样的新型环境中，如何吸引用户提 供资源，确保网格平台的可持续性，是网格作业调度系统面临的新的挑战。其次，在这样 一个缺少中央控制、没有全知者的计算环境中，如何选取合适的作业调度策略，满足不同 用户的需求是网格作业调度系统面临的又一大挑战。 分布性是网格环境的一个主要特点。网格的分布性是指网格的资源是分布的，组成网 格的不同的计算机，各类数据库，以及其他设备和资源，是分布在地理位置不同的多个地 方，它不同于机群，不是通过局域网，使得资源相对的集中在一起的。分布性决定了网格 计算涉及的资源类型多，具有异构性，系统的规模大，跨越的地域范围广。 从资源的共享关系的角度看，网格环境拓展了原先机群环境下，较为单一的客户服务 器共享关系，目前，在网格环境下主要存在三类资源共享关系，如图2 1 所示为：客户服 务器( c s ) 共享、端到端( v 2 v ) 共享以及代理( p r o x y ) 共享。 一日 c s 共卓火系 一 p 2 pj l # 天系p r o x y ，i j 、：卓父系 图2 一l 网格资源共享关系图 网格环境下的共享关系往往随时间动态变化的，网格的参与者可以同时具有资源提供 者和资源使用者的身份，用户可以通过提供自己的资源，进入网格计算平台，从而使用其 他用户提供的资源。这样的共享关系不局限于某一个机构或者单位内，而是一种更广泛的 共享，可以跨越不同的单位和组织的管理范围。 网格计算中的共享与以往所说的共享已有很大不同，它是在更深程度上的共享，更具 目的性，不再是简单的资源互连和单一使用，而是通过互连、组合、协作解决用户需要解 决的问题，产生具有附加值的新服务、数据、信息等资源，满足用户的新需求。拥有不同 优先级的彼此不信任的参与者为了共同完成任务需要共享资源，而且这种共享不仅仅是简 单的文件交换，它可能涉及到直接访问远程的软件、计算机、数据、传感器，以及其他一 些资源。例如，组织成员可以提供对特定软件或数据的访问，形成计算资源池。 在网格计算环境下，采用基于虚拟组织的分布式管理模式，它使得作业实体从资源控 - 气 南京邮也人学硕十研究生学位论文 第二章网格计算概述 制、任务调度和管理的复杂的工作中解脱出来。为了获得充分而必须的资源，各个v o 可 以通过使用标准的、开放的、通用的协调和接口进行交互信息，并根据这些信息来协调各 自的资源使用策略，避免系统的盲目查找和不合理远程调用的现象，以此大大提高了网格 计算环境的智能性，体现了具有“网格意识 的特征。在地域上分布的异构网格计算环境 中能自主地将计算任务从一个节点迁移到另节点；并可与其它v o 组织或资源组交互以 实现作业和资源的管理和自适应。 2 1 3 网格计算特点 网格计算技术是高性能计算技术与分布式计算技术相结合的产物，其特性【5 】包括： ( 1 ) 分布性和共享性 分布性是网格的一个最主要的特点。网格的分布性首先是指网格资源是分布的( 物理 特征) 。组成网格的计算能力不同的计算机、各种类型的数据库以及其他各种设备和资源 分布在地理位置互不相同的多个地方。网格计算是分布式计算而不是集中式计算。 网格资源虽然是分布韵，但是它们之间是充分共享的( 逻辑特征) 。没有共享就没有 网格，解决分布资源的共享问题是网格的核心内容。这里共享的含义非常广泛，不仅指某 个地方的计算机可以用来完成其他地方的任务，还可以指中间结果、数据库、专业模型库、 以及人才资源等方面的内容。 ( 2 ) 自相似性 自相似性在许多自然和社会现象中大量存在，一些复杂系统都具有这种特征，网格就 是这样。网格的局部和整体之间存在着一定的相似性，局部往往在许多地方具有全局的特 征，而全局的特征在局部也有一定的体现。可以认为国家级的网格是在省一级的网格基础 上建造起来的，省一级的网格又由更低一级网格建造。网格的自相似性提供了研究网格计 算的方法论，同时对网格的建设也有重要意义。例如可以通过构建校园网格等来逐步把握 网格计算的特点从而最终建立跨越多个省市乃至多个国家的大网格。 ( 3 ) 资源多样性和异构性 网格资源是异构和多样的。在网格环境下可以有不同体系结构的计算机系统和类别不 同的资源。从硬件到软件到通信信道乃至上层应用，网格系统如何才能达到资源的有效整 合应用和管理、如何实现多层次异构系统间的互操作将极富挑战性也是网格计算的关键技 术问题之一。 ( 4 ) 资源和计算的动态性 对于网格来说，绝不能假设它是一成不变的。原来拥有的资源或者功能，在下一个时 6 南京邮r 乜人学硕 二研究生学位论文第二章网格计算概述 刻可能就会出现故障或者不可用；而原来没有的资源，可能随着时间的推移会不断加入。 网格的动态性包括动态增加和动态减少。对于网络资源的动态减少或资源出现故障的情 况，网格能够及时采取措施，实现任务的自动迁移，做到对高层用户的透明并尽可能减少 用户的损失。网格资源动态的增加要求网格有较高的扩展能力，以允许新的资源可以自然 的加入到网格中来并且可以与原来的资源融合在一起，这也对网格的管理带来挑战。 ( 5 ) 系统的自治性与管理的多重性 网格上的资源首先属于某个组织或个人，网格应该允许资源拥有者对其资源拥有自主 的管理能力，这就是网格的自治性。但是网格资源必须接受统一管理，否则没有资源的相 互联系、共享和互操作就无法为更多的用户提供方便的服务。因此网格的管理具有多重性。 一方面允许资源的拥有者有自主管理权限，同时又必须接受网格的统一管理。 f 如在不同地质结构和不同的地理区域建造房子需要规划不同的房屋结构一样，建立 网格的首要任务是建立科学、合理的网格体系结构。网格体系结构是关于如何建造网格的 技术。它给出了网格的基本组成与功能，描述了网格各组成部分的关系以及它们集成的方 式或方法，刻画了支持网格有效运转的机制。网格体系结构贯穿着“分”与“合两条主 线。网格是一个整体的概念，网格体系结构的作用在一定程度上就是对网格的剖析。 2 2 网格计算的发展和相关研究 2 2 1 网格计算的研究内容 目前，网格计算的研究主要包括下面几个方面的内容( 6 】： ( 1 ) 体系结构设计 从第一台计算机出现到现在，计算机体系结构已经发生了一系列变化，经历了大规模 并行处理系统、共享存储型多处理器系统、群集系统等各个发展阶段，这些系统的共性是 构成系统的资源相对集中。与此相反的是，组成网格系统的资源是广域分散的，不再局限 于单台计算机和小规模局域网范围内。网格计算的最终目标是用网上的多台计算机构成一 台虚拟的超级计算机，因此，网格系统的体系结构是我们必须首先解决的问题。简言之， 网格系统有哪些组成部分、组成部分之间的关系以及如何协同工作是网格体系结构研究需 要解决的问题。 ( 2 ) 操作系统设计 伴随着计算机体系结构的发展，计算机操作系统也经历了一系列发展变化，总的发展 趋势是更高效、更合理地使用计算机资源。网格操作系统是网格系统资源的管理者，它所 1 南京邮r 乜人学硕j j 研究生学位论文第二章网格计算概述 管理的将是广域分布、动念、异构的资源，现有操作系统显然无法满足这一需求。目前比 较流行的方法是定义统一的对象模型，以支持分布计算。这种方案是在分布系统中引入一 种可分布、可互操作的对象机制，使得不同的对象和非对象应用可以集成在一起。这类方 案的典型代表和应用最广泛的是微软的d c o m 7 1 、o m g 的c o r b a 8 l 、s u n 的r m i 9 】和 e n t e r p r i s ej a v a b e a n s 1o 】技术。 ( 3 ) 使用模式设计 网格使用模式解决的问题是如何使用网格超级计算机。在现有的操作系统上，计算机 用户可以使用各种软件工具束完成各种任务。而在网格环境下，用户可能需要通过新的方 式来利用网格系统资源。因此，在网格操作系统上设计丌发各种工具、应用软件是网格使 用模式研究需要解决的关键问题。 在上述研究内容中，需要解决下面一些关键技术问题： ( 1 ) 大型科学应用计算研究 网格计算系统的目的是充分利用网络上的各种资源来支持大型的并行分布式计算，因 此，对应用的研究也应同时展开，由应用驱动，提出对网格计算系统的功能和技术要求， 并验证其技术途径和技术实现的有效性。 ( 2 ) 网络技术 网格需要支持运行在不同计算机系统的进程之间的高效通信，高可靠性、容错性的网 络系统是网格计算环境中必不可少的部分。高速通信协议和通信服务质量对网格计算系统 的研究非常重要。通信能力的好坏对网格计算提供的性能影响甚大，要做到计算能力“即 连即用”必须要高质量的宽带网络系统支持。用户要获得延迟小、可靠的通信服务也离不 开高速的网络。 ( 3 ) 高效可扩展的分布式并行计算系统 为了使用户能够透明地使用网络资源，需要建立一个高效的、可扩展的分布式并行计 算环境，并以此为基础提供各种高级的服务。 ( 4 ) 高效的程序编译模型和执行引擎 传统情况下，应用程序在执行前需要编译成面向某平台的可执行代码，这些本地码的 平台相关性决定了它们不能跨平台执行，这使得程序在异构环境下的执行和资源的使用受 到了一定的限制。解决这个问题的方法是使用平台无关的中间代码，由于中间代码通常是 解释执行的，因而执行的效率比较低。因此，必须研究解决平台无关的中间代码执行效率 低下的问题，对程序的编译模型和执行引擎进行研究，解决平台无关性和执行效率之间的 矛盾，最终提供解决方案，使得程序能够顺利、高效的在异构环境下执行和使用系统资源。 8 - 南京邮电大学硕士研究生学位论文第二章网格计算概述 ( 5 ) 面向用户的程序设计模型 为了能够充分发挥网格计算系统的特点，需要为网格系统设计有效的程序设计模型来 充分利用资源，必须在面向对象、面向代理等编程技术中做出选择。 ( 6 ) 资源管理和任务调度工具 资源管理工具要解决资源的描述、组织和管理等关键问题：任务调度工具其作用按照 任务的类型、所需资源、可用资源及当前系统的负载情况等安排运行同程和策略对系统内 的任务进行动态调度，提高系统的运行效率。它们属于网格计算的中间件，它们确定网格 计算系统的管理层次体系，将管理域按照区域层次划分，并且决定管理信息流的流向。 ( 7 ) 发现与监控 网格上的系统必须能发现何种资源或服务可用，并能监控其状态。如何帮助使用人员 充分利用网格计算中的资源，这就要靠性能分析和监测工具，这些工具能够为不同级别的 系统管理员提供强有力的工具或界面监视系统资源和系统的运行情况，使得网格计算系统 能够自动适应环境的变化。网格计算系统中某一资源出现故障或失败的可能性较高，系统 的资源会不断扩大、应用会不断增长，系统的整体结构和整体性能会不断地发生变化，并 且随时有不可预测的系统行为发生，这就要求动态监视和管理网格资源，从目前可利用的 资源中选取最佳资源服务，尽量减小由于这种故障或失败、整体结构和整体性能发生变化 或不可预测的系统行为等问题对网格整体性能的影响。 ( 8 ) 应用层的可视化工具 网格计算的主要领域是科学计算，它往往伴随着海量的数据，面对浩如烟海的数据想 通过人工分析得出正确的判断十分困难。如果把计算结果转换成直观的图形信息，就能帮 助研究人员摆脱理解数据的困难。这就要研究能在网格计算中传输和读取的可视化工具， 并提供友好的用户界面。可视化技术使用图形、图像等手段来描述网格系统中资源和任务 的行为、状态和结构，为网格计算系统的资源管理、作业调度和数据传输提供帮助。 ( 9 ) 安全 网格安全至关重要，因为共享资源可能包含能够泄露商业机密或其他知识产权的敏感 信息。因此，有必要保护通信安全，识别用户身份，根据授权政策限制用户行为。网格计 算系统的安全管理机制研究包括：确保网格计算系统管理和使用的安全性。建立全网格的 帐号管理和记账系统，使得任何用户能够从任何连在网格的计算机上，安全登录并有效使 用网格资源；确定适用于网格计算系统的信息加密机制和信息传输机制等。 南京邮电人学硕十研究生学位论文 第二章两格计算概述 2 2 2 网格体系结构演进 网格体系结构的主要功能是划分系统基本组件，指定组件的目的与功能，刻画组件之 间的相互作用，整合各部分组件。目前，包括全球网格论坛、对象管理组织o m o 、致力 于网络服务与语义w w w 研究的w 3 c ，以及g l o b u s o r g 等标准化团体都在制定网格计算 的标准。 目自仃比较重要的网格体系结构主要有：f o s t e r 等在早些时候提出的五层协议结 构；在以i b m 为代表的工业界影响下，在考虑到w e b 技术的发展与影响后，f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务体系结构o g s a ( o p e ng r i ds e r v i c e s a r c h i t e c t u r e ) ：基于网格服务与w e bs e r v i c e 融合的全新的网格体系结构w e b 服务资源框架( w s r f ，w e bs e r v i c er e s o u r c ef r a m e w o r k ) 和微软公司开发的 w s r f 。n e t 。 ( 1 ) 五层沙漏模型 网格协议建立在互联网协议之上，以互联网协议中的通信、路由、名字解析为 基础。五层协议的网格体系结构分为构造层、连接层、资源层、汇集层和应用层， 与t c p i p 的对应关系如图2 2 所示。每层都可以有自己的服务、a p i 和s d k ，或者 服务、a p i 和s d k 中的部分。在这种层次结构中，上层协议的实现调用下层提供的 功能。网格内的全局应用都通过协议提供的结构调用网格管理软件的功能。 口圈 臣困 二二至耍二二 圈 图2 - 2 网格体系的分层结构图 构造层( f a b r i c ) ：控制局部的资源。由物理或逻