（管理科学与工程专业论文）中国科大网格资源管理系统设计与实现.pdf

中国科学技术大学硕士学位论文 摘要 由于计算网格系统多层次的异构性、动态和不可预测的系统行为，使得计算 网格的资源调度和管理变得异常的复杂。它要求网格的资源管理比分布式系统和 并行系统具有更高的可靠性、更高的安全性和更好的扩展牲。 目前国内外已经开展的一大批网格资源管理的研究基本上都处于起步阶段。 现有的网格理论中有三种资源管理体系结构模型：分层模型、抽象所有者模型以 及计算经济模型。但是目前各大研究项目对于合理的网格资源管理体系结构还没 有达成共识。如何合理构建资源管理系统是我们亟需讨论的一个问题。 中国科学技术大学网格研究小组目前承担有国家自然科学基金项目“基于计 算市场模型的安全网格资源管理研究”( # 6 0 2 7 3 0 4 1 ) 和国家8 6 3 计划高性能计算 机及其核心软件专项“合肥网格节点的建设及若干典型网格应用的研制” ( # 2 0 0 2 a a l 0 4 5 6 0 ) ，而网格资源管理系统的研究是其中的一个组成部分。本文 的研究工作正是基于这两个项目的支持展开的。 开放网格服务体系结构o g s a ( t h eo p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 提出了 网格服务的概念，把资源都当作是服务来看待。本文根据o g s a 的网格架构， 在比较了几种不同的网格资源管理系统体系结构后，针对当前资源管理要求，采 用了这种面向服务的思想和计算经济模型，设计了一个模块化的网格资源管理系 统。 该系统能很好地根据网格的特性，以o g s a 为基础，结合计算市场等概念， 实现有效的资源管理。该系统目前在科大网格环境( u s t c g r i d ) 中已经得到了 部分实现。 本文的主要研究特色在于：( 1 ) 将资源管理市场化的概念引入管理系统中， 为资源管理模块的扩展提供了可能；( 2 ) 设计了用户定制业务服务，使得资源管 理对于网格使用者来说更加方便灵活；( 3 ) 提出了一个发现网络“亚健康”状态的 设计思想，使得系统能够更加稳定：( 4 ) 将资源管理全面可视化，使得管理界面 更加友好，操作更加容易。 i 关键词】资源管理 网格计算面向服务系统设计 中国科学技术大学硕士学位论文 a b s t r a c t t h er e s o u r c e s c h e d u l i n g a n d m a n a g e m e n t i n g r i d c o m p u t i n g b e c o m e s e x t r a o r d i n a r i l yc o m p l i c a t e db e c a u s e o ft h e h e t e r o g e n e i t y o fa r c h i t e c t u r ea n dt h e d y n a m i cs y s t e mb e h a v i o r b e t t e rr e l i a b i l i t y ，b e t t e rs e c u r i t ya n d b e u e rs c a l a b i l i t ya r e r e q u i r e do ft h e g r i dr e s o u r c em a n a g e m e n ts y s t e m st h a no ft h ed i s t r i b u t i n ga n d p a r a l l e ls y s t e m s n o wt h er e s e a r c ho nt h e g r i d r e s o u r c e m a n a g e m e n t i nd o m e s t i ca n d i n t e m a t i o n a li s p l a c e di n t h ei n i t i a l s t a g e s t 1 1 e r e a r et h r e ek i n d so fa r c h i t e c t u r e m o d e l sf o rr e s o u r c em a n a g e m e n ts y s t e m si nt h ee x i s t i n gg r i dt h e o r y ：h i e r a r c h i c a l m o d e l ，a b s 订a c to w n e rm o d e la n dc o m p u t a t i o n a le c o n o m ym o d e l b u tn o ww e h a v e n tc o m et oa na g r e e m e n to nt h ea r c h i t e c t u r eo ft h eg r i dr e s o u r c em a n a g e m e n t w h a tw en e e dt os o l v ei sh o wt od e s i g nar e a s o n a b l eg r i dr e s o u r c em a n a g e m e n t s y s t e m r e c e n t l y ，t h eg r i dr e s e a r e ht e a l no f u s t ca r ed o i n gr e s e a r c ho nt h ep r o j e c t t h er e s e a r c ho ns e c u r eg r i dr e s o u r c em a n a g e m e n tb a s e do nc o m p u t i n gm a r k e t m o d e l ”，w h i c hi sf u n d e db yt h en a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ( n o 6 0 2 7 3 0 4 1 1a n do n p r o j e c t “t h e c o n s t r u c d o no fh e f e ig r i dn o d ea n dt h e d e v e l o p m e n t o fs e v e r a lg r i da p p u c a t i o n ，w h i c hi sf u n d e db yt h en a t i o n a l 8 6 3 h i 曲- t e e hp r o g r a mo fc h i n a ( n o 2 0 0 2 a a l 0 4 5 6 0 ) t h er e s e a r c ho fg r i dr e s o u r c e m a n a g e m e n ts y s t e m i so n e p a r to f a b o v ep r o j e c t s a n d t h er e s e a r c hw o r ko f t h i sp a u e r i sb a s e do nt h e s u p p o r to f t h e s ep r o j e c t s t h eo p e ng r i ds e r v i c e s a r c h i t e c t u r e ( o g s a ) p r o p o s e st h ec o n c e p to fg r i d s e r v i c ea n d r e g a r d s t h er e s o u r c e sa ss e r v i c e s i nt h i sp a p e r ，a f t e r c o m p a r i n g t h et h r e e d i f f e r e n tm o d e lo fg r i dr e s o u r c em a n a g e m e n ts y s t e m ，w e a p p l yo g s a a n da d o p t t h ei d e ao fs e r v i c e o r i e n t e da n d c o m p u t a t i o n a le c o n o m y m o d e lt o d e s i g n a m o d u l a r i z e dg r i dr e s o u r c em a n a g e m e n t s y s t e m a c c o r d i n gt ot h ec h a r a c t e r i s t i co ft h eg r i d ，t h es y s t e mr e g a r d so g s a a st h e f o u n d a t i o n ，c o m b i n e st h ei d e ao f 鲥d w 池c o m p u t a t i o n a l m a r k e t ，a n dt h e nr e a l i z e s t h ev a l i dr e s o u r c em a n a g e m e n t n o wt h es y s t e mi sr u n n i n ga to u ru s t cg r i d 。 t h i sp a p e rf o c u so nt h ef o l l o w i n g a s p e c t so f w o r k s ( 1 ) i n t r o d u c et h em a r k e t - b a s e dc o n c e p to fr e s o u r c em a n a g e m e n ti nt h es y s t e m i ti sp o s s i b l et oo f f e rf o re x p a n s i o no ft h er e s o u r c em a n a g e m e n tm o d u l e r 2 ) d e s i g n t h es e r v i c e so ft h eu s e r s c u s t o m i z i n gt a s k i tm a k e sr e s o u r c em a n a g e m e n tm o r e c o n v e n i e n ta n df l e x i b l et ot h e g r i du s e r ( 3 ) p r o p o s e ad e s i g ni d e ao ff i n d i n gt h e “i n f e r i o rh e a l t h s t a t eo ft h en e t w o r k i tm a k e st h es y s t e ms t e a d i e r f 4 ) v i s u a l i z et h e w h o l er e s o u r c em a n a g e m e n t ，i tm a k e sm a n a g e m e n ti n t e r f a c em o r eh i e n d l ya n d e a s i e rt oo p e r a t e 【k e y w o r d s 】r e s o u r c em a n a g e m e n tg r i d - c o m p u t i n g s e r v i c e o r i e n t e d s y s t e md e s i g n i i 中国科学技术大学硕士学位论文 第一章绪论 随着计算机性能的不断提高和网络通讯技术的迅猛发展，应用需求曰益朝着 高性能、大规模、多样性、多功能的方向发展。它要求将地理上分布的、异构的 各种高性能计算资源、存储资源、数据资源和其它特殊资源通过高速网络连接起 来，实现高性能联合计算，共同完成重大应用问题，即广域高性能的元计算技术， 也称为网格计算技术。不同于一般传统的分布式计算，网格计算着重于大规模的 资源共享、创新应用，并在一定情况下定位于高性能计算，已经成为一个重要领 域。 在网格计算环境中，资源是分散在各个不同地域和管理域中，由不同的组织 拥有和操作的。并且它们在使用策略和安全机制上各不相同，即不同站点可能会 使用不同的局部资源管理系统。同时，很多应用需要同时使用多个站点上的资源， 站点自治性和分配资源时可能出现的故障需要一种特殊机制来同时分配位于多 个站点上的资源。因此，如何对网格计算环境中的资源进行管理是实现高性能联 合计算，共同完成重大应用问题的关键。 资源管理是网格计算的核心问题之一，它包括资源的组织、定位、发现、调 度、分配、确认、进程创建以及准备所需资源的其它活动。资源管理提供了管理 的功能和概念，使集群能够被当作单一资源，系统管理员根据预先定义好的标准 通过资源管理软件确保资源的合理分配和使用，以最终达到资源共享的目的。 在资源管理中，面临的有唯一验证、授权、资源访问、资源发现以及资源调 度等挑战。网格中常用的资源包括：处理能力、存储系统、目录、网格资源、分 布式文件系统、分布式计算机池、计算机集群等。 本文通过分析当前资源管理的模式，结合网格自身特点和面向服务结构的有 关知识，提出了一种能集合于中科大网格p o r t a l 的资源管理系统的设计方案。它 能满足网格系统在扩展性、健壮性、动态性、安全性等方面的要求。 本文章节安排如下： 第一章绪论。 第二章网格环境简单介绍网格、其发展现状和国内夕卜的研究情况等相 中国科学技术大学硕士学位论文 关背景知识。 第三章网格体系结构列举了两种典型的网格体系结构，并通过对比指 出o g s a 的基本思想是以服务为中心，说明我们选择o g s a 来设计资源管理系 统的原因。 第四章网格资源管理系统概述本章主要是网格资源管理系统的基本理 论。在先叙述了传统网络管理系统研究的现状和其主要问题，分析其技术上存在 的挑战后，总结了现有网格资源管理系统的问题与需求，并对比描述了网格资源 管理的3 种理论体系结构。最后进行小结，说明本文设计系统采用的模型。 第五章介绍了面向服务的设计思想以及基于w e b 服务的面向服务的设计原 则来说明采用s o a 是网格计算的必然趋势。 第六章面向服务的网格资源管理系统设计先介绍科大网格p o r t a l 的概 念和设计思路。然后陈述了网格资源管理系统的主要设计要求。接着提出了自己 的设计思路以及和科大网格p o r t a l 环境中的实现。最后列举了该系统的特点和优 势。 第七章结束语对已完成的工作进行总结并对未来的工作进行展望。 本文的主要工作和贡献有： 研究了网格环境中的资源的特点和原有资源管理的解决方法； 分析了网格中现有的三种资源管理体系结构模型：分层模型、抽象所有者模 型、以及计算经济模型，找出了它们各自的特点； 研究了如何基于o g s a ，在资源异构的环境下以面向服务的方式给网格使用 者提供可靠的资源： 设计了一个网格环境下基于计算经济模型的资源管理模型； 结合科大网格p o r t a l 的特点，将该模型集成到了网格环境中； 将资源管理市场化的概念引入管理系统中，为资源管理模块的扩展提供了可 能； 设计了用户定制业务服务，使得资源管理对于网格使用者来说更加方便灵 活： 2 中国科学技术大学硕士学位论文 提出了一个发现网络“亚健康”状态的设计思想，使得系统能够更加稳定 将资源管理全面可视化，使得管理界面更加友好，操作更加容易。 中国科学技术大学硕士学位论文 第二章网格环境概述 2 1 网格的含义 网格概念最早于9 0 年代中期提出，用于表述在高端科学和工程上分布式计 算的一种基础构造形式。它是一个集成的计算与资源环境，或者说是一个计算资 源池。网格能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、可靠 的、标准的以及经济的计算能力。这里的计算资源除了计算机还包括网络通信能 力、数据资料、仪器设备、甚至人等各种相关的资源。而网格计算就是基于网格 问题的求解。狭义的网格计算指将分布的计算机组织起来协同解决复杂的科学和 工程计算问题。现在我们也试图将其应用到商业问题。 潜藏在网格概念之中确切而特殊的问题就在于，实现对等的资源共享和解决 动态的，分布式的虚拟组织所遇到的问题。我们所关心的共享不仅仅是简单的文 件交换，更强调直接对计算机，软件，数据以及其它资源的直接访问，这种需求 在工业，科学以及工程界等许多领域都会遇到。这种共享必须是高度可控的，需 要在资源提供者和消费者之间详细的定义什么可以被共享，哪些人可以共享，在 什么条件下可以共享。 虚拟组织( v i r t u a lo r g a n i z a t i o n s ) 就是基于这样的一些共享规则，由一些个 人或者团体形成的集合体 2 】。 网格计算的应用例子包括：应用服务提供商a s p ( a p p l i c a t i o ns e r v i c e p r o v i d e r ) 、存储服务提供商s s p ( s t o r a g e s e r v i c ep r o v i d e r ) 、c y c l ep r o v i d e r s 、为汽 车制造商评估新厂地址的顾问们、一个新机型的投标商们、一个危机管n d , 组用 来设计突发情况下的反应的数据库和模拟系统、一个长期的大型国际高能物理实 验协作计划的实验成员。这些应用中的燕享包括不同种类的资源、程序、文件、 计算机、传感器的数据、网络，同时也包括不同的使用模式，从单用户到多用户， 从对性能敏感，到对代价敏感，因此这些网格计算的应用中包含了服务质量，时 序安排，协同分配和记帐的问题。 当前的分布式计算技术并不涉及列出的这些概念和需要。例如，现在的 i n t e m e t 技术，涉及了电脑之间的通信和信息交换，但并不提供完整的解决方案 来协调使用不同网站上的资源进行高性能计算。b 2 b 交换，着眼于信息共享，但 4 中国科学技术大学硕士学位论文 常常基于一些中央服务器。虚拟企业技术也是如此。尽管共享的范围最后可能达 到应用软件和物理设备的水平( 例如，c o r b a 和企业i a v a 技术使我们能在一个 独立的企业内实现资源的共享。开放组织( o p e ng r o u p ) 的分布式计算环境( d c e ) 支持站点间安全的资源共享，但大多数的虚拟组织会发现他们难以承担这种共 享，而且使用起来不灵活。) s s p 和a s p 允许其它组织使用存储和计算设备，但 只能以某种限定的方式。例如，s s p 的资源一般是经过虚拟专用网和客户端相连 接。刚出现的分布式计算公司正在国际范围内寻找空闲的计算机，但到目前为止 只是支持对这些资源的高度集权控制的访问。 总的来说，现在的技术既不适应资源种类的多种多样，也不能提供建立虚拟 组织所需要的资源共享的灵活性和可控制性，因此网格步入了舞台。在过去的5 年里，网格界的研究成果提供了协议，服务和工具，正好可以应付我们在建设可 升级的虚拟组织时所遇到的挑战。这些技术包括支持跨平台计算时证书和政策管 理的安全解决方案：支持远程安全的访问计算，数据和其它资源的资源管理协议 和服务：信息查询协议程服务提供了资源，组织，服务方面的构造和配置信息， 数据管理服务在存储系统和应用软件之间查找和传输数据包。因为网格技术聚焦 于动态的、跨组织的资源共享，而不是和其它的分布式计算技术竞争。例如，企 业分布式计算系统可以利用网格技术来实现跨平台的资源共享；在a s p s s p 领 域，网格技术可以被用来加强计算和存储资源的动态交易，因此可以克服现在的 静态资源配置的限制。 在i a n f o s t e r 和c a r l 的网格一书中，网格被定义成一种系统。该系统通 过标准、开放的通用协议和接口来协调分布式的资源，以提供最好的服务质量。 在该定义中，强调了以下三点 2 】： 协调分布的资源 网格集成和协调那些存在于不同控制域内的资源和用户，也处理安全、政策、 付费和成员资格等在协调分布资源环境中出现的问题。这是它区别于一个本地管 理系统的地方。 使用标准、开放的通用协议和接口 网格是建立在多目标协议和接口之上的。这些协议和接口用来处理诸如认 证、授权、资源发现和资源访问等基本问题。让这些协议和接口标准化、公开化 是很重要的，这是网格区别于一个专用系统的地方。这点对于理解网格的概念特 5 中国科学技术大学硕士学位论文 别重要。有了这些标准、公开的协议和接1 ：3 ，就使得在有多个厂商产品的、异构 的网格环境中，开放源码的产品和商业产品可以有效地进行互操作，也提供了一 种使得网格应用能够成功部署的普适基础结构。 交付最好的服务质量 网格允许协调使用它的组成资源，以便提供各种服务质量。如响应时间、吞 吐量、可用性和安全性等。网格还可能需要协同分配多种资源类型来满足复杂的 用户需求，这样的组合系统功能将远大于它的各部分功能之和。 2 2 适用群体 一种技术的出现，可能是因为一个偶然的念头，但要成为一门成熟的理论， 还必须要有应用的推进，找到其所依附的环境。所以我们首先要清楚网格的适用 群体，在这基础上，才能发掘更多的应用，而这些应用会反过来促进网格技术的 快速发展。 网格自身的特点决定了它的适用群体：他们应该是全球分布或分布在全国各 地，他们之间需要交互或者需要与远程资源交互。我们要让这些群体将交互行为 放在网格之上进行。如果这些群体在一开始就使用网格，将会极大缩短网格发展 所需的时间。 这个适用群体包括【2 】： 夺计算科学家和工程师 计算科学家和工程师希望对应用进行实时可视化，并希望对许多应用的计算 过程进行监控和导航。对于计算科学家来说，用寄磁带的方法传送复杂模拟结果 目前依然很常见而其代价就是从模拟开始到检测出错误需要耗费若干天的 时间。这显然是不可接受的。还有很多研究者得不到足够的计算能力资源，他们 需要通过网格来访问远程计算机。 夺实验科学家 我们知道，实验或观测科学家与理论或者计算科学家的数量比例是1 0 ：1 ，所 以如果我们想广泛地影响科学，首先需要影响实验和观测科学。 实验科学家希望将他们远程的仪器设备与超级计算机或高级可视化设备连 接起来，并希望使用友好的用户界面，比如用j a v a 或语音命令来控制仪器。例 6 中国科学技术大学硕士学位论文 如，伯克利一伊利诺伊一马里兰射电望远镜阵列( b e r k e l e y - i l l i n o i s m a r y l a n d r a d i ot e l e s c o p ea r r a y ，b i m a ) 是世界上最快的毫米波射电望远镜阵列。于是 b 1 m a 使用网络向n c s a 的超级计算机发送数据，而网络就好比是望远镜的“数 字透镜”。由于b i m a 是一个合成口径望远镜，每个天线所接收到的无线电波相 位之间都会有微小的偏移，超级计算机需要据此来重建天体在宇宙中所应有的样 子。该望远镜可以同时以不同的波长拍摄1 0 0 0 张二维天空图像，然后计算机据 此建立数据立方体( 二维空间加一维的频率) 。最后，这些可视化数据可以立即 用于监控设备或创建一个数字图书馆，使人们可以通过网络浏览器去观看遥远太 空中的景象。这就是这种科学的一个完美例子。在这里，我们能够以相当高的网 络带宽、更健壮的软件实现大范围科学仪器之间的交互和协作。 夺企业 全球化是当今企业发展的一个必然趋势。尽管w e b 导致了企业i n t r a n e t 的出 现。然而就网格的功能类型来说，它还是显得相当原始。众所周知，a l l s t a t e i n s u r a n c e 是n c s a 的一个工业合作伙伴，它正在研究使用高速网络将它的m e n l o p a r k 实验室与在n c s a 中进行的数据挖掘活动( 大量数据存储在高性能计算机 中) 连接在一起。这种连接将使得采用完整企业数据库方法的新类型模式识别得 到支持。考虑到a l l s t a t e 拥有1 5 0 0 0 个部门，可以设想使用网格将整个公司组合 成为一个单一的协作团队。这些例子在几乎任何大型企业中都会出现。 夺自然环境 虽然当今社会已经在政治上做好了准备来应对大规模自然环境问题，如臭氧 层损耗、全球变暖，以及空气和水污染等。但研究人员在创建可信的互动知识库 ( 它集成有关这些问题的所有已知科学成果) 方面已经落后了。这些问题涉及在 时间、空间上高度耦合、交叉的多个学科，只有通过科学和计算方法才有可能得 以解决。考虑到这些问题的多学科交叉性，显然需要集中所有专家来研究这些问 题。他们应当能够在一种协同计算框架支持下工作，该框架将他们和远程传感器 用网格连接在一起。因此，这里需要网格。 夺教育与培训 远程培训和教育是网格技术的最早几个应用之一。目前教授们经常花费几天 的时间往来于全国各地，在会议室里用幻灯片给学生们举行讲座。如果他们能够 走上本地“强大的虚拟讲台”，在虚拟环境里用w e b 交互设施对全国学生进行完 中国科学技术大学硕士学位论文 全的电子授课，并能在授课结束后直接走回办公室，而不是回旅馆或者上飞机， 那将多好。现在越来越多的学校开始使用这些网格技术。问题不在于如何使用网 格去进行传统教学，而是在于有了国家级网格支持以后，会产生什么样的新型协 同教育模式? 夺国家 许多国家及地区内部都架设了专用光纤或者网络，当这些地区性的乃至国家 范围内的纯光纤网络运行起来以后，那么下一个问题显然就是“能否将它们连在 一切? ”当然，网格将会迅速发展，它将超出科研领域，进入商业领域。目前， 工业界( 如汽车制造) 正在构建连接整个供应链的大规模网络，使用r f i d 标签 进行无线扩展也在飞速发展之中。电子商务正处于起飞阶段，而消除地区间网络 的速度瓶颈乃是实现商业信息流畅传送的根本所在。 夺世界 自然，网格的发展并不会停止在国家范围内。最近有一些提案主张因特网上 的贸易应当免税。这将有可能彻底改变未来几十年世界上的贸易模式。因此，国 际上有着巨大的兴趣将先进的网格技术推广到所有国家。美国国家自然基金会的 一些项目，如s t a r - t a p 和s t a r l i g h t 致力于使先进的国际网络能够方便地长期 互连和互操作，对应用、性能评测以及技术评估的研究进行支持，而如全球网格 论坛( g l o b a lg r i df o r u m ) 这样的组织正在协议和软件级上对此进行支持。 夺消费者 前面讨论的功能将逐渐提供给广大消费者使用。现在我们已经可以进入虚拟 商店，查找商品的相关信息。不久的将来我们可以在全国任何地方通过点击“s a l e s h e l p ”来获得一个视频流，商店的店员将会出现在屏幕上，我们便可以获得帮助。 2 3 网格计算的发展现状 2 3 1 网格技术成为计算环境的主流 我们现在所用的万维网开始于科技合作，不久后就被应用于电子商务，从这 个角度来看，可以预言，网格技术也会走相同的道路即成为商业应用的主流。 科学资源共享应用促进了网格技术的早期发展，包括使大量科学数据操作可 视化的关键技术的发展，以及为进行大量数据分析所服务的分布计算机的能力和 中国科学技术大学硕士学位论文 存储的提高，还有用移动计算机以及存档联系起来的科学仪器的作用和能力的提 高。所有的科学最终是为社会大众服务的，我们希望相似的应用能在商业上也起 到重要作用。这些最初在科技上的应用，在成功之后，慢慢开始应用于分布的商 业计算上。 然而，我们所期望的不只是不断增强的能力，网格商业计算上最重要的规则 是为分布系统的可靠性，升级和安全性提供解决方案。这些挑战来自于当前的需 求，商业需求或是科学需求，将之前在一台机器上处理的服务分解，分担到网络 上。 2 3 2 企业计算( e n t e r p r i s ec o m p u t e r i n g ) 的革命 在过去，一些组织要完成计算任务都要到一些企业计算( e n t e r p r i s e c o m p u t e r i n g ) 中心去。尽管有许多复杂的分布系统存在，比如说命令控制和预 留系统( c o m m a n d a n d - c o n t r o la n dr e s e r v a t i o ns y s t e m ) 和i n t e r a c t 域名系统，他们 都是一些小的，特殊的实体。然而由于i n t e r a c t 的兴起以及电子商务的需求，一 些企业的i t 架构需要外在的网络、资源、服务已经是很显然的事了。 最初，开发者以为复杂性的问题是一种网络现象，并且准备建立种智能网 络，一种和传统的i t 数据中心只在边际服务上有交叉的智能网络，举个例子， 企业的主页或者是连接网络服务资源和企业网络的专用虚拟网络服务器。开发者 是在假定这些服务器可以控制和限定电子商务和i n t e m e t 在企业核心架构中的影 响的基础上进行开发的。 他们的尝试一般都失败了，因为i t 服务的分解( d e c o m p o s i t i o n ) 也同时发 生在企业i t 设备的内部。现在正在开发的一些编程模型的应用程序比如企 业版的j a v a b e a n s 组成模型，它把应用程序和底层的平台分隔开来，并且还在不 同平台上支持移动设备。举个例子说，是有网络服务和应用程序缓存的平台( w e b s e r v i c i n ga n dc a c h i n ga p p l i c a t i o nt a r g e tc o m m o d i t ys e v e r ) ，而不是传统的大型机平 台。同时，如果网络可以使用企业资源，那就要求更快的响应服务，更快的连接 到网络的边缘地带。整体的结果就是将一个高度集成的i t 架构分散在一群不同 的，分散的系统之上，并且这些系统通常是由不同的机构所掌管的。然后企业就 将分散的服务器和数据用q o s ( q u a l i t yo fs e r v i c e ) ，地址解析系统( a d d r e s s i n g i s s u eo f n a v i g a t i o n ) ，分部安全等连接起来，就像在一个企业之中。 中国科学技术大学硕士学位论文 在发展的同时，企业需要一个不断发展的，结实的i t 架构来应付不可预见 的事情和快速增长的电子商务中的风险。同时企业为了将客户关系、供求管理以 及核心系统更好的集成起来，就需要扩大企业资源规划的规模。 这些发展使促使q o s 和大型机的中央处理联系了起来，使无论在企业内部 还是在外部，控制分布系统上的电子商务都是十分容易。举个例子，无论工作量 在平均和峰值时有多么大的差异，企业都应该为客户提供一致的响应时间。这样， 他们所要求的弹性资源配置就与工作量的要求与优先权一致了。然而现在的通过 集成的平台组件和服务来将q o s 传送到应用程序那里的范例还不能应用在现今 的分布系统中：完整的i t 架构的分解和在已经给出的集成服务系统中传送q o s 是不同的。 2 3 3 目前研究进展 从1 9 9 9 年底到2 0 0 1 年初，中科院计算所联合十几家科研单位，承担了8 6 3 重点项目“国家高性能计算环境”的研发任务。该项目的目标是建立一个分布式环 境下支持异构平台的计算网格示范系统，它把我国的8 个高性能计算中心通过 i n t e r a c t 连接起来，进行统一的资源管理、信息管理和用户管理，并在此基础上 开发了多个计算型的网格应用系统，取得了一系列研究成果。 2 0 0 2 年4 月5 日至6 日，科技部召开了“网格战略研讨会”，确认将网格的 研究和应用列为“8 6 3 计划”的一个专项，随即成立了专项专家组。8 6 3 网格专项 的主要任务是研制面向网格的万亿次级高性能计算机、具有数万亿次聚合计算能 力的高性能计算环境；开发具有自主知识产权的网格软件；建设科学研究、经济 建设、社会发展和国防建设急需的重要应用网格；制定若干与网格相关的国家标 准，参与制定国际标准，使一批发明专利和软件获得受理和登记，形成自主知识 产权。 2 0 0 2 年底，上海市建设e i n s t i t u t e ，其中网格是重点，将把上海交大、复旦、 华东理工等多所重点高校用网格整合起来，共享资源，协同教学科研。 教育部也将对网格研究进行大力支持。他们希望百所重点高校拥有千亿次级 别的高性能计算机，以提高科研水平。在这个基础上，建设一个覆盖全国主要高 校的网格是水到渠成的事。 目前正在进行的网格研究项目有： 1 0 中国科学技术大学硕士学位论文 8 6 3 计划支持的“中国网格( c h i n a g r i d ) ”建设，有多家单位参加。 “上海教育科研网格”，多所上海的大学参加。 “仿真网格”的研究，由航天二院和清华大学共同开展。 “织女星网格”，由中科院计算所领衔开发。 另外，全国还有几十所大学和研究机构已经开展各种网格研究。 中国科学技术大学网格研究小组从2 0 0 0 年开始逐渐开展网格方面的研究工 作，先后与中国科学技术大学网络中心、合肥国家高性能计算中心、中国科学院 计算技术研究所、淮河治理委员会开展合作研究，目前承担有国家8 6 3 计划高性 能计算机及其核心软件专项“合肥网格节点的建设及若干典型网格应用的研制” ( # 2 0 0 2 a a l 0 4 5 6 0 ) 。而网格资源管理系统的研究是其中的一个组成部分。 2 4 小结 网格计算系统就是将地理分布、系统异构、性能各异的各种资源，通过高速 互连网络连接并集成起来，形成的广域范围内的无缝集成和协同计算环境。本章 通过介绍网格的起源和含义以及适用群体，国内研究情况来说明网格环境对我们 研究的重要意义。 中国科学技术大学硕士学位论文 第三章网格的体系结构 由于网格在逻辑上连接了属于不同的所有者或组织的多重资源，因而选择合 适的资源管理体系结构模型在最终网格( 在商业上) 是否成功上起着重要的作用。 目前，比较重要的网格体系结构有两个：一个是伊安福斯特( i a nf o s t e r ) 等在早些时候提出的五层沙漏结构；另一个是以i b m 为代表的工业界的影响下， 在考虑到w e b 技术的发展与影响后，伊安福斯特( i a nf o s t e r ) 等结构网络服务 师提出的开放网格服务结构o g s a ( o p e n g r i ds e r v i c e s a r c h i t e c t u r e ) 【l 】。 3 1 五层沙漏结构 五层沙漏结构是一种影响十分广泛的结构，它的主要特点就是简单，主要侧 重于定位的描述而不是具体的协议定义。其基本思想就是以“协议”为中心，也十 分强调与a p i ( a p p l i c a t i o n p r o g r a m m i n g i n t e r f a c e s ) 和s d k ( s o f t w a r e d e v e l o p m e n t k i t s ) 的重要性。 该结构根据结构中各组成部分和共享资源的距离，将对共享资源进行操作、 管理和使用的功能分散在五个不同的层次，越向下层就越接近物理的共享资源， 因此该层与特定资源相关的成分就比较多：越向上层就越感觉不到共享资源的细 节特征，也就是说上层是更加抽象共享资源的表示，因此就不需要关心和底层资 源相关的具体实现问题。 图3 - 1 网格体系结构 如图3 - 1 所示，五层沙漏模型从底层开始分别为构造层、连接层、资源层、 1 2 中国科学技术大学硕士学位论文 汇聚层和应用层。其一个重要特点就是沙漏形状，如图3 2 所示。核心协议就形 成了协议层次结构中的一个瓶颈，资源层和连接层共同组成这一核心的瓶颈部 分，它们提供资源的安全访问。 构造层( f a b r i cl a y e r ) 网格构造层由各种物理资源所构成，包括存储资源、计算资源、目录、数据 库、网络资源、传感器等，构造层的基本功能就是控制和管理局部的资源，向上 提供访问这些资源的接口。 图3 - 2 五层沙漏结构 构造层资源提供的功能越丰富，可以支持的高级共享操作就越多。比如在资 源层支持提前预留功能，则能很容易地在高层实现资源的协同调度服务，否则要 实现这样的服务就会有较大的额外开销；如果构造层资源提供的功能较少，那么 网格结构的组织就可以比较简单，实现起来也相对容易。 构造层应该实现的基本功能包括：查询机制( 发现资源的结构和状态等信 息) 、控制服务质量的资源管理能力。 连接层( c o n n e c t i v i t yl a y e r ) 网格连接层实现构造层资源之间的通信、数据交换，它定义了核心的通信和 认证协议，用于网格的网络事务处理之中。 通信协议允许在构造层资源之间交换数据，要求包括传输，路由，命名等功 能。建立在通信服务之上的认证协议提供加密的安全机制，用于识别用户和资源。 资源层( r e s o u r c el a y e r ) 资源层的主要功能就是实现对单个资源的共享。它建立在连接层的通信与认 1 3 中国科学技术大学硕士学位论文 证协议之上，提供数据访问、计算机访问、状态与性能信息访问等服务。它考虑 的是单个的局部资源，忽略全局状态和跨越分布资源集合的原予操作( 这些操作 由汇聚层来考虑) 。 资源层有两个主要的协议： 1 】 信息协议用来获得资源的结构和状态的信息，例如，它的配真，当前的负载， 还有使用策略( 比如开销) 。管理协议用来磋商对共享资源的访问，指出资源需求 ( 包括提前预约，和服务的质量) 和将执行的操作( 例如创造的进程，或者数据存 取) 。 管理协议还负责初始化共事关系，保证要求的协议操作和底层共享资源提供 的共享策略一致。还要考虑记帐和支付的问题，协议可能还需要支持监测操作的 状态和控制( 例如终止) 这个操作的功能。 资源( 和连接) 协议就形成了沙漏模型的瓶颈部分， 因此这个集合要小，而 且尽量标准化。这些协议要能够抓住涵盖不同资源类型的基本共享机制，但是又 不能够对高层协议的类型和性能有约束。 汇聚层( c o l l e c t i v el a y e r ) 资源层的主要功能是和“单个”资源的交互。丽网格汇聚层的主要功能不仅 仅和某种特定的资源交互，而是协调“多种”资源的共享，协同完成任务。汇聚层 协议与服务( 包括a p i ，s d k ) 描述的是资源的共性，并不涉及资源的具体特征， 说明不同资源集合之间是如何相互作用的。对比这两个层，资源层的协议必须简 明扼要而且易于扩展，汇聚层的协议跨越了从通用型到高端应用和特殊领域的需 求。 汇聚层的功能能够被作为永久的服务来实现，包括相关的协议以及与应用相 关联的a p i s d k 。在这两种情况，他们的实现能够建立在资源层或者其它的汇 聚层协议之上。如图3 - 3 显示，汇聚层的协同分配a p i 和s d k 可以使用资源层 的管理协议来操纵底层的资源。同时，在此功能之上，可以定义协同预留协议并 实现一个协同预留服务，它可以调用底层的协同分配a p i 来实现协同分配操作， 还可能提供附加的功能，比如授权，容错以及日志等等。这样，在应用层就可以 使用协同预留服务来实现端到端的网络预留功能。 应用层( a p p l i c a t i o nl a y e r ) 1 4 中国科学技术大学硕士学位论文 网格应用层是在虚拟组织环境中存在的，应用可根据上面一层次上定义的服 务来构造，它可以调用资源层的服务，也可以调用汇聚层的服务，从而满足应用 需求。拿电力系统做个比喻，前四个层次就相当于发电厂、电网、变电所和配电 房，而应用层相当于住宅里的电闸、电表和电源插座。 汇聚壤 镊深鹱 构逸鼷 图3 3 五层协同工作示例 3 2 开放网格服务体系结构o g s a 开放式的网格服务体系o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 【5 】【7 】被称 为是下一代的网格体系结构，它是在原来“五层沙漏结构”的基础上，结合最新的 w e bs e r v i c e 2 0 技术提出来的。o g s a 包括两大关键技术即网格技术( g l o b u s 软 件包) 和w e bs e r v i c e 技术。以服务为中心是o g s a 的基本思想。 o g s a 是一个由节点和连线构成的框架。该框架的节点是网格服务。而网格 服务之间的连线是网格服务相互交流时所用的语言。网格服务是特殊的网络服 务，专供用来维持和管理网格体系。 3 3o g s a 结构的特点 o g s a 网格也为五层结构，其结构同五层沙漏结构，自下雨上为结构层、连 接层、资源层、汇聚层及应用层。但o g s a 结构较五层沙漏结构有着以下特点c 6 ： ( 1 ) 以服务为中心的模型 中国科学技术大学硕士学位论文 如果说五层沙漏结构是以协议为中心的“协议结构”，其试图实现的是对资源 的共享，则o g s a 就是以服务为中心的“服务结构”，其实现的是对服务的共享。 o g s a 将一切看作服务，并定义了“网格服务”，该服务提供了一组接口，这些接 口遵守特定的惯例，解决服务发现、动态服务创建、生命周期管理、通知等问题。 因此，网格是可扩展的网格服务的集合。简单地说，网格服务= 接口行为+ 服务 数据。 ( 2 ) 统一的w e bs e r v i c e 框架 w e bs e r v i c e 描述了一种新出现的、重要的分布式计算范式，定义了一种技 术。它用于描述被访问的软件组件、访闯组件的方法以及找到相关服务发现方法， 解决了发现和激发永久服务的问题。o g s a 是符合标准的w e bs e r v i c e 框架的。 但是在网格中，大量的服务是临时服务，因此0 g s a 对w e bs e r v i c e 进行了扩展， 提出的是网格服务( g r i ds e r v i c e ) 的模仿，使得它可以支持临时服务实例，并且 能够支持创建和删除。 ( 3 ) 突破科技应用领域 正如w e