（计算机软件与理论专业论文）网格资源与作业管理技术的研究.pdf

西北工业大学硕士论文摘 要 摘要 网格是在计算机技术和网络技术发展到一定阶段提出的一种建立新型计算 平台的计算技术，它要整合广域网中分布的，动态的，异构的资源，实现充分 共享和各种资源之间厂 泛的协同 卜 作，从而建介 个巨大的虚拟超级计算机。 资源管理是网格的核心与 难点。木文试着探讨了网格的概念，分析了一 种重要 的网格体系结构:五层沙漏结构:在此基础上着重研究了网格的资源管理和作 业管理等相关内容。 在详细的阐述了资源管理中各种关键技术后，本文设计并实现了一种基于 训 算经济中拍卖模型的资源调度算法，该算法通过模拟现实生活中商品的拍卖 过程，从而实现网格用厂 公平合理的使用网格资源。该算法能够满足用户对作 业运行时间和花费预算的限制， 同时能满足不同用j ., 对时间和花费优化的需求; 在符合用户利益的基础上。最大化了网格资源拥有者的利润。通过在资源分配 过程中引入市场机制，能有效的促进网格发展，为资源提供者共享资源创造了 动机，并促使其提高资源的服务质量。文中还分析了算法的不足之处，提供了 改进的思路。 文章还利用g l o b u s 工具集和一个 基7 集群的木 地资 x管理系统s y m p h o n y 构造了一个网格系统原型，并提出了作业分层调度的恐想。通过对作业的次 或多次调度，解决了集群系统中单个管理节点造成的性能瓶颈问 匙，从而扩 一 展 了原有集群系统的应用规模并提高了作业运行的可靠性。原型系统实现了作业 的远程提交与管理功能。 此外文中 研究了s y m p h o n y 本地作业管理的工作原理， 并设计了一个测试程序，对整个系统进行性能分析 关键词:网格计算 资源管理 作业管理系统 资源分配 经济模型 西北工业大学硕士论文 abs t r ac t abs tract g r i d i s a n e w - t y p e c o m p u t i n g p l a t f o r m a n d t e c h n o l o g y d e v e l o p e d w i t h t h e c o m p u te r a n d n e t w o r k . i t e n a b l e s t h e s h a r i n g o f v a r io u s h e t e r o g e n e o u s r e s o u r c e s a n d c o o r d i n a t e d w o r k i n g o f g e o g r a p h i c a l l y d i s t r i b u t e d r e s o u r c e s , t h u s g r i d s e t u p a h u g e v i r tu a l s u p e r c o m p u t e r . r e s o u r c e s m a n a g e m e n t i s t h e c o r e a n d d i f f i c u l t y o f g r i d . t h i s th e s i s d i s c u s s e d t h e g r i d c o n c e p t , a n d i n t r o d u c e d a p o p u l a r g r i d a r c h i t e c t u r e : f iv e h o u r g l a s s e s m o d e l . o n t h i s b a s i s w e s t u d y e m p h a t i c a l l y t h e g r i d r e s o u r c e s m a n a g e m e n t t e c h n o l o g y , j o b m a n a g e m e n t t e c h n o l o g y , a n d s o o n t h i s p a p e r p r o p o s e d a r e s o u r c e a l l o c a t i o n a l g o r i t h m b a s e d a u c t i o n m o d e l , w h i c h i s a c o m p u t a t i o n a l e c o n o m y m o d e l . t h e a l g o r i t h m s i m u l a t e d t h e a u c t i o n o f r e a l l i f e , s o g r id u s e r s c a n u s e r e s o u r c e s f a i r l y a n d r a t i o n a l l y . t h i s a l g o r i t h m c a n m e e t d i ff e r e n t u s e r s d e m a n d s o f o p t im i z i n g r u n n i n g t i m e o r b u d g e t , a n d a t t h e s a m e t i m e m a x i m i z e t h e g r i d r e s o u r c e s o w n e r s p r o f i t . i t h e l p s g r i d t o d e v e l o p b y i n t r o d u c i n g i n t o m a r k e t m e c h a n i s m , a n d i n t h i s w a y r e s o u r c e p r o v i d e r s w i l l s u p p l y m o r e a n d b e t te r g r i d r e s o u r c e s . i n t h e a r t i c l e w e a l s o a n a l y z e d s h o rt c o m i n g s o f t h e a l g o r i t h m a n d p r o v i d e d s o l u t i o n s t o i m p r o v e i t . t h i s t h e s i s a l s o i n t ro d u c e d a l o c a l j o b m a n a g e m e n t s y s t e m b a s e d c l u s t e r , a n d t h e n u s e d g l o u b u s t o o l t o c o n s t r u c t a g r i d j ms p r o t o t y p e w h i c h s u p p l i e d t h i s c l u s t e r . t h i s g r i d p r o t o t y p e s y s t e m r e a l i z e d r e m o t e j o b s u b m i t t i n g a n d m a n a g e m e n t . t h e t h e s i s p r o p o s e d a m u l t i - l a y e r s j o b s c h e d u l i n g m e t h o d b y w h i c h j o b s f i r s t a r e s c h e d u l e d i n g r i d s y s t e m , a n d t h e n b e s u b m i t t e d t o l o c a l j ms f o r s e c o n d s c h e d u l i n g t h u s w e c a n e x p a n d t h e s c a l e o f c l u s t e r e a s i ly a n d s a v e m a n a g e r n o d e f r o m p e r f o r m a n c e b o t t l e n e c k p r o b l e m , b e c a u s e th e r e w a s o n l y o n e m a n a g e r n o d e i n c l u s t e r . a t l a s t w e d e s i g n e d a t e s t p r o g r a m u s e d t o a n a l y z e t h e p e r f o r m a n c e o f t h e s y s t e m. k e y wo r d : g r i d c o m p u t i n g , r e s o u r c e m a n a g e m e n t , j o b m a n a g e m e n t s y s t e m , r e s o u r c e a l l o c a t i o n , e c o n o m i c m o d e l 西北工业大学硕士论文第一章 绪论 第一章 绪论 需求总是计算机技术发展的动力。 虽然自从计算机问世以来，其性能已经提 高了8 0 亿倍，但应用的需求增长得更快。在经历了 超级计算机，集群计算等技 术之后，作为目 前越来越重要的计算机技术研究领域，网格成为一种关系科研、 经济、 社会、国防的重要国家基础设施， 在国内外引起了广泛的关注。网格计算 不仅在学术界、 研究领域进行着深入的研究与实验， 同时也得到了来自 产业界的 i t 公司的巨资支持与商业应用开发。 1 . 1网格计算概述 网格计算是伴随着互联网技术而迅速发展起来的， 是一种新兴的技术， 它正 处于萌芽后的迅速发展阶段。 近年来网 格的研究不断升温， 各种新思想、 新技术、 新观点不断的被提出。本节讨论了网格的概念，介绍了网格的研究现状。 i . 1 . 1网格概念 网格是新兴的技术， 对网格概念的界定至今仍没有定论， 许多研究网格的学 者和组织都有各自 不同的理解和定义， 并常常陷入网格概念的争论之中。 我们首 先看看为什么需要网格， 即在什么样的需求背景下提出了网格的概念。 然后给出 网格的一般性定义。 互联网技术发展到今天， 己经给人们的生活带来了巨大的变化，它为人们构 造了一条信息高速路。 但是，有人认为这条信息高速路的使用率只有i 0 % 。 这个 数据恐怕难以给出一个精确的结果， 但是计算机资源的利用率极其低下却是个不 争的事实。 一方面大量的计算机资源处于闲置状态， 而另一方面在科学与社会经 济的发展过程中，不断出现需要强大计算能力的应用问题。例如全球天气预报、 天文望远镜产生的数据处理、 流体力学的计算等等， 单个的计算机已远远不能满 足它们的需求。 于是产生了并行计算技术， 分布式计算技术， 集群技术等等， 但 是这些技术只能帮助人们使用有限的资源数量和资源种类， 仍有很多问题不能求 解。 网格通过互联网把世界上的各种计算资源集成在一起， 提供一种基于国际互 联网的新型计算平台， 为世界范围的用户提供使用资源的统一接口， 提供了共享 资源的机制。 进一步， 随着人们研究的目 标问题规模越来越大， 复杂科学问 题的解决需要 多学科领域、 各种研究方法、 多种工具与手段的协同努力; 社会生产也可以 通过 西北工业大学硕士论文第一章 绪论 第一章 绪论 需求总是计算机技术发展的动力。 虽然自从计算机问世以来，其性能已经提 高了8 0 亿倍，但应用的需求增长得更快。在经历了 超级计算机，集群计算等技 术之后，作为目 前越来越重要的计算机技术研究领域，网格成为一种关系科研、 经济、 社会、国防的重要国家基础设施， 在国内外引起了广泛的关注。网格计算 不仅在学术界、 研究领域进行着深入的研究与实验， 同时也得到了来自 产业界的 i t 公司的巨资支持与商业应用开发。 1 . 1网格计算概述 网格计算是伴随着互联网技术而迅速发展起来的， 是一种新兴的技术， 它正 处于萌芽后的迅速发展阶段。 近年来网 格的研究不断升温， 各种新思想、 新技术、 新观点不断的被提出。本节讨论了网格的概念，介绍了网格的研究现状。 i . 1 . 1网格概念 网格是新兴的技术， 对网格概念的界定至今仍没有定论， 许多研究网格的学 者和组织都有各自 不同的理解和定义， 并常常陷入网格概念的争论之中。 我们首 先看看为什么需要网格， 即在什么样的需求背景下提出了网格的概念。 然后给出 网格的一般性定义。 互联网技术发展到今天， 己经给人们的生活带来了巨大的变化，它为人们构 造了一条信息高速路。 但是，有人认为这条信息高速路的使用率只有i 0 % 。 这个 数据恐怕难以给出一个精确的结果， 但是计算机资源的利用率极其低下却是个不 争的事实。 一方面大量的计算机资源处于闲置状态， 而另一方面在科学与社会经 济的发展过程中，不断出现需要强大计算能力的应用问题。例如全球天气预报、 天文望远镜产生的数据处理、 流体力学的计算等等， 单个的计算机已远远不能满 足它们的需求。 于是产生了并行计算技术， 分布式计算技术， 集群技术等等， 但 是这些技术只能帮助人们使用有限的资源数量和资源种类， 仍有很多问题不能求 解。 网格通过互联网把世界上的各种计算资源集成在一起， 提供一种基于国际互 联网的新型计算平台， 为世界范围的用户提供使用资源的统一接口， 提供了共享 资源的机制。 进一步， 随着人们研究的目 标问题规模越来越大， 复杂科学问 题的解决需要 多学科领域、 各种研究方法、 多种工具与手段的协同努力; 社会生产也可以 通过 第一章 绪论西北工业大学硕士论文 分工合作来提高效率、 降低成本。 通过网格， 我们可以让各 种硬件和软件资源包 括人协同工作，共同解决某个问题。 过去人们只能使用自己拥有的资源或者建立了信任关系的群体所拥有的资 源。 而通过网格， 只要我们遵守它的规范就叮以按需使用网格上的任何资源， 而 不必知道资源的具体位置。 有一种观点认为， 网格作为一 种新的理念， 新的技术， 新的设施，将会成为互联网的下一个浪潮。 最初网格是通过类比电力网的概念而提出的， 在电力网中人们可以方便的使 用统一的电力资源，而无需知道电力来自 哪个发电厂，使用的是哪种形式发电， 通过了哪些传输网。 类似的。 网格是把地理位置上分散的计算机集成的一 种基础 设施， 用户可以方便的使用这个计算资源池， 而不必知道资源的具体细节就可以 按需使用。 虽然最初与电力网类比得到的网格概念局限于计算网格， 但现在人们 已经认识到网格资源可以包括计算机、 集群、仪器、设备、 传感器、数据、软件 甚至人等实体， 而且网格上的资源对于使用者是透明的。 网格成为了一个解决计 算密集、数据密集的大规模科学、工程和商业计算问题的平台。 网 格概念是在网格技术不断发展过程中变得越来越明确的。i a n f o s t e r是 美国g l o b u s 网格项目 的领导人， 他在1 9 9 8年出版的 网格:2 1世纪信息技术 基础设施的蓝图一书中这样描述网格: “ 网格是构筑在互联网上的一组新兴技 术， 它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一 体， 为科技人员和普通老百姓提供更多的资源、 功能和交互性。 互联网主要为人 们提供电子邮件、网页浏览等通信功能， 而网格功能则更多更强， 让人们透明地 使用计算、存储等其他资源。 ” 2 0 0 0年，工 a n f o s t e r在 网格的剖析这篇论 文中把网格进一步描述为“ 在动态变化的多个虚拟机构间共享资源和协同解决问 题。 ” 2 0 0 2年 7月，i a n f o s t e r在 什么是网 格?判断是否网 格的三个标准 一文中， 限定网格必须同时满足三个条件: ( 1 )在非集中控制的环境中协同使用 资源; 因为资源和使用者在不同控制域中， 网格必须保证节点高度自治. 资源可 以动态的加入或者撤出网格计算。( 2 ) 使用标准的、开放的和通用的协议和接口 ( i a n f o s t e r 认为目 前只有g l o b u s才算得上标准协议) ;这样，在异构的、多 厂家网格环境中， 开放资源和商业产品将能有效地交互操作， 否则， 只算一个具 体应用系统而非网格。( 3 )提供非平凡的服务; 资源是在网格系统的调度下利用 的，以提供多种服务质量，满足不同的用户需求。 这三个条件非常严格， 象p l a t f o r m s l o a d s h a r i n g f a c i l i t y , p 2 p , s u n g r i d e n g i n e , m u l t i c l u s t e r等都被排除在网 格之外。这样的网格概念应该是很清晰 了， 但仍有很多人不同意这个观点， 他们赞同广义的网格概念， 将p 2 p 等网络计 算模式包括了 进来。 不论是广义或者狭义的网格定义， 其目 的 和根本 特征都是广 泛的资源共享及协同工作。 因此我们可以把网格定义为把地理位置 七 分散的软件 西北工业大学硕士论文第一章绪论 和硬件资源集成一个有机整体的一种基础设施。 它既是分散的资源， 又是一个统 一的整体，或者说一个世界范围的计算机;网格技术就是一种力图把整个 工 n t e r n e t整合成一台巨大的超级虚拟计算机的新型通用基础支撑技术，为方便 用户使用而提供了一个平台。网格计算便是基于这个网格平台进行问题求解。 1 . 1 . 2网格技术与集群技术的比较 集群是一组相互独立的、通过高速网络互联的计算机， 他们构成了一个组， 作为一个整体对外提供单一镜像的计算资源。 集群技术已经发展了 很多年， 有众 多较为成熟的商业产品。 它们分别工作在多个层次， 如作业处理的负载均衡， 数 据库访问的负载均衡， w e b 流量的负载均衡。 集群的许多关键技术都是网格的基 础， 同是为满足不断增长的计算需求， 它们有着许多共同之处。 我们先回顾集群 的设计目 标， 然后看看网格自 身的特点。 一个具体的集群可能含有如下设计目 标 的一部分: . 单一系统映像:面对一个集群的时候，用户感受到的是一个系统， 例如具 有单一 i p地址、单一控制点、单一文件系统等。通过组合各节点上的操 作系统提供对系统资源的统一访问。 同样， 对于网 格用户来说， 用户感觉 到的只是一个巨大的超级虚拟计算机，网格系统屏蔽了资源的地理位置， 资源的管理和分配都对用户透明。 . 异构支持:集群的各个节点可以运行不同的操作系统，节点可以是 p c , 工作站，小型机等等。 . 高性能:强调计算能力， 缩短复杂计算问题的处理时间。高性能集群一般 采用并行算法和高速局域网。 高性能计算可以说是推动集群和网 格技术发 展的直接动力， 集群和网格的最初设计目标就是为了满足更大规模的计算 需求。 当今世界计算机t o p 5 0 0 强中就有3 0 % 采用的是集群系统。 当 集群不 能再无限扩张时 ( 指的是集群的规模在扩大到一定程度后己不能使性能成 比例地放大，也就是它的效率下降了，它的性价比会相应下降)产生了网 格计算的需要。但是限于当前互联网的带宽，网格高性能计算的应用会有 所限制。 . 容错:当集群中的某台服务器或应用程序发生预计之外的故障时，集群软 件迅速作出反应， 将该系统的任务分配到集群中其它正在工作的服务器上 执行，即 提供不中断( n o n - s t o p ) 的 服务。 在网 格中，如果某个计 算节点失 效了，同样需要及时发现，并在其它节点再生这个任务，而不能造成整个 应用的结果错误。 . 可扩展性:当总体的工作流量超出了一个集群中各系统的能力时，如果有 其它系统加入到该集群中，会使系统总体性能得以增强。 西北工业大学硕士论文第一章绪论 和硬件资源集成一个有机整体的一种基础设施。 它既是分散的资源， 又是一个统 一的整体，或者说一个世界范围的计算机;网格技术就是一种力图把整个 工 n t e r n e t整合成一台巨大的超级虚拟计算机的新型通用基础支撑技术，为方便 用户使用而提供了一个平台。网格计算便是基于这个网格平台进行问题求解。 1 . 1 . 2网格技术与集群技术的比较 集群是一组相互独立的、通过高速网络互联的计算机， 他们构成了一个组， 作为一个整体对外提供单一镜像的计算资源。 集群技术已经发展了 很多年， 有众 多较为成熟的商业产品。 它们分别工作在多个层次， 如作业处理的负载均衡， 数 据库访问的负载均衡， w e b 流量的负载均衡。 集群的许多关键技术都是网格的基 础， 同是为满足不断增长的计算需求， 它们有着许多共同之处。 我们先回顾集群 的设计目 标， 然后看看网格自 身的特点。 一个具体的集群可能含有如下设计目 标 的一部分: . 单一系统映像:面对一个集群的时候，用户感受到的是一个系统， 例如具 有单一 i p地址、单一控制点、单一文件系统等。通过组合各节点上的操 作系统提供对系统资源的统一访问。 同样， 对于网 格用户来说， 用户感觉 到的只是一个巨大的超级虚拟计算机，网格系统屏蔽了资源的地理位置， 资源的管理和分配都对用户透明。 . 异构支持:集群的各个节点可以运行不同的操作系统，节点可以是 p c , 工作站，小型机等等。 . 高性能:强调计算能力， 缩短复杂计算问题的处理时间。高性能集群一般 采用并行算法和高速局域网。 高性能计算可以说是推动集群和网 格技术发 展的直接动力， 集群和网格的最初设计目标就是为了满足更大规模的计算 需求。 当今世界计算机t o p 5 0 0 强中就有3 0 % 采用的是集群系统。 当 集群不 能再无限扩张时 ( 指的是集群的规模在扩大到一定程度后己不能使性能成 比例地放大，也就是它的效率下降了，它的性价比会相应下降)产生了网 格计算的需要。但是限于当前互联网的带宽，网格高性能计算的应用会有 所限制。 . 容错:当集群中的某台服务器或应用程序发生预计之外的故障时，集群软 件迅速作出反应， 将该系统的任务分配到集群中其它正在工作的服务器上 执行，即 提供不中断( n o n - s t o p ) 的 服务。 在网 格中，如果某个计 算节点失 效了，同样需要及时发现，并在其它节点再生这个任务，而不能造成整个 应用的结果错误。 . 可扩展性:当总体的工作流量超出了一个集群中各系统的能力时，如果有 其它系统加入到该集群中，会使系统总体性能得以增强。 第一章 绪论西北工业大学硕士论文 . 负载均衡:负载在集群中尽可能平均地分摊处理，充分利用集群内各节点 机的处理能力，提高对任务的处理效率。 . 资源与作业管理:集群管理系统必须维持各个节点的状态，从而为合理的 放置作业提供信息支持。 系统中可能不止一个作业在运行， 那么需要相应 的机制对作业进行排序， 任务分解和计算结果汇集。这属于分配和调 度问 题。 集群的以上关键特征在网格系统中均有表现。 只是集群适用于局域网， 而网 格要求的是广域的资源共享， 所涉及的资源种类复杂， 规模庞大， 跨越的地理范 围较广， 由于互联网的不稳定以及更普遍的异构等因素使得它在实现这些目 标时 将会面临更加复杂的问题。 局域网和广域网的区别只是集群与网格区别的高度概括，具体表现有: 1 .网格提供的是一种非集中式的控制环境，网格中的每个节点都有高度的自主 性。 网格上的资源首先属于其拥有者， 他对该资源具有最高级别的管理权限， 网 格应该允许资源拥有者自主决定加入或撤出共享的资源 ( 但一旦加入了网格， 就 要接受网格的统一管理) 。在这点上，集群中的各个节点必须由集群管理软件统 一管理，没有自主性. 2 .网格常处于动态的变化中。由于节点的自主性或者故障、网络拥塞等情况， 原有的资源可能会退出网格或者失效; 也可能随着时间的推移， 不断有新的资源 加入到网格之中来。 而不像集群系统， 资源相对要稳定得多。 但它们都需要采取 措施处理节点失效的情况， 例如任务的迁移等。 另外， 网格的动态性要求提高网 格的可扩展性，网格必须容易发现新的可用资源，并及时投入到任务计算之中。 3 .网格资源的异构和多样性。网格中有着不同体系结构的计算机系统和类别丰 富的资源。 因此网格必须解决异构资源之间的通信和互操作问题。 而集群系统一 般要么是同构的，要么仅解决了相对少量的异构问题。 4 .网格是基于互联网的广泛共享。为了使网格资源之间能够相互操作，标准化 就成了构建网格这个基础设施的前提条件。 而集群系统通常建立和使用在较小的 范围内， 没有标准可依， 使得不同集群管理系统的实现、 功能特点和应用面各不 相同。 总之， 相比 之下集群的规模要小得多， 网 格可以说 是集群的集群， 是跨地域 跨组织的。 网格涵盖的资源也不仅仅是计算机， 而是一种广泛的资源集成。 网格 也不是网络，因为网络上大部分资源难以利用， 不能很好的组织起来， 彼此之间 形成了资源的孤岛。 1 . 1 . 3网格的种类 网格在不同的应用领域中都形成了自己的风格， 例如科学研究网格、 军事网 第一章 绪论西北工业大学硕士论文 . 负载均衡:负载在集群中尽可能平均地分摊处理，充分利用集群内各节点 机的处理能力，提高对任务的处理效率。 . 资源与作业管理:集群管理系统必须维持各个节点的状态，从而为合理的 放置作业提供信息支持。 系统中可能不止一个作业在运行， 那么需要相应 的机制对作业进行排序， 任务分解和计算结果汇集。这属于分配和调 度问 题。 集群的以上关键特征在网格系统中均有表现。 只是集群适用于局域网， 而网 格要求的是广域的资源共享， 所涉及的资源种类复杂， 规模庞大， 跨越的地理范 围较广， 由于互联网的不稳定以及更普遍的异构等因素使得它在实现这些目 标时 将会面临更加复杂的问题。 局域网和广域网的区别只是集群与网格区别的高度概括，具体表现有: 1 .网格提供的是一种非集中式的控制环境，网格中的每个节点都有高度的自主 性。 网格上的资源首先属于其拥有者， 他对该资源具有最高级别的管理权限， 网 格应该允许资源拥有者自主决定加入或撤出共享的资源 ( 但一旦加入了网格， 就 要接受网格的统一管理) 。在这点上，集群中的各个节点必须由集群管理软件统 一管理，没有自主性. 2 .网格常处于动态的变化中。由于节点的自主性或者故障、网络拥塞等情况， 原有的资源可能会退出网格或者失效; 也可能随着时间的推移， 不断有新的资源 加入到网格之中来。 而不像集群系统， 资源相对要稳定得多。 但它们都需要采取 措施处理节点失效的情况， 例如任务的迁移等。 另外， 网格的动态性要求提高网 格的可扩展性，网格必须容易发现新的可用资源，并及时投入到任务计算之中。 3 .网格资源的异构和多样性。网格中有着不同体系结构的计算机系统和类别丰 富的资源。 因此网格必须解决异构资源之间的通信和互操作问题。 而集群系统一 般要么是同构的，要么仅解决了相对少量的异构问题。 4 .网格是基于互联网的广泛共享。为了使网格资源之间能够相互操作，标准化 就成了构建网格这个基础设施的前提条件。 而集群系统通常建立和使用在较小的 范围内， 没有标准可依， 使得不同集群管理系统的实现、 功能特点和应用面各不 相同。 总之， 相比 之下集群的规模要小得多， 网 格可以说 是集群的集群， 是跨地域 跨组织的。 网格涵盖的资源也不仅仅是计算机， 而是一种广泛的资源集成。 网格 也不是网络，因为网络上大部分资源难以利用， 不能很好的组织起来， 彼此之间 形成了资源的孤岛。 1 . 1 . 3网格的种类 网格在不同的应用领域中都形成了自己的风格， 例如科学研究网格、 军事网 西北工业大学硕士论文第一章绪论 格、 地球系统网格、 游戏网格、 教育网格等等， 但一些网格有相同的特点， 我们 可以把它们划分为类别。 网格有多种分类方法， 因为网格是一种规模庞大的系统， 我们可以站在不同的角度出发， 对网格进行分类。 这里我们按照网格资源的不同 对网格进行分类，按照问题求解的侧重点对网格计算进行分类。 网格强调的是广泛的资源共享， 根据资源种类的不同， 我们可以将网格划分 为: 计算网格， 其基本共享单位是计算资源; 数据网格， 其基本共享单位是数据， 主要解决数据连通和共享的问题; 设备网格， 其共享的基本单位是各种设备或者 仪器， 由于价格昂贵或者其它一些客观原因， 使得其数量较少或者地理位置距离 用户很远， 用户需要通过网格来使用它们; 服务网格， 其基本共享对象是封装好 了的服务， 这些服务可能构建在上面几种网格之上， 同时使用这几种网格， 但由 于服务仍然是可提供共享的一种基本资源元素， 我把它划分为一种基本的网格种 类。 根据网格计算侧重点的不同， 网格计算可分为分布式超级计算、 数据密集型 计算、 按需计算和协同计算四类计算模型。 分布式超级计算模型侧重在集聚可观 的计算资源， 来解决针对大型计算任务时， 常规单台计算机计算资源不足的问题。 利用网格计算技术， 把多台超级计算机连接在一起可以获得超过世界上规模最大 的超级计算机的计算性能。 数据密集型计算模型侧重在计算过程中合成来自 地理 分布的数据仓库、 数字图书馆和一般数据库的数据， 通常要求网格具有较高的吞 吐率。 例如现代天气预报系统， 就是大量采用数据同化方法， 合并遥感卫星的 观 测数据。 在这个过程中， 涉及海量的数据移动和处理。 按需计算模型侧重在于满 足计算任务的短期计算资源需求， 它关注的是性能价格比而不是绝对性能。 例如 某个用户在某个时间段内研究任务需要大量的计算资源， 如果为了完成这个研究 任务而购置超级计算机，对于用户来说是不经济的。因为之后很长一段时间内， 购置的超级计算机将处于闲置状态。 协同计算模型侧重在通过构造虚拟共享空间 以增强研究人员之间的交互， 从而共同求解某个问题。 根据具体问题它可能需要 分布式超级计算网格或者高吞吐率的网格或者其它类型的网格。 1 . 1 . 4网格的研究现状和发展趋势 网格的发展经历了三个阶段。 第一阶段是萌芽期， 开始于2 0 世纪9 0 年代早 期，主要是千兆网的实验床以及一些元计算实验;第二阶段是实验期，时间是 2 0 世纪9 0 年代中晚期，出现了一些开创性和奠基性的研究项目，比如i - w a y 项 目，学术性研究g l o b u s . l e g i o n以 及一 些 应用;第三阶段是迅速发展期，本世 纪以来， 出现了大量的计算服务网格研究和应用项目， 出现了影响很大的组织一 全球网格论坛g g f ( g l o b a l g r i d f o r u m ) ，致力于制定全球网格计算的标准和规 范。同时，网格计算也不再仅仅局限于科学研究，工业界与学术界联盟，正致力 西北工业大学硕士论文第一章绪论 格、 地球系统网格、 游戏网格、 教育网格等等， 但一些网格有相同的特点， 我们 可以把它们划分为类别。 网格有多种分类方法， 因为网格是一种规模庞大的系统， 我们可以站在不同的角度出发， 对网格进行分类。 这里我们按照网格资源的不同 对网格进行分类，按照问题求解的侧重点对网格计算进行分类。 网格强调的是广泛的资源共享， 根据资源种类的不同， 我们可以将网格划分 为: 计算网格， 其基本共享单位是计算资源; 数据网格， 其基本共享单位是数据， 主要解决数据连通和共享的问题; 设备网格， 其共享的基本单位是各种设备或者 仪器， 由于价格昂贵或者其它一些客观原因， 使得其数量较少或者地理位置距离 用户很远， 用户需要通过网格来使用它们; 服务网格， 其基本共享对象是封装好 了的服务， 这些服务可能构建在上面几种网格之上， 同时使用这几种网格， 但由 于服务仍然是可提供共享的一种基本资源元素， 我把它划分为一种基本的网格种 类。 根据网格计算侧重点的不同， 网格计算可分为分布式超级计算、 数据密集型 计算、 按需计算和协同计算四类计算模型。 分布式超级计算模型侧重在集聚可观 的计算资源， 来解决针对大型计算任务时， 常规单台计算机计算资源不足的问题。 利用网格计算技术， 把多台超级计算机连接在一起可以获得超过世界上规模最大 的超级计算机的计算性能。 数据密集型计算模型侧重在计算过程中合成来自 地理 分布的数据仓库、 数字图书馆和一般数据库的数据， 通常要求网格具有较高的吞 吐率。 例如现代天气预报系统， 就是大量采用数据同化方法， 合并遥感卫星的 观 测数据。 在这个过程中， 涉及海量的数据移动和处理。 按需计算模型侧重在于满 足计算任务的短期计算资源需求， 它关注的是性能价格比而不是绝对性能。 例如 某个用户在某个时间段内研究任务需要大量的计算资源， 如果为了完成这个研究 任务而购置超级计算机，对于用户来说是不经济的。因为之后很长一段时间内， 购置的超级计算机将处于闲置状态。 协同计算模型侧重在通过构造虚拟共享空间 以增强研究人员之间的交互， 从而共同求解某个问题。 根据具体问题它可能需要 分布式超级计算网格或者高吞吐率的网格或者其它类型的网格。 1 . 1 . 4网格的研究现状和发展趋势 网格的发展经历了三个阶段。 第一阶段是萌芽期， 开始于2 0 世纪9 0 年代早 期，主要是千兆网的实验床以及一些元计算实验;第二阶段是实验期，时间是 2 0 世纪9 0 年代中晚期，出现了一些开创性和奠基性的研究项目，比如i - w a y 项 目，学术性研究g l o b u s . l e g i o n以 及一 些 应用;第三阶段是迅速发展期，本世 纪以来， 出现了大量的计算服务网格研究和应用项目， 出现了影响很大的组织一 全球网格论坛g g f ( g l o b a l g r i d f o r u m ) ，致力于制定全球网格计算的标准和规 范。同时，网格计算也不再仅仅局限于科学研究，工业界与学术界联盟，正致力 第一章 绪论 西北工业大学硕士论文 于网格计算在更广泛的科学、工程和商业领域得到推广和应用。 目前，各国都投入了大量的资金进行网格技术研究和网格基础设施的建设。 许多科研机构和商业机构都意识到了网格技术的重要性， 在网格技术领域进行了 很大的投入，掀起了网格研究热潮并获得了大量的成果。以 i b m , o r a c l e , m i c r o s o f t 为代表的系统提供商，以s u n , e m c , h p , i n t e l 为代表的架构提供商， 以p l a t f o r m , a v a k : 为代表的中间件及应用提供商， 都已 针对网格开发相应的软 件。 虽然网格技术并不成熟， 但在一些科研和大型行业领域，已经进入网格系统 实际运行的阶段。 网格技术研究起源于美国的科研机构， 目前 它们的网格研究走在世界的最前 列， 开发t 像g l o b u s , c o n d o r 等非常有影响的软件和z具。 g l o b u s t具己 经得 到了广泛的使用， 是目 前网格计算的领头羊和事实标准， 它对全球的网格研究工 作起到了巨大的推动作用。 该项目最初是要开发一个面向科学计算领域的基本软 件基础设施， 从而把地理位置上分布的计算资源和信息资源集成起来。 它研究了 网格计算的关键理论，开发了支持网格计算的工具软件和应用程序。g l o b u s己 经发布了第三版， 实现了开放网格体系结构， 把计算网格和w e b 服务结合到了一 起。在2 0 0 5 年元月g l o b u s 即将发布第四版。 c o n d o r 是一个专用的计算密集型 负载管理系统，提供资源/ 作业管理功能。当用户向c o n d o r 提交自己的作业后， c o n d o r依据策略选择合适的时间在合适的节点上运行作业。其它代表性研究工 作有“ 国家技术网格( n t g ) , “ 分布万亿次级计算设施( d t f ) ” 、 美国宇航局的i d g , 美国能源部的 a s c i g r i d ,美国国防部网格计划“ 全球信息网格”( g l o b a l i n f o r m a t i o n g r i d ) 。欧洲也是网 格研究和建设的活跃地区，欧洲网格和数据网 格是由 许多国家参加的大型项目。欧洲网格的基本目 标是建立一个安全、 简单、 能透明访问欧洲范围内信息资源的平台。 参加机构主要是欧洲的一些主要大学和 计算中心，以及航空、 天文、高能物理等应用领域的机构或者组织。 欧洲数据网 格是欧盟支持的一个项目， 目 标是建设提供计算强度和共享规模巨大的分布式数 据库，为下一代计算建立基础设施。 研究内容涉及中间件、 基础设施、应用和管 理四个方面。它把许多国家的各学科研究与开发人员结合在一起。 在我国， 建立网格基础设施的条件还不够成熟， 但以中国科学院计算技术研 究所为代表的科研机构对网格技术开展了深入的 研究。 目 前中国正在进行的网格 研究项目 有: 8 6 3计划支持的国家高性能计算环境计算网格的建设， 有多家 单位参加。 它主要研制网格系统软件和开发网格应用， 开发一套具有自 主知识产 权的网格软件: “ 中国教育科研网格”由中国教育部2 0 0 3 年十月份启动， 将连接 国内上百所高等院校，主要研究基于网格核心中间件的网格服务支撑平台; “ 仿 真网格”的研究由航天二院和清华大学共同开展; “ 织女星网格”由中科院计算 所开发， 侧重于计算网格和信息网格。另外， 全国还有几十所大学和研究机构己 西北工业大学硕士论文第一章绪论 经开展各种网格研究。可以看出，网格研究在国内得到高度重视并迅速展开。 我们再看看网格技术未来的发展趋势。 一方面为了实现网格资源间的相互操作。 从而实现广泛的资源共享， 要求资 源之间具有统一的访问接口:另一方面为了方便用户使用， 屏蔽资源的细节， 必 须提供给用户一个统一的界面: 因此标准化将是网格的一个发展趋势。 标准化有 利于规范和统一目前大量的网格技术研究。 网格技术的应用也发生了很大的变化， 网格正从以科学计算为主， 向市场更 大和应用面更宽方向发展。信息集成 ( 如信息网格、 服务网格、知识网格等) 将 是最近几年网格最可能流行起来的应用方向。 2 0 0 2 年2 月2 0日， g l o b u s 联盟和 i b m在全球网格论坛上发布了 开放性网格服务架构 o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e )及其详细规范 o g s i ( o p e n g r i d s e r v i c e s i n f r a s t r u c t u r e ) , 把g l o b u s 标准与支持商用的w e b s e r v i c e s 的标准结合起来。 2 0 0 4 年 1 月2 0日， g l o b u s 联盟、i b m 和h p 等又联合发布了 新的网格标准草案w s r f ( w e b s e r v i c e s r e s o u r c e f r a m e w o r k ) ，干脆把o g s i 转换成了6 个用于扩展w e b s e r v i c e s 的规 范。 这时，网格服务已经与w e b 服务彻底融为一体了。 这标志着网格已经调整好 方向， 将信息集成作为第一目 标了。 这一进步， 标志着网格商用化的时代将要来 临。 此外网格技术本身的重点将集中在网格系统软件和工具软件的研究与实现 上，作为未来网络的基础设施，我们需要开发大量的网格软件来支撑网格环境。 网格系统软件仍存在大量问题需要妥善解决。 1 . 2网格的资源与作业管理 网格计算必备的三个基本功能是: 任务管理、 任务调度和资源管理。 许多情 况下把任务管理又叫做作业管理。 这里我们把任务管理和任务调度统称为作业管 理。 资源与作业管理的好坏决定了网格系统性能的好坏， 它们是网格系统的核心 与难点。 1 . 2 - 1资源与作业管理的概念 作业是用户在一次计算过程中， 或者一次事务处理过程中， 要求计算机系统 ( 网格系统) 所做工作的总称。作业包括程序、数据、作业说明书等。作业说明 书描述了作业步骤之间的关系、 需要使用的资源种类和数量。 网格根据作业描述 为用户透明的选择合适的物理资源， 传送程序和数据执行作业。 执行过程中， 用 户可以 通过网格的作业管理功能查询作业状态， 并进行适当的控制。 作业执行完 毕后网格需要向用户返回结果。一个最简单的作业例子是某个程序的一次执行。 西北工业大学硕士论文第一章绪论 经开展各种网格研究。可以看出，网格研究在国内得到高度重视并迅速展开。 我们再看看网格技术未来的发展趋势。 一方面为了实现网格资源间的相互操作。 从而实现广泛的资源共享， 要求资 源之间具有统一的访问接口:另一方面为了方便用户使用， 屏蔽资源的细节， 必 须提供给用户一个统一的界面: 因此标准化将是网格的一个发展趋势。 标准化有 利于规范和统一目前大量的网格技术研究。 网格技术的应用也发生了很大的变化， 网格正从以科学计算为主， 向市场更 大和应用面更宽方向发展。信息集成 ( 如信息网格、 服务网格、知识网格等) 将 是最近几年网格最可能流行起来的应用方向。 2 0 0 2 年2 月2 0日， g l o b u s 联盟和 i b m在全球网格论坛上发布了 开放性网格服务架构 o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e )及其详细规范 o g s i ( o p e n g r i d s e r v i c e s i n f r a s t r u c t u r e ) , 把g l o b u s 标准与支持商用的w e b s e r v i c e s 的标准结合起来。 2 0 0 4 年 1 月2 0日， g l o b u s 联盟、i b m 和h p