（计算机科学与技术专业论文）网格环境下的资源管理技术研究.pdf

国防科学技术大学研究生院学位论文 摘要 在网格环境里如何有效地管理资源和调度计算是影响网格计算是否成功的最重要因 素之一。由于资源在广域上分白、本质上异构、由不同的个人或组织拥有、有不同的存取 和花费模式、负载和可用性动态变化等特性，使得网格环境下的资源管理十分复杂和具有 挑战性。 本文首先介绍了网格计算环境下对资源管理的具体要求以及资源管理的主要功能， 概括了网格资源管理系统的抽象模型。并对目前主要的网格资源管理系统进行了分析。接 着介绍了网格计算环境下的资源管理系统的计算经济模型，概括了网格资源管理系统使用 经济模型的优点，给出了基于计算经济的网格资源管理的理论模型，还总结了资源管理中 几个常见的经济模型。 本文的主要贡献就是把经济学理论引入到网格计算中来，对网格资源管理拍卖机制 中的个体竞价策略进行了研究，并通过引入预算公式和效用函数和来描述用户的偏好。最 后，对此模型利用网格仿真工具进行了验证，得到较好的预想结果。 关键字：网格，资源管理，计算经济，拍卖机制 国防科学技术大学研究生院学位论文 a b s t r a c t i ti sv e r yi m p o r t a n tt om a n a g er e s o u r c e sa n ds c h e d u l et a s k si ng r i ds y s t e m e f f e c t i v e l y t h e g r i dr e s o u r c e si n c l u d em a n yf e a t u r e ss u c ha sd i s t r i b u t i o ni nw i d eb r e a ，h e t e r o g e n e i t y ，o w n e db y d i f f e r e n tp e r s o n so ro r g a n i z a t i o n s ，d i f f e r e n ta c c e s sa n dc o n s u m em o d e l ，d y n a m i co fb a l a n c e ，e t c t h e r e f o r e ，t h er e s o u r c em a n a g e m e n tb e c o m e si n c r e a s i n g l yc o m p l e x t h i sp a p e rt a l k sa b o u tt h er e q u i r e m e n t sa n df u n c t i o n so fr e s o u r c em a n a g e m e n ti n 蛳d e n v i r o n m e n ta n dp r e s e n ta na b s t r a c tm o d e la b o u tr e s o u r c em a n a g e m e n t t h em a i ng r i dr e s o u r c e m a n a g e m e n ts y s t e m sa r el i s t e d t h e n t h ec o m p u t i n ge c o n o m ym o d e lo fr e s o u r c em a n a g e m e n t i si n t r o d u c e di n t ot h e 鲥de n v i r o n m e n t w ed e s c r i b et h ea d v a n t a g e so fu s i n g c o m p u t i n g e c o n o m yi nt h eg r i da n dp r e s e n tg r i dr e s o u r c em a n a g e m e n tt h e o r ym o d e lb a s e dc o m p u t i n g e c o n o m y t h ei n t r o d u c t i o no ft h ee c o n o m i ct h e o r yi n t ot h eg r i dc o m p u t i n gi sam a i nc o n t r i b u t i o no f t h i sp a p e r t h ei n d i v i d u a lc o m p e t i t i o np o l i c yo ft h ea u c t i o nm e c h a n i s mo fg r i dr e s o u r c ew a s s t u d i e di nt h i sp a p e r t h ep r e f e r e n c eo fu s e rw a sp r e s e n t e d b yb u d g e tf o r m u l aa n du t i l i t y f u n c t i o n a tl a s t ，t h em o d e lw a sp r o v e da sp r e d i c tb yg r i ds i m u l a t i o nt 0 0 1 ： k e y w o r d s ：g r i d ，r e s o u r c em a n a g e m e n t ，c o m p u t i n ge c o n o m y , a u c t i o nm o d e l 图目录 图i 一1 与网格计算相关的术语之间的关系图9 图卜2 五层沙漏结构1 0 图卜3 网格服务的简单描述1 i 图2 一i 资源管理系统环境1 5 图2 2 资源管理系统抽象模型1 6 图2 3 机器组织模式一2 0 图2 - 4 资源名字空间组织2 1 图2 5 资源信息存储组织2 1 图2 6 状态估计机制2 3 图2 7 调度策略2 4 图3 - i 角色关系图3 3 图4 - i 冯诺伊曼和摩根斯坦恩效用函数4 3 图4 2 拍卖关系图4 6 图4 3 拍卖机制框架j 4 7 图4 - 4 资源代理j 框图4 8 图4 5 用户代理i 的框图4 9 图4 - 6 竞价策略流程图5 1 图4 7 简单扩展博弈树状图5 5 图5 一i 系统架构图6 0 图5 2 系统用例图6 i 图5 3a c t i v i t yd i a g r a mf o rg e m 6 l 图5 4t h es e q u e n c ed i a g r a mf o rr e s o u r c ea g e n t 6 3 图5 5 消息类继承关系图6 3 图5 - 6 平均预算因子z 对全部作业完成时间的影响6 6 图5 7 平均预算因子 对平均成交价格的影响6 7 图5 8 平均冒险因子d 对全部作业完成时间的影响6 7 图5 9 平均冒险因予d 对平均价格水平的影响6 8 国防科学技术大学研究生院学位论文 表目录 表卜1 各种计算技术比较 表2 1 典型网格项目的资源管理系统 表4 1 拍卖的类型 表5 一l 用户随机序列 表5 - 2 资源随机序列 8 2 5 4 1 6 4 6 5 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材抖。与我一同工作的同志对袁研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：匦整巫境至曲资翌筻堡垫盎盈窒 学位论文作者签名： 牵连澹 日期：2 西j 年户上1 t - 甘 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：旦整巫埴王尥逢置筻堡拯盔盟窒 学位论文作者签名： 茅晦寺 作者指导教师签名：至! 垩 日期：2 0 0r 年1 月，日 日期：p 厂年，厶月厂日 国防科学技术人学研究生院学位论文 绪论 1 1 课题研究背景 i n t e m e t 的产生与发展，对人们的思维方式、工作模式以及生活理念都产生了巨大的 影响与冲击。以e m a i l 为主要应用的第一代i n t e m e t 把遍布于世界各地的计算机用t c p 1 p 协议连接在一起；第二代i n t e m e t 则通过w e b 信息浏览及电子商务应用等信息服务，实现 了全球网页的连通；第三代i n t e m e t 将“试图实现互联网上所有资源的全面连通，包括计 算资源、存储资源、通信资源、软件资源、信息资源、知识资源等”，这就是网格计算y l 2 1 ( g i r d c o m p u t i n g ) 。网格计算是一种建立在网格基础设施之上，与以往不同的计算方式，它使人 们可以以一种全新的、更自由和更方便的方式使用计算资源，解决更复杂的问题。 网格就是一个集成的资源环境，或者说是一个资源池。网格能够充分吸纳各种资源， 并将它们转化成一种随处可得的、可靠的、标准的同时还是经济的能力。这里的资源是指 网络上能够被共享和利用的任何能力，包括传统意义上的物理资源，如计算资源、带宽资 源、存储资源、仪器设备等，也包括虚拟的服务，如数据库、数据传输、仿真等应用。网 格扩展了以前十分有限的能力。在网格的支持下，人们可以方便的使用大型机、计算机集 群和并行计算机来完成许多以前无法想象和无法完成的工作。其次，网格突破了地理位置 的限制，资源的提供者和使用者完全位置无关。最后，也是非常重要的一点就是，网格打 破了传统的共享和协作的限制。过去对资源的共享往往停留在数据文件传输的层次，而网 格资源的共享允许对资源进行直接的控制。 网格资源管理是网格的核心组件，其核心功能是识别资源需求、匹配和分配资源、调 度和监视资源，从而尽可能高效地利用资源。网格资源管理与传统资源管理的目标都是高 效、合理地利用资源，且都具有并发性、共享性和随机性的特点，但他们之间有着很大的 不同。根本区别在于网格资源具有广域分布性、异构性和动态性。传统的资源管理系统在 单台计算机或小规模局域网范围内，对资源有完全的控制，故可在与外界隔离的情况下实 现高效的管理机制和调度策略。而网格资源管理是在开放的广域网内考虑，对资源无完全 的控制，对资源的状态变化不可预料，且异构的资源大大复杂化了资源管理任务。这使得 传统的资源管理工具无法胜任网格环境下的资源管理与调度任务。网格环境下资源管理系 统的最大特点是虚拟化与协同使用广域分布和异构的资源。 网格环境下的资源管理具有如下特性： ( 1 ) 资源的分布自治性。资源跨多个管理域，地理上分布、自治，规模庞大。 ( 2 ) 资源的异构性。资源的种类多，有不同的类型和不同的性能特征，相比于传统的资源 管理系统，其异构性更强。 第l 页 国防科学技术大学研究生院学位论文 ( 3 ) 技术的多样性。资源属于不同的机构，不同的机构对资源有不同的使用、调度策略 和安全机制。 ( 4 ) 参与者目标的不一致性。参与者众多，且资源使用者与资源提供者有不一致甚至矛 盾的目标、目的、策略和需求模式。 ( 5 ) 动态性与自适应性。用户需求和资源状态动态变化。资源提供者与资源消费者的 身份、需求可能发生变化，资源信息具有不确定性，资源的配置和能力也在动态变化。 ( 6 ) 资源的协同性。很多网格任务需要跨域协同分配多个资源。 针对网格资源管理技术的相关研究已有很多，但这些研究大多侧重于解决如何共享分 布的异构资源，尤其是计算资源的问题，对于如何满足网格计算环境的动态性，可伸缩性 和可扩展性等需求，则要么考虑不足，要么其实现缺乏灵活性，且大多数不是面向服务的， 也未考虑对遗留系统的支持，不能很好地适应网格计算目前向商业领域发展的趋势。因此， 有必要研究更加灵活、通用的资源管理模型。 网格资源管理系统的设计需要解决以下问题： 如何描述资源信息? 怎样对资源信息进行组织和管理? 网格计算环境中的资源类型 多种多样，本身具有各种属性，资源状态以及所处的环境都随时可能发生变化。因此，怎 样用统一的方式对来自动态的自治资源的信息进行描述、分类，并在此基础上组织，以屏 蔽资源的异构性和动态性，是资源管理必须考虑的问题。 资源管理采用集中式架构还是分布式架构? 集中和分布方法各有其优缺点。网格计算 环境是由跨多个组织，每个组织采用不同的管理策略的自治域共同组成的，如何根据这一 特性选择合适的系统架构，并使得其对资源的提供方和使用方透明是很重要的。 如何在整个网格计算环境中发现状态和位置都随时可能变化的资源? 怎样表达不同 客户对同一资源不同的个性化需求? 一方面，要定位某个资源，它必须具有一个唯一的全 局标识符，然而，提供服务的资源位置却可能发生变化，资源管理必须解决这一矛盾；另 一方面，由于不同客户要求的服务质量，例如作业的截止期，服务的性价比等各不相同， 因此，资源信息的数据模型和查询机制必须足够灵活，并具有充分的可扩展性，可适应范 围广泛的分布系统部署模型，表达不同客户从简单到复杂的各种服务质量要求。 资源管理如何支持异构系统之间的互操作性，屏蔽不同自治域的差异? 如何利用大量 遗留系统中的现有服务? 考虑到目前网格计算技术i 卜从最早共享超级计算机作大规模科 学计算逐步扩展到商业应用领域，因而不能忽略商业应用需要考虑的问题，例如兼容遗留 系统和保证服务质量等。显然，要使网格计算技术得到普及，必须采用符合标准、开放、 简单且功能强大的技术，并且可保护用户原有的投资。另外，网络资源管理系统也必须支 持容错性和安全性。 第2 页 国防科学技术大学研究生院学位论文 微观经济学的一个主要思想是，自由交易往往使资源得到最充分的利用。如何更有效 地管理训度资源，从而最大限度地实现资源的潜在价值，是本课题引入经济学方法的依据。 通过在消费者和资源之问建立市场机制，利用价格杠杆来调节用户需求和控制资源分配， 能够优化系统效率和提高消费者满意度。 1 2 网格技术综述 1 2 1 网格的现状及前景 网格计算是伴随着互联网而迅速发展起柬的，专门针对复杂科学计算的新型计算模 式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计 算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节 点”组成的“一张网格”，所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级 计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能 力。网格计算其基础设施一定是基于i p 协议的宽带数字通信网络，它将改变传统的 c l i e n t s e r v e r 和c l i e n v c l u s t e r 结构，形成新的p e r v a s i v e g r i d 体系结构，这种体系结构将 使得用户把整个网络视为一个巨大的计算机，并从中享受一体化的、动态变化的、可灵活 控制的、智能的、协作式信息服务。目前，网格计算不仅在学术界、研究领域进行着深入 的研究与实验，同时也得到了来自产业界诸如i b m ，i i p ，m i c r o s o f t ，n t t ，i n t e l ，s g i 和s u n 等各大公司的巨资支持与商、k 应用开发。 狭义的网格一般被称为计算网格，即主要用于解决科学与工程计算问题的网格。狭义 的网格定义中的网格资源主要是指分布的计算机资源，而网格计算就是指将分布的计算机 组织起来协同解决复杂的科学与工程计算问题。实际上，网格计算是分布式计算 ( d i s t r i b u t e dc o m p u t i n g ) 一种，如果我们说某项工作是分布式的，那么，参与这项工作的 一定不只是一台计算机，而是一个计算机网络，显然这种“蚂蚁搬山”的方式将具有很强 的数据处理能力。 根据求解问题的特点，人们又提出了多种名称的网格，比如以数据密集型问题的处理 为核心的数据网格，以解决科学问题为核心的科学网格，以地球系统模犁问题求解为核心 的地球系统网格。此外还有地震网格、军事网格等等。 那种认为网格就是仅仅通过网络把计算机、人、仪器、数据等连接起来的观点是过时 的，它过分强调了物理的网络和离散的网格资源，而没有把他们作为一个有机的统一整体 来看待。另外一种观点就是把网格作为中间件系统。这种观点也是不全面的。中间件的确 在网格中占有很重要的地位，但是网格绝不仅仅只是中间件。这两种观点都存在一定的片 面性，第一种观点是过分强调网格上物理资源组成，第二种观点过分强调网格逻辑上的功 能，只有将两者结合起来才是完整的网格系统。物理资源本身和对资源的管理与逻辑上的 抽象都是十分重要的，而且两者也是密不可分的，它们是网格环境的两大核心组成要素。 第3 页 国防科学技术人学研究生院学位论文 1 2 1 1 网格发展的现状 ( 1 ) 我国网格研究现状 早在2 0 0 0 年，教育部就支持清华大学教授、上海大学计算机学院院长李三立院士进 行先进计算基础设施a c i 北京上海试点工程，取得阶段性成果。教育部希望百所重点高 校拥有千亿次级别的高性能计算机，以提高科研水平。在这个基础上，建设一个履盖全国 主要高校的网格是水到渠成的事。 2 0 0 2 年4 月5 日至6 日，科技部召开了“网格战略研讨会”，确认将网格的研究和应 用列为“6 3 计划”的一个专项，随即成立了专项专家组。8 6 3 网格专项投资高达3 亿，主 要任务是研制面向网格的万亿次级高性能计算机、具有数万亿次聚合计算能力的高性能计 算环境；开发具有自主知识产权的网格软件；建设科学研究、经济建设、社会发展和国防 建设急需的重要应用网格；制定若干与网格相关的国家标准，参与制定国际标准。 目前f 在进行的网格研究项目有： 8 6 3 计划支持的“中国网格( c h i n a g r i d l ”建设，有多家单位参加。 “中国教育科研网格”，国内多所2 l l 大学工程参加。 ? “仿真网格”的研究，由航天二院和清华大学共同开展。 “织女星网格”，由中科院计算所领衔开发。 另外，全国还有几十所大学和研究机构己经开展各种网格研究。 目前，我国已经完成的网格研究项目主要有清华大学的先进计算基础设施 a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计算为主的国家高性能计算环境 n h p c e ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) a ( 2 ) 国外网格研究现状 目前，网格的研究主要在美国和欧洲。美国能源部d o e 支持的科学网格( s c i e n c eg r i d ) 用6 2 2 m b p s 的e s n e 网格连接了能源部的两台超级计算机，计算能力达到每秒5 万亿次， 存储能力达到1 3 千万亿字节。美国国家科学基金n s f 支持的t e i a g r i d 将连接五个不同 地方的超级计算机达到每秒2 0 万亿次的计算能力，并能存储和处理近1 千万亿字节的数 据。t e r a g r i d 最大特色是连接网格的专用网络带宽将达到惊人的4 0 g b p s 。t e m g r i d 项目 始于2 0 0 1 年8 月，由n s f 投资5 3 0 0 万美元，次年1 0 月又追加3 5 0 0 万美元。美国物理 网格g r i p h y n ( g f i dp h y s i c sn e t w o r k ) 计划建立每秒千万亿次级别的计算平台，用于数据密 集型计算。美国军方正在实旋的全球信息网格g i g ( g l o b a li n f o r m a t i o ng r i d ) 预计在2 0 2 0 年完成。 英国政府宣布投资1 亿英镑用以研发英国国家网格u kn a t i o n a lg r i d ，欧洲还有 d a t a g r i d 、u n i c o r e 、m o l 等网格研究项目正在开展。其中，d a t a g f i d 涉及到欧盟的 第4 页 国防科学技术大学研究生院学位论文 2 0 几个国家，是一种典型的大科学应用平台。 日本n t t 数据公司联合l u t e l 、s g i 等在2 0 0 2 年中期开展了为期6 个月的网格计算试 验，试验连接日本家庭、企业和学术机构的1 0 0 万台p c 集合，处理能力达到每秒6 5 万 亿次浮点运算。2 0 0 2 年1 1 月，日本产业技术综合研究所网格计算研究中心宣布，在由多 台个人电脑通过网络连接组成网格计算环境下实现了日美之间创纪录的7 0 7 m b p s 的数据 传输。 1 2 1 2 网格研究的前景 1 、标准化趋势 就像i n t e m e t 需要依赖t c p i p 协议一样，网格也需要依赖标准协议才能共享和互通。 目前，包括全球网格论坛g g f 3 i ( g l o b a lg r i df o r u m ) 、对象管理组织o m g 4 ( o b j e c t m a n a g e m e n tg r o u p ) ，环球网联盟w 3 c t 5 ( w o r l dw i d ew e bc o n s o r t i u m ) 以及g l o b u s 项目组 在内的诸多团体都试图争夺网格标准的制定权。 2 0 0 2 年2 月，在加拿大多伦多市召开的全球网格论坛g g f 会议上，g l o b u s 项目组和 i b m 共同倡议了一个全新的网格标准o g s a 。o g s a 叫做开放网格服务体系( o p e ng r i d s e r v i c e sa r c h i t e c t u r e ) ，它把g l o b u s 标准与以商用为主的w e bs e r v i c e s 的标准结合起来， 网格服务统一以s e r v i c e s 的方式对外界提供。o g s a 的诞生，标志着网格己经从学术界的 象牙塔延伸到了商业世界中，而且从一个封闭的世界走向了开放的环境中。 o g s a 从一诞生，就得到业界的广泛支持，像微软、p l a t f o r mc o m p u t i n g ( - - 家分布式 计算软件公司) 、a w a k i ( 商用网格解决方案提供商) 、e n t r o p i a ( 基于p c 的分布式计算网格 技术提供商) 等从一开始就宣传支持o g s a 。到目前为止，o g s a 己被广为接受，几乎所 有的业界同仁都认为它就是网格的未来。由于o g s a 是在g g f 会议上提出来的，g g f 也就顺理成章地成为o g s a 标准化进程的领头羊。目前，g g f 有4 个研究组负责与o g s a 相关的标准制定工作：开放网格服务体系结构工作组o g s a w g 、开放网格服务基础设旌 工作组o g s a w g 、开放网格服务体系结构安全工作组o g s a - s e c w g 和数据库访问和 集成服务工作组o g s a - d a i s w g 。 2 0 0 3 年1 月1 3 同，符合o g s a 规范的g l o b u s t o o l k i t3 0 a l p h a 版己经在第一届g l o b u s w o r l d 会议上发布，预计正式版在2 0 0 3 年上半年就能发布。这标志着o g s a 己经从一种 理念、一种体系结构，走到付诸实践的阶段了。 2 、技术融合趋势 在o g s a 出现之前，己经出现很多种用于分布式计算的技术和产品。例如，1 9 8 7 年， s u n 公司就推出了开放网络计算( o p e n n e t w o r k c o m p u t i n g ) ，1 9 8 9 年分别出现了o s f 的 d c e 和对象管理集团o m g 的c o r b a ，1 9 9 6 年微软推出了d c o m 。这些机制互不兼容， 严重到了同一家公司的产品都不兼容的程度。例如，从1 9 9 7 年开始，微软开始推动基于 x m l 的分布式计算( 通过建构在h t t p 之上的远程过程调用r p c 实现) ，而这又与d c o m 第5 页 国防科学技术大学研究生院学位论文 的做法相冲突。其实，在o g s a 出现之前，各种以填补异构平台之间的差异为己任的网 格平台，如c o n d o r ，l e g i o n ，n i n f , g l o b u s 等，也都是各行其道、互不兼容的。 上世纪9 0 年代末，让人扼腕叹息的混乱局面终于有望结束，因为此时基于x m l 的 w e bs e r v i c e s 技术开始大行其道。w e bs e r v i c e s 之所以能够迅速走红，是因为它在各种异 构平台之上构筑了一层通用的、与平台无关的信息和服务交换设施，从而屏蔽了互联网中 千差万别的差异，使信息和服务畅通无阻地在计算机之间流动。w e bs e r v i c e s 得到了各大 公司的支持，解决方案精彩纷呈，包括i b m 的w e b s p h e r e ，微软的n e t ，s u n 的s u n o n e ， o r a c l e 的o r a c l e 9 i ，惠普的e s p e a k ，等等。 g l o b u s 项目组看到w 曲s e r v i c e s 的巨大潜力，在2 0 0 2 年迅速将g l o b u st o o l k i t 的开发 转向了w e bs e r v i c e s 平台，试图用o g s a 在网格世界一统天下。基于o g s a 之后，网格 的一切对外功能都以网格服务( g r i ds e r v i c e ) 来体现，并借助一些现成的、与平台无关的技 术，如x m l 、s o a p 、w s d l 、u d d i 、w s f l 、w s e l 等，来实现对这些服务的描述、查 找、访问和信息传输等功能。这样，一切平台及所使用技术的异构性都被屏蔽。用户访问 网格服务时，根本就无需关心该服务是c o r b a 提供的，还是n e t 提供的。 3 、大型化趋势 美国政府单在网格技术的基础研究上，每年投入的经费就高达5 亿美元。美国军方正 在实施的全球信息网格g i g ( g l o b a li n f o r m a t i o ng r i d ) 虽然没有专项经费，但美国国防部每 年在信息技术上的投资高达2 2 0 亿美元，g i g 的经费存在于其中的各种项目中。美国政 府电子信息技术协会的一位负责人预测，到2 0 0 6 年，g i g 有可能成为五角大楼的最大投 资项目。 不仅美国政府对网格作了巨大投资，公司也不甘示弱。i b m 在2 0 0 1 年8 月宣布，将 投入4 0 多亿美元进行“网格计算创新计划”( g r i dc o m p u t i n gi n i t i a t i v e ) ，全面支持网格计 算。m m 这一招已经见效，它不仅成为g l o b u s 的首席合作伙伴，还成为o g s a 标准的制 定者之一。由于掌控了制高点，i b m 己经开始从网格研究中取得回报。它不仅是d o e 科 学网格的主要承包商，还得到英国国家网格的青睐。 欧洲和日本也都在网格研究项目上投入了巨大的资金。甚至，连印度都启动了建设国 家网格计划。我国也奋起直追，仅2 0 0 2 年公布的8 6 3 网格专项，就拨出了上亿元的资金 用于c h i n ag r i d 相关的研究。 尽管网格技术还远不如互联网和w e b 技术那么成熟，但已经在一些公司和研究所进入 了使用或试验阶段。美国能源部的山地亚国家实验室最近宣布，他们的“先进战略计算创 新计划网格( a s c ig r i d ) ”主要用于核武器研究。美国国防部和欧洲能源机构等都在两三 年前先后开始采用网格技术。i b m 公司部署了一个内部研究网格，以便于分散在美国、 以色列、瑞士等地的i b m 研究人员共享计算资源。医药、化工、通信、电子、汽车等领 域的一些大公司，如辉瑞、爱立信、日立、宝马、联合利华、葛兰素威康、史克必成等， 第6 页 国防科学技术大学研究生院学位论文 都已经开始构造和使用内部网格。 1 2 2 网格计算的基本概念 1 2 2 1 网格的定义 尽管网格及网格计算已成为全球计算机科学与技术研究的一个热点，但是关于它的定 义仍然没有一个确定的说法。网格计算的主要创始人i a nf o s t e r 这样定义网格：“网格是 构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、 远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和交互性。互联网 主要为人们提供电子邮件、网页浏览等通信功能，而网格功能则更多更强，让人们透明地 使用计算、存储等其他资源。”简单地讲，网格就是把整个网络上的资源集成为一台巨大 的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源、 设备资源的全面共享，为用户提供一体化信息服务，因此其核心思想是“整个因特网就是 一台计算机”。网格的根本特征不是它的规模，而是资源共享，消除资源孤岛。资源共享 的含义包括两个方面，一是不同的时间段不同的用户或应用程序分时使用同一个资源，另 一是同一个用户或应用程序同时使用多个资源。 2 0 0 2 年7 月，i a nf o s t e r 提出网格必须同时满足三个条件【6 j ： ( 1 ) 在非集中控制的环境中协同使用资源：网格整合各种资源，协调各种使用者，这 些资源和使用者在不同控制域中，比如，个人电脑和中心计算机；相同或不同公司的不同 管理单元；网格还解决在这种分布式环境中出现的安全，策略，使用费用，成员权限等问 题。否则，只能算本地管理系统而非网格； ( 2 ) 使用标准的、开放的和通用的协议和接口：网格建立在多功能的协议和界面之上， 这些协议和界面解决认证，授权，资源发现和资源存取等基本问题。否则，只算一个具体 应用系统而非网格； ( 3 ) 提供非平凡的服务质量：网格允许它的资源被协调使用，以得到多种服务质量， 满足不同使用者需求，如系统响应时间，吞吐量，有效性，安全性，及资源重定位，使得 联合系统的功效比其各部分的功效总和要大得多。 但是，对于i a nf o s t e r 提出的网格的概念并不是所有人都同意他的观点，例如，有许 多人赞同广义的网格概念，它被称作巨大全球网格g g g ( g r e a tg 1 0 b a lg r i d ) ，它不仅包 括计算网格、数据网格、信息网格、知识网格、商业网格，还包括一些已有的网络计算模 式，例如对等计算p 2 p ( p e e r t op e e r ) 、寄生计算等。可以这样认为，i a nf o s t e r 赞成狭义的 “网格观”，而g g g 是一种广义的“网格观”。 基于网格的问题求解就是网格计算，可以从以下三个方面来理解： 第一，从概念上，网格计算的目标是资源共享和分布协同工作。网格的这种概念可以 清晰地指导行业和企业中各个部门的资源进行行业或企业整体上的统一规划、部署、整合 第7 页 国防科学技术大学研究生院学位论文 和共享，而不仅仅是行业或大企业中的各个部门自己规划、占有和使用资源，这种思想的 沟通和认同对行业和企业是至关重要的，将提升或改变整个行业或企业信息系统的规划部 署、运行和管理机制。 第二，网格是一种技术，为了达到多种类型的分布资源共享和协作，网格计算技术必 须解决多个层次的资源共享和合作技术，制定网格的标准，将i n t e m e t 从通讯和信息交互 的平台提升到资源共享的平台。 第三，网格是基础设施，是通过各种网络综合计算机、数据、设备和服务等资源的基 础设施。随着网格技术逐步成熟，建立地理分布的遍布全国或世界的大型资源节点，集成 网络上的多个资源，联合向全社会按需提供全方位的信息服务。 1 2 2 2 网格技术与其他技术的比较 随着互联网技术的发展，多种相关技术也得到了长足的发展。如p 2 p 、分布式计算、 集群系统、并行计算、元计算、网格计算等等。这些技术的异同见表l 一1 。 表1 - 1 各种计算技术比较 名称 定义 应用项目特点 分布式计算所谓分布式计算是- - i q 计算机科学，它研究 墨至卫 h 鲤f 7 1 ( b o i n c ) 搜索 分布、目 ( d i s t d b u t e d负j 何把- 个需要非常巨大的计算能力才能 地外文明、e v o l u t i o n h o m e 构、并行、 c o m p u t i n g ) 解决的问题分成许多小的部分，然后把这些模拟物种进化与灭产、局域网 部分分配给许多计算帆进行处理，最后把这 p r e d i c t o r h o m e ( b o i n c ) 由 些计算结果综合起柬得到最终的结果。共享氨基酸序列推测蛋白质的结 稀有资源和平衡负载是分布式计算的核心 构、d i s t r i b u t e dp a r t i c l e 思想之一。网格计算就是分布式计算的一 a c c e l e r a t o rd e s i g n 模拟粒子 种。加速 并行计算并行计算是可i 划时求解的所有进程的集合，曙光1 0 0 0 、c r a yt 3 d 、i n t e l并行、同 p a r a t l e l 这些进程相互作用和协调动作，并最终获得 i p s c 系列、1 n m o s t r a n s p u t e r 构、大型主 c o m p u t i n g ) 问题的求解。并行算法就是对并行计算过程 系列，i n t e lp a r a g o n机系统、集 的精确描述。集群是并行计算的一种形式。群 集群计算广义上说，相互独立的一些系统构成了一个 曙光1 0 0 0 a 、曙光2 0 0 0 、曙光并行、同构 ( c l u s t e r纰就是集群。一个客户与集群相互作用时， 3 0 0 0 、曙光4 0 0 0 a c o m p u t i n g ) 集群的行为像是一个独立的系统一 羊。从狭 义上讲，集群是一些相互独立的计算机这 些计算机作为一个整体对外提供服务。对于 客户来说，这些计算机的行为就好像一个计 算机一样，但是其处理能力、可靠性、i o 能力都得到了大幅的提川。 p e e r - t o - p e e r 计 p 2 p 计算可简单地定义为通过直接交换共享 n a p s t e r 、b t 等 分布、共 算( p z p ) 计算机资源和服务。如对等计算、协j 叫工作、 享、异构、 搜索引擎、文件交换。 广域网 寄生计算1 8 1使用i n t e m e t 上的远程计算机秘密地执行一 n o t r ed a m e 圣母大学提出的 强调秘密， ( p a r a s i t i c个计算问题的一部分的计算模式一种汁算模式 隐私无法 c o m p u t i n g ) 保障 第8 页 国防科学技术大学研究生院学位论文 儿计算i ”( r e c t a基于高速网的高性能并行与分布式计算技c h a r l o t t e 、由美国e m o r y 大学分布、异 c o m p u t i n g ) 术称为元计算。它的目标是将地理上分布 的p a u l g r a y 及v a i d y构、并行、 的、异构的各种高性能计算机、服务器、大 s u n d r e r a m 等提出的i c e t 元系广域嘲、小 型检索存储系统和可视化、虚拟现实系统统。共享 等，通过网络连接而集成起来，基同完成 一些重人应用研究任务。 网格计算( g r i d利用互联网把分散在不同地理位置的电脑g l o b u s 、c o n d o r 、l e m o n 等 分布、异 c o m p u t i n g ) 组织成一台“虚拟的超级计算机”，实现计构、并行、 算资源、存储资源、数据资源、信息资源、 广域网 软件资源、通信资源、知识资源、专家资源 等的全面共享。 i b m 称网格技术为“e v o l u t i o n ， n o tr e v o l u t i o n ”，这一说法充分体现了网格技术对现 有技术的延续和发展。与w e b 技术相似，它们对用户隐藏了复杂性，多个用户可以获得 统一的应用服务；不同的是，w e b 技术主要实现了通信与沟通的功能，而网格技术则使 共同商务目标下的充分合作成为可能。与p 2 p 技术相似，它们都可以在用户问实现文件 共享；不同的是，网格技术不仅可以实现点对点共享，也可以实现多点对多点的共享，而 且，节点之间不仅能共享文件，还能共享其它多种资源，如c p u 、内存储器等计算资源。 与并行计算和分布式计算相似，网格可以将不同的计算资源集成；不同盼是，网格计算不 需要物理上的接近性和操作上的同构，而可以在广泛分布的地域上和异构的环境中进行。 这些术语之间的关系总结如下图： 图1 - 1 与网格计算相关的术语之间的关系图 1 2 3 网格的体系结构 在网格计算的研究领域，比较重要的网格体系结构有两个1 4 l ，一个是f o s t e r 等在早些 时候提出的五层沙漏结构【1 们，另一个是开放网格服务结构o g s a t l “。 1 2 3 1 五层沙漏结构 五层沙漏结构是一种影响十分广泛的结构，它的主要特点就是简单，主要侧重于定性 第9 页 国防科学技术人学研究生院学位论义 的描述而不是具体的协议定义。在五层沙漏结构中，个最重要的思想就是以“协议”为 中心。五层沙漏结构根据该结构中各组成部分与共享资源的距离，将对共享资源进行操作、 管理和使用的功能分散在五个不同的层次，越向下层就越接近于物理的共享资源，因此该 层与特定资源相关的成分就比较多；越向上层就越感觉不到共享资源的细节特征，也就是 说上层时更加抽象共享资源的表示，因此就不需要关心与底层资源相关的实现问题。 图1 2 五层沙漏结构 如图1 2 所示，五层沙漏结构从下到上分别是构造层、连结层、资源层、汇聚层以及 应用层。 构造层( f a b r i c ) ：它的功能是向上提供网格中可共享的资源，它们是物理或逻辑实体。 常用的资源包括处理能力、存储系统、目录、分布式文件系统、分布式计算机池、计算机 集群等。 连接层( c o n n e c t i v i t y ) ：它是网格中网络事务处理通信与授权控制的核心协议。构造 层提交的各种资源间的数据交换都在这一层的控制下实现。各资源间的授权验证、安全控 制也在这罩实现。 资源层( r e s o u r c e ) ：这一层的作用是对单个资源实施控制，与可用资源进行安全握手、 对资源做仞始化、监测资源运行状况、统计与付费有关的资源使用数据。 汇集层( c o l l e c t i v e ) ：这层的作用是将资源层提交的受控资源汇集在一起，供虚拟组织 的应用程序共享、调用。为了对来自应用的共享进行管理和控制，汇集层提供目录服务、 资源分配、 1 程安排、资源代理、资源监测诊断、网格启动、负荷控制、账户管理等多种 功能。 应用层( a p p l i c a t i o n s ) ：这层是网格上用户的应用程序。应用程序通过各层的a p i 调 用相应的服务，再通过服务调用网格上的资源来完成任务。应用程序的开发涉及大量库函 数。为便于网格应用程序的开发，需要构建支持网格计算的库函数。 第1 0 页 国功科学技术大学研嵬生院学位论文 1 2 3 2 面向服务的网格体系结构 开放网格服务结构o g s a ( o p e ng r i ds e r v i c ea r c h i t e c t u r e ) 是g l o b a lg r i df o r u m 的重要 标准建议，是继沙漏结构之后最重要，也是目前最新的一种网格体系结构。 与五层沙漏结构最大的不同在于o g s a 结构以“服务”为中心，这里的服务包括各 种计算资源、存储资源、网络、程序、数据库等资源的综合利用，简而言之，一切都是服 务，从资源到服务，这种抽象把资源、信息、数据等统一起来，十分有利于灵活的、一致 的、动