（通信与信息系统专业论文）基于拍卖机制的网格资源管理分配模型研究.pdf

武汉理工大学硕士学位论史 摘要 计算技术和网络技术的飞速发展，极大的促进了基于网络环境的科学应拜3 研究和商用发展。许多领域对计算能力的要求越来越高，单台计算机己很难满 足计算需求。网格计算技术的产生正是各种应用对计算资源和计算能力不断增 长的需求的结果，网格的最终目标是实现网络虚拟环境上的资源共享和协同工 作，消除资源孤岛。网格核心服务是网格的重要组成部分，是连接网格底层和 商层功能的纽带，是协调整个网格系统有效运转的中枢，对这部分网格技术的 研究具有重要意义。而资源调度技术是网格核心服务之一，一个良好的资源调 度策略能高效地协调和分配网格资源，有效降低网格计算的总执行时间和总耗 费，从而使网格达到最大的性能。网格环境下资源的管理和调度是网格系统的 研究重点之。 本文围绕研究如何高效合理地分配网格资源，作了如下研究工作： 1 、探讨了网格的基本概念，分析了两种重要的网格体系结构，并在此基础 上着重研究了目前最典型的网格资源管理模型：分层模型、抽象所有者模型和 计算经济模型，指出了其特点。 2 、对现有的经济模型进行分析，结合网格资源分配的特点，提出一种基于 拍卖机制的网格资源管瑾模型。 3 、分析网格计算中影响系统性能且与资源调度相关的因素，由于资源调度 策略在决策过程中需要参考相关网格系统信息，这些信息主要是与系统执行性 能相关且影响资源调度策略决策的参数。 4 、在拍卖经济模型下，为调节网格资源需求分配提出了一种时闻最优算法， 该算法适用于基于拍卖机制下网格资源调度管理系统。系统遵循均衡分配原则， 允许用户出高价以获得更多的资源，并通过代理周期地调节用户竞价价格，在 最终期限和预算内完成应用程序，并综合考虑成本的同时，实现时闽最优的资 源分配。 5 、比较了几种常用的网格仿真工具，详细介绍了g r i d s j m 这一网格建模与 仿真工具箱。利用g r i d s i m 工具箱，实现了拍卖模型下均衡分配网格资源的时 间最优调度算法的仿真，验证了算法的正确性及其性能。 关键宇：网格；资源管理和分配；拍卖机制：时间最优；g r i d s i m 武汉理工大学碗卜学位论文 a b s t r a c t t h er a p i dg r o w t ho ft h et e c h n o l o g yo fc o m p u t i n ga n dn e t w o r km o s t l yp r o m o t e s t h es c i e n t i f i cr e s e a r c ha n dc o m m e r c i a la p p l i c a t i o nb a s e do ni n t e m e t i nm a n ya r e a s ， t h e r ea r em o r ea n dm o r eh i i g h e rr e q u e s tf o rt h ec o m p u t i n gc a p a c i t ya n di ti sd i f f i c u l t f o ras i n g l ec o m p u t e rt ou n d e r t a k ec a l c u l a t i o nt a s k a st h er e s u l to ft h ei n c r e a s i n g d e m a n df o rc a l c u l a t i v ec a p a c i t ya n dr e s o u r c e ，g r i dt e c h n o l o g ye m e r g e n c e t h ef i n a l g o a lo fg r i dt e c h n o l o g yi st or e a l i z er e s o u r c es h a r ea n dc o o r d i n a t i n gw o r ki nv i r t u a l n e t w o r ke n v i r o n m e n ta n de l i m i n a t et h er e s o u r c ei s o l a t e di s l a n d g r i dc o r es e r v i c ei s a ni m p o r t a n tp a r to fg r i dc o m p u t i n g a sac e n t r u mo fe n t i r eg r i dc o m p u t i n g ，鲥dc o l e s e r v i c ec o n n e c t 鲥du n d e r - s t r a t u mg r o u p w a r e st ot o pg r o u p w a r e sa n dt a k ec h a r g e e n t i r eg r i ds y s t e mi no r d e rt oe n s u r e 鲥ds y s t e mw o r k se f f e c t i v e l y i ti si m p o r t a n tt o r e s e a r c h 鲥dc o r es e r v i c et e c h n o l o g y r e s o u r c es c h e d u l i n gt e c h n o l o g yi sap a r to f 鲥dc o r es e r v i c et e c h n o l o g y a na d v a n c e dr e s o u r c es c h e d u l i n gp o l i c yi nf a v o ro f r e d u c i n gt o t a lr u nt i m ea n dt o t a le x p e n s ei n 鲥dc o m p u t i n g ，b yt h i sm e a n se n h a n c e e n t i r eg r i ds y s t e m se a p a b i l i t y r e s o u r c em a n a g e m e n ta n d ，o n eo ft h ek e yr e s e a r c h f i e l d ss c h e d u l i n gu n d e rg r i de n v i r o n m e n t so f 鲥ds y s t e m s t h i sp a p e ra i m sa th o wt oa l l o c a t et h eg r i dr e s o u r c e se f f e c t i v e l ya n dr e a s o n a b l y l q a ea u t h o r sm a i nw o r k i n g sa l eb e l o w ： 1 、w ed i s c u s st h eg r i dc o n c e p t ，i n t r o d u c et w op o p u l a r 鲥da r c h i t e c t u r e ，w e a n a l y z ee m p h a t i c a l l yt h r e em o d e l so fg r i dr e s o u r c em a n a g e m e n t ， w h i c ha r e h i e r a r c h i c a lm o d e l ，a b s t r a c to w n e rm o d e l ，a n dc o m p u t a t i o n a lm a r k e te c o n o m y t h ec h a r a c t e r i s t i c so f t h e ma r ed i s c u s s e da n dw eg e tac o n c l u s i o n 2 、w ea n a l y z et h ec u l t e b te c o n o m i cm o d e l a n dc o m b i n ew i t ht h e c h a r a c t e r i s t i c so f 鲥dr e s o u r c ea l l o c a t i o n ，w ep r o p o s e 鲥dr e s o u r c em a n a g e m e n t m o d e lb a s e d0 0a u c t i o nm e c h a n i s m 3 、w ea n a l y z et h ef a c t o r st h a ta f f e c t 鲥ds y s t e mc a p a b i l i t ya n dh o w t h e ya f f e c t e a c ho t h e r s c h e d u l i n gp o l i c ym u s tr e f e r e n c ea n yi n f o r m a t i o na b o u ts i m u l a t i o n s y s t e mw h e np o l i c ym a k ed e c i s i o n ，s ow em u s tt e s ts o m ep a r a m e t e r so fs i m u l a t i o n s y s t e ma f t e rb u i l di t i i 武汉理工大学硕士学位沦史 4 、w ep r o p o s eat i m eo p t i m i z a t i o na l g o r i t h mb a s e do nc o m p u t i n ge c o n o m y ，t h i s a l g o r i t h mt h a t s c h e d u l e sau s e ra p p l i c a t i o no na u c t i o n b a s e dr e s o u r c ea l l o c a t i o n s y s t e m s t h e s ea l l o c a t i o ns y s t e m s ，w h i c ha l eb a s e do np r o p o r t i o n a ls h a r e ，a l l o wu s e r s t ob i dh i g h e ri no r d e rt og a i nm o l er e s o u r c es h a r e s ，a n dab r o k e ra d j u s t sau s e r b i d d i n gp r i c ep e r i o d i c a l l yo nt h e s es y s t e m si no r d e r t of i n i s ht h ea p p l i c a t i o nw i t h i na s p e c i f i e dd e a d l i n ea n db u d g e t , a n da c h i e v eo p t i m i z a t i o no f t h e r e s o u r c e sa l l o c a t i o n 5 、s e v e r a lg r i de m u l a t o r sa l ec o m p a r e di n t h i sp a p e r ，a n dg r i d s i m a 西d m o d e l i n ga n de m u l a t i o nt o o l k i ti si n t r o d u c e di nd e t a i l s f i n a l l y 、撕t lt h eh e l po f g r i d s i mt o o l k i t ，t h ee m u l a t i o no fg r i dr e s o u r c es c h e d u l i n gw i t hi sr e a l i z e d ，a n d e v a l u a t et h ep e r f o r m a n c ea n da c c u r a c yo f t h e s ea l g o r i t h m s k e y w n r d s ：g r i d ；r e s o u r c em a n a g e m e n ta n da l l o c a t i o n ；a u c t i o nm e c h a n i s m ； t i m eo p t i m i z a t i o n ；g r i d s i m i i 武汉理工大学硕j j 学位论文 1 1 研究背景 第1 章绪论 随着计算机网络宽带的增长，网络中接入的计算机数量日益增多。但因特 网上很多节点的使用效率并不商，大量计算机在多数时间内处于闲置或休眠状 态，或仅仅在完成文字处理这样简单的工作。另一方面，互联网上的内容每天 都在飞速增长，不可能有哪个单一的服务器或者搜索引擎能够掌握所有资源， 抉捷、便利地为用户提供所需的信息和计算服务。因此，需要种新的技术来 解决这些问题。网格就是这样种技术，它是继i n t e m e t 、w e b ( w o r l dw i d ew e b ， w w w ，万维网) 技术之后的第三次甄联网技术浪潮。 网格受高性能计算应用的强大需求的驱动而产生。随着离性能应用需求的 迅猛发展，单一的高性能计算系统已经不能胜任一些超大规模应用问题的解决， 这就需要通过计算网格等超级虚拟计算系统来支持高性能联合计算。以网格为 背景或协同计算技术不仅是近期解决诸如高能物理实验、破解基因代码等数据 量极大的科学工程计算问题的主要途径，也是解决诸如透平机械内部三维流动、 传热介质中的多相流动、轴承润滑稳定性、信息传输压缩、图像生成、图形识 别等工程领域相关计算问题的熏要手段。网格不仅支持旨在聚合计算资源的高 性能科学计算而且支挣分布式资源的协作与共享；不仅综合了对科学计算、 并行计算以及工程计算等各种业务的支持，即解决密集型的重大挑战性的问题， 同时还构成事务处理、信息交流、电子商务、远程教育、远程医疗、数字嚣书 馆等新型应用的基础。 随着汁算机网络的迅速发展，聚集网络上各种机器提供统一资源服务现已 成为一种趋势。使用单一的机器构成完整而独立的计算机存在明显不足：当一 个机器为很多作业提供运行服务时，其他机器却处于空闲状态。这会导致资源 的巨大浪费。p c 集群( c l u s t e r o f p c ，p c s ) 、工作站群机( n e t w o r k o f w o r k s t a t i o n s ， n o w s ) 是共享网络机器资源的典型例子。然而，p c s 和n o w s 共享的机器通常 具有相同的体系结构，即包括相同的c p u 、相同的操作系统配置，而网格中大 部分其他体系结构的机器却无法实现共享。要把这些异构的、分布资源融合在 武汉瑚工大学硕0 学位论文 起，一直以来是十分棘手的技术问题，而网格技术具有解决这一问题的潜力。 网格是一个通过高速网络互连的机器集合，这些机器的计算资源构成共享池。 在网格中，计算资源是异构的，包含多种体系结构的机器：计算资源是分布的 瞧许跨在多个不同的管理域。通过网格软件，各种复杂应用问题都是可以通过 网格进行求解的。 网格计算系统一般由网格硬件、网格操作系统、网格界面、网格应用四层 基本结构构成，其最突出的特点是资源共享、协同工作和开放性标准，也正因 为如此，网格计算目前研究发展的主要障碍便是标准协议的建立和体系结构的 确定。同时，支持网格的关键协议如j c m l 、s o a p 、u d d i 、w s d l 等都逐渐成 熟并成为各种平台支持的基本协议。 网格是要莉用现有的网络基础设施、协议规范、w e b 和数据库技术，为用 户提供一体化的智能信息平台，其目标是创建种架构在操作系统和w e b 之上 的基于i n t e m e t 的新一代信息平台和软件基础设施。在这个平台上，信息的处理 是分布式、协作和智能化的，用户可以通过单一入口访问所有信息。网格追求 的最终目标是能够做到服务点播( s e r v i c e o n d e m a n d ) 和一步到位的服务( o n e c l i c ki se n o u g h ) 。网格的体系结构、信息表示和元信息、信息连通和致性、 安全技术等是目前信息网格研究的重点。 1 2 国内外研究现状 美国是目前在两格研究方面走在最前面的国家。目前美国网格计算研究主 要由美国能源部( ( d o e ) 、美国国家科学基金会( n s f ) 、美国国防部( d o d ) 资助，各个国家实验室、商等院校承担，各个大型公司积极参与。由美国能源 部资助的项目主要有美国科学网格( d o es c i e n c eg r i d ) 、远程分布式计算与通 信( d i s t a n c ea n dd i s t r i b u t e dc o m p u t i n ga n dc o m m u n i c a t i o n ，d i s c o m ) 和地球系 统网格( e a r t hs y s t e mg r i di i ，e s g ) 。其中美国科学网格项目的目标是建立基 于网格中间件( g r i d w a r e ) 和系统工具的高级分布式计算基础设施( a d c i ) 使 能源部科学计算体系的可伸缩性满足能源部内部科学研究任务要求。远程分布 式计算与通信项目的目标是创建一个用于访问美国能源部三个武器实验室的具 有可操作性的网格，以支持国防计划中远程计算和分布式计算这两个关键战略 武汉理工大学硕七学位沦文 领域复杂的分析、设计、制造、认证功能。地球系统网格( e a r t hs y s t e mg r i d1 1 ， e s g ) 项 由阿贡圈家实验室( a r g o n n e n a t i o n a ll a b o r a t o r y ) 等五个国家实验寨 的科学家联合承担。主要目标是解决从全球地球系统模型分析和发现知识所面 i 涵的巨大挑战，为下一代气候研究提供一个无缝的强大的虚拟协同环境。此外， 还有为数据融合研究服务的融合协作体网格( f u s i o nc o l l a b o r a t o r y ) 和为核武器 研究的加速战略计算创新网格( a c c e l e r a t e ds t r a t e g i cc o m p u t i n gi n i t i a t i v eg r i d ， a s c ig r i d ) 研究项目。 由美国国家科学基金会资助的项目有元系统推进( m e t a s y s t e m st h r u s t ) ， f e r a g f i d 和国家地震工程仿真网格( n e t w o r kf o r e a r t h q u a k ee n g i n e e r i n s i m u l a t i o n g r i d ，n e e s g r i d ) 。元系统推进项目的目标是创建一个可以把地理分 布的离散资源集成起来作为单一资源的可操作的元系统。通过高速网络和别的 大学和研究机构互连构成计算网格，使大规模科学工程计算和海量信息处理以 分布协作的方式完成。该项目采用l i n u x 聚簇( c l u s t e r s ) 技术把分布在四个 f e r a g r i d 站点的计算资源紧密集成起来，使t e r a g r i d 的计算能力可以达到每秒 l3 6 万亿次( t e r a f l o p s ) ，可以为网格计算存储管理4 5 0 t b 以上的数据。国家地 震工程仿真网格的目标使地震研究人员能够进行各种地震工程实验数据分析的 大规模计算任务。此外，由美国国家科学基金会资助的项舅还包括物理网格 ( g r i p h y n ) 项目、网格应用开发软件( g r i d a p p l i c a t i o nd e v e l o p m e n ts o f t w a r e ， g a d s ) 项目。羊国国家科学某金会还成立了网格研究、集成、开发与支持中心。 由大学承担的项目主要有威斯康星大学麦迪逊分校的c o n d o r 、弗杰尼亚大 学的l e g i o n 和田纳西大学的可伸缩的校园内部研究网格( s c a l a b l ei n t r a c a m p u s r e s e a r c hg r i d ，s i n r g ) 。c o n d o r 项目的目标是开发支持高吞吐量计算( h i 2 1 1 t h r o u g h p u tc o m p u t i n g ，h t c ) 的分布式计算资源的收集机制和工作负荷管理系 统。l e g i o n 可以把不同体系结构、不同操作系统和不同物理位置的计算机资源 连接成为个系统。s i n r g 用于田纳西大学k n o x v i l l e 校园内部的医学图象处理、 交互式分子设计、高级机械设计等跨学科研究领域的校园商性能计算基础设施。 目前美国公司正在开发的项目主要有e n t r o p i a 公司的d c g r i d ，p l a t f o r m 公 司的企业网格( e n t e r p r i s eg r i d ) ，s u n 公司的网格引擎( g r i de n g i n e ) ，i b m 公 司的b l u e g r i d ，a v a b 公司的a v a k i 和d a t a s y n a p s e 公司的l i v e c l u s t e r od c g r i d 是通过聚集由基于w i n d o w s 操作系统的p c 机构成的网络中没有使用的处理循 环提供高性能计算能力的p c 聚簇计算平台。企业网格由公共w e b 门户、公共 武汉理f 大学硕士学位论文 负载交换中心( m u l t i c l u s t e r ) 、中央控制器( f t c ) 和负载管理器( l s f 5 ) 组成。 2 0 0 0 年4 月，s u n 公司的g r i de n g i n e 5 - 3 版与s u s el i n u x 公司最新发布的s u s e l i n u x8 0 专业版一起发行，为日益增长的l i n u x 用户样提供网格计算支持。i b m 公司的b l u e g r i d 是一个连接工b m 实验室的网格测试平台。a v a k i2 5 提供在 荤个统的操作环境中广域访问处理、数据和应用资源的综合网格软件。 l i v e c l u s t e r 可以动态地、自适应地分布应用在计算池中繁忙的、空闲的或间断可 得的p c 聚簇、服务器、台式机，以保证应用任务的及时完成。，此外，t i p 、o r a c l e 等公司也在积极开发网格计算软件。不过，这些商业公司推出的所谓网格计算 软件或网格计算系统都还只能算是聚簇计算类型，不是真正意义上的网格计算。 美国正在进行的网格计算研发项目还包括g l o b u s 、美圜航空航天局( n a s a ) 的信息动力网格( i n f o r m a t i o np o w e rg r i d ，i p g ) 、美国国家技术网格( n a t i o n a l f e c h n o l o g yg r i d ) 、虚拟实验室项目( v i r t u a ll a b o r a t o r yp r o j e c t ) 、天体物理仿真 合作实验室( a s t r o p h y s i c ss i m u l a t i o nc o l l a b o r a t o r y ，a s c ) 、国际虚拟数据网格 实验室( i n t e m a t i o n a lv i r t u a ld a t ag r i dl a b o r a t o r y ，i v d g l ) 等。g l o b u s 目标构 建一个嗣格软件基础设施。研究内容包括资源管理、数据访问、应用开发、网 格安全等。目前全球许多用户利用g l o b u s 工具包创建网格和开发网格应用。 欧洲的网格计算研究项目主要由欧盟和欧洲委员会资助。其中网格计算研 究比较活跃的国家是英国、德国和意大利。欧洲网格项目的主要目标是在欧洲 多个高性能计算中心之间建立网格基础设施，满足生物分子设计、天气预报、 计算机辅助工程，土木工程结构分析、实时数据处理等领域的计算任务要求。 c r o s s g r i d 项目的目标是为大规模基于网格的实时仿真和可视化开发技术。天体 物理虚拟天文台( a s t r o n o m i c a l v i n u a lo b s e r v a t o r y ，a v o ) 项目是为了把天文学 数据库和处理能力组合在一个虚拟实验室。网格实验室( g r i d l a b ) 项目的目 标是开发有关网格计算软件使仿真和可视化程序代码能够适应变化的网格环境 以充分利用动态资源。欧洲网络的工业使用的分布式容用和中间件( d i s t r i b u t e d a p p l i c a t i o n sa n dm i d d l e w a r ef o ri n d u s t r i a lu s eo fe u r o p e a nn e t w o r k s 。d a m i e n ) 项目是为网格基础设施开发必要的软件以便网格计算能够用于工业仿真和可视 化。数据网格项目的目标是开发支持新一代高能物理、环境科学和生物信息学 等镢域科研中的数据处理和存储要求的秘格技术。网格互操作 ( g r i d i n t e r o p e r a b i l i t y ，g r i p ) 项目是为了解决g l o b u s 网格系统和u n i c o r e 网 格系统之间的互操作问题。北欧国家的n o r d u g r i d 项目是基于n o r d u n e t 2 的广域 武汉理丁= 大学硕士学竹论文 汁算工程测试平台。 英国独立承担的网格计算研究项目主要足英国e s c i e n c e ，g r i d p p 和英国国 家网格( u k n a t i o n a lg r i d ) 。e s c i e n c e 是为分布式全球合作的大规模科学研究 而创建的。g f i d p p 计划的目标是为粒子物理研究应用而在英国国内创建网格。 德国的计算资源统一接口项目( u n i f o r mi n t e r f a c et oc o m p u t i n gr e s o u r c e s ， u n i c o r e ) 的主要目的是通过德国国内各个商性能计算中心之间互联构造个 高性能网格计算环境( h i g hp e r f o r m a n c eg r i dc o m p u t i n ge n v i r o n m e n t ) 。意大利 的p q e 2 0 0 0 网格计算项目由意大利国家研究委员会组织，这个项目的主要目的 是为新一代科学和商业应用的发展研究、评估、开发网格计算技术。此外，还 肯荷兰的d u t c h g r i d 项目，爱尔兰的i r i s h c o m p u t a t i o n a lg r i d 项目等。 在我国，已经完成的网格研究项目主要有清华大学的先进计算基础设施a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计算为主的国家高性能计算 环境n h p c e ( n a t i o n a lh i g l lp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 1 2 10 在清华a c i 系统中，清华大学研制的高性能计算机“t h n p s c 2 ”与上海大 学研制的高性能计算机“自强2 0 0 0 ”通过高速网络连接在一起，此外还连接了 4 个应用结点。这6 个地理位置不同的网格节点可以同时召开网络会议。除此之 外，还开发了相应的中间件，可以构成跨地区、跨学科的“虚拟实验室”研究 环境。清华a c i 系统具有一套健全的资源管理系统、任务管理系统、用户管理 系统及安全服务与监控系统。 从1 9 9 9 年底到2 0 0 1 年初，中科院计算所联合十几家科研单位，承担了8 6 3 “重点项目“国家高性能计算环壤”的研发任务。该项目的目标是建立一个分布 式环境下支持异构平台的计算网格示范系统，它把我国的8 个高性能计算中心 通过h a t e m e t 连接起来，进行统一的资源管理、信息管理和用户管理，并在此基 础上开发了多个计算型的网格应用系统，取得了一系列研究成果。 2 0 0 2 年4 月5 日至6 日，科技部召开了“网格战略研讨会”，确认将网格的 研究和应用列为“8 6 3 计划”的一个专项，随即成立了专项专家组。8 6 3 网格专 项投资高达3 个亿，主要任务是研制面向网格的万亿次缀高性能计算机、具有 数万亿次聚合计算能力的高性能计算环境：开发具有自主知识产权的网格软件： 建设科学研究、经济建设、社会发展和国防建设急需的重要应用网格；制定若 干与网格相关的国家标准，参与制定国际标准，使一批发明专利和软件获得受 理和登记，形成自主知识产权。 武汉理： 大学硕士学位论史 2 0 0 2 年底，上海市宣布将投入两个多亿，建设e l n s t i l u l e ，其中刚格是蕈点 将把上海交大、复旦、华东理工等多所重点高校用网格整合起来，共享资源， 协同教学科研。 目前正在进行的网格研究项目有： 8 6 3 计划支持的“中国网格( c h i n a g r i d ) ”建设： “上海教育科研网格”： “仿真网格”的研究； “织女星网格”。 1 3 课题研究的目的和意义 如何使用网格资源，高效地完成计算任务是网格系统的研究重点之一。成 熟的网格管理系统首先解决了计算能力大小的限制，其次克服了地理位薰的限 制，最后还打破了传统的共事或协作方面的限制。因此，网格系统研究的核心 目的就是突破以往强加在计算资源之上的种种限制，使人们可以以一种全新的 更自由、更方便的方式使用计算资源，解决更复杂的问题。这里首先要明确网 格的使用模式，即用户通过向网格系统提交计算任务来共享网格资源，网格调 度程序再按照某种策略把这些任务分配给合适的资源。高效的调度算法或策略 可以充分利用网格系统的处理能力，从而提高应用程序的性能。1 2 2 】 在网格任务调度的研究中，没有必要使用实际系统验证这些算法的正确性 及性能，而往往采用模拟器完成这一工作，选用正确的模拟器对研究起着事半 功倍的作用。不仅可以获得较准确的模拟结果，又可以节省人力、物力、财力， 获得很好的经济效益和社会效益。 1 4 论文主要内容及缀织结构 本文在广泛阅读国内外关于网格资源管理的文献后，基于计算经济的网格 体系结构，在拍卖经济模型下，提出了种网格资源调度的时间最优算法，并 将其作为网格资源调度技术的核心策略来更合理的调度网格资源。论文的主要 研究内容包括以下几方面： 6 武汉理工大学硕士学位论文 ( 1 ) 对现有的经济模型进行分析，结合网格资源分配的特点，提出种基 于拍卖机制的网格资源管理模型。 ( 2 ) 分析网格计算中影响系统性能且与资源调度相关的因素，由于资源调 度策略在决策过程中需要参考相关网格系统信息，这些信息主要是与系统执行 性能相关且影晌资源调度策略决策的参数。因此在设计基于拍卖模型的网格计 算资源调度策略之前需要了解通常的网格计算环境中影响网格系统执行性能的 相关因素，以便为资源调度策略决策过程提供参考。 ( 3 ) 设计拍卖经济模型下均衡分配网格资源的调度策略，提出一种时间最 优算法，该算法遵循均衡分配原则，根据用户的竞价价格均衡地分配网格资源， 允许用户出高价以获褥更多的资源，并通过代理周期地调节用户竟价价格，在 给定的最终期限和预算内完成应用程序，并在综合考虑成本的同时实现时间最 优的资源分配。 ( 4 ) 将所设计的网格资源调度策略纳入g r i d s i m 系统并构建测试环境以测 试算法性能，并对测试结栗进行比较分析。 武汉理工文学硕 学位论文 2 1 阚格技术 2 1 1 圈格的擐念 第2 章网格的基本概念 网格技术起源于2 0 世纪9 0 年代初由美国政府资助的分布式超级计算 ( d i s t r i b u t e ds u p e r c o m p u t i n g ) 项目i - w a y 。从1 9 9 3 年开始，高性能计算技术和 互联网技术进一步融合，酝酿产生了继因特网、w e b 之后的第三大技术浪潮。“网 格”这以术语的思想则源于日常生活中公共设施的应用，i a nf o s t e r 出版的著作 中最早将它称之为“网格”。 现在，人们已经非常习惯打开电源开关就获得照明，打开水龙头就有水自动 流出，而完全不必考虑电力和自来水来自什么地方，它们只是在需要的时候自 然地出现在人们身边。那么，是不是能够用同样的方式来获得和使用复杂的网 络资源呢? 网格技术的出现为这一设想提供了可能。网格愚想一经提出，就以 构建如同公共设施一样的共享、可靠的计算系统为最终目的。网格的设计者们 希望电脑能够完全摆脱高科技产物高深莫测的角色，用户并不需要考虑如何通 过网格来基享应用程序，通过网格来共享数据信息，通过网格来共享处理能力。 网格是一种新技术，它具有新技术的两个主要特征：其一，不同群体使用不 同的名次来称为它：其二，网格的精确含义和内容还没有固定，而是在不断变 化。与许多新兴技术一样，关于网格计算，不同组织或个人都有自己的定义。 学术机构和科研组织研究或使用“网格计算”已有一段时间，但是企业使用网 格计算并从中获益才逐步开始，而网格需要标准协议、支持技术、工具库和产 品才能组部产业化。网格技术从提出到现在已有十年的时间，与网格相关的技 术也日益完善，但至今仍没有一个确切的概念来定义网格。人们对网格的界定 大致可以分为两种，即狭义的“网格观”和广义的“网格观”。狭义的“网格观” 是以美国a r g o n n e 国家实验室的资深科学家、g l o b u s 项目领导人i a n f o s t e r 为代 表。2 0 0 2 年7 月，i a n1 7 0 s t e r 在w h a ti st h eg r i d ? a t h r e ep o i n tc h e c k l i s t ) ) 中， 武汉理 大学硕士学位论文 认为网格必须同时满足以下三个条件： ( 1 ) 在非集中控制的环境中协同使用资源： ( 2 ) 使用标准的、开放的和通用的协议和接口( 也就是指g l o b u s ) ； ( 3 ) 提供非平凡的服务。 可见，这三个条件要求非常严格，这样象p 2 p ( p e e rt op e e r ) 、s u ng r i d e n g i n e 、c o n d o r 、e n t r o p i a 、m u l t i c l u s t e r 等都被排除在网格之外。而另一些人则 赞同广义的“网格观”，并把它称作巨大全球网格( g r e a tg l o b a lg r i d ，g g g ) ， 它不仅包括计算网格、数据网格、信息网格、知识网格、商业网格，还包括 些已有的网络计算模式，例如对等计算( p 2 p ) 、进化计算等。 由于网格处于动态发展的过程中，所以目前还没有一个被普遍接受的定义。 网格计算研究的先导l a nf o s t e r 给网格下的定义是：网格计算是动态多机构虚拟 组织中的一个协调的共享资源和解决问题的过程。 这一定义无论从范围、程度还是本质上都己经与当前w e b 所关心的互连问 题有力明显的不同，它引入了虚拟组织的概念，资源的范围更加广泛，共享更 具目的性，强调协同解决问题，其问题存在的环境具有异构、分布、动态、演 化等特点。简单地讲，一大批异构的资源组成了一个网格，这些资源以众所周 知并且一致的方式进行交互和运转。具体地讲，网格是可以作为虚拟的整体而 使用的在地理上分散的异构资源，这些资源可能术语不同管理域，它们包括网 络可达的异构计算机、数据库、科学仪器、文件和超级计算系统等。 2 1 2 罔格的本质翱特点 作为新一代网络计算与应用技术，网格的本质不是它的搜模，而是充分利用 互联网络中的现有软硬件资源，支持广域环境上的计算、数据、存储、信息和 知识资源的共享、互通与互用，消除资源孤岛，以降低成本获得高性能。 网格的目标是将地理上分布的、系统上异构的多种计算资源通过高速网络连 接起来，协同解决大型应用问题，进行广域信息资源的共享，最终把整个因特 网整合成一台超级虚拟计算机。网格需要为用户提供统一的编程与应用接口， 屏蔽硬件边界、进程通信和同步的复杂性，为用户提供单一的虚拟机器。 近年来，国内外的网格研究取得了很大进展，并出现了许多与网格相关的技 术术语，如计算网格、信息网格、元计算系统和w e b 服务等。这些相关研究方 向均有下述特点： 武汉理工大学硕士学位论文 ( 1 ) 网格资源有很强的分布性 网格资源通常是跨管理域的资源，这些资源属于不同的毋i 纵，他们之洲有些 建立了信任关系，有些没有，管理没有信任的网格资源面临重大挑战。通过身 份认证等安全技术可以防止非法用户通过网络使用或获取网格的任何资源，保 障数据的安全性。通过权限控制和数据隐藏技术使用户只能获取允许的信息和 知识，而不能窃取未授权的信息。 ( 2 ) 网格资源具有较大的异构性 分布在广域网的不同管理域的资源具有异构性，网格资源的异构性主要表现在： 每个系统可能具有不同的数据表示 每个系统可能安装不同体系结构的处理器 每个处理器可能有不同的处理器速度 每个系统的内部消息可能有不同的通信速度 每个系统可能采用不同的通信协议 任何两个系统闻的消息通信带宽可能不同 通过将异构资源映射成统一管理的逻辑资源，实现资源的动态收集、处理与 调度是网格资源管理系统的关键。 ( 3 ) 没有形成公认的协议标准 不同的网格计划项目采用不同的体系结构，l e g i o n 曝题组采用面向对象体系 结构开发元计算系统；n e t s o l v e 课题组采用代理技术开发科学计算网格；g l o b u s 的t o o l k i t 体系结构现在则成为像i b m 这样的大企业支持的事实上的标准，称为 开放网格服务体系结构。 ( 4 ) 网格资源具有自治性、动态性和扩展性 网格首先要保证网格节点的自治性。自治性是指网格系统不影响节点的原有 功能，节点有自愿加入和推出网格的权利。网格资源的动态性需要网格具有自 适应性。对于临时性加入的网格资源，通过信息传感器来发现其可用性。网格 的扩展性要解决网格节点增多、资源规模扩大，应用增加等情况下，不降低网 格性能等问题。 2 1 3 圈格系统与分布式的遂捌 网格系统具有分布式系统和并行系统的特征，但是又与二者有着非常重要 的区别。与分布式系统类似，嘲格系统也是由位于多个管理域下的超级计算机 武汉埋工夫学硕f 学位论文 通过不可靠的网络进行连接，并且需要对广域分布的动态资源进行集成f ! ! 魁 网格系统对高性能的要求使其编程模型及接l j 与分布式系统有极大的差别。同 时，网格系统作为并行系统还需要进行超级计算机之间的通信调度以满足应用 对高性能的要求。所以，与网格系统的异构性以及动态性的特点相比，现有的 并行计算技术的应用具有很大的限制。 网格计算与传统的分布式计算的区别是，网格计算强调大规模的资源共事 与革新应用，以及在某些情况下是面向高性能的。这里的资源不仅仅是计算机 软硬件，还包括网络通信能力、数据资料、仪器设备、甚至是人等各种相关的 资源。 2 1 4 网格体系结构 网格体系结构是关于如何建造网格的技术，包括对网格基本组成部分和各部 分功能的定义及描述、网格各部分相互关系与集成方法的规定、网格有效运行 机制的刻画。下面介绍两种目前比较常见的网格体系结构：一个是i a nf o s t e 等 在早些时候提出的五层沙漏结构，另一个是在以i b m 为代表的工业界的影响下， 在考虑了w e b 技术的发展与影响后，l a nf o r e 等结合w e bs e r v i c e 提出的开放网 格服务结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 。 2 14 l 五层沙羹结梅 五层沙漏结构1 4 j 是从g l o b u s 系统中抽象出来的，对网格的初步形成影响十分 广泛。图2 1 描述了五层沙漏结构，并把它与t c p f i p 协议模型进行了比较。 五层沙渭结柯 r c p i p 图2 1 五层沙漏结构与t c p f i p 协议的对比 圈器 武汉理， 大学硕i 学位跄文 在五层沙漏结构中， 个重要的思想就是以“协议”为中心，同时也十分强 调服务与a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e s ) 和s d k ( s o f t w a r ed e v e l o p m e n t k i t s ) 的重要性。它类似于传统的t c p f i p 网络协议栈，将网格自底向上分为构 造层、连接层、资源层、汇聚层和应用层五个相互关联而不均等的层次。在这 五个层次中，资源层和汇聚层大大地拓展了网格应用层的功能，对传统网络中 的许多应用层问题进行了封装，因而功能进一步强大，并