（计算机科学与技术专业论文）面向网络的并行应用接口研究.pdf

r e s e a r c ho ni n t e r f a c eo fp a r a l l e la p p l i c a t i o nf o rt h eg r i d at h e s i ss u b m i a e df o rt h ed e g r e eo fm a s t e r c a n d i d a t e ：c h e nj i e s u p e r v i s o r ：a s s o c i a t ep r o f l i a n gh o n g c o l l e g eo fc o m p u t e r & c o m m u n i c a t i o ne n g i n e e r i n g c h i n a u n i v e r s i t yo fp e t r o l e u m ( e a s t c h i n a ) 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：砖立， 日期：b 一年夕月7 b , 日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印 刷版和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门( 机 构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、 借阅和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、 缩印或其他复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：选 指导教师签名： 珞型笔芝 日期：if 年夕月了蛮日 日期：埘年f 月弓日 摘要 网格技术为基于动态、异构和跨域的协同资源共享与问题求解提供了新的解决方 法，通过网格对大量廉价的计算资源、存储资源等进行整合，在提高计算效率的同时， 大大降低了处理成本。本文依托中石化科技丌发项目“地震勘探软件集成开发环境及应 用研究”和中石油中青年创业基金项目“基于网格的数据处理平台”，结合地震资料处 理的特点，对网格技术及网格下并行计算技术进行了深入细致的研究，设计了网格并行 计算接口的层次型架构模型，并提出了一种基于参数化任务图的网格关联任务调度算 法，实验证明该算法可有效缩短网格作业执行时间，提高网格资源利用率，实现负载更 加均衡。并在此基础上开发了可视化操作接口，用户能够更为方便、透明地使用网格进 行作业的提交，使作业高效、快速地运行在网格计算资源中。 关键词：网格，集群，并行，参数化任务图，关联任务，d a g r e s e a r c ho ni n t e r f a c eo fp a r a l l e la p p l i c a t i o nf o rt h eg r i d c h e nj i e ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db ya s s o c i a t ep r o f l i a n gh o n g a b s t r a c t t h eg n dt e c h n o l o g yh a sp r o v i d e dan e ws o l u t i o nf o rr e s o u r c e ss h a r i n ga n dl a r g e 。s c a l e c o m p u t a t i o na p p l i c a t i o nb a s e do nd y n a m i c a n dh e t e r o g e n e o u sa n dc r o s s 。r e a l mc o o r d i n a t i o n t h r o u g hi n t e g r a t e dl a r g eq u a n t i t i e so fc h e a pc o m p u t i n gr e s o u r c e sa n ds t o r a g er e s o u r c e s ， w h i l eh a di n c r e a s i n ge f f i c i e n c y , g r e a t l yr e d u c e dt h ep r o c e s s i n gc o s t t h i sp a p e rr e l i e so n s i n o p e cg r o u p st e c h n o l o g yd e v e l o p m e n tp r o j e c t s e i s m i ce x p l o r a t i o ns o f t w a r ei n t e g r a t i o n d e v e l o p m e n ta n da p p l i c a t i o n a n dc n p c sy o u n ga n dm i d d l e a g e di n n o v a t i o nf u n dp r o j e c t “g r i d b a s e dp r o c e s s i n gp l a t f o r m ”，c o m b i n e dt h ec h a r a c t e r i s t i c so fs e i s m i cd a t ap r o c e s s i n g ，o n t h eg r i da n dp a r a l l e lc o m p u t i n gu n d e rg r i di n - d e p t ha n dm e t i c u l o u sr e s e a r c h ，d e s i g n e dt h e h i e r a r c h i c a ls t r u c t u r em o d e lo fp a r a l l e lc o m p u t i n gi n t e r f a c e ，a n dp r o p o s e dag r i da s s o c i a t i o n t a s ks c h e d u l i n ga l g o r i t h mb a s e do np a r a m e t e r i z e dt a s kg r a p h ，e x p e r i m e n tr e s u l t s s h o wt h a t t h ea l g o r i t h mc a nr e d u c et h ee x e c u t i o nt i m eo fg r i dt a s k s ，i m p r o v eu t i l i z a t i o no fe f d r e s o u r c e s ，a n da c h i e v eag o o db a l a n c e dl o a d i n g a tl a s to nt h i sb a s i st od e v e l o pa v i s u a lu s e r i n t e r f a c e ，a l l o w i n gu s e r st om o r ec o n v e n i e n ta n dt r a n s p a r e n tu s e 鲥ds u b m i t t i n gj o b s ，a n d e f f i c i e n t l ya n dq u i c k l yr u n si ng r i dc o m p u t i n gr e s o u r c e k e yw o r d s ：g r i d ，c l u s t e r , p a r a l l e l ，p a r a m e t e r i z e dt a s kg r a p h ，r e l a t e dt a s k s ，d a g 目录 第一章引言1 1 ：1 网格概念的来源及定义：1 1 2 对网格的几点认识2 1 3 课题的研究背景、目的及意义2 1 3 1 课题研究背景2 1 3 2 课题的研究目的及意义4 1 4 课题的研究目标和内容5 1 5 论文组织结构安排5 第二章网格并行计算基础7 2 1 网格主要技术7 2 1 1 网格元调度介绍7 2 1 2 网格安全与资源管理8 2 1 3 网格监控1 0 2 2 并行相关技术1 2 2 2 1m p i 、m p i c h 、m p i c h - g 2 1 2 2 2 2 集群1 4 2 3 网格环境下的并行计算1 8 2 3 1 网格并行计算优点1 8 2 3 2 网格环境下并行计算的步骤1 8 2 4 本章小结1 9 第三章网格并行应用接口的架构设计2 0 3 1 架构设计的功能需求2 0 3 2 网格并行处理系统体系结构模型2 0 3 3 并行应用接口总体设计2 2 3 4 本章小结2 4 第四章网格并行计算中的通信协同机制研究2 5 4 1 网格并行作业通信机制2 5 4 2 网格环境下集群间的协同2 7 4 3 跨集群并行计算实例测试2 9 j 4 4 本章小结3 l 第五章网格下的负载均衡与调度算法设计3 2 5 1 网格负载均衡研究一3 2 5 1 1 负载均衡介绍及研究现状3 2 5 1 2 常用的负载均衡算法3 4 5 1 3 网格环境下的负载均衡问题3 6 5 2 基于p t g 的网格关联任务调度算法研究3 7 5 2 1 算法基础3 7 5 2 2 算法改进4 0 5 2 3 算法描述4 3 5 2 4 仿真对比实验4 3 5 3 本章小结4 4 第六章网格并行计算测试及结果分析，4 5 6 1 实验室测试环境4 5 6 1 1 硬件环境4 5 6 1 2 软件环境4 5 6 1 3 拓扑结构4 6 6 2 网格并行应用平台接口4 6 6 3 系统可行性测试4 7 6 4 石油勘探真实数据测试与结果5 0 6 5 本章小结5 1 第七章结论与展望5 2 7 1 研究总结5 2 7 2 主要创新点5 2 7 3 下一步工作：5 3 参考文献5 4 攻读硕士学位期间取得的学术成果5 7 致谢5 8 中国石油人学( 华东) 硕仁学位论文 第一章引言 1 1 网格概念的来源及定义 “网格 的概念来源于电力工业中的电网，而网格所要实现的最高目标，就是让人 们像使用电一样使用各种网络资源，用户不需要知道提供服务的计算机是来自哪里的， 这就好比人们在开灯之前，并不需要知道电来自于哪个电站，只要灯可以亮，我们的目 的就算达到了。 一般来说，网格是分布式系统中的一种类型。1 9 9 8 年，i a nf o s t e r 和c a r lk e s s e l m a n 在他们的著作 中第一次对网格 做出了定义：“计算网格是一个提供可靠的、一致的、无所不在的、便宜的硬件和软件 基础结构，用来进行高端计算。“这个定义源于早期的网格，被用来连接美国的各个大 学与实验室间的高性能设备。随后，有一些人也对网格做过定义，例如：“网格是一个 提供服务层的软件架构，用来访问和管理分布式硬件和软件资源阳7 功，以及“实现高性 能计算、存储数据、仪器设备的广域的分布式网络，一个打破习惯限制的协作共享环境 m 02 0 0 1 年，f o s t e r 、t u e c k e 和k e s s e l m a n 对网格进行了重新定义，即“协作资源共享， 在动态的多机构的虚拟结构中解决问题心”。最后的这个定义也就是我们今天用到的最普 遍的网格的抽象定义。 为了能够帮助确切理解什么是网格，f o s t e r 后来提出了用于标识网格系统的核对一 览表9 】，他所建议的一览表包括三个部分内容【3 1 ：一、协调资源共享，不涉及集中控制， 用户位于不同的管理域。如果不是这种情况，这可能就不是一个网格系统。二、使用标 准、开放、通用的协议及接口。网格建立在集成多种功能的协议及界面之上，通过这些 协议和界面，解决认证问题、授权问题、资源发现和存取问题等。若不符合上述情况， 也不是一个网格。它不像是能够实现互操作和通信的系统构成，而像是人们正在处理的 一个特定应用系统。三、提供的服务质量是否有价值，我们在这里要考虑网格的各个组 成部分如何可以用协调的方法提供综合服务，并使这种综合服务效果明显优于单个组成 部分提供的总和。这些服务可以同响应时间、吞吐量、安全性、故障问隔时间等许多其 它因素相关联进行考虑。 i b m 作为网格技术的领导者，也一直致力于网格的发展。它还从商业观点对网格作 了定义h0 | ：“基于标准的应用资源共享结构，使得它能够透明地为异构系统和应用去 共享、计算和存储资源 。通过网格，用户可以同使用水、电等公用设施一样去使用i t 第一章引言 资源，不用再为故障、维护、服务等问题而烦恼。 1 2 对网格的几点认识 网格作为新一代的网络应用，是一项值得关注的新技术，无论政府还是企业，都在 积极地推动网格技术的发展和进步；而且，网格计算被广泛视为二十一世纪的新型网络 基础架构以及未来十年i t 商业应用的主流；网格计算的发展可能成为互联网的又一次革 命，并对计算机网络技术以及其它产业的发展产生巨大而且深远的影响。 个人认为，网格的出现，其现实目标就是在已有网络应用的基础上，通过建立不同 的行业( 专业) 网格，把大量分布式的、不相同的各种计算资源、软件资源、数据和设 备等资源组合起来，为科学及工程技术人员等网上用户创造统一的计算环境，解决数据 和集中计算问题，提供简单而快捷的专业性服务。 网格计算通过共享网络将分布在不同位置的大量计算机相联接，从而形成了一台虚 拟的超级计算机，通过对各处计算机处理能力的整合、协同，为研究及其他大型数据集 中应用提供巨大的处理能力。因此，个人认为，网格的本质就在于网格资源的共享以及 网格节点间的协同。通过共享，将海量自治的、分布的、异构的资源进行有效组织，以 服务的方式为网格用户提供统一的透明访问；通过协同，各种资源间可以相互交互、协 作，来共同完成复杂的网格应用。 信息高速公路一因特网，作为信息传输的信息基础设施，很早就己为人们所熟知， 而网格计算基础设施- g r j d ，是信息传输和信息处理的信息基础设施，却并不为大家 所熟知，但其重要性却很大，它为解决大规模、分布资源共享和协同工作问题提供了新 的平台技术。 1 3 课题的研究背景、目的及意义 1 3 1 课题研究背景 随着石油勘探海量数据处理对计算机运算速度和存贮量的要求与日俱增，这就使得 研发更高性能的计算系统变得更为迫切，而且还要充分利用石油行业已有的高性能计算 资源，在提高处理效率的同时最大限度的降低处理成本。 目前，我国的石油行业已经拥有十分丰富的高性能计算系统。仅2 0 0 8 年度中国高 性能计算机 生能t o p l 0 0 1 排行榜中，应用于石油行业的高性能计算机系统就有3 4 套之 多。另外，集群和类集群系统已成为目前高性能计算机的主流，t o p l 0 0 中有9 2 套系统 采用了集群结构。特别是p c 集群，由于其具有的易维护、可扩展性好、性价比高等特点， 2 中国石油大学( 华东) 硕上学位论文 受到了越来越多、越来越广泛的关注和应用。 但是，集群由于受到操作系统、文件系统、并行编程模式等多种因素的影响，使得 基于p c 机构建的高性能集群普遍存在并行效率不高的问题，因此也就无法发挥集群的并 行处理能力优势。 网格计算正在从美国和欧洲迅速地向世界其它国家和地区传播开来。很多国家政府 和一些国际组织及大的财团在网格研究领域已经投入了大量的资金。全球网格论坛、地 区和国家的网格论坛正在迅速的发展，其学术交流活动也正在积极地展丌。其中全球网 格论坛( g l o b a lg r i df o r u m ，g g f ) 已经成为网格标准制定与发布的主要机构。g g f 坚 信标准是网格技术发展的决定性因素。 在世界范围内已有多种国际性的网格项目，其中集成的网格系统有n e t s o l v e ，n i n f , u n i c o r e ：网格中间件有g l o b u s ，g r i d b u s ，c g s p ，g r i d s i m ，l e g i o n 等；用户级中间件有 a p p l e s ，c o n d o r - g ，n i m r o d g ，c a c t u s ，g r a d s ，g r i d p o r t 等；网格应用有e u r o p e a n d a t a g r i d ，g r i p h y n ，n e e s g r i d ，g e o d i s e ，i p g 等。此外还有很多规模不一的各种各样 的网格项目和实验床。 其中，g l o b u s 是目前网格技术的旗舰产品，是g l o b u s 联盟的网格产品。g l o b u s 联盟 推动了网格技术的不断发展，是网格技术发展的主要力量之一。g l o b u s 联盟是网格计 算的领导团队，以发展网格的基础技术为己任，先后推出了g t 2 、g t 3 和g t 4 。g t 3 是 第一个基于o g s a 体系结构的网格平台，2 0 0 5 年4 月推出的g t 4 对o g s a 的核心规范 进行了重新定义。 而在我国，网格技术的研究也已经列入国家“8 6 3 ”计划，在1 9 9 6 年中国科学院计 算研究所就开始了对网格技术的研究及相关开发工作。1 9 9 9 至2 0 0 0 年间设立了“国家 高性能计算环境 重大项目，研制网格应用软件，初步形成了国家高性能计算环境，即 网格雏形。并于2 0 0 0 年建成了国内连接8 个曙光计算中心的网格系统。2 0 0 1 年提出织 女星计划，其由低至高分为三个层次t 网格操作系统、信息网格和知识网格，各层次的 研究工作现都已取得了一定的成绩。2 0 0 2 年我国在“8 6 3 计划中设立网格专项，并筹 建国家网格、8 6 3 空间信息网格、国家教育科研网格、上海信息网格等项目，目前上面 所述网格项目及他一些相关行业网格已经在投入使用中。 在石油工业中，网格计算技术也已经有了一定程度的应用。如i b m 在它的计算中 心建立了一个以网格技术为基础的石油勘探系统，为全球的石油晃提供全方位服务，同 时，i b m 还在协助挪威油用服务公司、荷兰壳牌石油公司、海湾石油服务公司及中国的 第一章引言 石油公司等筹建高性能网格计算平台。其中，为了应对石油行业面临的巨大挑战，满足 石油勘探资料处理对高性能计算能力、资源管理能力及油藏建模精度等的需要，荷兰壳 牌石油公司开展了对网格并行计算技术应用的研究开发，旨在提高生产效率、提高数据 的处理能力的前提下，大幅降低处理成本，减少处理时间等，并选择以地震叠前深度偏 移处理为主要的网格应用。 在我国，网格技术在石油行业也有了一定的应用。 在2 0 0 4 年，中石化石油勘探开发研究院与i b m 公司合作，建立了我国首个企业应 用的网格系统，以实现数据库整合、数据和计算力共享的目的n 引。通过企业应用网格整 合分散的计算和存储资源，显著提高企业资源效率和利用率的同时，更好地满足了最终 用户的要求，并使得计算成本得以大幅降低。而且解决了以往需要大量资源协同计算， 但因计算和存储资源短缺而无法实现的业界难题。 中石油东方地球物理公司也进行了一些网格应用的研究工作。 江南计算技术研究所以u n i c o r e 软件系统为原型构建了油气地震勘探应用网格环 境恻，通过搭建一个功能完备的油气地震勘探应用网格，将分布两地的计算资源聚合起 来，实现了地震偏移处理成像的网格应用，取得了初步的进展。 利用实验室已开发的b g s s 地震资料处理系统已经在上海高校网格平台上处理了华 北油田5 0 多平方公旱的三维地震资料，效果良好。 由于地震资料处理天然的多道性，使用网格技术，可以很好地整合我国石油行业现 有的计算资源，充分挖掘处理应用中的并行性，在降低总体计算成本的前提下，大幅提 高计算效率。 本文采用比较成熟的网格技术，对石油行业已有的多种计算资源进行整合，并为用 户提供良好的操作接口；在大幅缩减投资成本的前提下，满足油田对数据处理能力要求 日益增长的状况。 1 3 2 课题的研究目的及意义 本课题研究的目的就是要以石油勘探海量数据处理为应用，利用网格技术整合多个 集群系统的计算资源与存储资源，实现数据分析的并行处理。 要提高地震资料的处理效率，同时控制地震资料处理的成本。这一方面需要充分挖 掘集群系统体系结构的高性能计算系统的并行处理能力；另一方面，需要将已有的高性 能计算资源“联合 起来，并加以合理的管理、配置和有效利用，来共同完成庞大的计 算任务，降低总体软硬件成本。利用网格技术为解决上述问题提供了解决的途径。这对 4 中国石油大学( 华东) 顾l ：学位论文 充分挖掘地震资料处理应用中的并行性，最大限度地使用好现有高性能计算硬件资源和 软件资源，具有十分重要的理论意义和现实意义。 1 4 课题的研究目标和内容 本文将通过对网格、集群进行深入研究，利用网格技术将多个微机集群的计算能力 进行整合，实现网格并行运算，提高地震资料处理的效率，降低计算成本；并在此基础 上，将已有的地震资料处理程序转化成符合网格标准规范的“网格应用，使已有的地 震资料处理程序平滑过渡到网格环境运行。主要研究内容有： ( 1 ) 分析研究网格技术与并行计算相关技术。网格是一种基础设施，通过网络综合 计算机、设备、服务及数据等资源，在投资和维护开销大大减少的前提下，使用户简便 地得到网格提供的各种服务；而通过并行计算可以快速解决大型而且复杂的计算问题， 如地震勘探资料处理；因此需要对这两种技术进行深入研究，从总体上把握课题研究的 现实和理论基础。 ( 2 ) 对面向网格的并行接口架构进行研究。结合g l o b u st o o l k i t4 的体系结构，提出 适合的接口架构模型，并设计实现架构的各个实体单元。 ( 3 ) 针对复杂的网格应用，对网格并行计算中的协同及负载均衡进行研究，并提出 网格下节点问、集群间合理有效的通信改进方法和策略，以及与实际作业执行相适合的 并行作业调度方案。 1 5 论文组织结构安排 本文分七个大章节，其中： 第1 章是前言，主要是对网格的基本情况进行了介绍，以及对网格的几点认识，论 文的研究背景及意义、论文的主要研究内容等。 第2 章介绍了本文研究的基础理论，包括网格计算相关知识和并行计算内容，分析 了网格环境下并行计算的优点，以及并行计算的步骤。 第3 章根据网格平台的特点，结合g l o b u st o o l k i t4 的体系结构，设计实现了用于地 震资料处理的网格并行计算接口架构模型，并对各实体单元进行了详细介绍。 第4 章介绍了网格并行计算中的通信协同机制，并针对跨集群并行计算中的实际问 题提出了改进方法，并对该方法进行了实例测试验证。 第5 章对负载均衡技术及其研究现状进行了介绍，并对网格环境下的负载平衡进行 了分析，为后面算法的改进做了铺挚。并提出了一个基于参数化任务图的网格关联任务 第一章引苦 调度算法，它采用在线调度与批调度相结合的方式，使网格d a g 任务的子任务与网格资 源间达成近似最优的匹配。 第6 章对整个系统的开发环境进行了详细介绍，并对系统的可行性做了初步的测试， 继而针对物探院的石油勘探实际数据在本平台上进行了实验，验证了本文提出的理论和 方法。 第7 章对本文进行了工作总结，并对下一步的研究方向进行了展望。 6 中国机油人学( 华东) 硕士学位论文 第二章网格并行计算基础 2 1 网格主要技术 2 ：1 1 网格元调度介绍 将地理上分布的、异构的资源组织起来，实现资源的有效共享，并将任务分配到相 应的资源上并高效完成，是分布式计算需要解决的核心问题。网格作为分布式计算的一 种，因此，如何对这些分散资源进行组织并高效率地完成用户任务是网格计算的核心问 题。在实际的网格应用中，用户的作业可能不是独立的，而是由存在内部关联的若干个 小作业组合而成，它们共同构成一个完整的网格应用。当这样一个应用被用户提交到网 格上后，将会被分配到网格资源上进行运行，假如这个过程由用户直接完成的话，将极 不利于网格的使用，更与网格对用户透明使用的初衷相违背，克服的最好方法就是在网 格上层增加一个资源中介悔1 ，它可以负责为用户提交的相关作业选择合适的网格资源， 这个资源中介就是网格元调度器。元调度系统不拥有任何资源，它只是将提交到元调度 器的网格应用最终派发到合适的局部调度器系统中，其工作的过程如下图2 1 所示。 资源节点资源节点资源节点 图2 - 1 元调度器的工作过程 f i 9 2 1w o r k i n gp r o c e s so fm e t a s c h e d u l e r 7 第二章网格并行计算基础 网格元调度器主要包括三大部分旧1 ：任务管理，资源管理，调度策略。任务管理模 块包括任务的解析、分解及调度、状态的监控等；资源管理模块实现资源定义、资源发 现、资源评估、资源访问等功能；调度策略模块通过多种方式将用户作业与网格资源进 行匹配，以使作业执行时间更加短。此外，元调度器还有容错、记账等功能。 网格环境下的元调度与传统的集群调度系统相比，有许多相似点，如在集群调度系 统中，调度就是在考虑某些性能标准及满足一定约束条件下，将用户的操作分配到计算 资源上 1 ；而网格元调度是在考虑负载均衡等性能标准的前提下实现任务与网格计算资 源的匹配。因为两者的任务和资源具有各自不同的特点，调度也呈现出不同之处：一、 不同的管理域。在集群调度系统中的所有资源都统属于相同的管理域，集群头结点即管 理节点拥有对内部资源的绝对控制权，能简化调度策略设计，执行变得容易；但网格环 境下，不同的资源隶属于不同的管理域，调度系统并不具有对所有资源完全的管理权限， 难以实现一个实时的全局资源、任务信息镜像，因此，系统在对资源信息进行收集时， 通常采用呈星型结构或树形分级结构的分散式方式；同时，不同的调度者也可以通过协 商完成各自的资源分配。二、不同的资源管理软件。一个集群内部的资源是通过某种集 群管理软件，! t n p b s 8 1 、c o n d o r 阳1 、s g e n 们等，通过其专门的协议、文件系统及安全认证 实现对所有资源的统一管理。而在网格环境中，为了满足自身需要，不同管理域会有相 应的集群管理软件，因此，元调度器必须要考虑到资源访问的异构性；并为访问不同管 理域提供某种安全管理措施。三、网格环境的动态不确定性特点造成的动态调度问题。 网格调度系统中充满了不可预测的意外事件，如某些资源节点的死机、新作业的加入等 等，而无法提前预测执行时间，制定调度计划，而集群环境由于相对稳定，可以对调度 进程进行预测。 2 1 2 网格安全与资源管理 由于网格系统的资源往往属于地域上分散的、不同种类的组织，要使用不同域的资 源，就需要各个组织使用通用的认证和授权体系，隶属g l o b u s 项目的网格安全基础设施 g s i 1 ( g r i ds e c u r i t yi n f r a s t r u c t u r e ) 为网格计算提供了满足要求的安全认证和安全通信 能力。g s i 可以通过设置提供完整性、隐秘性和鉴定，与g s i 的x 5 0 9 认证相结合还可以 提供加强鉴定。g s i 具有以下目标：一、保证位于不同组织的计算节点可以进行安全的 通信，授权和认证。二、支持跨边界的安全体系，安全系统不需要集中管理。三、支持 单点登陆，包括不同资源和不同节点的信任委托、信任转移等。通过g s i 提供的一系列 r 中国石油人学( 华东) 硕f ：学位论文 的相关协议及大量a p i ，以实现网格环境下的安全通信。 对于网格资源的管理，g l o b u st o o l k i t 4 提供了资源的注册、发现、分配、使用及监 视等功能，g l o b u s 项目中的资源分配管理组件g r a m ( g l o b u sr e s o u r c e a l l o c a t i o n m a n a g e m e n t ) 是资源管理的核心组件，它与信息服务组件和数据管理组件相协同，完成 对网格资源的管理。g r a m 作为核心组件，以面将对它进行详细介绍。 g t 4 中基于w s r f 协议的g r a m 被称为w s g r a m ，它采用w s r e s o u r c e 框架，为网 格用户提供了一组w e b 服务，并完成对网格应用的提交和管理功能。可以通过 w s g r a m 提供的通用协议及a p i ，请求和使用远程站点的资源，对提交的网格应用进 行监控和管理。g r a m 提供了基于g s i 的身份认证机制和g s i 身份到本地帐号的映射机 制。通过g r a m ，可以很好地完成需要信任证书、可靠执行的作业。此外，它还可以完 成对信任证书的管理，以便提交作业后，对作业的执行情况进行监视，并控制其进展， 分批、分阶段地对数据进行处理。g r a m 为网格应用提供了一个安全可靠的执行环境， 并集成了多个专门用于复杂环境下对作业执行管理进行优化的本地资源调度器。 m p u t e l = m = n t4 n d 蜷ni ：h o h “ o = n i 口【= 蜢i r 置g ：_ j ：l l l o n i - 图2 - 2w s g r a m 体系结构 f i g2 - 2 t h ea r c h i t e c t u r eo f w s g r a m w s g k a m 的核心是一系列的网格服务，包括m a n a g e d j o b f a c t o r y j 艮务和m a n g e d j o b 服务。前者的资源是每个计算站点，它会为提交到该站点的作业生成对应的m a n a g e d j o b 服务，后者的资源是作业，负责作业状态的监视及结束作业执行。用户提交作业后， 9 第二章网格并行计算基础 g r a m 会创建一个m a n a g e d j o b 对象，并将其句柄返回给用户。通过句柄，用户就可以与 这个作业进行交互。作业请求通过r s l 描述，作业管理服务通过解析r s l 请求实现应用 与资源的匹配。 相比w s g r a m 通过w e b 服务实现，g t 4 中的p r e w s g r a m ( g r a m 2 ) 组件则 主要由g t 2 ( 有小量改动) 组成，并新加入了一些不错的程序，如m y p r o x y 和 g s i o p e n s s h 。w s g r a m 的体系结构如上图2 2 所示。 p r e w s g r a m 的体系结构如图2 3 所示： l f 。r k e x e c u a i 乞 | 印c o n d o n r , l s f 参 5 t s t eq 、甜豫ec al ib a c k 图2 - 3p r e w s g r a m 体系结构 f i g2 - 3t h ea r c h i t e c t u r eo fp r e - g r a m 2 1 3 网格监控 网格环境是一个复杂的分布式系统，涉及到的部件数量巨大而且千差万别，这里的 部件包括网格应用所用到的所有软硬件服务和资源。大量的用户和这些部件的差异性极 易导致故障、超载的发生或是作业执行失败。因此，需要采用一些机制对这些部件及它 们的使用情况进行监控，及时检测到导致故障的原因，为作业的运行提供可靠、有效的 环境。 1 0 中国石油大学( 华东) 硕上学位论文 网格监控的目标是能对特定资源的状况进行随时的度量和呈现。网格系统中的所有 部件都在监控之下，如节点硬件信息( 处理器，内存等) 、软件信息( o s ，进程等) 等 等。用户可能按照监控所得到的信息来进行性能的判断，故障的定位排除等，以便对系 统进行调整，从整体上实现更好的性能。 目前存在的网格监控系统很多2 1 本文所用到的监控系统是g a n g l i a ，它是一种分布 式监控系统，可用于监控网格系统和集群系统。其通过x m l 表示数据，压缩数据由x d r 传输，数据库为能够支持可视化的r r d t o o l 。由于特殊数据结构和算法的采用，各个被 监控节点的负载较低，但并发程度却较高。g a n g l i a 是基于c s 模式的，体系结构如图2 - 4 所示： 图2 - 4g a n g l i a 体系结构 f i g2 - 4 t h ea r c h i t e c t u r eo fg a n g l i a g a n g l i a 的核心由三部分构成：g m o n d 、g m e m d 、w e b 前端。其中： g m o n d ( g a n g l i am o n i t o r i n gd e m o n ) 是g a n g l i a l 拘监视守护进程，它运行在每一个 被监控的节点上，收集它所运行的机器的性能量度，监控主机状态的变化，并跟踪运行 在其他节点上的g m o n d 进程的状态，如果某节点失效( g m o n d 进程死掉) ，所有运行g m o n d 进程都会发现。g m o n d 给带来的系统负载非常小，它只在被监控主机上运行一段代码， 而对用户性能几乎不造成影响。当网络中同时出现大量小消息时会引起“抖动 ，可以 通过同步节点时钟来避免这个问题。 g m e t a d ( g a n g l i am e t ad e m o n ) 提供了一种联合视图，它只需要运行在管理节点上， g m e t a d 进程会周期地轮询g m o n d 进程的性能量度，分析收集到的x m l 数据，然后将这些 第二章网格并行计算基础 信息存储到一个循环复用的数据库r r d t o o l 中，这里的循环复用是指最旧的数据将会被 最新的数据所覆盖，数据库永远不会被填满。 g a n g l i a 的w e b 前端负责将收集到的信息以图形化视图的方式呈现给用户，由于w e b 页面自身是动态的，主机状态的任何变化都会立即体现在视图的变化上。 前面说至l j g m e t a d 收集到的数据之所以暂存到r i m t o o l 数据库，是因为它与其他数据 相比有如下特点：一、除数据存储外，还支持创建图形。二、固定大小的数据库。三、 r r d t o o l 除能对数据本身进行存储外，还可以对数据库相对于以前的数据变动进行存 储。四、在提供数据时更新数据库外，r r d 还会周期的进行更新，并且存储时间戳。 2 2 并行相关技术 随着科技的发展，人们需要解决问题的繁杂度越来越大，处理的数据量也与同俱增。 人类对计算能力的要求远远快于摩尔定律所给出的芯片发展速度，通过提高单个c p u 的 计算速度和采用传统的串行技术已难以满足要求。因此，更强大的计算机系统和计算技 术被迫切地提上日程，并行计算技术应运而生，为满足我们高速计算的需要提供了一种 解决方法。并行计算的发展离不开并行软件的发展，本文主要对m p i 及集群计算方面进 行介绍。 2 2 1m p i 、m p i c h 、m p i c h - g 2 m p i u 3 1 4 1 本身不是一个具体的a p i 实现，它只是一套消息传递函数库的标准说明。 m p i 的语法和函数都是标准的，可以在某个系统中运行不同的m p i 实现5 1 6 1 ，当然性能 上可能会有微小差别。采用m p i 编写的并行程序能够不加修改地运行在不同平台上。也 可以根据运行平台的不同对程序进行优化，以获得更高的运行性能。m p i 标准包括两个 文档：m p i 1 和m p i 2 。m p i 1 是m p i 消息服务的核，为m p i 进程间消息的传递提供了抽 象语义和机制，还有一些对并行计算有帮助的附加特性。m p i 2 在m p i 1 的基础上进行 了功能扩展，如并行i o 、单边消息传递、动态的进程控制等。 m p i 有多种实现，如m p i c h 、l a n 、i b mm p l 等，其中，m p i c h 是最常用，也是 最稳定的版本。m p i c h 是m p i 的一种实现，它由a 玛o n i l e 国家实验室开发。它的结构分 为三层h 1 1 ：最上层是m p i 的a p i ，基本是点到点通信，及在此基础上构造的机群通信 ( c o l l e c t i v ec o m m u n i c a t i o n ) ；中间层是a d i 层( a b s t r a c td e v i c ei n t e r f a c e ) ，其中的d e v i c e 可以理解为某种底层的通信库，a d i 为不同的底层通信库的不同接口提供了统一的标准； 最底层则为具体的底层通信库。 1 2 中国石油人学( 华东) 硕上学位论文 若把a d i , 层设置为g l o b u s 2 ，就是下面介绍的m p i c h - g 2 。体系结构如下图2 - 5 所示。 ，p i ( fi 、! o h c c l t j r c 1 “ f 夕弋夕 f 。 一加疗。，鼻；。? ? 吖t f 。雌磊j 吩， l l 之多之多 ，州p f l i 7 ，t ，t t ，。，j “r ，幽t l l 、i- v 。夕 | a 蜘s t r 3 c tt 托“：。t n t 站t t 。c a t ，t * 矗 图2 - 5m p i c h g 2 体系结构 f i g2 - 5 t h ea r c h i t e c t u r eo fm p i c h - g 2 m p i c h g 2 是一个用于网格环境的m p iv 1 1 标准的实现，通过与g l o u b s 的服务相协 同，可以耦合不同体系结构的网格节点来协同并行计算。它有着标准的m p i 编程接口， 因此熟悉m p i 编程的人员可以轻松地使用m p i c h - g 2 。 图2 - 6m p i c h g 2 与网格的依赖关系 f i g2 - 6d e p e n d e n tr e l a t i o no fm p i c h g 2a n dg r i d m p i c h g 2 是g l o b u s 与m p i 相结合的产物，依赖关系如上图2 - 6 所示。 第二章网格并行计算皋础 m p i c h g 2 提供了面向网格的通讯库支持，源代码透明( 无须修改应用程序源代 码) 、平台透明( 支持多种操作系统，并自动转换异构平台问的消息数据) 、协议透明( 通 过通讯拓扑发现机制，支持底层多协议通信) o 2 2 2 集群 在用集群进行并行计算时，首先要要配置并行计算环境，而后在此基础上安装集群 管理软件，本文所涉及到的主要是p b s 【1 心2 1 和c o n d o r 引，因此主要对这两种集群管理软 件进行介绍。 一、p b s p b s ”7 2 2 是一个集群管理系统，支持任务的调度和作业的管理，它通过s h e l l 脚本提 交批作业，并提供保护直到作业开始执行，作业执行结束后，将作业输出的结果进行返 回，在批作业运行过程中用户无须进行干预。p b s 虽i j 可安装配置在集群环境中，也可在 单机中安装。此外，p b s 允许将它所包含的节点分成多个小组。 如图2 7 所示，p b s 包括三个部分：任务提交主机、主主机( p b s 集群的头结点) 及若干的执行主机，集群内的主机既可作为主主机，也可作为执行主机。 提交土机 执行主机执行主机 执行主机 图2 7p