（计算机软件与理论专业论文）基于集群技术的作业管理系统研究与应用.pdf

摘要 集群技术与作业管理技术的有机结合，产生了基于集群技术的作业管理系统， 它将物理上分散、异构、自治的计算机通过网络连接成集群，并通过软件实施有 效的分布资源管理，形成了一种商性能高吞吐墼的分邗式计算环境。这种新型作 业管理系统既保留了传统作业管理系统的优势，又引入了集群技术所带、柬的商州 靠性和高可用性，大大提高了系统的利用率。 本文针对一个具体的集群作业管理系统c j m s ( c l u s t e rj o bm a n a g e m e n ts y s t e m 、 的体系结构、基本原理、功能强化展开了深入的研究与实践，主要内容为： 1 概括了作业管理系统的发展历史和发展趋势，总结了现代作业管理系统的基本 功能和主要特点。 2 对作业管理系统的体系架构进行研究与分析，提炼出集群作业管理系统的洋细 分层实现模型。 3 研究并分析了集群作业管理系统的作业调度策略，运用分层的思想给出丫 c j m s 系统的作业分级调度模型，并根据基本的调度算法，讨论并确定出调度 模型采用的宏观和微观调度算法。 4 提出了在作业管理系统中一种可扩展的支持多种记录方式的事件同志记录系 统的记录原理和框架结构设计，井根据设计要点实现了文件同志记录、w i n d o w s 事件闩志记录和o v o 事件同志记录三种记录方式。 关键词：作业管理系统，集群技术，作业网络，作业调度，事件f l 志 a b s t r a c t w i t ht h ec o m b i n a t i o no fc l u s t e rt e c h n o l o g ya n dj o bm a n a g e m e n tt e c h n o l o g y 、t h e j o bm a n a g e m e n ts y s t e mb a s e do nc l u s t e rw a sb o r ni tc o n n e c t st h ed i s t r i b u t e d ， i s o m o r p h i c ，s e l f - g o v e r n e dc o m p u t e r si n t oc l u s t e rv i an e t w o r k ，a n de x e c u t e st h ee f f i c i e n t r e s o u r c em a n a g e m e n tt h r o u g hs o f t w a r e t h a tf o r m sad i s t r i b u t e dc o m p u t i n g e n v i r o n m e n t ，w h i c hh a sl a r g et h r o u g h p u t sa n dh i g hp e r f o r m a n c e t h en e wj o b m a n a g e m e n ts y s t e m n o t o n l y r e m a i n st h e a d v a n t a g e s o ft h et r a d i t i o n a lj o b m a n a g e m e n ts y s t e m ，b u ta l s ob r i n g s t h e h i g hr e l i a b i l i t ya n dh i g ha v a i l a b i l i t yf r o m c l u s t e rt e c h n o l o g y 。i th i g h l yi m p r o v e st h es y s t e m se f f i c i e n c y t h i st h e s i si sb a s e do nas p e c i f i cj o bm a n a g e m e n ts y s t e mw h i c hc a l l e d c j m s ( c l u s t e rj o bm a n a g e m e n ts y s t e m ) ，r e s e a r c ha n dp r a c t i c e o nt h e s y s t e m a r c h i t e c t u r e ，b a s i ct h e o r ya n df u n c t i o ne n h a n c ei s c a r r i e do u ta n dt h em a i nw o r ki sa s f o l l o w ： 1 s u m m a r i z e dt h eh i s t o r ya n dt h et r e n do ft h ej o bm a n a g e m e n ts y s t e m ，a n d g e n e r a l i z e dt h eb a s i cf u n c t i o na n dm a i n c h a r a c t e r i s t i c so f t h es y s t e m ， 2 i n v e s t i g a t e da n da n a l y z e dt h ea r c h i t e c t u r e o ft h ej o bm a n a g e m e n ts y s t e m a n d a b s t r a c t e dt h el a y e r e di m p l e m e n tm o d e lo ft h ej o bm a n a g e m e n ts y s t e mb a s e do n c 。l u s t e r 3 s t u d i e da n da n a l y z e dt h es c h e d u l i n go ft h ej o bm a n a g e m e n ts y s t e mb a s e do n c l u s t e r p r e s e n t e dt h el a y e r e ds c h e d u l i n gm o d e lo fc j m s ，d i s c u s s e da n ds e l e c t e d m a i na r i t h m e t i co f t h em o d e l 4p r o v i d e dt h eb a s i ct h e o r ya n ds t r u c t t w ed e s i g no fa ne x t e n s i b l ee v e n tl o gr e c o r d s s y s t e m ，w h i c h c a ni m p l e m e n tm o r et h e no n er e c o r dm e t h o d si nt h ej o b m a n a g e m e n ts y s t e m 。i m p l e m e n t e d t h r e ew a yo fr e c o r d i n g ，w h i c ha r ef i l el o gr e c o r d ， w i n d o w se v e n tl o gr e c o r da n do v oe v e n tr e c o r d k e y w o r d s ：j o bm a n a g e m e n ts y s t e m ，c l u s t e rt e c h n o l o g y ，j o b n e t w o r k ，j o b s c h e d u l i n g ，e v e n tl o g 西j 匕 ：业丈学硕七学位论文 前言 _ _ _ _ _ 目i - - 1 研究背景 丹q吾 随着计算机网络技术、分布式计算技术的麓展和普及，一种既能提供强大的 计算能力又能避免巨大的资潺浪费的耨方法集群技术应运而生。集群技术提 供了一个广义的分布式平台。通过这种技术司咀将大量桌面系统组织成个新的 强大的虚拟平台，从而更加灵活高效的实现资源的充分利用。集群系统不仅要求 硬件上的多台计算机连成网络，还需要在软件上对这些计算机进行管理，基干集 群的网络作业管理系统j f 是适应选种需求丽出现并得以快速发腥，成为了作业管 理系统的囊爱发展方向之一。 犀前，作业管理系统已经进入了稳步发震的阶段作业管理系统的理论和产 品都已趋予成熟，僵是随着新技眷的不断产生和发展，作业管理系统理论体幕需 要不断完善，作业管理系统的产品性能和功能需要不断提离。如何构建好的体系 结构模型，如何实现更强大更完善的功能，如何利甩赣黯技术提高改善系统的性 能，这将成为新一代作业管理系统的研究方向。 西北工业大学软件王程中心从1 9 9 7 年起开始研制作业管理系统c l u s 托rj o b m a n a g e m e n ts y s t e m ，简称c j m s 该系统具备一般作业管理系统的基本特点并 在此基础上引入了作业依赖关系，提出了作、臣嘲绍的概念。它扩展了底层支持模 块n q s ( n e t w o r k q u e u i n gs y s t e m ) 系统，使其支持文件分段传输相隔络负载平掬 等功能。c j m s 的多个版本已经作为研发产品在商业上广泛应用，在国际上得到了 充分的支持与肯定。 2 研究内容 作者肤2 0 0 4 年开始加入作业管理系统c j m s 的研发，主要参加rr 1 2 4 、 r 1 2 4 ，1 、r 1 25 三个版本的开发以及r 1 2 ，3 、r 1 2 4 两个舨本的维护。在系统研发 过程中对系统进行的研究分如下两方面内容； ( 1 ) 整体研究：通过赢阅大量国内外有关于集群作业管理系统的资刳并对c j m s 系统进行整体研究和分折，提炼出集群作业管理系统的分层参考模酗。 西北工业人学硕士学位论文 前： _ _ _ - _ _ _ - _ ii i i _ _ - _ 目e ( 2 ) 局部研究与实现：选择c j m s 中的作业调度系统、事件同志记录系统这两 个部分进行深入研究、分析与实现。 3 组织结构 全文分四章阐述了对基于集群技术的作业管理系统所作的研究和具体应用， 详细的组织结构如下： 第一章：作业管理系统橛述 对作业管理系统扼要的整体介绍，阐述了系统的发展历史与f j l _ 景，霾点 介绍了系统的基本功能和主要特点。 第二章：集群作业管理系统的分层参考模型 根据对集群技术和作业管理体系结构的研究，提炼出了集群作业管理系 统的一套完整的分层体系结构，并按照由整体到局部的逻辑思路对该模型进 行了详细阐述。 第三章：集群作业管理系统作业调度研究 对集群作业管理系统的作业调度进行了分析和研究运用了分缎调度的 思想，给出了c j m s 系统的作业分级调度模型，并对分级调度模蜒中的宏观 调度和微琨调度进行了详细的研究，并选取了合适的调度算法。 第四章：事件r 志记录的实现 详细论述了作业管理系统中事件同志记录功能的设计与实现，主要给出 厂文件f 1 志、w i n d o w s 事件r 志、o v o 事件日志三种记录方式的具体实现方 法。 结束语：简要评价c j m s 的功能与特点，并给出了今后的改进方向。 竺坐! ：些盔兰堡主兰堡垒文 第一章作业管理系统概林 曼曼鼍墨- - _ _ _ _ 一i i 第一章作业管理系统概述 作业管理系统是为了强化和扩展操作系统的作业管理功能而建立于操作系统 之上的一类控制管理软件。它提供作业定义、作业提交、作业调度、作业执行、 作业监控等主要功能，以便更加有效地利用系统资源、均衡网络负载并提高系统 的整体性能。 1 1 发展历史与前景 计算机技术发展早期，主要以大型机系统为主。在当时，为了提高系统资源 的利用效率，系统或用户提交的作业采用批处理的方式运行，井目作业的提交弓 执行过程由批处理系统进彳亍统一控制管理。这种批处理系统就是最早的作业管理 系统，它属于操作系统的一个子系统。 随着计算机网络技术的产生和计算机系统的小型化发展。大型机上的训算们j 务被分散在多台工作站上执行。使用工作站虽然可以完成更多任务，但是资源利 用率却狠低。在这种情况下，以网络队列系统n q s ( n c t w o r kq u e u i n gs y s t e m ) 为代 表的传统的作业管理系统应运而生。网络队列系统n q s 对批处理系统进行了扩展， 引入了队列的概念，并且扶操作系统中分离出来，成为独立的系统管理软件。 8 0 年代以后，在网络技术与分柿式计算技术不断发展中，作业管理系统进入 r 个蓬勃的发展阶段。一些大型研究机构和公司都将作业管理系统作为提高q 二 产效率、提商资源利用率的一项重要技术，并面向实际需求玎展了大量的研究与 开发工：作。通过对n q s 系统进行扩展或重新设计，产生了许多公用的或商业化的 作业管理系统，它们在目标、结构、功能和实现上各有差异，从不同捌面反映】， 现代作业管理系统所应具备的特性，其中颇具代表性和影晌力的作业管理系统有： n a s a 与m r j 公司共同丌发的p b s ( p o r t a b l eb a t c hs y s t e m ) ，威斯康星大学开发的 集群作业管理系统c o n d o r ，加拿大p l a t f o r m 公司研发的负载共享软件l s f ( l o a d s h a r i n gf a c i l i t y ) 以及i b m 开发的集群作业管理系统l o a d l e v e l e r 。 目前，作业管理系统进入稳步发展阶段，伴随集群技术与网格计算 _ = 盏成熟， 基于集群技术的作业管理系统已成为作业管理系统的一个重要发展方向。作为集 群系统应用软件的重要组成部分，基于集群技术的作业管理系统在r ：多领域部得 到了广泛的应用，尤其是在离性能计算领域和商业信息处理领域部发挥着举足轻 ：f i 断提高，不断变化，作业管理系统仍需要不断完善、不断发展。如何构建出好 的体系结构模型，如何迸步完善系统功能、提高系统性能，这些都将成为新 代作业管理系统的研究课题。 1 2 作业管理系统的功能与特点 1 2 1 基本功能 现代作业管理系统虽然实现各异，但是主幕功能基本相同，可归纳为如卜，l 个疗面： ( 1 ) 作业定义功能：提供完备的作业生成、修改、删除、更名、复制、存储等功能。 ( 2 ) 作业提交功能：提供便捷的作业及时提交与定时提交功能。用户可以根据需求， 创建 i 历及提交时刻表，系统将按照提交计划良动提交。 ( 3 ) 作业监控功能：监控作业的执行状态，查看作业的执行结聚，对执行作业进行 各种控翩，包括执行过程中重耨修改侮业及属性定义。 ( 4 ) 作业调度功能：通过适当的调度策略，对提交的作业进行合理的调度和运行， 提高系统性能。 ( 5 ) 资源管理功能：包括对机器、队列、请求等资源进行统管理并合理分配。比 如，建立机器组；在机器组中的任何机器上新建队列，设定队刊的属性、优党 级；查看机器中的队列状况、队列中的请求状况。 1 2 2 主要特点 新一代作业管理系统应具备如下几方面的特点： ( 1 异构烈环境：异构是由一组具有不同操作系统和不同结构的计算机组成的讨葬 环境。网络的不断发展要求软件系统能够运行在异梅环境中即要求应用软们 必须其各各个系统间的互操作能力，因此，新一代作业管理系统应提供包括 u n i x 、w i n d o w s 等各类操作系统的支持。 ( 2 ) 分布式操作：分布式系统迅速发展的重要因素之一是由于某些应用本身具有分 柿式的特性。作业管理系统在与集群技术不断融合中，分饰式特性表现的越柬 越明显，部件、资源、任务的分散，使得分布式操作越泉越重要。 ( 3 ) 开放型体系：作业管理系统所运行的嘲络环境，随对可能发生资源变更，如嘲 络艇模的扩大需要作业管理系统管理更多的机器结点，操作系统的升级需要作 4 扼北【业大学硕士学位论文第一章作业管理系统概述 业管理系统支持新的作业运行方式等，因此作业管理系统本身就应该是一个 ： 放的体系结构，可以灵活地变更机器硬件和软件模块，动态实现系统的扩充或 升级。 ( 4 1 集中式管理：作业管理系统虽要求分布式操作，但服务器的管理采用集中管理 的方式便可以通过一点掌控接个网络的运作情况。作业管理系统的运行环境非 常复杂，可能是一个小型的局域网，也可能是个大型的广域网，因此，要自 效地维护整个系统，必须提供集中化管理机制，以实现从网络中任意。台工作 站上完成对整个系统的全颟控制。 1 3 小结 本章对作业管理系统进行了比较概括的介绍，首先给出r 作业管理系统的整 个发展过程和应用前景，然后总结出现代作业管理系统的应具有的基本功能和书 凄特点。 旦些兰、业叁兰婴i 堂壁堕 一 第一章集群作业管理系统的分层实现模型 第二章集群作业管理系统的分层实现模型 2 1 集群技术综述 集群是由一组相互独立的计算机通过网络连接而成的一个计算机系统，系统 q ，的每个节点( 即集群中的每台计算机) 都是一台独立的服务器。这些节点t 矾三l 彼此 通信，协同起来向用户提供应用程序、系统资源和数据，并由专门的软件系统以 单一系统的模式加以管理。 集群技术提供了一个广义的分布式平台，通过这种技术将大量桌面系统组织 成一个新的强大的虚拟平台，当个客户端与集群系统相互作用时，熊群就像是 。个独立的服务器，但是比单独的服务器提供更高的可用性。由于集群系统具有 高性能、高可用性和伸缩性好等优点，并且其性价比较高，医l 此集群系统的应用 非常广泛，例如，在线交易、远程教商、图像分折、数据挖掘、企业管理等。 2 2 系统分层模型 随着集群系统的发展，作业管理也发展到支持异构的网络环境、支持多平台、 支持并行应用等新需求这样一个阶段。作业管理系统与集群技术相结合，形成了 集群作业管理系统。利用集群技术的优越性可以弥补传统作业管理系统的一些缺 点，提高作业管理系统的高可用性和可扩展性。 在集群环境中实现的作业管理系统，从宏观上可分为两层：上层是虚拟作、i k 锊理层，下层是集群服务层。集群服务层为虚拟作业管理屡提供集群系统支持， 作业管理功能在虚拟作业管理层实现，它可以被看作是集群系统的应用软件。 根据集群的特征，可以进一步将集群作业管理系统细分为集群硬件层、系统 管理层、虚拟服务层和作业管理层四层，具体结构如图2 1 所示。 柏鸵1 业人学硕士学缱论文第二章集群作、监管理系统的分瑶实现模豫 鼍瞳囊墨一i i ii i i ii iii 冀曩曼 作业管理层 虚拟作业管理层 虚拟服务层 系统管理层 集群服务层 集群硬件层 幽2 1 巢群作业管理系统分层结构图 作业管理层和虚拟服务层是对虚拟作业管理层的细分，系统管理层和集群硬 件层是对集群服务层的绍分，这四个层次宙下雨上分剐实现不目层次上的功能， 辩= 且下层为上层提供支持和服务，上层的实现以下层为基础，具体细节将存h i f 几个小节中分烈进行阐述。 使用分层的体系结构便于系统的开发与维护，易于在不同平台阅进行移植与 扩展。分层体系中采用的模块化的丌发方式能够有效降低软 牛丌发成本，提高软 件开发效率。 2 。2 1 集群硬件屡 集群硬件层位于集群作业管理系统分层模型的底层它负责构建集群系统的 硬件体系结构，为上层的集群管理层提供可管理的硬件基础。典型的集群作业管 理系统的硬件体系结构如图2 - 2 所示，它由如下几部分构成： f 1 1 网络客户端：提供给用户访问集群节点的方式。当用户提交作! 世的节点发生任 何故障时，它提供通信方式的自动转换，并继续完成作业，但用户并不会感觉 到作业运行位置的变迁。 ( 集群管理器：提供对集群系统的动态管理与控制，包括增加和删除节点，以及 对运行节点的动态监控。 ( 3 1 集群服务器；提供对集群服务器上资源的管理。它接收来自集群管理器她拴制 命令和信息，监控资源运行状态，控制作业的运行、停止以及作业的迁移。 f 4 1 共享磁盘阵列：存储作业运行对特有资源翻f i 志文件，并提供集群系统上番钉 点的共事存储空间。 集群服务器之间可以通过公有网络进行连接，也可以通过私有网络进行连接。 公有网络主要用于服务器节点和客户端之洲的通信，而私有网络专用于服务器1 ， 点之间传送监测信息包，以监控各节点的状态信息。若给定时问内某个节点不能 响应，则认为该节点有故障，于是色动开始故障转移，从而避免硬件单点敞障。 曲北l ：业人学硕士学位论文 第一章 集群作业管理系统的分层实现楼，避 各服务器节点通过共享s c s i 总线连接到共享存储的s c s i 磁盘，为保证节点之问 可以稳定地访问共享存储磁盘上的数据，采用“非共享模式( s h a r e d - - n o t h i r i g ) ”， 即每个服务器节点都拥有自己的内存和存储资源，并且在某个时问j 会有一个冉 点独占式地拥有和管理共享存储资源，避免了缓存一致性的维护问题。 ：集群管理器网络客户端 上 毛 卜 集群服务器 私有网驴 _ _ _ 一 # 豪r r s i 蘸圣彗 2 2 2 系统管理层 豳2 - 2 集群作业管理系统硬件体系结构 系统管理层的主要功能是管理和维护集群硬件。完成虚拟i p 到实际i p 的转换， 并负责创建和管理上层的虚拟服务。该层通过实现一个集群管理器，完成对集群 系统实行集中式管理，并监控集群系统中的可用资源及网络中出现的异常。 集群管理器通常会提供一个基于图形界面的客户端应用程序，使系统管理员 对集群系统的管理和配置工作更加真观方便，它实现的主要功能如下： 1 l 全局管理：管理和维护整个集群系统，负责增加或删除节点、验证节点的有效 性等。 ( 2 ) 状态监测：对集群中备节点的运作状态进行实时监视，并在共享存储磁盘二专 塑! ! ! 些查兰堡主兰壁论文 第一二章集群佧业管理系统的分层实现模型 门划一个区域记录虚拟服务的数据和日志信息。 ( 3 ) 地址转换：完成i p 地址切换i p a t ( i pa d d r e s st a k e o v e r ) 功能，实现同 个虚拟 i p 到实际服务器的透明转换。在检测到故障的情况下，采用i p 地址切换技术 可将客户的连接由故障节点导向新的服务器节点。 ( 4 ) 故障处理：为集群系统制定故障策略并负责故障转移。一旦故障发_ 二，按照故 障转移策略将虚拟服务的资源数据转移到集群管理器指定的位置，从而实现自 动的故障恢复。 ( 5 ) 虚拟服务管理：管理系统中已创建的虚拟服务，并维护所有在集群系统中运行 的虚拟服务的状念列表。 2 2 3 虚拟服务层 运行在集群环境下的作业管理系统组成了服务器集群，它作为一个整体向外 界用户提供统一的作业管理服务，这种服务对于用户来说是透明的，即用户不用 关心也并不清楚自己所递交的作业将会在哪台机器上运行，因此称为虚拟服务。 为上层提供虚拟服务是虚拟服务层的主要功能。 集群系统中运行有若干虚拟服务，每个服务都可拥有自身的虚拟l p 、虚拟机 器名以及资源组( 包括网络界面、打印机和存储资源等) 。集群系统以资源组为即 位对虚拟服务进行管理，每个虚拟服务就相当于一台虚拟机器。一旦故障发生， i j 动在集群内部完成故障转移和恢复，这些动作不会被外部感知。 在集群系统中，作业管理系统是作为一类应用软件丽运行的，为使它适应予 集群环境、实现虚拟作业管理功能，需要在虚拟服务层提供一个d j l 以被集群感知i 的接口，具体实现方案如下： ( 1 ) 虚拟服务实体创建程序( c l u s t e r m k s i t e e x e ) ：用于建立虚拟服务的运行实体， 运行实体包含作业管理系统的核心进程和服务。创建操作的命令格式如下： c l u s t e r m k s i t e 、 ：、 、 & & ：，1o o m 塑：! 竖盔堂堕主学堡堡奎一 第三章 集群作业管理系统作业调度研究 该实例的具体古义为：需2 个具有i n t e l 体系结构、版本号为w i n d o w s n t 4 0 以后的w i n d o w s 操作系统的节点，其最小内存需求为2 m ，最小磁盘空阳j 需求为 1 0 0 m 。 3 2 1 2 子作业的资源需求 子作业的资源需求可分为两类：继承资源需求积自设定资源需求。继承资源 需求是矗接从它所属的作业网络继承的需求，是作t e 常执行的必需条件，自殴 定资源需求是可选的。表3 2 列出了子作业包含的所有资源需求。 表3 - 2 子作业的资源需求定义 类耻 资源值类型含义 继承资源需求 a r e b i t e c l u e s t r i n gp 点的体系结掏 o r y p es t r i n g 。缸点的搬作系统类磷 o sv e r s i o n s t r i n g 1 铃点的操作系线炷本号 臼设定资源需求 m e m o 珂i n t e g e r。f 作业所需的物理内存大小 d i s k i n t e g e r 子作业所需的磁盘空间人小 予作业的继承资源需求可从包含浚作业的作业网络的属性文件中获取，不需 要单独设定和存储，而自设定资源需求存储于子作业的祸性文件中，出用户迸行 设定。下面给出一个子作业资源需求的描述实例： 继承资源需求： & & & 2 ，”w i n n t 4 0 自设定资源需求： = , 6 0 0 k & & = 2 0 m 3 2 2