局域网络并行计算环境的建立及并行处理管理策略研究

1、局域网络并行计算环境的建立及并行处理管理策略研究王玲玲 李元香(武汉大学软件工程国家重点实验室,430072(wlingling00 yxli 摘要本文讨论了一种在现有局域网上建立并行环境的方法,提出了半机群系统的概念,并研究了在半机群系统中的并行处理管理策略。关键词并行环境,并行处理,策略,资源分配引言我们身处在一个信息爆炸的时代信息爆炸的时代,现实世界越来越多的信息带来越来越庞大的需要存储、处理的数据。并行处理方法是一种快速处理海量数据的有效方法。但是,由于高性能计算机价格昂贵,并不便于普及。近年来,由于个人计算机的性能不断提高,价格持续下降,同时网络技术飞速发展,并行机群系统(NOW,N

2、etwork of Workstation替代高性能计算机,成为并行处理领域的关注焦点。机群系统是利用通用的高速网络,将一组高性能工作站或高档PC机按某种结构连接起来,统一调度、协调处理,实现高效并行处理的系统。并行机群系统具有性价比高,易于组建,无工作站同构性要求,可扩展性强等优点,得到了越来越广泛的应用。并行机群系统最方便的源泉就是局域网,可以说局域网是天然的并行机群系统,只需要对于局域网的组网和管理策略,以及相应的软件系统作一些修改,就可以很容易地改造成为一个并行机群系统。这里,我们研究的就是局域网上并行系统的建立,同时提出了一种任务调度策略。一、 局域网络、机群系统及半机群系统1. 局

3、域网和机群系统通常局域网有以下的特点:为一个单位所有;所有的站点共享较高的总带宽;较低的时延和较低的误码率;各站为平等关系而不是主从关系;能进行广播或多播。机群系统结构通常具有的特点:构成系统的所有节点都是可以独立使用的计算机;连接各个节点的互连网络提供节点间高性能、高可靠和可扩展的通信服务;整个系统在所有用户看来就是一个整体,用户使用此系统时,就好像是在使用一台具有高性能配置的单一计算机系统。整个系统具有健壮性。当一个或几个节点出现故障时,这个系统只是性能降低,不会停机。2. 半机群系统比较局域网和机群系统我们可以看到,两者在很大程度上具有相似性,将局域网改造成机群系统,以适用较大规模并行计

4、算的需求,是比较方便的。同时我们也应该看到局域网和通常意义上的机群系统的区别:局域网中的节点机主要还是用来作为个人计算机使用,这是它的最主要功能;而通常机群系统中的节点机可以没有显示器、键盘等等外设,主要作为存储计算节点来使用。我们改造局域网成为机群系统使其能充分利用空闲资源来处理并行计算问题,很大程度上是为了使现有局域网功能更强大,也更方便用于并行计算,而不是将它彻底改造成一个机群系统,因此,这里我们称它为半机群系统。半机群系统具有以下特点:机群系统从本质上来说更倾向于一个局域网,因为其主要的功用还是提供给各联机用户联网计算机,在通常情况下,与普通的局域网没有什么区别。系统应提供一套完整而统

5、一的并行处理平台。当要使用此系统进行并行计算时,此平台会给用户提供方便的使用界面,并分配网络资源,使用户可以使用几乎整个系统来进行并行处理。因此,它具有机群系统的特点。系统统一管理所有工作站,工作站资源的使用对用户透明。用户请求并行处理后,由系统按用户需求分配资源,用户无从知晓自己现在使用的具体是哪里的资源。这一点,对于局域网中信息保密是十分重要的。用户虽然可以使用其它工作站的CPU及其它有限的资源,但是,不可以从其他工作站获得私有信息。这样就保证了联机用户的信息不被泄漏。3. 将局域网改造成半机群系统这里我们以一个实验室局域网为例,来说明我们需要进行的改造: 现有的局域网很多都有文件服务器,

6、我们可以直接利用它兼作并行处理服务器,如果局域网中都是平等的工作站,没有如图所示的专用服务器,那么我们就要选择一个安全级别最高的工作站,最好性能也是较高,来承担服务器的工作,或者单独设置一台工作站专做服务器,除此以外,不需要对网络结构作任何修改。然后就是软件和工作站的管理问题了。4. 在半机群系统上进行并行计算系统上的任何一个工作站都可以向服务器申请并行计算服务,也可以从服务器直接使用系统进行并行计算。对于并行计算任务的管理由专门的软件负责,系统的并行管理策略在下一小节具体介绍。二、 并行处理管理策略并行处理管理策略,是整个系统的最重要的部分。软件平台就是根据此策略进行设计的,其内容包括以下几

7、个部分:1.承担并行处理管理的软件平台软件平台分为服务器端平台及工作站端平台。平台应设计为可以在多种操作系统下使用的,并可与运行于另一不同操作系统上的平台通信的通用平台,可以运行在如WIN9X, WINNT,及LINUX上。软件平台分为后台和前台两部分:后台程序为本机与服务器及其它工作站的通信服务,并且负有任务分配及控制负载平衡的责任;前台则提供一个改进的PVM编译系统,提供友好的用户界面,供用户编辑并运行自己的并行程序。服务器端后台应具有管理所有工作站,并收集相关信息的功能,同时可以进行资源分配;当得到服务器授权后,工作站端后台就可以使用分配给它的资源,工作站端后台应该有任务分配及撤销的功能

8、,另外,后台还要对前台屏蔽具体物理信息,存放物理逻辑映射表;当本机资源可用状况发生一定程度的改变时,主动向服务器报告。2.系统采用的资源分配及任务分配策略当用户请求使用系统资源进行并行计算时,要求用户给出并行任务的紧急程度,同时每个工作站都有自己所属的重要级别,系统就是根据两者的综合评估来确定并行任务的初始优先级,一般某个工作站任务的优先级不超过该工作站的优先级。系统中还应有一个统计器,用来统计在各个时段各工作站本机用户的利用率,得到统计概率。同时,系统还记录每一个工作站当前的负载及资源使用状况。对两者综合评价,并打分,按照目前空闲率,及其在未来空闲率大于某个固定值的概率不小于预先设定的概率的

9、时间段的长度值,评价工作站参与并行计算的合适程度,并评出等级,排序,作为资源分配的依据。当工作站资源使用状况改变,则等级也相应改变。服务器的资源分配策略:采用优先级高的任务优先处理,同级任务先到先服务的原则给并行任务分配资源。工作站提出的任务在本站上具有最高优先级,即,当一个工作站向服务器提出分配并行资源的请求并获得所需资源开始并行处理后,此工作站就不再被分配给其他并行任务使用。当一个工作站提出并行处理申请时,除了本站,没有可分配的其他资源,则任务申请进入等待队列,不占用任何系统资源,包括本站资源。服务器采用资源动态分配方式。服务器首先分配最优工作站给并行程序使用,当没有其他并行任务申请资源时

10、,可以将全部资源分配给现有并行程序使用。一旦有新的任务进入,则根据该任务的优先级及现正在运行的并行程序的优先级重新分配资源,如果要求现运行的程序从某一工作站完全退出,则将该工作站从其可分配节点集中删除,并等待其在该工作站上的任务完成,或者使用转移策略将任务转移到其他工作站,至于具体是采取转移策略还是等待策略,则要有任务运行状态及转移代价决定。例如任务刚开始,则可以使用转移策略;任务即将完成,则不妨等待一下,以免工作浪费。服务器将资源分配给工作站,就是将系统节点的使用权交给了工作站,同一个节点,在负载允许的范围内可以分配给多个工作站支配,然后根据负载的变化,变更使用权,变更使用权的依据同样是优先

11、级。等待队列中及运行中任务优先级不是固定不变的:运行中任务的优先级高于等待队列中任务的优先级;运行时间越长,任务优先级越高;等待队列中任务等待时间越长,优先级越高,但不超过运行任务优先级。工作站的任务分配策略可以采用现有的任何一种分配策略,如启发式分配、贪婪法分配等等,或它们的综合,具体使用那种策略,要通过实验,使用统计方法,进行结果分析来确定。3.软件平台的使用工作站启动时,并行处理后台程序就开始运行,向服务器报告初始负载,以后每当工作站资源发生超过某一范围的改变时,自动向服务器报告一次。后台程序的运行对于用户是透明的。服务器接收从工作站发送过来的资源信息,进行处理,并修改服务器上系统资源信

12、息,为提供并行处理做准备。用户从工作站前台软件上提出并行处理要求,后台程序接收到后,向服务器提出资源申请,得到服务器分配给它的资源后,按照一定的任务分配策略,开始并行处理用户提交的任务,任务完成后,向服务器归还资源。服务器收到工作站的资源申请时,检查是否还有可分配资源,如果有,则分配给工作站使用,否则,将申请加入等待队列。服务器在分配资源之后,向工作站确定并行任务已开始执行后,向各工作站要求最新资源状况,修改资源表后,才可以进行下一次资源分配。三、 进一步的工作和展望本文主要研究了半机群系统的特点及其软件环境的实现策略,若要将其发展成为实用的并行系统,还需要进行进一步的开发工作,而且软件平台的

13、策略也还不够完善,需要进一步的改进。下一步我们要做的就是,研究平台开发技术,实现功能较完备的软件平台,考虑容错策略的设计,然后将其投入实际使用中。半机群系统虽然并行处理能力略逊于机群系统,但是实用性却更强,应该更容易为更多的单位接受。可以在不用对其网络做大的修改的同时,提供功能强大的并行服务,而且实现价格低廉,尤其适合有并行处理数据需要,但并非主要需要并行处理的单位使用。半机群系统因其实现方便,价格低廉会有比较好的应用前景。参 考 文 献王同胜,计算机网络,机械工业出版社,2000何炎祥 宋文欣 彭锋, 高级操作系统,科学出版社,1999邹 晖 罗省贤,机群并行系统与网络并行计算环境,物探化探计算技术,第23卷 第4期,375-379,2001李仁发 李方敏,网络并行计算软件环境的分析与比较,计算机工程与应用,第37卷 第22期,73-74 86,2001刘赫男 罗 霄 高晓东,并行计算的现状与发展,煤,第10卷 第1期,56-57,2001卢小勇 方 立,局域网上并行计算方法研究,计算技术与自动化,第2