作业管理系统..ppt

1、作业管理系统，2020/8/8，2，内容，任务管理系统PBS作业调度系统概述，2020/8/8，3，集群使用中的问题，集群结构松散(单个系统映像)，节点类型不同(中央处理器类型、内存大小、数量等)。)丰富的系统资源(节点/中央处理器)用户可以将资源用于不同类型的作业(串行/并行)，2020/8/8，4，任务管理系统功能，单系统映像集群松散结构集成系统资源集成异构系统集成多用户管理用户提交任务的统一安排，用户权限避免管理，未授权用户控制，2020/8/5，任务管理系统简史，2020/8/8/6，任务管理系统分类， 集群中的操作系统或运行时支持进程级调度，以监控正在运行的作业。为了实现集群中的透明

2、调度，以及自动优化进程分布和平衡负载，基于作业级的调度由独立的作业管理系统实现。 系统通过一个特殊的入口接收用户提交的任务，并将其发送到相应的队列中等待调度；在正确的时间分配资源，为任务创建作业，将作业投入运行，在作业运行后完成完成工作，并提供会计功能。管理员和用户还可以查询和预订集群中符合要求的资源，从而实现对作业和资源的整体交互控制。2020/8/8，7，任务管理系统比较，2020/8/8，8，内容，PBS作业调度系统概述，2020/8/8，9，PBS作业调度系统，PBS最初是由美国宇航局艾姆斯研究中心开发的，旨在提供一个能够满足异构计算网络需求的软件包。它努力提供对批处理初始化和调度的控

3、制，并允许作业在不同主机之间路由。2020/8/8/10，PBS的技术特性，努力控制批处理的初始化和调度，并允许在不同主机之间路由作业。独立调度模块存储所有可用的排队作业、正在运行的作业和系统资源使用信息，并允许系统管理员定义资源和每个作业的可用数量。在作业调度策略方面，PBS提供了默认的公平共享和独占FIFO调度策略，还提供了TCL、BACL和C三种进程语言和调度类，并定义了一些调度所需的函数和完整的API，方便了新调度策略的实施。提供文件传输、文件移入和移出。符合POSIX1003.2d标准，支持工作依赖性，并完成安全认证。提供了用户映射功能，因此可以在用户不一致的系统中使用PBS。202

4、0/8/8，11，PBS结构，2020/8/8，12，PBS合成，服务器： PBS _ server scheduler 3360 PBS _ sched执行器：pbs_mom命令行：用户脚本，管理命令等。2020/8/8，13 PBS的优点和缺点，支持系统级检查点功能(由底层操作系统支持)，良好的大规模可伸缩性，以及独立的调度模块* *支持符合POSIX 1003.2d标准的作业依赖性-仅支持类似Unix的操作系统-多集群协作功能有限-不支持用户级检查点功能，2020/8/8/15，语音，单节点操作。通常，执行主机也称为节点。节点属性队列、服务器和节点都有自己的属性，提供控制信息。与节点相关

5、的属性有：状态、类型、虚拟处理器的数量、作业列表(该节点分配到的作业)以及节点的特征。节点属性为了提供分配一组节点的方法，为每个节点分配零个或多个属性。此功能只是字母和数字的组合，对PBS没有任何意义(第一个字符必须是字母)。，2020年8月16日/8月8日，16，PBS安装，解压源文件包rootnode 1/public # tar-zxff openpbs-2.3.16.tar.gz编译设置rootnode 1/public/openpbs _ 2 . 3 . 16。/configure-disable-GUI-set-server _ home=/var/Spool/PBS-enable

6、-docs-x-libraries=/usr/x11r6/lib64其中-x-libraries=/usr/x11r 6/lib 64安装在X86_64 (AMD64或EM64T)上，有必要指明系统64位库的位置。编译并安装rootnode 1/public/openpbs _ 2 . 3 . 16 # make rootnode 1/public/openpbs _ 2 . 3 . 16 # make install，2020/8/8，17。PBS安装在群集上。由于节点系统是相同的，因此可以使用以下SHELL脚本将其安装在节点2node8上。2020/8/8，18，服务流程配置和启动文件，系

7、统配置文件/etc/pbs.conf #！/bin/sh pbs_home=/var/spool/pbs指定系统pbs设置的目录位置。pbs_exec=/usr/local指定pbs可执行程序的目录位置。start_server=1 start_sched=1表示守护进程在它为1时启动。0未启动守护程序start_mom=1系统启动脚本/etc/init.d/openpbs服务器系统启动脚本/etc/init . d/PBS _ Server scheduler系统启动脚本/etc/init.d/pbs_sched Mom系统启动脚本/etc/init.d/Pbs _ mom，2020年8月1

8、9日，服务器设置，初始化服务器：(首次运行或重新配置)/usr/local/sbin/PBS _ Server创建服务器配置目录/var/spool/pbs/servermom配置目录：/var/spool/pbs/mom_priv/mom配置文件：/var/spool/pbs/mom _ priv/config，2020/8/8，21，服务器的动态设置，PBS需要通过服务器的qmgr命令进行配置才能正常运行，并且设置了一些属性。输入qmgr命令以输入配置交互命令。以下是让PBS正常工作的一些步骤。2020/8/8/22，qmgr命令(由管理员使用)，将qmgr进入交互模式后，您可以输入各种命

9、令qmgr操作：对象类型和运算符，2020/8/8/23，PBS队列设置，导入服务器配置文件：rootnode1 root# qmgr queue.conf配置文件示例：2020/8/。24、调度程序调度行为配置，调度程序行为由配置目录下的sched_priv/sched_config文件控制。排序关键字控制调度算法。可以选择的选项有无排序、最短作业优先、最长作业优先。最小内存优先、最大内存优先、高优先级优先、低优先级优先、多排序、公平共享、大walltime优先、短walltime优先修改此文件并重新启动调度程序。2020/8/25，内容，任务管理系统PBS作业调度系统概述，2020/8/8

10、/26，PBS使用步骤，准备：编写描述作业更改的脚本，包括作业名称、所需资源等。提交：使用qsub命令将作业提交给PBS服务器进行排队；服务器将任务排队到适当的队列中进行调度；服务器检查每个工作节点的状态是否满足作业的要求，并对其进行调度。执行：当条件满足时，作业被发送到相应的执行服务器执行。当程序运行时，执行服务器收集程序的标准输出和标准错误流，并在程序结束时将信息返回给用户。查询和调整：作业运行时，用户可以使用qstat查询状态。当用户发现作业提交错误时，他可以使用qdel删除正在运行的作业。检查结果：使用文本编辑软件vi或系统命令cat等。检查输出和错误信息显示。2020/8/8/27，

11、PBS的基本命令。在PBS系统中，用户使用qsub命令提交用户程序。用户运行程序的命令及PBS环境变量设置组成PBS作业脚本，作业脚本使用如下格式提交到PBS系统运行：2020/8/8，28，qsub运行参数，2020/8/8，29，PBS作业脚本，注释，以 # 开头PBS指令，以 #公共广播系统开头壳命令，2020/8/8，30，PBS的环境变量，2020/8/8，31，PBS作业脚本，注释，以 # 开头PBS指令，以 #公共广播系统开头壳命令，2020/8/8，32，PBS作业脚本举例，2020/8/8，33，详细示例，编辑PBS脚本内容如下：(注意，#PBS行不是注释，所有说明行均以#开

12、始，即红色字体部分)#声明作业名为mpi #PBS -N mpi #申请资源数为10个节点，每个节点16个cpu #PBS -l节点=10:ppn=16 #将标准输出信息与标准错误信息合并输出到文件中#PBS -j oe #指定作业提交到低的队列#PBS q低#估计最大运算时间为1000小时，若没有设置这项，系统为自动按所在队列默认walltime处理# PBS-l壁时间=1000:00:00，2020/8/8，34，#在作业结束时，给用户发邮件# PBS-m-e # # #声明邮箱地址，如#PBS -M #进入作业调度目录cd $ PBS _ O _ WORKDIR # # #计算申请的cp

13、u数目NP=卡特彼勒$PBS_NODEFILE | wc -l #设置计算所需要的环境变量，如使用角马版OpenMPI运行程序源码/公共/软件/MPI/openmp 1.4-GNU。sh # # # #程序运行部分，使用infiniband网运行此程序mpirun-NP $ NP-machine FILE $ PBS _ NODEFILE-MCA btl self，openib cpi-openmpi，2020/8/8，35，一个复杂的PBS作业脚本，2020/8/8，36，查询和取消作业，2020/8/8，37，查询作业运行的位置，2020/8/8，38，ansys，单节点计算ansys11

14、0 -np 4 -i wing.inp跨节点计算：ANSYS 110-dis machines节点22:4:节点23:4-I wing。InP，2020/8/8，39，ansys.pbs，#！/bin/bash # PBS-N ANSYS _ wing # PBS-l节点=1: PPN=8 # PBS-j OE RM主机。列表-用于卡特彼勒$ PBS _ NODEFILE do echo-e MPI _ REMSH=/usr/bin/rsh-h $ node-NP 1/home/demo/fluent/bin/ANYS _ Inc/v 110/ANYS/bin/ANYS dis 110-dis

15、-MPI HPMPI完成主机中的节点的射频。列表ANSYS 110/host.list -i wing.inp，2020/8/8，40，创建ma - node22 node23 -需要注意最后有一个空行流畅的3d t16 cnf=./ma p -g i fluent.jou，2020/8/8，41，fluent.pbs，#！/bin/bash # PBS-N fluent _ 8 CPU # PBS-l节点=2: PPN=4 # PBS-j OE NPROCS=WC-l do # echo $ line主机=echo $ line，2020/8/8，44，#在此添加代码，将常规主机名映射到自动取款机主机名if-z $ MLIs；然后，mList=$host*1 else mList=$mList，$ host * 1 fi echo $ MList done CFX _ P