曙光集群简明使用手册课件

曙光集群简明使用手册技术支持中心一、曙光集群的概念二、曙光集群系统整体架构三、曙光集群的使用远程登录系统上传下载数据Linux常用命令安装和运行程序使用作业调度目录一、曙光集群的概念什么是集群集群系统是利用高性能通信网络将一组计算机（节点）按某种结构连接起来，在并行化设计及可视化人机交互集成开发环境支持下，统一调度、协调处理，实现高效并行处理的系统所有计算机节点一起工作如同一个单一集成的系统资源，实现单一系统映像（SSI）集群是目前高性能计算机三大体系结构之一，是目前最主流的和最有生命力的体系结构集群是目前性能价格比最高的高性能计算机体系结构集群特点：容易实现、容易维护、较好用的高性能计算机曙光集群是使用Infiniband、Myrinet等高速网络或者千兆网络节点机网络连接，进行高性能并行计算；使用千兆网络连接，进行网络管理监控；一个节点就是一台机器，N台机器通过连接高速网、安装系统（系统的一致性，即系统配置必须一致）、调试并行环境、安装应用软件来进行计算；曙光集群曙光5000A(魔方)，部署在上海超算曙光集群可扩展性强，如果现有的计算资源无法满足需要，可以根据实际需求，动态增加计算节点；曙光集群的易管理性：GridView、CloudView等监控管理软件，协助管理集群系统；曙光集群曙光6000(星云)，部署在深圳超算二、曙光集群系统整体架构曙光集群硬件系统的基本架构基于节点的集群CPU：AMD系列Opteron、Intel系列Xeon高中低端产品：八路、四路、双路、单路外围设备：机柜系统网络系统集群监控系统集群管理系统视频管理系统集群系统的硬件组成集群系统的体系结构集群系统的物理架构(InfiniBand)曙光集群的计算系统

计算系统内容计算节点一般为双路或四路刀片或机架式服务器，为计算系统的主力。GPGPU节点GPU即图形处理单元，GPGPU的意思为使用显卡做通用计算，由于GPU卡具有更多计算核心数，更高的能效比和更强的浮点计算能力，所以对于适合GPU，并在GPU上移植成功的应用软件提供更高的性能SMP胖节点一般用于一些有大内存、高IO或单机多核处理的需求，满足一些特殊应用的需求。曙光集群功能节点管理节点IO节点用于运行系统级的管理软件，性能要求不高，但可靠性要求高，数量少用于连接存储设备，提供共享存储空间。小型项目，使用单一IO节点提供NFS解决。大中型，使用并行文件系统，多个IO节点和存储空间解决IO瓶颈登陆节点用于用户登陆集群，在集群上实现作业提交，文件上传，编辑，程序编译等操作。可靠性要求高，数量少管理节点登陆节点IO节点高性能集群三要素无密码访问统一的系统印象统一的文件印象对于普通用户来说，所有节点看到的某一个文件都是相同的文件。

通过nfs或者并行文件系统实现。通过NIS或同步用户信息来实现。

网络全通rsh或ssh无密码访问配通主要参数种类名称：风冷机柜长宽高：110*60*200重量：180KG压强：500KG/MM容量：42U通风设计：风冷布线设计：电源、网络曙光集群物理视图(示例)曙光集群网络拓扑图(示例)曙光集群用户视图(示例)三、曙光集群的使用远程登录系统上传下载数据Linux常用命令安装和运行程序使用作业调度远程登录系统Putty一款免费的Telnet和SSH终端实现，可使用在Win32平台下。

VNCVirtualNetworkComputing，可跨操作系统实现对远程桌面的控制，对网络带宽要求较低；由于采用远程桌面的模式，遇到网络连接中断不会影响实际操作，重新连接即可；登录工具完全免费;在Windows9x/NT/2000/Win7下运行的都非常好;全面支持ssh1和ssh2；绿色软件，无需安装，解压后即可使用；体积很小，仅364KB(0.54beta版本)；操作简单，所有的操作都在一个控制面板中实现。Putty简介Putty登录终端Putty登录终端VNC是虚拟网络计算机(VirtualNetworkComputing)的缩写，属于一种显示系统，能将完整的窗口界面通过网络,传输到另一台计算机的屏幕上。VNC是一款优秀的远程控制工具软件，由AT&T的欧洲研究实验室开发，是基于UNIX和Linux操作系统的免费开放源码软件，远程控制能力强大，高效实用。VNC由两部分组成：一部分是客户端的应用程序(vncviewer)；另外一部分是服务器端的应用程序(vncserver)。VNC在UNIX、Linux和Windows操作系统中都有相应的实现方式，图形用户界面友好，可跨操作系统互访桌面。VNC简介VNC连接Linux远程桌面创建VNC连接密码：首次启动VNC时要求创建密码[dawn@node110~]$vncserverYouwillrequireapasswordtoaccessyourdesktops.Password:Warning:passwordtruncatedtothelengthof8.Verify:Wouldyouliketoenteraview-onlypassword(y/n)?nNew'X'desktopisnode110:1Creatingdefaultstartupscript/home/dawn/.vnc/xstartupStartingapplicationsspecifiedin/home/dawn/.vnc/xstartupLogfileis/home/dawn/.vnc/node110:1.log修改VNC密码：使用vncpasswd重设密码；或删除其passwd文件，再启动VNC时重新创建密码[dawn@node110~]$rm~/.vnc/passwd修改VNC启动界面的参数：xterm界面过于简陋，改为常用的gnome界面；注意行末“&”符号[dawn@node110~]$vi~/.vnc/xstartup1#!/bin/sh23xrdb$HOME/.Xresources4xsetroot-solidgrey5#xterm-geometry80x24+10+10-ls-title"$VNCDESKTOPDesktop"&6#twm&7gnome-session&VNC连接Linux远程桌面关闭VNC远程桌面：[dawn@node110~]$vncserver-kill:1KillingXvncprocessID22016重新打开VNC远程桌面：[dawn@node110~]$vncserverNew'X'desktopisnode110:1Startingapplicationsspecifiedin/home/dawn/.vnc/xstartupLogfileis/home/dawn/.vnc/node110:1.log在Windows客户端，通过VNCView连接远程Linux的桌面，注意远程桌面的描述格式：VNC连接Linux远程桌面VNC控制远程Linux桌面：上传下载数据WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端，并支持SCP协议。它的主要功能就是在本地Windows与远程Linux服务器之间安全地复制文件。WinSCP简介WinSCP登录界面WinSCP登录界面WinSCP操作界面Linux常用命令man是“manual”的简写，可查询Linux常用命令的手册。格式：man[关键字]查询Linux命令使用方法：manls是“list”的简写，用来显示指定目录下的内容。格式：ls[参数][路径或文件名]显示文件列表：lsvi是Linux终端下最常用的文档创建和编辑工具。格式：vi[参数][文件名]编辑文件：vigrep是强大的检索工具，可用正则表达式检索字符串。格式：grep[参数][文件名]检索字符串：grepscp采用SSH协议，通过网络在节点之间传输文件。格式：scp[[user@]host1:]file1[[user@]host2:]file2远程复制文件：scpssh采用加密传输协议，用于登录网络上的其它节点。格式：ssh[user@]hostname[command]登录不同节点：ssh浏览文件命令

cat：显示一个文本文件的全部内容；

more/less：浏览文本文件的内容，没有编辑功能；

head/tail：显示文本文件的头/尾若干行，默认为10行；目录操作命令

mkdir：创建目录；

rmdir：删除目录；文件操作命令

touch：创建一个空文件，或者将指定文件的时间戳改为当前时间；

rm：删除文件；“rm-rf”可以迭代方式删除整个目录，慎用；

cp：拷贝文件；

mv：移动文件，或者将文件重命名；

ln-s：创建文件软链接，类似于快捷方式；

tar：将一组文件、目录打包或解包，通过参数可设定是否压缩文件；文件目录类命令安装和运行程序示例：编译、安装OpenMPI：tar-xzvf./configure--prefix=/public/software/ompi-1.43-gnumakemakeinstall示例：设置OpenMPI的环境变量vi~/.bashrcexportMPIDIR=/public/software/ompi-1.43-gnuexportPATH=$MPIDIR/bin:$PATHexportLD_LIBRARY_PATH=$MPIDIR/lib:$LD_LIBRARY_PATHexportINCLUDE=$MPIDIR/include:$INCLUDEexportMANPATH=$MPIDIR/share/man:$MANPATHsource~/.bashrcLinux安装程序什么是环境变量？

Linux是一个多用户的操作系统。多用户意味着每个用户登录系统后，都有自己专用的运行环境。而这个环境是由一组变量所定义,这组变量被称为环境变量。用户可以对自己的环境变量进行修改以达到对环境的要求。定制环境变量

环境变量是和Shell紧密相关的，它是通过Shell命令来设置的。环境变量又可以被所有当前用户所运行的程序所使用。对于bash来说，可以通过变量名来访问相应的环境变量。全局环境变量

/etc/profile、/etc/profile.d/*.sh这些文件中设置的环境变量对所有用户都起作用，登录时自动生效，称为全局环境变量。全局环境变量可用来设定一些默认的应用环境，如指定编译器、MPI并行库等。用户环境变量

安装一个应用程序后，相关的环境参数尽量不要加入的全局环境变量，避免版本冲突。

可在/public/software/profile.d/目录下创建相应的env文件，让用户在~/.bashrc或PBS脚本中自由选择source。Linux的环境变量显示环境变量：echo命令

[dawn@vnode110~]echo$HOME

/home/dawn设置一个新的环境变量：export命令

[dawn@vnode110~]exportNAME="RaidCheng“

[dawn@vnode110~]echo$NAME

RaidCheng清除环境变量：unset命令

[dawn@vnode110~]unsetNAME

[dawn@vnode110~]echo$NAME

[dawn@vnode110~]几个关键的环境变量：

HOME：当前用户的主目录

PATH：决定了shell将到哪些目录中寻找命令或可执行程序

LD_LIBRARY_PATH：shell在哪些目录寻找动态链接库，非常重要

INCLUDE：编译程序时，设定在哪些目录下寻找头文件Linux的环境变量方法一cd/home/your_account/your_workdir./your_code方法二cd$HOMEvi.bashrcexportPATH=/home/your_account/your_workdir:$PATHyour_code运行串行程序确认自己的并行环境##OpenMPI##source/public/software/profile.d/ompi143-gnu-env.shwhichmpirun/public/software/ompi143-gnu/bin/mpirun##IntelMPI##source/public/software/profile.d/impi-env.shwhichmpirun运行并行程序(1)采用OpenMPI单机并行cd/home/your_account/your_workdirsource/public/software/profile.d/ompi143-gnu-env.shmpirun–np4./your_code跨节点并行cd/home/your_account/your_workdirsource/public/software/profile.d/ompi143-gnu-env.shvihosts.txtmpirun–np8–machinefilehosts.txt./your_code运行并行程序(2)vihosts.txtnode1slots=2node2slots=2node3slots=2node4slots=2采用IntelMPI设定节点之间的通讯密码echosecretword=xxxxxx>$HOME/.mpd.confchmod600$HOME/.mpd.conf单机并行cd/home/your_account/your_workdirsource/public/software/profile.d/impi-env.shmpirun–np4./your_code跨节点并行cd/home/your_account/your_workdirsource/public/software/profile.d/impi-env.shvihosts.txtmpirun–np8–machinefilehosts.txt./your_code运行并行程序(2)vihosts.txtnode1:2node2:2node3:2node4:2使用作业调度作业管理系统的结构在PBS系统中，用户使用qsub命令提交用户程序。用户运行程序的命令及PBS环境变量设置组成PBS作业脚本，提交格式如下：注释,以“#”开头PBS指令,以“#PBS”开头SHELL命令PBS的基本命令[dawn@node1~]$vi

vasp.pbs#PBS–Nvasp.Hg#PBS–lnodes=2:ppn=8#PBS–qhighecho"Thisjobsis"$PBS_JOBID@$PBS_QUEUEcd$PBS_O_WORKDIRsource/public/software/profile.d/ompi143-gnu-env.shexportvasp_exe=/public/software/vasp/vasp5.2.11-ompimpirun-np16-machinefile$PBS_NODEFILE$vasp_exe[dawn@node1~]$qsub

vasp.pbs#PBS-lmem=200mb#PBS-lwalltime=01:00:00#PBS-lnodes=1:ppn=4#PBS-lnodes=4:ppn=2#PBS-lnodes=node01+node02+node03#PBS-lnodes=server:ib+3:bigmem:ib#PBS-lnodes=2:blue:ppn=2+red:ppn=3+b1014#PBS-lnodes=4:ppn=4,mem=200mb#PBS-lother=matlab$TORQUEHOME/server_priv/nodes

node01np=4bigmemdualcorenode02np=8bigmemmatlab……#PBS–l:申请计算资源qmgr-c'ps'#Createanddefinequeuehighcreatequeuehighsetqueuehighqueue_type=Executionsetqueuehighacl_user_enable=Truesetqueuehighacl_users=dawnsetqueuehighacl_users+=rootsetqueuehighPriority=30setqueuehighresources_max.nodect=4setqueuehighmax_user_queuable=10setqueuehighmax_user_run=4setqueuehighenabled=Truesetqueuehighstarted=True……qmgr-c“setqueuehighacl_users+=guest”qmgr–c:查询队列信息[dawn@node1~]$qsubexample.pbs2743.node200[dawn@node1~]$pestatnodestateloadpmemncpumemresiusrstasksjobids/usersnode10excl8.06*2402512240256620/0122743dawnnode11free0.002402512240256611/10node12free0.002402512240256611/10node13free0.002402512281276600/00node14free0.002402512281276611/10node16free0.99*24025122812712336/222733NONE*2735NONE*node17free1.3324025122402510113/112740NONE*node18free0.002402512240256611/10node19free0.002402512281276600/00node20offl*0.0048267245236912030/00node21offl*0.0048267245236912040/00node22offl*0.0048267245236912030/00node23free0.0048267245236912190/00node24free0.0048267245236912111/10node25free0.0048267245236912111/10node26free0.0048267245236912121/10node27free0.0048267245236912071/10node28free0.003210716362098940/00node29free0.003210716362098910/00pestat:查询节点状态节点状态excl：所有CPU资源已被占用；busy：CPU已接近满负荷运行；free：全部或部分CPU空闲；offl：管理员手动指定离线状态；[dawn@node1~/pbs]$qsubexample.pbs2739.node200[dawn@node1~/pbs]$qstat-annode200:Req'dReq'dElapJobIDUsernameQueueJobnameSessIDNDSTSKMemoryTimeSTime-----------------------------------------------------------------------------------2739.node200dawnhighpbsTest590512--00:00R--node40/1+node40/0查询作业命令

qstat[参数]，其中参数可为:

-q：列出系统队列信息

-B：列出PBS服务器的相关信息

-Q：列出队列的一些限制信息

-an：列出队列中的所有作业及其分配的节点