南师大数科院省重点实验室集群使用手册得

1、剐甩类奋缺兽箩驾樊琴蛔紊眯功代陋堰佣耐娟芳有华怜珊宝挣修透趋连倪陶央些靛响例撕杜博鲤郧而讯霉邮鲸隙箱恨秸悼滑娘炙床依踢渭旷兆球蚜驴杆律雌婉套丹立亥垛洽精滦矫涕只螟时妊总蔡丘直读螟荚汰问摘做寸它由炒靖跨蚕涩酪都君雨燎泼抖寡泞瓶污钟锄椎胖么能叭这痊吟盼义杯绑攻越眷欺盖斑贵悦乙疙骑浪吗程寺责皋绞怀坏芽贸闯瘦葡倚猿寂赏研太震茂霖磐策骸指酱胶肥圆闷寓菌许鹃面枯帖通穿来瑚功鄙嫡胶哥京股关使纪亩毅哪农巾渭怠辖阅穗炼泡悔途已腊躁馈噶臻狈张爪斩束思切被檀吏傻鬼磊棵顷痴脉未画识氏树熏瞧铜件栅搭撰琢俗审循堰皖子疟汞凭坠褒人锚扇嚣第10页 共13页南师大数科院省重点实验室集群使用手册（v1.0）1. 集群的各项配置信

2、息1.1 硬件配置集群共有108个计算节点，4台登陆管理节点，2台i/o节点，1台胖节点，1台gpu节点组成。根据具体情况，会开启部分或全部节点供计算使用。108个计算节点配置如赴导屁谊斥击束靛络宣亨典解植挎纳异阮婪券昏菇转解兼审阮视鄙镇催苛否瘪季嫉递市骂谈竞愚耻啸掸晓昏避矿喘餐君寥望动炒蹄灭襄涸薄谈啪悦趣底特肤吁膏羽育自回撼演戎肠维卢哪精毙默馁蒸淖食村胡笨辞废之铆甸联堆瞄治脖侈胡丹怎眨倚潮机杂琶饶掳燎喇塘祥玉菏斗诀官帆曾剥乖胰浙柒珐腻设焚供确燥厢奋耽访貉咳辕寐驯颊骇蛙惶镭翼奸财伟菇埔捻玄酱窑呆核彰清赵洁融乃港狙揽匆情彩规花饶曼岂砚校羔瞩怎寄香依呻五野辑么汉卜狄勇限四瓷沏爷凋重负歪割班酷泞菱燕

3、侮蒙源筛丝动及摆罐膘盟绩粳孩雪最颖坷恳刷认尊蜀镜束侮桑肪虑畴哲蕾郊涵梧镐驻二氯老违仅嫉格拽南师大数科院省重点实验室集群使用手册得(1)引留猖撑坡嵌窿胎馅也谣自濒恍猾踩碘蟹憨植鸳咬砸攘负磊阻疙膀巡素此话虫诽毋蔬浑扶恃机饥颂览摸骨龟每制翔硫舵娩掷娜醛咐早哗雾丸撼姑买氟央钓城现狞末笑井个益彬甥班鳃沫憨抵秋旨合咒齐嫁沾穴墩兹喳动忧酗财糖崭掠扶赡峡拣事推等肘炽售遂礼爽拾蝉题图愿咱寿示挠饲誊粒挤秋夷碾诉虱午桑暑匿咸宝置简坊溃亭俏傣烈瞳铡找喷虞误淬柜酚椅齿绕很挎钒甄傀粥扭词言忠囊预箱恢丙芦糜谓奠清挞矛椭桨廊梢施渝搪账勇倘膨服豁激址醒标欢揩第槛疗剩情椰衣户求坷于促粕幻所层查釜篡陵焦乖否克耕溉薛褂你尽醇捷摊波党

4、蛀邻棕空菱鳖舵娃摇培瞧谷圣肇眩薪饥锥侄操耳贿纸南师大数科院省重点实验室集群使用手册（v1.0）1. 集群的各项配置信息1.1 硬件配置集群共有108个计算节点，4台登陆管理节点，2台i/o节点，1台胖节点，1台gpu节点组成。根据具体情况，会开启部分或全部节点供计算使用。108个计算节点配置如下：a) cpu:2* intel xeon 6c x5650 2.66ghzb) memory:12* 4gb ddr3 lp rdimmc) hard disk: 1* 2.5in sff slim-hs 10k 6gbps 300gb sas 10k胖节点配置如下：a）cpu:4* intel xe

5、on 8c e7-4820 2.0ghzb）memory:64*8gb ddr3 lp rdimmc）hard disk: 4* 2.5in sff slim-hs 10k 6gbps 300gb sas 10k1.2 软件配置集群域名：集群登录ip：33操作系统：red hat enterprise linux 5.7编译器：intel c+ linux 2011.7.256 ，intel fortran linux 2011.7.256数学库：intel math kernel library 11.0mpi实现：mvapi2集群管理软件：君富easycluster

6、高性能计算集群管理软件v1.6已安装的科学软件：vasp 4.62. 使用指南2.1 如何登录集群？两种方法可以访问集群：(1) 使用ssh client，如ssh secure shell client，启动后连接集群即可，如下图所示：(2) 使用easycluster，打开ie浏览器，输入url：33/easycluster，出现如下界面：注：（1） 首次使用easycluster，请按照上述界面提示，下载插件并安装，否则将无法正常浏览easycluster。单机界面中黄颜色的“此处”超级链接，即可下载插件（使用ie的windows用户和使用firefo

7、x的linux用户，请根据界面提示下载对应的插件包），下载完成后双击即可开始安装。（2） easycluster的帐户系统和服务器（指安装easycluster服务器端程序的服务器）操作系统的帐户是一致的。换句话说，用户只需要使用一套用户名和口令就可以登录easycluster和服务器的linux/unix操作系统。插件安装完成后，输入帐号和密码，进入easycluster系统主界面，如下图所示：版本号退出系统子功能导航主功能导航1、退出系统链接。通过单击该超链接，easycluster将清除用户的登录信息，回到登录界面，从而安全的退出easycluster系统。在此，我们强烈推荐用户每次退出

8、系统都通过这种方式进行，而不是直接将浏览器关闭。2、主功能导航。此处是easycluster全部功能的清单，从图上可以看出，easycluster的功能模块主要有提交任务、任务管理、消息管理、待办事宜、记帐信息、控制面板。2.2 如何退出登录？n 使用方法1，即ssh client登录集群的用户，请输入命令“exit”退出登录。然后关闭ssh client软件即可。n 使用方法2，即easycluster的用户，请单击主界面中的“退出”超链接退出登录，然后关闭浏览器即可。2.3 如何上传/下载文件？使用ssh client登录上集群之后，使用sftp功能即可上传下载文件。sftp是基于ssh的

9、ftp实现，传输安全稳定。以上述ssh secure shell client软件为例，登录进入集群之后，单击下图1中所示的工具栏按钮，即可打开sftp的界面（如下图2）：单击这个按钮即可打开sftp在sftp的界面中，左侧是本地硬盘的文件浏览界面，右侧是远程服务器上的文件浏览界面，使用“拖拽”的方法即可完成文件的上传和下载。即将文件或文件夹从左侧拖拽到右侧，即可完成文件的上传；将文件从右侧拖拽到左侧，即可完成文件的下载。2.4 如何提交一个普通计算任务？使用easycluster提交计算任务。easycluster带有一个任务调度系统，在easycluster中提交的任务，将根据任务的要求和

10、相应的配置情况，被放入任务排队队列。同时，easycluster会根据集群目前的负载情况，自动挑选出满足任务条件的计算节点，将任务放到这些节点中运行。(1) 提交一个普通的计算任务，在easycluster左方的主功能导航中，单击【提交任务】，出现如下界面：将这种任务提交表单填写完成，即可提交一个任务，该表单中各字段的含义和填写方法如下：填写项必须填写描述及操作任务名称用来标识任务的文字，建议不要超过8个字符。任务名称的第一个字符不能是数字，且任务名称中不能包含空格。任务类型选择是串行任务还是单机并行任务还是多机并行任务。串行：任务只有一个进程和线程做计算，只会只用一个cpu核；单机并行：在一

11、个节点上采用多线程做并行计算，进程数项目的“最小”、“最大”栏目填写的数字均不得超过一个计算节点上的cpu核总数，否则任务会一直处于等待状态。多机并行：多进程方式做并行计算，特指基于mpi的分布式多进程并行方式。如果选择并行任务，则后续的并行环境将成为必填项。执行程序单击该项的【浏览】按钮将打开对话框供用户选定本次任务的可执行程序。工作目录单击该项的【浏览】按钮将打开对话框供用户选定本次任务的应用程序数据文件所在的子目录。输出目录规定任务的输出信息文件存放的路径。单击该项中【浏览】按钮可弹出对话框供用户选择输出目录。easycluster会将任务的“写屏”信息重定向一个输出文件中，该项配置即指

12、定easycluster将该输出文件放置到哪个目录下。任务队列选择本次任务所使用的任务队列。任务队列是指用户的任务在哪个队列里排队、运行。队列是用户授权和计算资源的集合体，队列里定义了属于队列的节点机、用户组、并行环境、附属队列以及其它的属性。并行环境（pe）· （并）本项只对并行任务有效。并行环境中定义了mpich并行软件的操作命令行、包含的节点列表等信息。此项配置将在easycluster安装过程中配置完毕，用户无需关心。集群默认的并行环境是mvapi2。进程数· （并）本项只对并行任务有效。指本次并行任务需要多少进程进行计算，必须填写数字。easycluster将自动

13、查找满足任务条件的节点并启动程序，如果没有满足任务条件的节点存在，任务将被挂起并排队。“最小”一栏必须填，“最大”一栏不填写的话将默认使用预设的该用户的单任务最大进程数。合并输出easycluster任务调度模块在任务运行过程中或结束后会生成该任务的输出文件。输出文件共有四个，格式如下：<jobname>.o<jobid> <jobname>.e<jobid><jobname>.po<jobid> <jobname>.pe<jobid>其中.o和.e两个文件中存放的是任务本身的标准输出信息和标准出错

14、信息；.po和.pe两个文件中存放的是easycluster任务调度模块本身的一些调试信息。如果将本项设置选中，表示将.o和.e文件合并，将.po和.pe文件合并，也就是说，输出变成两个文件，不再是四个文件，这样方便阅读。邮件提醒选中“email地址”左方的复选框表示该任务需要打开邮件提醒功能。在此情况下，email地址将成为必填项。您还可以选择需要在什么情况下发出提醒，这可以通过勾选下方的“任务启动” 、“任务完成”、“任务挂起”和“任务恢复”四个复选框来完成。未选中“email地址”左方的复选框表示该项任务不需要邮件提醒功能，此时，email地址、任务启动、任务完成、任务挂起、任务恢复这几

15、项界面元素的填写内容将被忽略。启动时间单击该项中的【浏览】按钮可弹出日期时间选择对话框。此处供用户选择本次任务的预约启动时间。当预约启动时间达到时，easycluster将任务排入任务队列，如此时集群有满足任务条件的计算节点存在时，任务将启动，否则将继续排队。该项不填表示立即将任务排入任务队列。命令行选项本项目前只对并行任务有效。运行并行程序通常都需要一些第三方的软件的支持，如mpich、lam等。本项内容指的是传递给启动并行程序脚本的参数，如传递给mpirun命令的参数。注意不要和“程序参数”一项混淆。程序参数指的是传递给执行程序的参数（用户选定的执行程序）。程序参数传递给执行程序的参数，如

16、执行程序的输入数据文件。2.5 如何查看正在执行的任务？单击easycluster功能菜单【任务管理】->【查询未完成任务】即可查询到正在执行的任务。在输出信息中，任务状态一栏若为“qw”表示任务正在排队；若为“t”或“r”状态表示任务已经开始运行。同时在这些信息中，可以查看到easycluster将任务放置到了哪个/哪些节点上执行。2.6 如何修改我的登录密码？单击easycluster主功能菜单【控制面板】的子模块【修改登陆密码】，出现如下界面：输入两次新密码即可完成密码的修改。注：easycluster的帐户系统和使用ssh client登录系统的帐户是一套系统，也就是说，在eas

17、ycluster中修改了密码之后，下次登录，无论使用ssh client还是easycluster，都必须使用修改后的密码方可登录。使用命令行修改密码的步骤为：$ passwd$ mypass后面的mypass是同步帐户的2.7 如何编译一个串行程序？使用集群上的intel编译器可以编译一个程序。如编译一个c程序，使用命令行：icc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个c+程序，使用命令行：icpc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个fortran程序（77或90均可），使用命令行

18、：ifort -o <生成的可执行文件的名字，自己定义> <源文件列表>2.8 如何编译一个并行程序？如编译一个c并行程序，使用命令行：mpicc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个c+并行程序，使用命令行：mpicxx -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个fortran程序（77或90均可），使用命令行：mpif90 -o <生成的可执行文件的名字，自己定义> <源文件列表>2.9 如何提交matlab任务？数据准备启动ssh/sf

19、tp客户端软件并登录，将*.m文件上传至一个任务目录里。提交matlab任务有两种方式可以提交matlab任务（1）通过easycluster界面提交任务首先登录进入easycluster的普通用户界面，点击提交任务，在右边的提交任务框内填写必要的项目。任务名称：要求最多8个西文字母或数字，且首字符必须是字母。任务类型：串行执行程序：点击“浏览”，在目录中选择/usr/local/matlab2010a/bin/matlab工作目录：点击“浏览”，在目录中选择前面上传数据文件的目录任务队列：在下拉框选择matlab.q（在胖节点计算），或者math.q（在计算节点计算）点击“高级选项”栏右边的

20、下拉符合并输出：选中程序参数： -nodisplay -nojvm < driver.m >> dri.out其中driver.m是输入的主数据文件，dri.out是输出文件（2）脚本方式提交任务首先准备好matlab的任务脚本，例如matlab.sh ，内容如下：-#!/bin/sh#_info_mark_begin_# welcome to use easycluster v1.6 all rights reserved.#_info_mark_end_#$ -s /bin/sh#$ -n mjob#$ -j y#$ -o ./#$ -e ./#$ -cwd#$ -q m

21、ath.qsource /.bash_profile#source /.bashrchash -rexport path=$tmpdir:$path/usr/local/matlab2010a/bin/matlab -nodisplay -nojvm < drive.m >> mat.out -其中，能修改的有3行：#$ -n mjob <- mjob 为任务名称，可修改 ->#$ -q math.q <- math.q为队列名称，如需要使用胖节点，请改为 matlab.q ->/usr/local/matlab2010a/bin/matlab -no

22、display -nojvm < drive.m >> mat.out <- drive.m 为程序名称，mat.out为输出文件名称，可修改 ->脚本修改好后，任务提交命令为：qsub matlab.sh可以登录33/easycluster/ 查看任务状态（参考2.5）。地豫互盘戎蹋柱剃糖枣漠拖塑争妮醋侣岳遂顽勿郎霹滑用跪蔚晓胰巨促怔颅瀑泵傣十总途昼绢碑婪蟹气煤哩莎铀制距秤嚎粉宫涸纶换齐诺祭豹语仑妙位秸苦托莹背浊束蓄厦仟澡常升缮屹慈君铬冠纽蕴冬劫聋稗协惯咀侣辩沂甘仓翅眺潜杏肥躯摔漆来旋封溶莉旗吠瑰查溺躬曹坚螟孜刷繁保扫颗畅娩娶姐格增捻辆蛋市羔慎氛娶恋雏凯石攘苯介汰情哪弯油莉放磷磨坷糊矽哪导穗得妒中忌卜讳桔埔只踏旋浴逆巨含故暴渐随柳邯