HPC高性能计算集群实施指导手册

1、1、基本系统参数设置-11.1、ulimit系统进程资源限制-11.2、关闭 selinux 服务-11.3、配置本地yum源-12、nis服务配置-22.1、nis服务器端的配置-22.2、nis客户端的配置管理-42.3、nis客户端的属性设置-63、nfs 配置-83.1、nfs软件包安装-83.2、编辑nfs服务器配置文件-83.3、启动服务-83.4、在客户端中挂载nfs服务器中的共享目录-94、配置kdump服务-94.1、kdump 安装94.2、kdump 配置-104.3、安装分析转存储文件所需的rpm包-115、配置 rsyslog 服务-115.1服务端配置-115.2、

2、客户端配置-125.3、日志轮询月艮务logrotate-131.基本系统参数设置1.1. ulimit系统进程资源限制修/etc/security/limits.conf 文件，添加如下内容：*sof tmemlockunlimitedhardmemlockunlimited*sof tstackunlimited*hardst ackunlimited1.2关闭selinux服务运行如下命令修改/etc/selinux/config文件，关闭selinuxsed -i s/=enable/=disabled/g /etc/selinux/config sed -i s/=enforcing

3、/=disabled/g /etc/selinux/config可以使用以下命令查看selinux服务状态root3nodel # sestatus hselinux status :disabled1.3配置本地yum源上传对应操作系统的iso文件到/public/sourecode目录将操作系统iso文件挂载到/m nt目录mount -t iso9660 -o loop /public/sourcecode/xxx.iso /mntroot伽odd /# mount iso9660 loop /pub1ic/sourcecode/centos7x86_64dvd1511iso /mnt创

4、建/public/sourcecode/yum目录，并将安装盘内容拷贝到这个目录cp -rp /mnt/packages/* /public/sourcecode/yum»*iijurootnodel /# cp -rp /nmt/* /public/sourcecode/yum创建yum源酉己置文/etc/yum.repo.d/local.repo ,内容如下：localname=centos7-loca1baseurl=fi1e:/public/sourcecode/yum enabled=lgpgcheck=o生成yum本地缓存，命令如下:yum makecache2. nis

5、服务配置2.1. nis服务器端的配置nis软件包安装查看系统中是否已经安装下列三个软件:ypservnis服务器软件，一般默认是不安装的，需要安装yp-tools 提供对nis服务器的查询和管理软件ypbindnis客户端需要使用软件包rpm -qa | grep ayp安装ypserv前需要利用rpm -qa | grep portmap命令（6.0之后的版本使用rpcbind ）确认portmap仲cbind）已经安装。安装需要利用rpm -ivh进行安装，命令如下：rpm -ivh ypserv-2.13-5.i386.rpm安装完成之后需要重新确认并重启portmap （rpcbin

6、d ）服务：/etc/rcd/init.d/portmap restart气殳置time和time-upd服务启动状态（针对rhel6.0之前的系统，之后的可以略过）chkconfig -list i grep timeypserv服务的启动和运行需要time和time-upd两个服务支持。在rhel系统中，这两个服务默认是禁用的，需要利用chkconfig命令启动，并重启xinetd服务设置生效。chkconfig time on chkconfig time-udp on/etc/rc.d/initd/xinetd restart建立nis域名nisdomainname命令建立临时域名，但

7、重启会失效nisdomainname sugoncom可以使用domainname命令查询当前域名。为了使每次重启之后域名都能生效需要将 nisdomainname命令添加到rc.local文件中，添加完成之后需要查看一下是否添加成功。nisdomainname sugoncomecho '/usr/bin/nisdomainname sugoncomz >> /etc/rc.d/rc.local tail -1 /etc/rc.d/rc.local上述echo的过程最好事先which nisdomainname 下确认具体路径。同时需要将 nisdomainname 二

8、配置项添加到/etc/sy sco nf i g/n etwo r k 文件中，以便nis服务器主机能够进行正确的网络设置。echo ynisdomain=sugoncom7 >> /etc/sysconfig/networktail 一1 /etc/sysconfig/network设置ypserv服务的配置文件ypserv.conf文件的配置（详细方法文件中有注释）文件作用:ypserv.conf配置文件中可以使用访问控制列表记录配置nis服务器中数据 库库的访问控制。文件位置：/etc/ypserv.conf配置格式：主机记录:host ip网络记录：子网掩码网络地址注意:没

9、有设置的都将被拒绝访问host host 06securenets安全设置文件文件作用:secruenets文件用于对nis客户端主机的访问控制，它具有比ypserv.conf配置文件更高的对主机进行访问控制的级别和效率。文件位置：/var/yp/secruenets如果没有需要手动创建启动nis服务器需要启动ypserv和yppasswdd ,如果是rhel6.0以后的版本还需要启动rpcbind/etc/rc.d/init.d/ypserv restart /etc/rcd/initd/yppasswdd restart /etc

10、/rc.d/init.d/rpcbind restart如果需要系统启动的时候自动启动”需要使用chkconfig命令手动进行设置chkconfig ypserv onchkconfig yppasswdd on添加用户,进行测试useradd sugonpasswd sugon构建nis数据库生成数据库用到两个shell脚本，脚本的选择根据32位还是64位/usr/lib64/yp/ypinit （64 位）/usr/lib/yp/ypinit（32 位）命令如下/usr/lib64/yp/ypinit -h注：当nis服务器主机中对本地系统用户账号、组账号等信息（文件）更改后,需要使用yp

11、init命令重新构建数据库文件的内容，否则nis客户端主机获得的信息不会自动更新。2.2> nis客户端的配置管理nis客户端需要的软件包利用rpm -qa | grep ayp确认ypbind和yp-tools两个软件包已经安装，一般都是默认已经安装了。建立nis的域名在nis客户机中建立nis域名的操作方法与nis服务器中完全相同，这里使用另外一 种方法建立这些设置。setuptext f-k>5e setup jtility 1丄9丄丄(c) 19992006 red hat, incckddso a tddi rhm rpgi srpr systen services<

12、;tab>/<alt-tab> between eluentsuse <enter> to edit r selection选择 choose a tool authe nticati on con figurationtui r) 1999 jfifis rat hatj t-i<tab>/<alt tab> bctvixsc选中use nis选项，然后切换到next输入nis域名以及对应的ip地址z点击ok完成之后,点击next退出。随后/需要对ypbind重新启动：（早期版本需要先重启portmap）service ypbind re

13、start设置nis服务开机自启动：chkconfig ypbind on设置完成之后可以使用yptest命令检测一下，如果有错误会爆出failed ,可以根据提 示进行排查，详见2.3相关部分。2.3、nis客户端的属性设置该部分相当于对前面配置的补充设置yp.conf配置文件yp.conf是ypbind服务程序的配置文件，使用echo 'domain域名server服务端主机名>> /etc/yp.conf即可进行配置， 并进行查询”命令如下：echo 'domain server nodelz >> /etc/yp.conftail -1 /etc

14、/yp.conf设置 nsswitch.conf 文件文件位置：/etc/nsswitch.conf文件说明：nsswitch.conf文件中相关设置项不代表系统中的文件或命令，而是代表相 关信息的查询，具体含义如下：passwd表示用户账户信息的查询shadow表示用户口令信息的查询group 表示用户组账户信息的查询hosts 表示主机名信息的查询文件中列岀的各项之后有files字段，该字段之后如果输入nis，则表示优先使用本地文 件，然后使用nis服务器获取信息。具体参数可参见文件中注释说明。使用nis客户端测试与nis服务器的连接yp-tools软件包提供了 yptest、ypwhic

15、h和ypcat共3个命令工具，用于nis客户端测试与nis服务器的连接。所有测试命令都通过nis客户端中的ypbind服务程序对nis 服务进行查询。yptest基本的nis服务器测试命令命令作用：对nis服务器域名、主机、数据库及其内容进行测试，并显示测试结果。# yptesttest 1: domainnmmeconfigured domainname is nvbirdnisntest 2: ypbindused nis server: master.vbirdnistest 3: yp_matchwarning: no such key in map (map passwd.bynam

16、e, key nobody).中间省略.test 8: yp_maplisthosts.bynamegroup.bynamepasswd.byuidgroup.bygidpasswd.bynamehosts.byaddr中间省略test 9: yp_all中间省略1 tests failed第三步的错误可以忽略，在passwd.byname当中找不到nobody的字样，这是因为早期的nobody的uid都设定再65534但rhel4之后将nobody设定位系统账号的99 ,所以不会被记录,也就出现这一个警告。ypwhich命令作用：显示nis客户端所使用的nis服务器的主机名称，当使用命令选项

17、时会显示nis服务器使用的数据库和映射文件的名称。ypcat命令作用：添加"x"命令会与ypwhich显示相同的查询信息，但当使用数据库名作 为ypcat命令参数时，该命令将显示指定数据库的内容。ypcat -xypcat group.bynamenis客户端用户登陆nis客户端主机中测试与nis服务器链接成功后,可尝试使用nis服务器的用户账户 登陆nis客户端，当登陆后，屏幕会提示没有找到用户宿主目录的信息，这是由于nis客 户端本地文件系统中没有在/home目录下建立用户宿主目录。nis常用命令ypppasswd :与passwd命令相同，但需要nis服务器端yppa

18、sswd服务必须启动。ypchfn :与chfn相同功能,改变finger信息ypchsh :与chsh相同功能，改变用户登陆的shell3. nfs配置3.1> nfs软件包安装搭建nfs之前需要确认rpcbind和nfsutils是否已经安装，利用rpm -q rpcbind nfs-utils命令进行查询。3.2.编辑nfs服务器配置文件:/etc/exports/public *(rw,no_root_squash,no_subtree_check, async)3.3、启动服务exports文件配置后r需要重新启动rpcbind （旧版本portmap ）和nfs服务。serv

19、ice rpcbind startservice nfs start或者确保开机自启动利用chkconfig ,成功后利用showmount命令查看showmount -e localhost3.4.在客户端中挂载nfs服务器中的共享目录在root模式下查看一下nfs文件服务器是否可用showmount -e nodel然后用mount命令将nfs共享的目录/public挂载到客户端宿主目录/public下mount -t nfs inodel:/public /public挂载完成之后，可以在nfs服务器上使用showmount -a查看挂载的主机如果需要开机自启动，则可以在/etc/rc.

20、d/rc.local文件中将上述命令加入即可。4、酉kdump服务kdump是一种有效的内存转储工具,启用kdump后,生产内核将会保留一部分内存 空间，用于在内核崩溃时通过kexec快速启动到新的内核，这个过程不需要重启系统，因 此可以转储崩溃的生产内核的内存镜像。当系统内存崩溃时，生成的内存转存储文件有助于分析系统在崩溃前发生了什么，查找 原因并修复错误，进而改进系统的稳定性。4.1> kdump 安装查看kdump是否安装，命令如下:rpm -qa|grep rrkexec-tools"rootnodel # rpm -qalgrep "kexec-tools&

21、quot; kexec-tools-2.0.7-38.e!7_2.1.x86_64若未安装，则可以使用在安装光盘中kexec-tools的rpm包进行安装,命令如下:rpm -ivh kexec-tools.xxx.rpm若配置本地yum源，则可以使用如下命令进行安装:yum install -y kexec-tools4.2> kdump 配置指定转存储文件所使用内存的大小修改/etc/default/grub 文件，在 grub_cmdline_linux 行添加 crashkernel=autoroot®nodel # cat /etc/default/grubgrub_

22、timeout=5grub_distributor="$(sed 's, release 叮八g /etc/system-release)"grub_default=savedgrub_disable_submenu=truegrub_terminaloutput=f,consol eugrub_cmdline_linux="vconsolekeymap=us lashkervconsolefont=latarcyrheb-sunl6 rhgb console=tt yso console=ttyo intel_i dle.max_cstate=o&quo

23、t;grub_disable_recove ry="true"执行以下命令，重新生成启动菜单:grub2-mkconfig -o /boot/grub2/grub.cfg重启系统使配置生效配置/etc/kdump.conf,取消以下三行的注释，并将default值改为reboot#转存储文件路径path /var/crash#此行设置保存内存镜像内容的级别，-c表示使用makedumpfile压缩数据， -message-level 1表示提示信息的级别(1表示只显示进度信息)d 31表示不复制所 有可以去掉的内存页(包括 zero page cache page, cac

24、he private, user data, free page 等)core_collector makedumpfile -1 -messageevel 1 d 31#此行表示如果kdump转储内存镜像失败后的执行的动作，默认为挂载根文件系统并执 行/sbin/init 进程，可以更改为：reboot., halt power off, shell 等。default reboot修改s/etc/kdump.conf文件内容如下：#raw /dev/vg/1v.kdump#ext4 /dev/vg/1v_kdump#ext4 label=/boot#ext4 uuid=03138356-5

25、e61-4ab3-b58e-27507ac41937#nfs :/export/tmp#ssh user尹shkey /root/.ssh/kdumpidcsabath /var/crashcore_coll£ctor 咱灼驰叩鬥2 -1 -messaqetevel 1 -d 31 #core coi lector scp#kdump_post /var/crash/scripts/kdump-post.sh#kdump_pre /var/crash/scripts/kdump-pre.sh#extra_bins /usr/bin/iftp#extra_modules qfs2def

26、ault reboot#torce_rebuiid 1#dracut_args -omit-drivers hcfg80211 sndh -add-drivers hext2 ext3h #fence_kdump_args -p 7410 -f auto -c 0 -i 10#fence_kdump_nodes nodel node2-io-启动kdump服务systemctl start kdump查看kdump服务运行状态 systemctl status kdump设置kdump m自动启动 systemctl enable kdump43、安装分析转存储文件所需的rpm包查看系统内核版

27、本root©nodel j# uname -r3.10.0-123.20.1.e!7.x86_64安装与内核版本一致的 kernel-debuginfo-common 与 kernel-debuginfo 的 rpm 包推荐网站：5.酉bb rsyslog 服务centos/redhat 6开始系统日志服务默认采用rsyslog取代syslog。建议将集群各节点系统日志messages统一存放在管理节点的/var/log/remotelogs目录，以"hostnamemessages"命名，便于日志文件的统一管理。5.1服务端配置一般将集群的管理节点配置为rsys

28、log的服务端修改rsyslog服务启动参数配置文件/etc/sysconfig/rsyslog ,内容如下：syslogd_options=w-c 2 -r514 -x ”since rsyslog v3. to compatibility smode2by r-c 2rr# # #sd n gu o o o11 y t s pyf o s i sge o r i a y s s n r or de oe lhl d c.l e t a - t i t x 3 we- c sd e 4 r j e 1 pm r 5 e e o r dh m 一r 2 e osf y 0 8 = t (s d

29、 n r t t go o pn o i r o a 1 t w s pyo s修改/etc/rsyslog.conf文件，内容如下：配置日志传输协议与端口可以采用upd或tcp协议进行传输,默认端口号为514确认协议后，可将配置文件中对应行的注释取消# provides udp syslog reception #jmodload ilnudp fsudpseryerrun 514# provides tcp syslog reception imodload imtcp jlnputtcpserverrun 514在global directives行下方添加自定义日志模板template

30、 remotelogs ,/var/log/remotelogs/%hostname%-messages11*infomailnoneauthprivnonecronnone?remotelogs&# global directives #itempl ate remotelogs, 'vvar/l og/remotelogs/%hostname%-messages1 r.i nfo,mai1.none,authpriv.none,cron.none?remotelogs配置完成后，会将除了邮件服务内容、认证服务内容与定时任务服务内容外的信息传送 到管理节点的/var/log/remotelogs目录下，并以"hostnamemessages"格式命名。52、客户端配置将集群其余节点配置为rsyslog的客户端,修改/etc/rsyslog.conf文件，内容如下：注释 *.info;mail.none;authpriv.none;cron.none/var/log/messages 彳亍# log