Linux机群系统DIY

1、基于Linux的MPI并行环境构建与使用问题o 场景n 没有云平台，没有昂贵、完备的并行环境自动化部署工具n 自有计算机硬件设备Qu:怎么进行并行环境DIY？n 节点操作系统(Linux)安装和配置n 并行程序库(MPICH)的安装和配置操作系统的安装与配置 以下操作在每一个组成并行环境的计算节点以下操作在每一个组成并行环境的计算节点上均需执行上均需执行Linux操作系统安装o 节点操作系统选择n Redhat Linux n SuSE Linuxn Debian GNU/Linux可管理性强，用户界面友好可管理性强，用户界面友好可裁剪性强可裁剪性强Linux操作系统安装o 选择系统默认语言o

2、 磁盘分区n自动分区n手动分区o 挂载点，文件系统ext3，交换分区大小可设为内存的2倍o 选择安装组件n以服务器类型安装，选择所需组件o 选择启动方式nGrub? Lilo?o 网络配置操作系统配置1.主机名配置通过编辑/etc/sysconfig/network文件中的HOSTNAME字段可以修改主机名。*修改主机名后，需要重新启动系统后生效。操作系统配置2.网络配置（1）修改/etc/hosts文件中的主机列表，将所有计算节点名及其ip信息写入。操作系统配置（2）配置防火墙n可使用iptables L查看当前防火墙设置n配置防火墙，使得远程用户可通过SSH正常访问，命令如下： iptab

3、les A INPUT p tcp -dport 22 j ACCEPTn若对安全性要求不高，可用iptables F命令清除防火墙 操作系统配置（3）使用ping命令检查计算节点间的互通状态o确保节点间两两互通o对于不能互通的节点对，可采用如下命令添加路由： route add 网段地址 Mask 子网掩码 网关地址 示例： route add Mask 操作系统配置3. 新增用户 使用adduser命令，增加并行计算用户，命令格式如下： adduser 用户名4.配置SSH(Secure SHell)服务n 选用Linux平

4、台广泛使用的OpenSSHn OpenSSH软件包由服务器软件包openssh-server和客户程序openssh-clients组成，默认安装模式下，二者均会安装在系统中（1）查看方式rpm q openssh-serverrpm q openssh-clients（2）启动和查询SSH服务n一般linux平台都默认安装并设定开机启动SSH服务，可直接使用n也可用下述命令的方式启动/重启/停止/查询SSH服务 /etc/init.d/sshd start/restart/stop/status 或 service sshd start/restart/stop/statusn可使用ntsy

5、sv命令，将SSH服务设置为开机自启动服务nSSH服务使用tcp协议的22号端口，在使用防火墙的情况下，应允许TCP协议的22号端口开启，可以用以下命令： iptables A INPUT p tcp dport 22 j ACCEPT基于密钥认证的ssh设置(3)使用ssh-keygen生成密钥对(4)使用scp命令，将公钥拷贝到目的服务器上（5）修改id_dsa.pub文件名为authorized_keys，并修改文件权限若authorized_keys文件已存在，则使用如下命令：Cat id_dsa.pubauthorized_keyso 到此为止，组成并行计算环境的所有计算节点上均具有

6、相同的主机列表，节点间均可互通。MPICH的安装和配置 以下操作在每一个组成并行环境的计算节点以下操作在每一个组成并行环境的计算节点上均需执行上均需执行MPICH的安装1.下载MPICH软件包mpich2-1.2.1p1.tar.gz以以mpiuser身份执行以下过程身份执行以下过程2.解压软件包 $tar zxvf mpich2-1.2.1p1.tar.gz $cd mpich2-1.2.1p13.创建安装路径 $mkdir /home/mpiuser/mpi2-1.2.1p1_install4.配置安装路径 $ ./configure prefix=/home/mpiuser/mpi2-1

7、.2.1p1_install5.编译 $make6.安装 $make install7.设置环境变量（1）在/home/mpiuser/.bashrc文件中加入如下语句： export PATH=/home/you/mpich2-install/bin:$PATH（2）运行source /home/mpiuser/.bashrc命令，使设置生效8.检查安装是否成功9.配置mpd.conf文件 (1)在mpiuser的主目录下创建.mpd.conf文件 $touch .mpd.conf (2) 编辑.mpd.conf文件，添加如下语句： (3) 修改.mpd.conf文件的访问权限 chmod

8、600 .mpd.conf10.启动mpd守护进程(1) 在mpiuser的主目录下，创建mpd.hosts文件，将计算节点名列表填入(2)使用mpdboot命令,启动各节点上的mpd mpdboot n 启动个数 f /mpd.hosts(3)检查是否启动正常 mpdtrace l(4)mpd关闭命令 mpdallexitMPICH的使用o 编译 mpicc o 目标文件名 源文件名o 运行 mpiexec -machinefile 文件名 -np 进程总数 执行文件名 命令行参数NFS和NISo 前述并行环境构建的不足n 对于每个计算节点均须执行o 新增用户o 并行程序库的安装o 并行程序

9、的编译和部署n 当计算节点规模扩大时，并行环境部署的工作繁重NIS(Network Information Service)服务n由SUN公司开发，是一个简单的客户/服务器模式的数据库系统n是一种集中管理系统配置信息(如用户帐号信息, 主机信息等）的分布式数据库系统。n适合于所有节点需要使用相同的配置信息的场景n管理员无需了解NIS的内部数据格式，仍然可以按照原来的模式处理配置文件nNIS安全性较差，因此适合在内部网络使用o NIS的体系结构原理NIS从服务器从服务器NIS主服务器主服务器NIS从服务器从服务器客户机客户机客户机客户机客户机客户机客户机客户机Login:_1. /etc/pas

10、swd /etc/shadow2.NIS查询查询网络网络向所有向所有NIS服务器服务器广播请求广播请求1.构建构建NIS数据库数据库2.提供从服务器提供从服务器 信息更新信息更新3. 提供提供NIS查询查询1.从主服务器获取从主服务器获取 信息更新信息更新2. 提供提供NIS查询查询1. 从主服务器获取从主服务器获取 信息更新信息更新2. 提供提供NIS查询查询推送推送推送推送NIS在机群单一用户管理中的应用o为实现机群单一用户登录，需要为机群所有节点配置相同的用户帐号o为了用户使用方便，通常为各节点上的用户帐号设置相同的密码o机群中通常存在多个用户帐号信息，随着系统规模扩大，用户帐号数可达数

11、百个o若对每个节点独立进行用户帐号管理，则需要对每个节点重复进行帐号设置工作，十分繁琐；或通过配置文件复制实现，但难以适应机群用户流动量大的场景o可利用NIS服务器集中管理用户帐号信息，机群管理员只需将每台节点设置为属于该机群NIS服务的客户机，当节点接收用户请求(包括登录、shell命令等)时，节点就可以通过NIS服务器进行验证。o一般机群都采用NIS进行用户管理NIS(Network Information Service)的安装与配置o NIS软件由NIS Server和NIS Client组成o 相关软件包n ypserv NIS Server软件包，负责客户端设置n ypbind N

12、IS Client 软件包，负责服务器端设置n yp-tools 提供对NIS服务器的查询和管理工具 n Portmap 提供RPC服务NIS(Network Information Service)的安装与配置o 主要配置文件n /etc/ypserv.confo NIS的主配置文件，规范NIS客户端是否具有可以查询NIS服务器的权限n /etc/yp.confo NIS客户端的配置文件n /etc/nsswitch.confo 设置系统中信息查询方式NIS(Network Information Service)的安装与配置o 依赖的服务nTime和time-udp：支持ypserv的启动

13、root server root# chkconfig -level 35 time on root server root# chkconfig -level 35 time-upd on root server root# /etc/rc.d/init.d/xinetd restart o 服务器端配置1. 设置NIS域名方法1：采用nisdomainname命令设置（临时生效） nisdomainname NIS域名 方法2：通过修改/etc/rc.d/rc.local配置文件设定NIS域名，在/etc/rc.d/rc.local中添加如下语句： /bin/nisdomainname N

14、IS域名方法3：通过修改/etc/sysconfig/network配置文件，然后重启NIS服务，使系统自动设定NIS域名。 在/etc/sysconfig/network配置文件中加入如下语句： NISDOMAIN=hpcclass2. 配置/etc/ypserv.conf文件ndns:noo设置是否使用DNS服务nfiles:30o设置可读入NIS高速缓存的数据库数目nxfr_check_port:yeso设置主从服务器间信息同步使用的端口号范围nhost:Domain:Map:Securityo描述客户端查询的权限ohost: 指定客户端，可以是一个IP，也可以是一个网段odomain:

15、 设置NIS域名omap：设置数据库名，“*”表示所有数据库osecurity: 安全设置nNone: 没有安全限制nPort: 只允许小于1024的端口连接NIS服务器nDeny: 拒绝连接NIS服务器例子：如下三行设定除了内环网络和网段，其他网络都不能访问NIS共享文件系统/ : * : * : none /: * : * : none * : * : * : deny 3. 启动NIS服务#service ypserv start#service yppasswdd star

16、t或者#chkconfig level 35 ypserv on#chkconfig level 35 yppasswdd on4.创建NIS数据库 root server root# /usr/lib/yp/ypinit -m 结果如下：At this point, we have to construct a list of the hosts which will run NISservers. .tw is in the list of NIS server hosts. Please continue to add the names for t

17、he other hosts, one per line. When you are done with thelist, type a .next host to add:node1.cluster next host to add: The current list of NIS servers looks like this: cluster Is this correct? y/n: y yWe need a few minutes to build the databases. .cluster has been set up as a NIS master server. 。5.

18、#重新启动ypserv和yppasswdd服务 root server root# /etc/rc.d/init.d/ypserv restart root server root# /etc/rc.d/init.d/yppasswdd restart NIS客户端配置o 配置/etc/yp.conf文件o 配置/etc/nsswitch.confNIS客户端配置o 启动NIS客户端root server root# /etc/rc.d/init.d/ypbind start root server root# chkconfig -level 35 ypbind on 网络文件系统NFS(N

19、etwork File System)NFS的基本原理o UNIXLinux系统支持的一种网络文件服务o 通过NFS，网络中的计算机可以发布共享信息，远程客户端能够像使用本地文件一样访问该共享资源。FilesNFS客户端客户端NFS服务器服务器Windows/linux系统系统Linux系统系统NFS的优点o 节约磁盘空间o 节约硬件设备o 共享用户目录，应用程序目录NFS的主要版本o NFSv2o NFSv3n 增加64位文件支持，异步写入以及错误处理o NFSv4n 支持基于TCP协议的传输，支持访问控制以及状态处理NFS的安装o 安装所需rpm软件包（客户端和服务端相同）nnfs-uti

20、ls-*.rpm：NFS服务的主程序包nPortmap-*.rpm：记录服务的端口映射信息。o 安装命令#rpm ivh nfs-utils-*.rpmo 安装后使用如下命令检查#rpm qa|grep nfsNFS服务端的配置1.配置/etc/exports文件n用于定义需要共享的目录，以及访问对象的控制n默认情况下，该文件内容为空，即不共享任何目录n当需要共享目录时，需要管理员手动设置。n发布共享目录格式 共享目录共享目录 客户端客户端1(参数参数1,参数参数2,) 客户端客户端2(参数参数1,参数参数2,).NFS服务端的配置共享目录共享目录 是指NFS服务器上需要给客户端共享出来的目录

21、，在设置目录时需要使用绝对路径。客户端客户端 是指所有可以访问共享目录的计算机客户端指定方式客户端指定方式示例示例使用IP地址指定单一主机1使用IP地址指定主机范围/24使用IP地址指定主机范围172.21.20.*使用域名指定单一主机T使用域名指定主机范围*使用通配符指定所有主机*NFS服务端的配置n参数参数 是指客户端对共享目录的访问权限设置。参数参数说明说明ro设置共享权限为只读rw设置共享权限为读写root_squash当共享目录使用者为root时，将被映射成匿名帐号no_root_squash当共享目录使用者为root时，将不被映射成匿名帐号

22、all_squash将所有使用NFS共享目录的用户映射为匿名帐号anonuid设置匿名帐号的UIDanongid设置匿名帐号的GIDsync保持数据同步，即将数据同步写入内存和磁盘async先将数据保存在内存中，而不直接保存在磁盘中NFS服务端的配置o 示例 在NFS服务器上，共享如下目录：n /media目录，允许所有客户端访问，但只具有只读权限n /NFS/public目录，允许/24和/24网段的客户端访问，且只具有只读权限n /NFS/team1目录，允许来自.team1.apple域的客户端访问，具有读写权限n /NFS/works目录，允

23、许/24网段客户端访问，并将root用户映射为匿名用户n /NFS/test目录，所有客户端允许访问，所有用户映射为匿名用户，并指定匿名用户的UID和GID均为65534n /NFS/security目录，仅允许54客户端访问，具有读写权限NFS服务端的配置2.配置NFS固定端口（可选）n针对场景：NFS服务每次启动，其对应的端口号都会随机变化，这对服务器防火墙配置带来负担，因此，可以通过配置，固定NFS服务所用端口。n配置文件/etc/sysconfig/nfs 增加如下配置行： MOUNT_PORT=”5001” STATD_PORT=“5002” LOCKD_UDPPORT=“5003” LOCKD_TCPPORT=“5003” RQUOTAD_PORT=“5004”NFS服务启动和停止o NFS服务启动/停止/重启/查询状态命令方法一： #/etc/init.d/portmap start/stop/restart/status #/etc/init.d/nfs start/stop/restart/status方法二：#service portmap start/stop/restart/status#service nfs sta