GPFS_for_linux安装与实施文档.doc

_GPFS for linux实施配置文档（Red Hat linux平台）-可编辑修改-目录1、GPFS for linux实施规划31.1 规划概要31.2 网络设计规划41.3 存储设计规划42、Linux的安装及配置62.1 制作Linux Yum源62.2使用Linux Yum源安装必备rpm包72.3Linux系统中添加网络设备73、GPFS软件的安装和准备工作93.1 必须安装的Linux RPM包92.2 软件上传至目的Linux分区102.3 在每个节点上安装GPFS软件包102.3.1 GPFS基础包安装102.3.2 GPFS升级包安装112.4 GPFS软件编译112.5 GPFS环境变量设置124、GPFS环境配置文件准备134.1、创建节点描述文件134.2、创建磁盘描述文件134.3、创建主机信任-SSH134.4、确认连接磁盘155、GPFS集群配置165.1、建立集群165.1.1、创建集群165.1.2、显示配置信息165.2、创建NSD165.2.1、使用mmcrnsd创建NSD165.2.2、显示NSD175.3、启动GPFS文件系统175.4、查看GPFS文件系统状态175.5、建立文件系统175.6、检查文件系统175.7、GPFS集群调优176、GPFS文件系统测试196.1文件系统测试196.2 高可用测试201、 GPFS for linux实施规划随着客户对数据越来越高的要求，现有架构的数据传输的速度可能会在将来成为系统分析性能的瓶颈，为了解决该问题，结合IBM GPFS并行文件系统在海量文件处理方面的算法优势及x86 Linux服务器的处理性能，搭建一套测试GPFS文件系统作为数据平台，来提升数据仓库平台的数据传输性能是一个不错的选择。本文档主要针对在X86平台上实施GPFS文件系统进行介绍，可供有相关需求的客户参考。1.1 规划概要本次实施以在10台IBM X3755主机上部署GPFS-FPO为例，安装配置一套10节点的GPFS集群，可用作数据仓库，提供共享文件系统服务。机柜位置柜内位置主机型号型号序列号ip地址cpumem硬盘系统版本X37554*2.4G128G2T*8 RH 6.3X37554*2.4G128G2T*8 RH 6.3X37554*2.4G128G2T*8 RH 6.3X37554*2.4G128G2T*8 RH 6.3X37554*2.4G128G2T*8 RH 6.3X37554*2.4G128G2T*8 RH 6.3X37554*2.4G128G2T*8 RH 6.3X37554*2.4G128G2T*8 RH 6.3X37554*2.4G128G2T*8 RH 6.3X375504*2.4G128G2T*8 RH 6.3本次实施相关系统及软件版本：RHEL OS Version：6.3GPFS Version: 3IBM X3755配置情况：CPU：AMD6234, 4 Core*2.4GHz内存：128GB共享存储空间：2T * 6 * 101.2 网络设计规划本次GPFS集群搭建需要两组网络，一组集群通信网络，用于GPFS节点间的信息交互及同步，建议使用高速网络，比如IB网络，可充分发挥GPFS文件系统的高性能；一组管理网络，用于服务器管理，可使用普通IP网络。GPFS集群通信网络：/24 （通常为一个单独的私有网络）BI_gpfs01 BI_gpfs02 BI_gpfs03 BI_gpfs04 BI_gpfs05 BI_gpfs06 BI_gpfs07 BI_gpfs08 BI_gpfs09 BI_gpfs10 0服务器管理网络：/24 （使用客户的生产管理网络）BI_node01 BI_ node02 BI_ node03 BI_ node04 BI_ node05 BI_ node06 BI_ node07 BI_ node08 BI_ node09 BI_ node10 01.3 存储设计规划存储空间规划如下： 每个节点使用本地盘创建NSD，节点本身为NSD server。每个节点有6块裸盘，raid5规划后大小为近10T，规划两个LV，一个LV做metadata pool，一个LV 做data pool。共6*10块磁盘，每块2 TB基于以上设计，GPFS基础规划如下：节点名操作系统版本硬盘集群名NSD名NsdServerBI_gpfs01RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk1,hdisk2BI_gpfs01BI_gpfs02RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk3,hdisk4BI_gpfs02BI_gpfs03RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk5,hdisk6BI_gpfs03BI_gpfs04RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk7,hdisk8BI_gpfs04BI_gpfs05RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk9,hdisk10BI_gpfs05BI_gpfs06RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk11,hdisk12BI_gpfs06BI_gpfs07RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk13,hdisk14BI_gpfs07BI_gpfs08RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk15,hdisk16BI_gpfs08BI_gpfs09RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk17,hdisk18BI_gpfs09BI_gpfs10RedHat 6.3dm-2, dm-3BI_gpfs_clusterHdisk19,hdisk20BI_gpfs102、 Linux的安装及配置Linux的安装与配置这里不做过于详细的介绍，就是安装操作系统，此处针对可能会遇到的一下问题做简单说明。2.1 制作Linux Yum源为了防止后续使用中发现操作系统缺少安装包，此处建议安装完操作系统后将操作系统镜像上传到系统中，制作本地Linux Yum源，当然如果客户现场有配置网络Yum源也行。下面简单介绍一个制作Yum源的方法，具体有不明白的地方可以百度一下，你就知道。创建源文件存放的目录#mkdir /home/iso/将光盘文件复制到服务器上的源目录#cp -a /media/* /home/iso/新建一个yum源的响应文件# vi /etc/yum.repos.d/local.repo文件内容如下：basename=linux 6baseurl=file:/home/isogpgcheck=0enable=1修改yum源的地址# vi /usr/lib/python2.6/site-packages/yum/yumRepo.py在上面的文件中找到下面这行remote = url + / + relative将其改为remote = /tmp/yum + relative2.2 使用Linux Yum源安装必备rpm包通过使用Yum安装必要的安装包很方便，只需执行yum y install 该命令的具体使用方法可自行查找。yum -y install make perl rsh ld-linux.so libm.so.6 libc.so.6 ksh libstdc+.so.5yum -y install rsh-server rpcbind xinetd libaio cpp gcc-c+ gcc nfs-utilsyum -y install kernel-headers kernel-devel compat-libstdc+ glibc-devel libXp.so.6 imake rpm-buildyum -y install compat-libstdc*2.3 Linux系统中添加网络设备在linux系统中，由于某种原因造成网络设备丢失，或者我们新添加一个网卡，系统启动后可能查看不到新加网卡的状态，此时需要人工添加新的网络设备。以新加一个IB卡为例：方法1、可以通过setup-network configuration-device configuration-new device-添加一个网络设备。例如我们添加了一个ib0网络设备，IP设置为。通过以下步骤： 则在/etc/sysconfig/network-scripts/下会产生一个ifcfg-ib0的配置文件，文件内容如下：DEVICE=ib0BOOTPROTO=noneNETMASK=TYPE=EthernetHWADDR=a0:00:01:00:fe:80:00:00:00:00:00:00:00:02:C9:03:00:57:2F:1FIPADDR=ONBOOT=yesIPV6INIT=noUSERCTL=nonote：这里HWADDR需要手动更改，查看ib0的HWADDR方法可以使用ifconfig ib0 或者 ifdown ib0来查看。ONBOOT=yes代表开机该设备会自动挂起，否则需要手动挂起。2.4 Linux系统中用户与组的操作Linux 系统中添加用户及组，删除用户及组，以及修改用户或组的属性，使用命令如下：useradd 使用时可使用man查看用法，比如： -u 设置uid， -g 设置gid等，在集群环境中，uid和gid需保持一致。groupaddusermod -n （更改用户名） -u (更改uid） -g （更改gid） usernamegroupmod -n （更改组名）-g（更改gid） groupname最好是在创建用户或组之前做好规划，uid,gid,名称，home目录等，以免造成后来有冲突。特别是在集群环境中。2.5 Linux系统中ACL简单介绍在安全管理日益重要的今天，传统的 Unix 文件系统的 UGO 权限管理方式已经无法满足日常系统管理工作的需要。而 ACL 机制逐渐成为主流的权限管理方式。通常情况下，UGO可以满足权限要求，特殊情况下才需要通过ACL进行扩展管理，所谓ACL，就是Access Control List，一个文件/目录的访问控制列表，可以针对任意指定的用户/组分配RWX权限。现在主流的商业Unix系统都支持ACL。下面举一个简单的例子，来学习一下ACL的使用方法：1、ACL的基本操作：添加和修改首先新建一个文件作为实施ACL的对象：rootBI_gpfs01 gpfs# touch testaclrootBI_gpfs01 gpfs# lltotal 0-rw-r-r- 1 root root 0 Mar 20 13:18 testacl然后看一下这个文件缺省的ACL，这时这个文件除了通常的UGO的权限之外，并没有ACL：rootBI_gpfs01 gpfs# getfacl testacl # file: testacl# owner: root# group: rootuser:rw-group:r-other:r-通过setfacl命令可以设置文件的ACL，如下：setfacl -m u:testu1:rw testacl这条命令就给testacl文件增加了一条ACL，是的用户testu1对该文件具有读写权限。此时再查看testacl的ACL，可观察到如下显示：rootBI_gpfs01 gpfs#getfacl testacl# file: testacl# owner: root# group: rootuser:rw-user:testu1:rw-group:r-mask:rw-other:r-此时我们使用ls命令查看会发现：rootBI_gpfs01 gpfs#ls -l testacl-rw-rw-r-+ 1 root root 0 Mar 20 13:32 testacl可以看到那个+了么？就在通常我们看到的权限位的旁边。这个说明testacl设置了ACL， 接下来我们修改一下testu1的权限，同时给testg1这个组以读的权限：rootBI_gpfs01 gpfs# setfacl -m u:testu1:rwx,g:testg1:r testaclrootBI_gpfs01 gpfs# getfacl testacl# file: testacl# owner: root# group: rootuser:rw-user:testu1:rwxgroup:r-group:testg1:r-mask:rwxother:r-可以看到设置后的权限，testu1已经有了执行的权限，而testg1这个组也获得了读取文件内容的权限。也许有人已经注意到了两个问题：首先，testacl的组权限从r-变成了rw-。其次，mask是什么？为什么也变化了呢？我们先从mask说起。如果说acl的优先级高于UGO，那么mask就是一个名副其实的最后一道防线。它决定了一个用户/组能够得到的最大的权限。这样我们在不破坏已有ACL的定义的基础上，可以临时提高或是降低安全级别：rootBI_gpfs01 gpfs# setfacl -m mask:r testaclrootBI_gpfs01 gpfs# getfacl testacl# file: testacl# owner: root# group: rootuser:rw-user:testu1:rwx #effective:r-group:r-group:testg1:r-mask:r-other:r-rootBI_gpfs01 gpfs# ls -l testacl-rw-rw-r-+ 1 root root 0 Mar 20 13:48 testacl在testu1对应的ACL项的后边出现了effective的字样，这是实际testu1得到的权限。Mask只对其他用户和组的权限有影响，对owner和other的权限是没有任何影响的。 执行ls的结果也显示UGO的设置也有了对应的变化。因为在使用了ACL的情况下，group的权限显示的就是当前的mask。通常我们把mask设置成rwx，以不阻止任何的单个ACL项。*需要注意的是，每次修改或添加某个用户或组的ACL项的时候，mask都会随之修改以使最新的修改能够真正生效。所以如果需要一个比较严格的mask的话，可能需要每次都重新设置一下mask。2、 ACL的其他功能：删除和覆盖setfacl -x命令 删除某条ACL设置setfacl -x g:testg1 testaclsetfacl -b命令 删除所有ACL设置3、目录的默认ACL如果我们希望在一个目录中新建的文件和目录都使用同一个预定的ACL，那么我们可以使用默认(Default) ACL。在对一个目录设置了默认的ACL以后，每个在目录中创建的文件都会自动继承目录的默认ACL作为自己的ACL。用setfacl的-d选项就可以做到这一点：4、备份和恢复ACL例如备份dir1的ACL：getfacl -R dir1 dir1.acl删除dir1的所有ACLsetfacl -R -b dir1恢复被删除的dir1的ACLsetfacl -restore dir1.acl参考： /developerworks/cn/linux/l-acl/3、 GPFS软件的安装和准备工作GPFS软件安装部分主要参考文档：。该文档详细介绍了在AIX,Linux以及window环境安装GPFS的方法。3.1 必须安装的Linux RPM包RHEL上需要安装必要的Linux RPM包，如果缺失rpm，GPFS安装将无法进行：make perlrsh ld-linux.so libm.so.6 libc.so.6 ksh libstdc+.so.5rsh-server rpcbind xinetd libaio cpp gcc-c+ gcc nfs-utilskernel-headers kernel-devel compat-libstdc+compat-libstdc+-33.x86_64glibc-devellibXp.so.6imake rpm-build2.2 软件上传至目的Linux分区在每个分区/tmp文件系统上建立GPFS安装目录/tmp/gpfs_install，并将安装软件介质上传至该目录：1. 建立/home/gpfs_ base/将基础软件包GPFS3.5文件夹上传至各个节点对应目录：2. 建立/tmp/gpfs_ fix/将升级软件包GPFS-3-x86_64-Linux.tar.gz上传至各个节点对应目录。2.3 在每个节点上安装GPFS软件包三个节点安装过程一致，下面仅表述1节点的安装过程，其余节点安装方法一致。2.3.1 GPFS基础包安装# cd /home/gpfs_ base/GPFS3.5上传的文件如果是压缩包，首先对压缩包进行解压，本次上传文件为解压后的文件，文件夹中可以看到以下文件：-rw-r-r-. 1 root root 10992478 Dec 10 01:28 gpfs.base_3.5.0-0_amd64.deb-rw-r-r-. 1 root root 11182009 Dec 10 01:28 gpfs.base-3.5.0-0.x86_64.rpm-rw-r-r-. 1 root root 205510 Dec 10 01:28 gpfs.docs_3.5.0-0_all.deb-rw-r-r-. 1 root root 221562 Dec 10 01:28 gpfs.docs-3.5.0-0.noarch.rpm-rw-r-r-. 1 root root 480042 Dec 10 01:28 gpfs.gpl_3.5.0-0_all.deb-rw-r-r-. 1 root root 500281 Dec 10 01:28 gpfs.gpl-3.5.0-0.noarch.rpm-rw-r-r-. 1 root root 95090 Dec 10 01:28 gpfs.msg.en-us_3.5.0-0_all.deb-rw-r-r-. 1 root root 96641 Dec 10 01:28 gpfs.msg.en_US-3.5.0-0.noarch.rpmdrwxr-xr-x. 2 root root 4096 Dec 10 01:28 license-rw-r-r-. 1 root root 39 Dec 10 01:28 status.dat使用rpm命令安装软件包 rpm ivh *.rpm安装后使用 rpm -qa|grep gpfs检查GPFS软件安装情况2.3.2 GPFS升级包安装将准备好的升级包上传至各个节点。# cd /home/gpfs_fix# gunzip GPFS-3-x86_64-Linux.tar.gz# tar -xvf GPFS-3-x86_64-Linux.tar解压后，可以看到文件夹下有以下文件：-rw-r-r-. 1 root root 4558 Oct 3 22:24 changelog-rw-r-r-. 1 root root 27883520 Dec 10 01:26 GPFS-3-x86_64-Linux.tar-rw-r-r-. 1 30007 bin 12916640 Oct 1 03:55 gpfs.base_3.5.0-13_amd64_update.deb-rw-r-r-. 1 30007 bin 13156422 Oct 1 03:51 gpfs.base-3.5.0-13.x86_64.update.rpm-rw-r-r-. 1 30007 bin 236230 Oct 1 03:55 gpfs.docs_3.5.0-13_all.deb-rw-r-r-. 1 30007 bin 254205 Oct 1 03:51 gpfs.docs-3.5.0-13.noarch.rpm-rw-r-r-. 1 30007 bin 531014 Oct 1 03:55 gpfs.gpl_3.5.0-13_all.deb-rw-r-r-. 1 30007 bin 554372 Oct 1 03:51 gpfs.gpl-3.5.0-13.noarch.rpm-rw-r-r-. 1 30007 bin 104952 Oct 1 03:55 gpfs.msg.en-us_3.5.0-13_all.deb-rw-r-r-. 1 30007 bin 106817 Oct 1 03:53 gpfs.msg.en_US-3.5.0-13.noarch.rpm-rw-r-r-. 1 root root 5947 Sep 10 22:33 README使用rpm命令进行升级：rpm -Uvh *.rpm升级后使用 rpm -qa|grep gpfs检查GPFS软件安装情况gpfs.msg.en_US-3.5.0-13.noarchgpfs.gpl-3.5.0-13.noarchgpfs.docs-3.5.0-13.noarchgpfs.base-3.5.0-13.x86_642.4 GPFS软件编译在一个节点上对GPFS软件进行编译# cd /usr/lpp/mmfs/srcmake Autoconfigmake Worldmake InstallImagesmake rpm生成编译后的rpm包，（在其他节点可以跳过编译过程，直接安装编译过的rpm包即可）位置在/root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm将编译生成的rpm包传送到其他节点。scp /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm:/root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpmscp /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm:/root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm scp /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm0:/root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm安装rpm包rpm ivh gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-3.x86_64.rpm2.5 GPFS环境变量设置在每个节点上编辑/etc/profile，添加PATH=$PATH:/usr/lpp/mmfs/bin4、 GPFS环境配置文件准备4.1、创建节点描述文件Vi /tmp/gpfs_config/gpfs_nodesBI_gpfs01:quorum-managerBI_gpfs02:quorum-managerBI_gpfs03:quorum-managerBI_gpfs04:quorum-managerBI_gpfs05:quorum-managerBI_gpfs06:managerBI_gpfs07:managerBI_gpfs08:managerBI_gpfs09:managerBI_gpfs10:manager4.2、创建磁盘描述文件Vi /tmp/gpfs_config/gpfs_nsd内容可参考如下：4.3、创建主机信任-SSH在每个节点上分别操作：# yum -y install openssh-clients 安装openssh# ssh-keygen -t rsa -b 2048 生成ssh-key在一节点中# cd /root/.ssh/# cp id_rsa.pub authorized_keys# scp :/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.2# scp :/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.3# scp :/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.4# scp :/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.5# scp :/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.6# scp :/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.7# scp :/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.8# scp :/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.9# scp 0:/root/.ssh/id_rsa.pub :/root/.ssh/authorized_keys.10# cat authorized_keys.2 authorized_keys# cat authorized_keys.3 authorized_keys# cat authorized_keys.4 authorized_keys# cat authorized_keys.5 authorized_keys# cat authorized_keys.6 authorized_keys# cat authorized_keys.7 authorized_keys# cat authorized_keys.8 authorized_keys# cat authorized_keys.9 authorized_keys# cat authorized_keys.10 authorized_keys# cat authorized_keys 检查是否每个节点的key是否都在该文件中拷贝1节点的authorized_keys到其他节点中：scp :/root/.ssh/authorized_keys :/root/.ssh/authorized_keysscp :/root/.ssh/authorized_keys :/root/.ssh/authorized_keysscp :/root/.ssh/authorized_keys :/root/.ssh/authorized_keysscp :/root/.ssh/authorized_keys :/root/.ssh/authorized_keysscp :/root/.ssh/authorized_keys :/root/.ssh/authorized_keysscp :/root/.ssh/authorized_keys :/root/.ssh/authorized_keysscp :/root/.ssh/authorized_keys :/root/.ssh/authorized_keysscp :/root/.ssh/authorized_keys :/root/.ssh/authorized_keysscp :/root/.ssh/authorized_keys 0:/root/.ssh/authorized_keys 在三个节点上分别执行# vi /etc/ssh/sshd_config 修改PermitRootLogin yes，去掉# service sshd restart配置后验证ssh连接是否正常Tips:该tips未经验证，简单的解决known_hosts问题的方法是删除known_hosts，然后从新登陆一遍。停止 CSM 维护 known_hosts 文件，如下所示。这个文件中包含了很多主机名。如果一个主机已经出现在这个文件中，那么 SSH 就不会提示用户确认连接。CSM 会试图维护这个文件，但是在一个不需要根密码访问的混合集群环境中，这可能会成为一种障碍。stopcondresp NodeFullInstallComplete SetupSSHAndRunCFMstartcondresp NodeFullInstallComplete RunCFMToNodeperl -pe s!(.*update_known_hosts.*)!#$1! -i /opt/csm/csmbin/RunCFMToNode生成一个系统范围的 known_hosts 文件。这最好通过创建一个脚本来实现，如下所示。运行这个脚本并将输出重定向到 /cfmroot/root/.ssh/known_hosts 中。#!/bin/bashRSA_PUB=$(cat /cfmroot/etc/ssh/ssh_host_rsa_key.pub)DSA_PUB=$(cat /cfmroot/etc/ssh/ssh_host_dsa_key.pub)for node in $(lsnodes); do ip=$(grep $node /etc/hosts | head -n 1 | awk print $1) short=$(grep $node /etc/hosts | head -n 1 | awk print $3) echo $ip,$node,$short $RSA_PUB echo $ip,$node,$short $DSA_PUBdone4.4、确认连接磁盘#fdisk l可以找到名为sdb（大小为9090G）pvcreate /dev/sdb /dev/sdbpvscan vgcreate vg01 /dev/sdbvgdisplaylvcreate -L 550G -n lv_mdata1 vg01lvcreate -L 8500G -n lv_data01 vg01同理，在其余节点创建相应的PV,LV。lvremove -f vg01/ lv_data015、GPFS集群配置5.1、建立集群建立及管理集群主要参考文档Administration and Programming Reference。该文档对如何创建，管理GPFS集群做了详细介绍，对GPFS管理常用命令也做了详细解释。5.1.1、创建集群mmcrcluster -n /tmp/gpfs_conf/gpfs_nodes -C BI_gpfs_cluster -p BI_gpfs01 -s BI_gpfs02 -r /usr/bin/ssh -R /usr/bin/scp -C 标志设置了集群名。 -p 设置主配置服务器节点。 -s 设置次配置服务器节点。 -r 为 GPFS 使用的远程 shell 程序设置完整路径。-R 设置 GPFS 使用的远程文件拷贝程序。mmchlicense server -accept -N BI_gpfs01,BI_gpfs02,BI_gpfs03,BI_gpfs04,BI_gpfs05,BI_gpfs06,BI_gpfs07,BI_gpfs08,BI_gpfs09,BI_gpfs10tips：此处创建出现不成功情况，创建过程中节点间一直尝试连接，无法连接成功的样子，可事实上通过ssh各节点之间是可以正常连接的。出现该问题的症结在于linux防火墙。检查及关闭防火墙的方法见附录。5.1.2、显示配置信息mmlscluster查看节点是否均为quorum-manager角色5.2、创建NSD5.2.1、使用mmcrnsd创建NSD描述文件为/tmp/gpfs_conf/gpfs_diskmmcrnsd -F /tmp/gpfs_conf/gpfs_disk5.2.2、显示NSDmmlsnsd M确认nsd 名称和nsd server是否正确5.3、启动GPFS文件系统mmstartup a5.4、查看GPFS文件系统状态mmgetstate -a查看节点是否均为active5.5、建立文件系统mmcrfs gpfs -F /tmp/gpfs_conf/gpfs_disk -A yes -B 512K -j cluster -m 2 -r 2 -M 3 -R 3 -block-group-factor128 -s failuregroupRoundRobin -write-affinity-depth 1 -T /gpfs -metadata-block-size 256KExplanation：A write affinity depth of 1 indicates that the first copy is written to the writer node. For theremaining replicas, each replica is striped across the disks in a cyclical fashion with the restrictionthat no two disks are in the same failure group.mmcrfs gpfs -F /tmp/gpfs_conf/gpfs_disk -B 512K -m 2 -r 2 -Q yes -write-affinity-depth 1 -T /gpfs -metadata-block-size 256K5.6、检查文件系统#cat /etc/fstab#df hTips：此处创建完文件系统后发现文件系统无法正常写入文件，报错提示说文件系统已满。问题出来了文件存储策略上，由于创建nsd时分别创建了metadata和data 两个独立的pool，分别制定metadataonly，和dataonly，因此该处需要更改policy制定数据保存在datapool，关于policy更多介绍可参考文档Administration and Programming Reference或者Advanced Administration Guide。