CentOS 5上iSCSI+GFS共享存储的实现

1、centos 5上iscsi+gfs共享存储的实现一、安装 系统环境:centos release 5.5 2.6.18-194.el5xen 安装iscsi-target，存储目标端即存储端 在有分享磁盘的主机上安装iscsi-target 安装iscsi-initiator，存储服务端 在用法分享存储的主机上安装iscsi-initiator，全部gfs节点 安装global system，全局文件系统 在用法分享存储的主机上安装gfs模块 gfs主要组件有,卷管理、锁管理、集群管理、集群配置管理、围栏和复原。 在这里，假定有3台计算机，它们的ip分离是192.168.0.7 192.16

2、8.0.8 192.168.0.24 192.168.0.24 192.168.0.7上各有一块可用磁盘，作为分享磁盘 3台计算机都是gfs节点，即用法分享磁盘 在192.168.0.24上，安装配置iscsi-target,iscsi-initiator,gfs 在192.168.0.7上，安装配置iscsi-target,iscsi-initiator,gfs 在192.168.0.8上，安装配置iscsi-initiator,gfs 1、安装iscsi-target yum install scsi-target-uti yum install libibverbs-devel libi

3、bverbs librdmacm librdmacm-devel 2、安装iscsi-initiator yum install iscsi-initiator-utils 3、安装gfs yum install -y gfs2-utils cman kmod-gfs kmod-dlm cluster-snmp lvm2-cluster rgmanager二、配置分享存储 配置iscsi-target 建立target device 配置iscsi-initiator 记录并登录target device 配置gfs分享 利用gfs实现文件分享和同步 1、配置iscsi-target /etc

4、/init.d/tgtd start 在192.168.0.24新建分区():/dev/sda9 tgtadm -lld iscsi -op new -mode target -t 1 -t iqn.2011-.nfschina:nfs-storage24 添加一个新的iscsi-target：iqn.2011-.nfschina:nfs-storage -tid 目标id -t 相当于targetname 目标名 iqn(iscsi qualifi name)命名规章: 格式 意义 范例yyyy-mm 年份-月份 2011-09rever-domain-name 把域名反过来写，通常把公司域

5、名反过来写 com.nfschinaidentifier 识别字，通常注明这个存储空间的用途 nfs-storage tgtadm -lld iscsi -op new -mode logicalunit -tid 1 -lun 1 -b /dev/sda9 把磁盘分区添加到目标设备。 tgtadm -lld iscsi - -op show - -mode target 查看目标设备 tgtadm -lld -op bind mode target tid 1 -i initiator-ip 假如需要对全部initiator可存取，则将initiator-ip换成all tgtadm -ll

6、d iscsi -op bind -mode target -tid 1 -i 192.168.0.7 tgtadm -lld iscsi -op bind -mode target -tid 1 -i all 用法相同办法，在192.168.0.7上配置iscsi-target,target名为 iqn.2011-.nfschina:nfs-storage07 2、配置iscsi-initiator 3台计算机均安装配置iscsi-initiator /etc/init.d/iscsi start 启动iscsi模块 iscsiadm -m discovery -t sendtargets

7、-p 192.168.0.24 iscsiadm -m discovery -t sendtargets -p 192.168.0.7 利用iscsiadm探测iscsi device 指令执行完成后，将在本地的记录设备信息：/var/lib/iscsi/nodes/iqn.2011-.nfschina:rhcs-storage08/ 下次启动iscsi时将会自动读取信息并登录到该设备，如需取消自动登录，则删掉对应文件夹 iscsiadm -m node -t iqn.2011-.nfschina:nfs-storage24 -p 192.168.0.24 -l iscsiadm -m nod

8、e -t iqn.2011-.nfschina:nfs-storage07 -p 192.168.0.7 -l 登录到target设备。 登录胜利后，利用fdisk -l可以发觉多了两个硬盘分区sdb,sdc，这就是iscsi分享的分区。 登出：iscsiadm -m node -t iqn.2011-.nfschina:nfs-storage -p target-ip -u 3、配置gfs 首先在3台计算机上的/etc/hosts文件末尾添加如下内容 192.168.0.24 gfs1 192.168.0.8 gfs2 192.168.0.7 gfs3 有几个gfs节点就添加几行，每个节点上

9、都要添加 下面以配置gfs1节点为例 echo ''initiatoralias=gfs1'' /etc/iscsi/initiatorname.iscsi 指定initiator别号 创建配置文件：/etc/cluster/cluster.conf，添加如下内容 ?xml version="1.0"? cluster name="gfscluster" config_version="1" clusternodes clusternode name="gfs1" votes=&qu

10、ot;1" nodeid="1" fee method name="single" device name="node1" nodename="gfs1"/ /method /fence /clusternode clusternode name="gfs2" votes="1" nodeid="2" fence method name="single" device name="node2" nodena

11、me="gfs2"/ /method /fence /clusternode clusternode name="gfs3" votes="1" nodeid="3" fence method name="single" device name="node3" nodename="gfs3"/ /method /fence /clusternode /clusternodes fencedevices fencedevice name="node

12、1" agent="fence_manual"/ fencedevice name="node2" agent="fence_manual"/ fencedevice name="node3" agent="fence_manual"/ /fencedevices failoverdomains/ resources/ /rm /cluster /etc/init.d/gfs start /etc/init.d/gfs2 start 启用gfs服务。 /etc/init.d/rgmanager start 启用集群管理。 /etc/init.d/cman start 启用集群。 /etc/init.d/clv