GlusterFS安装配置手册201706

LinkAPP 深圳市连用科技有限公司GFS安装配置手册深圳市连用科技有限公司2017年6月目录TOC\o"1-3"\h\u93721准备环境 3199252在所有存储节点上安装GFS 3234712．1安装 369772．2配置 5205083在所有LFS上安装GFS 625631．1安装 6310652．2配置 684203高级GFS配置 790983.1如何增删存储节点服务器 7250773.2如何把数据从一个节点迁移到另一个节点 8320153.3如何平衡数据 9277383.4节点故障时的常见处理办法 9208973.5日志目录 10270174状态查询 10263794.1显示卷状态 1024374.2显示卷信息 11207464.2显示存储节点状态 11117314.测试 13319651.用DD测试命令（在客户端的挂载目录中运行） 1385132.用TIME配合CP命令 131准备环境在LFS服务器和所有存储节点服务器上安装RedHatLinux6.6或CentOSLinux6.6操作系统，在安装过程中，选安装包时，把开发环境也装上。用户用户用户用户用户用户LFS服务器：00LFS服务器：00存储节点服务器:01存储节点服务器:00存储节点服务器:01存储节点服务器:002在所有存储节点上安装GFS2．1安装解包：#tarzvxfglusterfs.tar.gz进入目录：#cdglusterfs检查环境：#./autogen.sh#3.5版本安装。先执行这个#./configure会显示如下信息：GlusterFSconfiguresummary===========================FUSEclient:yesInfinibandverbs:noepollIOmultiplex:yesargp-standalone:nofusermount:noreadline:yesgeoreplication:yesLinux-AIO:no编绎：#make会提示如下信息：creatinggluster安装：#makeinstall卸载：#makeuninstallldconfig确认是否安装成功：#glusterfs--version如果显示如下类似信息，表示安装成功了glusterfs3.6.9builtonApr21201717:37:51Repositoryrevision:git:///glusterfs.gitCopyright(c)2006-2013RedHat,Inc.</>GlusterFScomeswithABSOLUTELYNOWARRANTY.ItislicensedtoyouunderyourchoiceoftheGNULesserGeneralPublicLicense,version3oranylaterversion(LGPLv3orlater),ortheGNUGeneralPublicLicense,version2(GPLv2),inallcasesaspublishedbytheFreeSoftwareFoundation.启动所有SERVER的服务：#serviceglusterdstart显示如下信息，表示启动成功Startingglusterd:[确定]再查一下进程是否存在，来确认是否启动成功，如果存在，表示确实是在运行了：#ps-ef|grepglusterdroot34641009:31?00:00:00/usr/local/sbin/glusterdroot35163394009:32pts/100:00:00grepglusterd设置开机自动启动服务：#chkconfigglusterdon测试环境的话，可以停掉防火墙，如果是生产环境，可以在防火墙中增加要打开的端口(自已查资料)，但通常是使用硬盘防火墙：#iptables–L#显示防火墙情况#serviceiptablesstop测试环境中把防火墙的自启动关掉，不然重启机器又会起动防火墙,用ntsysv命令，然后找到iptables，取消选中：#ntsysv–level35[]iptables#取消选中2．2配置只能在其中一台存储节点服务器上进行配置。例如，你选了00这台，那么下面的操作都在这台服务器上。查询并增加其它存储节点进存储集群中（本身操作的这台机器，不用进行probe）：#glusterpeerprobe01显示如下类型的信息，表示增加成功，如果长时间没显示，或显示出错信息，请确认本机是否能连通其它存储节点，其它存储节点的防火墙是否已关闭等：Probesuccessful查看是否正确增加了存储节点：[root@Server01~]#glusterpeerstatus显示如下类似的信息，表示增加成功：NumberofPeers:1Hostname:01Uuid:a165bbd9-158f-4ddb-9139-ecb624c14769State:PeerinCluster(Connected)确定本台台机器要使用的存储目录，以及目录是否可以正常读写，这里假设你用/data作为存储目录并建立这个目录：#mkdir/data注意，现在要转到其它存储节点服务器上确定要使用的存储目录了，这里假设你用/data作为存储目录并建立这个目录：进入01服务器，并建立目录#mkdir/data回到00这台服务器，继续配置：开始建卷，产生一个复制类型卷，就是一份数据会同时存放到这二台服务器上，以后如果你有四台存储节点服务器，那么一份数据会按算法放到其中的二台存储节点服务器，生产环境最好是作三份复制：(glustervolumecreateNEW-VOLNAME[stripeCOUNT][replicaCOUNT][transport[tcp|rdma|tcp,rdma]]NEW-BRICK...)#glustervolumecreatemyvolumereplica2transporttcp00:/data01:/data-force如果显示如下信息，表示产生成功：Creationofvolumemyvolumehasbeensuccessful.Pleasestartthevolumetoaccessdata.可以用命令查一下卷的信息：#glustervolumeinfo会显示如下类似信息：VolumeName:myvolumeType:ReplicaStatus:CreatedTransport-type:tcpBricks:Brick1:00:/dataBrick2:01:/data启用这个新产生的卷：#glustervolumestartmyvolumeStartingvolumemyvolumehasbeensuccessful至此，存储节点服务器配置完成。接着配置LFS服务器，让它使用这个产生的卷3在所有LFS上安装GFS有些环境可能有多台LFS，每台的配置是一样的。1．1安装 和存储节点服务器的安装一样。请参考上面所述。2．2配置装载fuse模块到内核：#modprobefuse并在/etc/rc.d/rc.local中增加这一行。以便在机器重启时，自动启动。测试是否成功装载fuse模块:#dmesg|grep-ifuse有如下的信息显示，表示成功fuseinit(APIversion7.14)确认本机要使用的目录，就是要挂载存储集群的目录。这里使用/test,并建立这个目录：#mkdir/test挂载存储集群：#mount-tglusterfs00:/myvolume/test检查是否持载成功：#df-h显示如下的类似信息，表示成功文件系统容量已用可用已用%挂载点glusterfs#00:/myvolume186G7.7G169G5%/test可以设成自动开机持载：在/etc/fstab中增加：00:/myvolume/testglusterfsdefaults,_netdev00说明：_netdev参数表示设备需要网络，defaults表示其它参数使用缺省值.后面的00表示不用dump，启动时不用检查。也可以在/etc/rc.d/rc.local中增加,但要注意在其它程序使用前就要启动。mount-tglusterfs00:/myvolume/test至次，LFS机器上的配置完成。LFS可以使用这个/test目录了。所有存储到/test目录的文件，实际上是存储到存储节点服务器上。3高级GFS配置3.1如何增删存储节点服务器增加一个结点到集群：#glusterpeerprobe02查节点状态：#glusterpeerstatus删除集群中一个结点：#glusterpeerdetach02增加节点到卷中(对分布式复制卷类型，要按它的培数增加节点)：#glustervolumeadd-brickmyvolume02:/data#glustervolumeadd-brickmyvolume01:/data02:/data删除卷中的节点（删除后，此组节点集上的数据就不可用了，对分布式复制卷类型，要按它的培数删除节点，并且是同一个子集）#glustervolumeremove-brickmyvolume02:/data#glustervolumeremove-brickmyvolume01:/data02:/data增加卷容量后，可以平衡卷中的数据：#glustervolumerebalancemyvolumestart#glustervolumerebalancemyvolumestatus#glustervolumerebalancemyvolumestop要删除卷，就要先停用：#glustervolumestopmyvolume#glustervolumedeletemyvolume3.2如何把数据从一个节点迁移到另一个节点目标节点必需在集群中#glustervolumereplace-brickmyvolume3:/data22:/datastart会提示replace-brickstartedsuccessfully可以暂停：#glustervolumereplace-brickmyvolume3:/data22:/datapause可以取消：#glustervolumereplace-brickmyvolume3:/data22:/dataabort可以查状态：#glustervolumereplace-brickmyvolume3:/data22:/datastatus正式提交节点转移命令：（目标节点会取代源节点）#glustervolumereplace-brickmyvolume3:/data22:/datacommit查卷状态：#glustervolumeinfo提示：VolumeName:myvolumeType:Distributed-ReplicateVolumeID:2984e45d-e1e6-40b5-90f3-68a008e8d63aStatus:StartedNumberofBricks:2x2=4Transport-type:tcpBricks:Brick1:0:/dataBrick2:1:/dataBrick3:1:/dataBrick4:2:/data如果上面的操作，提示出错，要强行执行(可用于用新节点来代替故障节点)：#glustervolumereplace-brickmyvolume3:/data22:/datacommitforce3.3如何平衡数据只平衡目录结构，旧数据不动，新数据分布存放#glustervolumerebalancemyvolumefix-layoutstart平衡目录结构和旧数据#glustervolumerebalancemyvolumestart强制执行#glustervolumerebalancemyvolumestartforce查状态#glustervolumerebalancemyvolumestatus停止#glustervolumerebalancemyvolumestop3.4节点故障时的常见处理办法1硬盘故障因为底层做了raid配置，有硬件故障，直接更换硬盘，会自动同步数据。2一台节点故障glusterfs2服务器一台节点故障的情况包括以下情况：a)物理故障；b)同时有多块硬盘故障，造成数据丢失；c)系统损坏不可修复。解决方法：找一台和故障机器类似的机器，保证硬盘空间大小一致，安装系统，配置和故障机同样的ip，安装gluster软件，保证配置都一样，在其他健康的节点上执行命令glusterpeerstatus，查看故障服务器的uuid，#glusterpeerstatusNumberofPeers:2Hostname:1Uuid:64b345d4-6c9c-43d8-82ef-68c228c4b7edState:PeerinCluster(Connected)Hostname:2Uuid:9133d139-f9c4-484d-acdf-d11f0452878aState:PeerinCluster(Disconnected)修改新加机器的/var/lib/glusterd/和故障机器的一样cat/var/lib/glusterd/UUID=9133d139-f9c4-484d-acdf-d11f0452878a将正常节点的/var/lib/glusterd/peers目录下的文件拷贝至故障节点的对应目录里面#scp/var/lib/glusterd/peers/root@glusterfs2:/var/lib/glusterd/peers安装glusterfs文件系统后如果glusterd启动失败，请删除/var/lib/glusterd/目录下的所有文件在任意节点上执行#glustervolumestopmyvolume#glustervolumestartmyvolumeforce#glustervolumehealmyvolumefullLaunchingHealoperationonvolumemyvolumehasbeensuccessful就会自动开始同步，但是同步的时候会影响整个系统的性能。可以查看状态#glustervolumehealmyvolumeinfoGatheringHealinfoonvolumemyvolumehasbeensuccessful3.5日志目录/var/log/glusterfs/4状态查询4.1显示卷状态显示所有卷：#glustervolumestatusallStatusofvolume:myvolumeGlusterprocessPortOnlinePidBrick0:/data24009Y1872Brick1:/data24009Y1781Brick2:/data324011Y18988Brick3:/data324011Y15643NFSServeronlocalhost38467Y18605Self-healDaemononlocalhostN/AY15655NFSServeron238467Y11218Self-healDaemonon2N/AY1826NFSServeron038467Y4531Self-healDaemonon0N/AY1905NFSServeron138467Y5482Self-healDaemonon1N/AY2590NFSServeron238467Y21929Self-healDaemonon2N/AY19044可以指定卷：#glustervolumestatusmyvolume4.2显示卷信息显示指定卷信息:#glustervolumeinfomyvolume会显示如下信息：VolumeName:myvolumeType:Distributed-ReplicateVolumeID:2984e45d-e1e6-40b5-90f3-68a008e8d63aStatus:StartedNumberofBricks:2x2=4Transport-type:tcpBricks:Brick1:0:/dataBrick2:1:/dataBrick3:2:/data3Brick4:3:/data3显示所有卷信息:#glustervolumeinfoall4.2显示存储节点状态#glusterpeerstatus会显示如下的信息：NumberofPeers:5Hostname:0Uuid:d25c608f-8f20-4ec7-9772-7caa2ec83ecfState:PeerinCluster(Connected)Hostname:1Uuid:c40394a6-106c-4e65-90a5-17d85625c51bState:PeerinCluster(Connected)Hostname:2Uuid:23d2d574-0aa6-410a-a7b4-ffd3d4364c0eState:PeerinCluster(Connected)Hostname:1Uuid:92897239-4680-4288-bf2a-8d01279f7559State:PeerinCluster(Disconnected)Hostname:2Uuid:f5a7e985-3dfe-469b-815a-ca3c30e7d822State:PeerinCluster(Connected)4.测试GlusterFS性能测试，测试结果受环境各种因素影响，例如，机器配置、网卡速度、交换机速度等。#ls-lh/root/*显示文件大小1.用DD测试命令（在客户端的挂载目录中运行）公司测试结果：1.1写测试[root@localhosttest]#ddif=/dev/zeroof=./sample-file-1bs=1Mcount=128记录了128+0的读入记录了128+0的写出134217728字节(134MB)已复制，1.9435秒，69.1MB/秒1.2读测试[root@localhosttest]#ddof=/dev/zeroif=./sample-file-1bs=1Mcount=128记录了128+0的读入记录了128+0的写出134217728字节(134MB)已复制，0.841337秒，160MB/秒if=输入文件（或设备名称）。

of=输出文件（或设备名称）。bs=bytes同时设置读/写缓冲区的字节数（等于设置ibs和obs）。count=blocks只拷贝输入的blocks块。

2.用