ESXi搭建与配置红帽RHCS套件_超详细

1、简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点（node）。一个理想的集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。通过特殊的软件将若干服务器连接在一起并提供故障切换功能的实体我们称之为高可用集群。可用性是指系统的uptime，在7x24x365的工作环境中，99%的可用性指在一年中可以有87小时36分钟的DOWN机时间，通常在关键服务中这种一天多的故障时间是无法接受的，所以提出了前面提到的错误恢复概念，以满足99

2、.999%的高可用性需求。这里我们先说一下几个概念：1、服务（Service），是集群中提供的资源，包括FloatIP，共享的存储，apache等等。2、成员服务器（MemberServer）也叫节点（Node），是HA中实际运行服务提供资源的服务器。3、失效域（FailoverDomain），是HA中提供资源的服务器的集合，当内部某个成员出现故障时，可以将服务切换到其他正常的成员服务器上。在HA中一个失效域一般包含2台成员服务器（未应用虚拟技术）。4、心跳（HeartBeat）是HA中监控成员服务器状态的方法，一般心跳是通过网线和串口线来传输的。5、单一故障点（SinglePointOfFa

3、iluer，SPOF）是指一个系统的这样的一个部件，当它失效或者停止运行，将导致整个系统不能工作。在HA中通常使用双电源，多网卡，双交换机等来避免SPOF。6、仲裁（Quorum）是HA中为了准确的判断服务器及其提供的服务是否正常而采用的在共享磁盘中保存成员服务器信息的方法。共享的状态信息包括群集是否活跃。服务状态信息包括服务是否在运行以及哪个成员正在运行该服务。每个成员都检查这些信息来保证其它成员处于最新状态。在一个只有两个成员的群集中，每个成员都定期把一个时间戳和群集状态信息写入位于共享磁盘贮存区的两个共享群集分区上。要保证正确的群集操作，如果某成员无法在启动时写入主共享群集分区和屏蔽共享

4、群集分区，它将不会被允许加入群集。此外，如果某群集成员不更新其时间戳，或者到系统的heartbeats(心跳)失败了，该成员就会从群集中删除。7、Fence设备，Fence设备的作用时在一个节点出现问题时,另一个节点通过fence设备把出现问题的节点重新启动，这样做到了非人工的干预和防止出现问题的节点访问共享存储，造成文件系统的冲突，关于Fence设备,有外置的比如APC的电源管理器.很多服务器都是内置的，只不过不同厂家的叫法不同而已。比如HP的称为iLo，IBM的称为BMC，Dell的称为DRAC。8、LUCIRHCS（RedHatClusterSuite）提供了多种集群配置和管理工具，常用

5、的有基于GUI的system-config-cluster、Conga等，也提供了基于命令行的管理工具。system-config-cluster是一个用于创建集群和配置集群节点的图形化管理工具，它有集群节点配置和集群管理两个部分组成，分别用于创建集群节点配置文件和维护节点运行状态。一般用在RHCS早期的版本中。Conga是一种新的基于网络的集群配置工具，与system-config-cluster不同的是，Conga是通过web方式来配置和管理集群节点的。Conga有两部分组成，分别是luci和ricci，luci安装在一独立的计算机上（即服务器），用于配置和管理集群，ricci安装在每个集

6、群节点上，Luci通过ricci和集群中的每个节点进行通信一、HA的搭建实验环境：RHEL6.5 iptablesand selinuxdisabled三台主机：IP hostnae25（iSCSI） (eth0) 26(node1) (eth0) 27(node2) (eth0)心跳（HeartBeat） 01(node1) (eth1) 02(node2) (eth1)分别修改两台节点主机的/etc/hosts2627分

7、别关闭两台节点主机的防火墙iptables rootnode1 /# service iptabls stop rootnode1 /# chkconfig iptabls off分别关闭两台节点主机的selinuxrootnode1 /# setenforce 0同步两台节点主机的系统时间rootnode1 /# yum install ntpdate-*rootnode1 /# ntpdate 39在两台节点主机上分别安装ricci、luci、cman、rgmanager、lvm2-cluster、gfs2-utilsrootnode1 /# yum install

8、 -y ricci-*rootnode1 /# yum install -y luci-*rootnode1 /# yum install -y cman-*rootnode1 /# yum install -y rgmanager-*rootnode1 /# yum install -y lvm2-cluster-*rootnode1 /# yum install -y gfs2-utils-*启动两台节点主机的ricci、luci服务rootnode1 /# service ricci startrootnode1 /# service luci startPoint your web b

9、rowser to :8084 (or equivalent) to access luci设置两台节点主机开机自启动rootnode1 /# chkconfig ricci onrootnode1 /# chkconfig luci onrootnode1 /# chkconfig cman onrootnode1 /# chkconfig rgmanager onrootnode1 /# chkconfig modclusterd onrootnode1 /# chkconfig clvmd on为两台节点主机ricci设置密码rootnode1 /# passwd ricciweb访问:

10、8084进入网页编辑先用root登录创建集群为集群添加集群节点，点击创建后两台节主机点会重启集群节点创建完成为集群添加Fence设备实验环境是用VMware ESXi搭建的选择VMware Fencing (SOAP interface)填上ESXi主机的IP地址和管理员账号密码Fence设备创建完成为节点node1绑定Fence设备选择已有Fence设备填上节点node1的虚拟机名字跟VM UUID号可以通过以下命令查看UUID号rootnode1 # fence_vmware_soap -a 45 -z -l root -p Wys483639 -n redhat_

11、system1 -o listredhat_system1,42075f1b-5f5f-da78-b47a-af4a10170e74redhat_system2,420775f1-594a-d712-bab7-0677816ff959Fence设备绑定完成在另外一台节点node2上按照上面操作完成Fence设备绑定添加失效域 Failover Domain设置好点击创建创建完成分别在两台节点安装httpdrootnode1 # yum install -y httpdrootnode2 # yum install -y httpd分别为两台节点创建一个index.html文件rootnode1

12、 #echo /var/www/html/index.htmlrootnode2 #echo /var/www/html/index.html添加资源组添加虚拟IP添加httpd脚本资源组添加完成添加集群服务创建集群服务并添加资源把刚才创建的两个资源组添加上去创建完成点击启动集群集群正常启动用命令查看集群状态，显示服务已经挂载到节点node2rootnode1 # clustatCluster Status for web_ha Fri Dec 25 22:03:18 2015Member Status: Quorate Member Name ID Status - - - - node1

13、1 Online, Local, rgmanager node2 2 Online, rgmanager Service Name Owner (Last) State - - - - - service:www node2 starteddown节点node2网卡eth0进行测试rootnode2 /# ifconfig eth0 down继续查看集群状态，显示服务已经切换到节点node1上了rootnode1 # clustatCluster Status for web_ha Fri Dec 25 22:03:18 2015Member Status: Quorate Member Na

14、me ID Status - - - - node1 1 Online, Local, rgmanager node2 2 Online, rgmanager Service Name Owner (Last) State - - - - - service:www node1 started切换节点进行测试rootnode1 html# curl 28rootnode1 html# clusvcadm -r www -m node2rootnode1 html# curl 28到这里集群已经基本完成接下来配置共享存储和G

15、FS2(集群文件系统)跟仲裁盘（Quorum）qdisk创建两个lv逻辑卷web-data跟qdisk，web-data当集群共享存储，qdisk当集群仲裁盘(qdisk) rootclassroom /# pvcreate /dev/sdb Writing physical volume data to disk /dev/sdb Physical volume /dev/sdb successfully createdrootclassroom /# vgcreate cluster-stor /dev/sdb Volume group cluster-stor successfully

16、createdrootclassroom /# lvcreate -L 1G -n qdisk /dev/cluster-stor Logical volume qdisk createdrootclassroom /# lvcreate -l +100%FREE -n web-data cluster-stor Logical volume web-data created在classroom服务器，安装配置iSCSI服务端rootclassroom /# yum install scsi-target-* -yrootclassroom /# service tgtd startrootc

17、lassroom /# chkconfig tgtd onrootclassroom /# vim /etc/tgt/targets.conf #末尾添加下列内容 backing-store /dev/cluster-stor/web-data backing-store /dev/cluster-stor/qdisk initator-address 26 initator-address 27 ：x rootclassroom /# service tgtd restart在两台节点主机上分别安装配置iSCSI客户端rootnode1 /#

18、yum install y iscsi-initiator-*rootnode1 /# service iscsi startrootnode1 /# chkconfig iscsi onrootnode1 /# iscsiadm -m discovery -t st -p classroom rootnode1 /# iscsiadm -m node lrootnode1 /# fdisk l此时文件夹/dev/中多了sdb(逻辑卷qdisk)跟sdc(逻辑卷web-data)在节点node1主机创建集群文件系统GFS2rootnode1 /# pvcreate /dev/sdc Writi

19、ng physical volume data to disk /dev/sdc Physical volume /dev/sdc successfully createdrootnode1 /# lvmconf -enable-cluster #使lvm支持集群rootnode1 /# /etc/init.d/clvmd restartrootnode1 /# vgcreate cluster-vg /dev/sdc Clustered volume group cluster-vg successfully createdrootnode1 /# lvcreate -l +100%FREE

20、 -n web-data cluster-vg Logical volume web-data created格式化为gfs2文件系统，-p lock_dlm使用分布式锁，-t web_ha:cluster指定集群标签,-j 3日志记录结点个数(以后还可以添加)需要注意：指定集群标签-t web_ha:cluster-gfs2一定要跟/etc/cluster/cluster.conf文件内容的上面的name的名字一样rootnode1 /# mkfs.gfs2 -p lock_dlm -t web_ha:cluster-gfs2 -j3 /dev/cluster-vg/web-dataThis

21、 will destroy any data on /dev/cluster-vg/web-data.It appears to contain: symbolic link to ./dm-0Are you sure you want to proceed? y/n yDevice: /dev/cluster-vg/web-dataBlocksize: 4096Device Size 3.99 GB (1046528 blocks)Filesystem Size: 3.99 GB (1046527 blocks)Journals: 3Resource Groups: 16Locking Pr

22、otocol: lock_dlmLock Table: web_ha:cluster-gfs2UUID: e5bf661b-16cd-bd0a-4afb-94701f3a8d2c在节点node2执行pvs、vgs、lvs可以正常看到刚刚在节点node1上面创建的CFS2文件系统rootnode2 /# pvs PV VG Fmt Attr PSize PFree /dev/sdc cluster-vg lvm2 a- 3.99g 0 rootnode2 /# vgs VG #PV #LV #SN Attr VSize VFree cluster-vg 1 1 0 wz-nc 3.99g 0 r

23、ootnode2 /# lvs LV VG Attr LSize Origin Snap% Move Log Copy% Convert web-data cluster-vg -wi-a- 3.99g在节点node1把/dev/cluster-vg/web-data挂载到/var/www/html创建index.html文件rootnode1 /# mount /dev/cluster-vg/web-data /var/www/html/rootnode1 /# echo /var/www/html/index.html在集群上添加GFS2资源组rootnode1 /# umount /va

24、r/www/html/ web访问:8084GFS2资源组添加完成把GFS2资源组添加到集群服务中rootnode1 /# clusvcadm -d www #关闭集群服务选择添加刚刚创建的GFS2资源组web-data创建完成后，重启集群服务进行测试rootnode1 /# clusvcadm -e wwwrootnode1 /# df -h文件系统 容量 已用 可用 已用% 挂载点/dev/sda3 8.7G 1.9G 6.4G 24% /tmpfs 992M 32M 960M 4% /dev/shm/dev/sda1 194M 26M 159M 14% /bootclassroom:/m

25、edia/rhel6 2.9G 2.9G 0 100% /media/rhel6/dev/mapper/cluster-vg-web-data 4.0G 388M 3.7G 10% /var/www/htmlrootnode1 /# curl 28把资源组服务切换到节点node2rootnode1 /# clusvcadm -r www -m node2rootnode1 /# df -h文件系统 容量 已用 可用 已用% 挂载点/dev/sda3 8.7G 1.9G 6.4G 24% /tmpfs 992M 26M 967M 3% /dev/shm/dev

26、/sda1 194M 26M 159M 14% /bootclassroom:/media/rhel6 2.9G 2.9G 0 100% /media/rhel6在节点node2上面df h查看资源组挂载rootnode2 /# df -h文件系统 容量 已用 可用 已用% 挂载点/dev/sda3 8.7G 1.9G 6.4G 23% /tmpfs 1012M 32M 980M 4% /dev/shm/dev/sda1 194M 26M 159M 14% /bootclassroom:/media/rhel6 2.9G 2.9G 0 100% /media/rhel6/dev/mapper/

27、cluster-vg-web-data 4.0G 388M 3.7G 10% /var/www/htmlrootnode2 /# curl 28资源切换正常！接下来配置qdisk仲裁盘（Quorum），如果双机情况下不配置qdisk也是可以正常的，但对于多节点就一定要配置qdisk在节点node1创建一块qdisk盘rootnode1 /# mkqdisk -c /dev/sdb -l my_qdiskmkqdisk vWriting new quorum disk label my_qdisk to /dev/sdb.WARNING: About to destroy all data on /dev/sdb; proceed N/y ? yInitializing status block for node 1.Initializi