RHCS64_GFS2_ORACLE安装配置(1)

1、1.描述本文系统环境为RHEL6.4x86 64 bit。预期RHCS搭建主备模式，服务ORACLE（自己写的挂载共享磁盘脚本）测试。基本概念：cman集群管理器 cman是一个基于内核的对称通用集群管理器。它由两部分组成：连接管理器(cnxman)，用于处理成员、消息、投票数、事件通知和过渡；服务管理器(SM)，用于处理那些需要通过各种方式进行集群管理的应用及外部系统。cman是RHCS中最核心的服务，可通过系统中的serivce命令进行启/停操作；DLM、GFS、CLVM及Fence都依赖于cman群集管理器。 rgmanager资料组管理器 rgmanage

2、r(Resource Group Manager)基于cman并使用DLM动态锁管理机制。与cman一样，rgmanager也是RHCS中的一个核心服务，可通过系统中的serivce命令进行启/停操作；rgmanager管理并为集群中的Service(服务)和Resources(资源)提供Failover错误切换功能。Service(服务) 每个服务都被指定存在于一个Failover Domain中，并与多个Resources(资源)关联。每个服务可以理解为实际操作中的一个应用，如Web服务器、Java中间件、数据库、文件共享系统、邮件系统等。这些应用在

3、运行时不但对应用程序本身有要求(如某个运行指令或多个运行脚本的组合)，还要提供对诸如虚拟IP、文件系统等资源的支持。 Failover Domain(错误切换域) 每个Failover Domain都与两个或两个以上的Node(服务器节点)进行绑定，Failover Domain指定了集群中某个Service运行时的范围，也就是指定此Service将会由哪些服务器提供Failover错误切换功能。每个Node都允许与多个Failover Domain进行绑定，也就是说每个Node都可以为多个Service服务，因此可以实现"

4、主动/主动(双活动)"方式的集群配置。 Resources(资源) Resources指的是组成一个应用所需的各种组件，通常包括：应用程序、虚拟IP、文件系统。资源与Service组合时，往往还会体现出一定的层次关系，例如：通常系统都要求确认虚拟IP及文件系统都已经正常连接及挂载后，才可以运行某个应用程序，这个顺序一旦调转，就会使应用程序运行出错。 Fence机制 在RHCS集群运行时，为了避免因出现不可预知的情况而造成的"脑裂"现象(如：心跳线断连，此时两台服务器都无法找到对方，无法向对方发出操作指令，都各自认为自己是主节

5、点；又或者主服务器系统崩溃，系统能接收到备用服务器的操作指令，但无法返回运行情况的确认信号，导致备用服务器无法获知系统资源的使用情况)，系统要求通过Fence机制来保障系统切换时的I/O使用安全。 如上所述，Fence主要就是通过服务器或存储本身的硬件管理接口，又或者是外部电源管理设备，来对服务器或存储发起直接的硬件管理指令，控制服务器或存储链路的开关。因此，Fence机制也被称为"I/O屏障"技术。当"脑裂"发生时彻底断开问题服务器的所有I/O连接，保证问题服务器不能对集群中的I/O资源(共享的文件系统资源)进行任何操作，严格保证集群环境中企

6、业核心数据的完整性。2.集群配置说明 node1node2hostname(/etc/sysconfig/network)NETWORKING=yesHOSTNAME=node1GATEWAY=54NETWORKING=yesHOSTNAME=node2GATEWAY=54/etc/hosts        localhost.localdomain localhost44 node45 node210.80.5.

7、246   node1-pub47   node2-pub48 node-rhcseth0(用于内部网，作为心跳) /etc/sysconfig/network-scripts/ifcfg-eth044/2445/24eth1(用于外部网，提供服务，与将要设置的虚拟IP在同一网段)46/2447/24网络连接eth1 与外网相连,eth0私有网络或直接rhcs虚拟IP仲裁盘(裸盘)/dev/sdb1共享盘(mkfs.g

8、fs2)直接挂载（10G ）RHCS挂载(5G)/dev/sdc /dev/sdd源：/dev/mapper/rhcsgfs-lv_data源：/dev/mapper/vg_backup-lv_backup目标：/oracle/db/oradata目标：/backup48Oracle安装ORACLE_HOME: /oracle/db/product/11.2.0/db_1ORACLE_SID: TESTDBOracle数据目录(Database Area)Oracle Database Area: /oracle/db/oradata两个服务器通过命令fdisk -l，可以看

9、到相同的外部存储磁盘，如/dev/sdc由于数据存放在外部存储中，因此系统进行Failover切换后数据不会丢失，保证了数据的一致性3.详细步骤操作Vmware共享盘配置部分略过3.1关闭iptables,selinuxrootnode1 # iptables -Frootnode1 # chkconfig iptables offrootnode1 # cat /etc/selinux/config# This file controls the state of SELinux on the system.# SELINUX= can take one of these three val

10、ues:#     enforcing - SELinux security policy is enforced.#     permissive - SELinux prints warnings instead of enforcing.#     disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of these two v

11、alues:#     targeted - Targeted processes are protected,#     mls - Multi Level Security protection.SELINUXTYPE=targeted3.2 配置yum本地源rootnode1 # mkdir /mnt/cdrom/rootnode1 # mount /dev/cdrom  /mnt/cdrom/rootnode1 # cat /etc/yum.repos.d/

12、rhel-debuginfo.reporhel_6_isoname=local isobaseurl=file:/mnt/cdromgpgcheck=1gpgkey=file:/mnt/cdrom/RPM-GPG-KEY-redhat-release rhel_6-HA_isoname=local isobaseurl=file:/mnt/cdrom/HighAvailabilitygpgcheck=1gpgkey=file:/mnt/cdrom/RPM-GPG-KEY-redhat-release rhel_6-LB_isoname=local isobaseurl=fi

13、le:/mnt/cdrom/LoadBalancergpgcheck=1gpgkey=file:/mnt/cdrom/RPM-GPG-KEY-redhat-release rhel_6-RS_isoname=local isobaseurl=file:/mnt/cdrom/ResilientStoragegpgcheck=1gpgkey=file:/mnt/cdrom/RPM-GPG-KEY-redhat-releaserootnode1 #3.3 安装HA软件rootnode1 # yum install cluster-glue resource-agents pace

14、maker -nogpgcheckrootnode1 # yum install luci ricci cman openais rgmanager lvm2-cluster gfs2-utils -nogpgcheck3.4 设置HA服务自启动rootnode1 # chkconfig ricci onrootnode1 # chkconfig luci onrootnode1 # chkconfig cman onrootnode1 # chkconfig rgmanager onrootnode1 # chkconfi NetworkManager off 

15、   该服务必须关闭，否则集群加node会报错3.5 启动HA服务rootnode1 # service luci startrootnode1 # service ricci startrootnode1 # service rgmanager startrootnode1 # service cman start此错误为集群配置文件还没有产生配置文件/etc/cluster/cluster.conf（忽略）。3.6 修改ricci用户密码     使 用 passwd&#

16、160;ricci 命 令 为 用 户 ricci 将 ricci 密 码 设 定 为 root用户的密码4配置集群4.1登录luci44:8084/4.2创建一个集群4.3创建Failover Domain4.4RHCS集群GFS2集群文件系统配置4.4.1配置GFS服务(1)node1和node2分别启动CLVM的集成cluster锁服务rootnode1 # lvmconf -enable-clusterrootnod

17、e1 # chkconfig clvmd onrootnode2 # service clvmd start4.4.2配置GFS2集群文件系统(1)在任意一节点对磁盘进行分区,划分出sdc1。然后格式化成gfs2.rootnode1 # fdisk /dev/sdcrootdb2 # partprobe使用fdisk工具只是将分区信息写到磁盘，如果需要mkfs磁盘分区则需要重启系统，而使用partprobe则可以使kernel重新读取分区 信息，从而避免重启系统。(2)node01节点上通过共享磁盘创建gfs2集群卷组出现以上提示，需要在node2执行partprobe或者重起rootnode

18、2 # partprobe回到node1节点上：lvcreate -l +100%FREE -n lv_data rhcsgfs(3)格式化GFS文件系统node01节点上：rootnode1 # mkfs.gfs2 -p lock_dlm -t RHCS_HA:gfs2 -j 2 /dev/rhcsgfs/lv_data 说明:RHCS_HA:gfs2这个rhcs就是集群的名字，gfs2是定义的名字，需要与RHCS内的资源名称对应。-j是指定挂载这个文件系统的主机个数，不指定默认为1个。如果挂载节点数建少了，可用如下命令增加rootnode1 /# gfs2_jadd -j 1 /dev/r

19、hcsgfs/lv_data(4)依上面，新增共享磁盘RHCS_HA:backup4.1在任意一节点对磁盘进行分区,划分出sdd1。然后格式化成gfs2.（也可用ext4）rootnode1 # fdisk /dev/sddrootnode1 #pvcreate /dev/sdd1rootnode1 # vgcreate vg_backup /dev/sdd1rootnode1 # lvcreate -l +100%FREE -n lv_backup vg_backup4.2同步磁盘信息node2节点上：rootdb2 # partprobe4.3格式化GFS文件系统node01节点上：roo

20、tnode1 # mkfs.gfs2 -p lock_dlm -t RHCS_HA:backup -j 2 /dev/vb_backup/lv_backup4.4.3挂载GFS文件系统（本地方式挂载/backup）(1)node1,node2手动挂载测试，挂载成功后，创建文件测试集群文件系统情况。rootnode1 # modprobe gfs2 rootnode1 # /etc/init.d/gfs2 restartrootnode1 # /etc/init.d/clvmd restart rootnode1 #chkconfig add cman rootnode1 #chkconfig

21、add clvmd rootnode1 #chkconfig add gfs rootnode1 #chkconfig level 35 cman on rootnode1 #chkconfig level 35 clvmd on rootnode1 #chkconfig level 35 gfs on rootnode1 # lvscanrootnode1 # mount.gfs2 /dev/vg_backup/lv_backup /lv_data /backuprootnode1 /# vi /etc/fstab/dev/vg_backup/lv_backup /backup gfs2 d

22、efaults 0 0出现这个错误，是mkfs.gfs2 j这个参数节点数建少了4.4.4配置仲裁磁盘#仲裁磁盘是共享磁盘，10M大小就可以了，无需要太大，本例采用/dev/sdb1来进行创建。1rootnode1 # fdisk /dev/sdb(1)创建表决磁盘1rootnode1# mkqdisk -c /dev/sdb1 -l qdisk(2)查看仲裁盘（表决盘）信息1rootnode01# mkqdisk -L节点2，同步信息rootnode2 # partprobe(3)配置表决磁盘qdisk查看状态4.5新增资源4.5.1新源IP4.5.2新共享盘（RHCS方式挂载oradata

23、）(1)资源名称为gfs2，与前面格式化时候的那个名称对应 4.5.3新增Service Group：oradata（用于存放数据库数据文件）4.6安装oracle单节点数据库（略） 资源切换到node1上，按oracle正常步骤安装，node2上，只需安装数据库软件，然后同步ORACLE_BASE目录、pfile、spfile、owapw文件即可，然后再新增各自的listener.ora、tnsnames.ora4.7手动切换服务到node2上，测试数据库开启是否正常clusvcadm r oradatasqlplus / as sysdba测试OK4.8方法一：配置Service Group的script（切换时，自动启动数据库）4.8.1 新建oracle启动和关闭脚本rootnode1 db# vi /etc/init.d/oracleexport ORACLE_HOME=/ora