AIX HACMP Oracle双机集群实施方案

1、 AIX HACMP Oracle 双机集群实施方案 一、实现目标1、阵列硬盘分为两组分别实现 RAID5,并分别归属于两台小型机作为datavg2、两台小型机分别运行两个不同的数据库服务，数据存放在datavg上，两机实现双机互备3、当有任一台小机故障时，另一台小机将自动接管故障机的数据库应用，以保证服务的持续高可用性4、双机热备切换描述：现有A、B二台机器。A机同时安装有Weblogic和Oracle，B机同时安装有Oracle和Weblogic。A机是Weblogic主机、B机是Oracle主机、A机是Oracle从机、B是weblogic从机。正常情况下是A主机和B主机提供服务。当A主

2、机出现故障，Weblogic服务从A主机切换到B从机，与B主机一起提供服务。当A主机故障解除后，Weblogic服务从B从机切换到A主机，由A主机和B主机提供服务。当B主机出现故障，Oracle服务从B主机切换到A从机，与A主机一起提供服务。当B主机故障解除后，Oracle服务从A从机切换到B主机，由A主机和B主机提供服务。二、硬件配置：三、项目实施：1、硬件连接2、操作系统及配置2.1、安装 HACMP 所需扩展软件包，列表如下：bos.adt.libmbos.adt.syscallsbos.clvm.enhbos.datarsct.basic.hacmprsct.basic.rtersct

3、.basic.sppat.basic.hacmppat.basic.rtepat.basic.sppat.clients.hacmppat.clients.hacmppat.clients.rtepat.clients.sp2.2、安装 oracle 所需扩展软件包，列表如下：（可以和上面的包一起装）bos.cifs_fs.rtef# smit install2.3、串口心跳2.3.1、串口心跳测试（使用串口线传输心跳信号）B802# lsdev -C | grepttytty0Avaliable 01-S1-00-00 Asynchronous TerminalB801# stty /dev

4、/tty0 B802 机向 TTY0 输入信息B802# stty /dev/tty02.4、网络地址配置：B801 服务器：en0:01/24 boot IPen0:01/24 standby IPB801# smittcpipB801# hostname B801B802 服务器：en0:02/24 boot IPen0:02/24 standby IPB802# smittcpipB802# hostname B8022.5、datavg配置（可仅在主机上进行，完成后 import 到备机即可）B801# smitssaraid查看阵列中物理盘的属性- List SSA physical

5、 disk- List HotSpare/Candidate/system diskB801# smitssaraid- Change use of an SSA phydical diskB801# smitssaraid选择 raid 成员创建两个 Array(hdisk)- Add an SSA ArrayB801# lspv列出生成的两个物理卷pv(hdisk)B801# smit vg 建 datavg801 和 datavg802,各含一个hdisk,PP大小 64MB801#lsvg -o 查看两卷组均已varyon.B801# smitchvg分别定义两个datavg的 act

6、ive automatically 属性为 No关键点：Volume grouop name 分别设为 datavg801 和 datavg802Activate volume group automatically 设为 no(表示此处不要做(由集群软件控制)B801#varyoffvg datavg801 在 B801 机上卸载两激活卷组B801# varyoffvg datavg802 以便备机能将 VG 信息进行importvgB802#cfgmgr B802 机重认设备B802#importvg -y datavg801 hdisk? B802 机重认设备B802#importvg

7、-y datavg802 hdisk? B802 机重认设备B802# lsvg -o 查看两卷组均已varyonB802# smitchvg分别定义两datavg的 active automatically 属性为 no关键点：Volume grouop name 分别设为 datavg801 和 datavg802Activate volume group automatically 设为 no(表示此处不要做(由集群软件控制)B802# varyoffvg datavg801 将所有卷组在所有机器上varyoffB802# varyoffvg datavg802 以便交由 HA 软件控制

8、varyonvg/varyoff2.6、应用系统启动脚本配置B801# touch/etc/801dbstart 生成 B801 服务器数据库启动脚本B801# touch/etc/801dbstop 生成 B801 服务器数据库停止脚本B801# touch/etc/802dbstart 生成 B802 服务器数据库启动脚本B801# touch/etc/802dbstop 生成 B802 服务器数据库停止脚本B801# chmod +x /etc/80*B802# touch/etc/801dbstartB802# touch/etc/801dbstopB802# touch/etc/80

9、2dbstartB802# touch/etc/802dbstopB802# chmod +x /etc/80*3、HACMP 安装及配置3.1、安装 HACMP5.3除HAtivoli/Haview；两类软件包外，安装其他所有 HA 软件包# smitty install3.2、双机网络地址配置B801# vi /etc/hosts(最好三个都不同)04 B802_service03 B802_service02 B802_standby01 B802_standby02 B802_boot01B802_boot B801B802# vi /etc/hosts04 B802_service0

10、3 B802_service02 B802_standby01 B802_standby02 B802_boot01 B802_bootB8023.3、双机信任关系配置B801# vi /.rhostsB802_serviceB801_serviceB802_standbyB801_standbyB802_bootB801_bootB801# cp /.rhosts /etc/hosts.equivB801# cp /.rhosts /usr/es/sbin/cluster/netmon.cfB802 机同上设置3.4、HA 服务配置B801# cat /etc/inittab确定initta

11、b文件末行已加入启动 HA 服务clcomdES:2:once:startsrc -sclcomdES /dev/console 2&1B801# lssrc -s clcomdES确定 HA 服务当前为 ACTIVE 状态B801#startsrc -s clcomdES否则以命令启动 HA 服务B802 机同上设置（后续 HA 配置则可仅在单台主机如B801 上进行）3.5、cluster 配置3.5.1、配置 cluster 逻辑名B801#smit hacmp -Etxtended Configuration-Extended Topology-configgure an HA clu

12、ster -Add a hacmpcluster配置 cluster 名称关键点：Cluster name 自己定3.5.2、配置 cluster 节点B801#smit hacmp -Initization -Add node指定 cluster 名称，并定义NewNode(选择两个 boot 地址)关键点：New Nodes 选择 B801_boot 和 B802_bootB801#smit hacmp-Extended Configuration -Extended Topology-configure HA node -Add a node to HAcluster分别定义两个 nod

13、e name 为两机机器名，及各自的communication Path 为自己的 boot IP关键点：Node name 设为 B801，对应communication path 为B801_boot；Node name 设为 B802，则对应communication path 为B802_boot。3.5.3、配置 cluster 中网络类型B801#smit hacmp -Extended Configuration-Extended Topology -configure HA networks -show HA networks确定系统中已有两种网络类型：net_ether_01

14、(系统自定 IP 网络，其中包含bootIP和standbyIP的网段)；net_rs232_01(系统自定串口心跳网络)或 net_hdiskb_01(系统自定磁盘心跳网络)，并将 net_ether_01属性 enable IP address takeover via IP aliases 定义为 NO关键点：Enable IP address takeover via IP Aliases 设为 NOB801#smit hacmp -Extended configuration-Extended Topology-configure HAnetworks -add a network

15、to the HA cluster若上步中无 net_ether_01 和net_rs232_01 信息，则需手动指定添加两种网络类型:IP 网络类型 ether;rs232 （串口心跳网络）或diskhb(磁盘心跳网络)关键点：(串口心跳 rs232 和磁盘diskhb只要配其中一个就行了)a.选择#pre-defined IP-based Network Types 下几行的 etherb.Enable IP address takeover via IP Aliases 设为 NOc.选择#pre-defined IP-serial Device Types 下几行的 ers232(串口

16、心跳)d.选择#pre-definedIP-serial Device Types 下几行的diskhb(磁盘心跳)3.5.4、配置不同类型网络中的具体接口或设备B801#smit hacmp -Extended Configuration-Extended Topology-configure communication -Add-Predefined -Interfaces关键点：a.IP Label/Address 设为 B801_bootNode Name 设为 B801b.IP Label/Address 设为 B801_standbyNode Name 设为 B801c.IP La

17、bel/Address 设为 B802_bootNode Name 设为 B801d.IP Label/Address 设为 B802_standbyNode Name 设为 B801B801#smit hacmp -Extended Configuration-Extended Topology-configurecommunication/devices -Add -Predefined -devices(配串口（或者配磁盘心跳）a.选择net_ether_01；B802 tty0 /dev/tty0b.选择net_diskhb_01；Device Name 设为 diskhb_B801；

18、DevicePath 设为/dev/hdisk9；Node Name 设为B801;Device Name 设为diskhb_B802；Device Path 设为/dev/hdisk9；Node Name 设为 B802。3.5.5、配置 HA 应用B801#smit hacmp -ExtendedConfiguration-ExtendedResources-ResourcesConfiguration -Application-serversaddapp server定义两机各自不同的 APP 名，及各自的服务启停脚本关键点：a.Server Name 设为 application_B8

19、01;Start Script 设为/etc/801dbstart;StopScript 设为/etc/801dbstopb.Server Name 设为 application_B802;Start Script 设为/etc/802dbstart;StopScript 设为/etc/802dbstop3.5.6、配置 cluster 服务 IPB801#smit hacmp-Extended Configuration -Extended Resources-Resources Configure -IP lables/Addresses-add a service IP-configur

20、able -net_ethernet_01定义两机的 IPlables/Addresses 为各自机器的 service IP关键点：a.IP Label/Address 设为 B801_serviceb.IP Label/Address 设为 B801_service3.5.7、配置 cluster 资源组B801#smit hacmp -Extended Configuration-Extended Resources-Resources Group Configure -Add a resource group关键点：a.Resource Group Name 设为 resource_B

21、801;Participating Nodes 设为 B801 B802(注意 801,802 前后顺序)b.Resource Group Name 设为 resource_B802;Participating Nodes 设为 B802 B801(注意 801,802 前后顺序)3.5.8、配置 cluster 资源组的资源B801#smit hacmp -ExtendedConfiguration-Extended Resources-Resources Group Configure -Changeattributes -resource_B801分别确定两 Resources Grou

22、p的 service IP/Address,ApplicationServers和各自所属 VGs关键点：a.Service IPLabel/Address 设为 B801_service;ApplicationServers 设为 application_B801;Volume Groups 设为 datavg801b.Service IPLabel/Address 设为 B802_service;ApplicationServers 设为 application_B802;Volume Groups 设为 datavg8023.5.9、同步及校验 clusterB801#smit hacm

23、p -ExtendedConfiguration-Verification and synchronization将 HA 配置信息同步到从机如B802 上，并进行校验关键点：Automatically correct errors found during 设为 Yes.3.5.10、启停 HAB801#smit clstart (now)B802#smit clstart (now)两机上同时启动 HA 服务关键点：Start now,on system restart or boot 设为 nowB801#lssrc -g clusterB802#lssrc -g cluster两机上同

24、时查看 HA 服务是否正常（至少得有clstrmgrES有的有clsmuxpdES）B801#ifconfig -aB802#ifconfig -a两机上同时查看bootIP已切换为serviceIPB801#lsvg -oB802#lsvg -o两机上同时查看datavg已varyonB801#smit clstopB802#smit clstop两机上同时停止 HA 服务关键点：Stop now,on system restart or boot 设为 nowShutdown mode 设为 graceful(停节点但不接管)或 Force(停节点但不释放资源)或 Takeover(停节点

25、，释放资源，且可以接管)Stop HA 的 3 种模式：Graceful：停节点，释放资源，活动节点不接管Force：停节点，不释放资源Takeover：停节点，释放资源，活动节点接管资源B801#lssrc -g clusterB802#lssrc -g cluster两机上同时查看 HA 服务是否已停B801#ifconfig -aB802#ifconfig -a两机上同时查看serviceIP已切换为bootIPB801#lsvg -oB802#lsvg -o两机上同时查看datavg已varyoff3.5.11、HA 测试A.两机clstart(now),可见 datavg801 和

26、datavg802 已在两机上分别varyon，然后各自拔掉bootIP/service IP 网卡的网线，可见serviceIP切换到本机的standbyIP网卡上，两datavg不受影响B.接好上一步中拔掉的网线，在 B801 机上clstop(now)并确定参数takeover，则 B801 机的serviceIP会切换回bootIP，且 datavg801 在 B801机上自动varyoff,随后 B802 机的standbyIP网卡自动接管 B801 机的serviceIP,同时 datavg801 在 B802 机上被自动varyon,此时来那个datavg均在 B802 上被va

27、ryonC.在 B801 机上重新clstart(now)，则 B801 机会把自己的serviceIP从B802 机上收回， B801 机的bootIP切换为 serviceIP,datavg80 被重新varyon到 B801 上，同时 B802 机的standbyIP网卡恢复standbyIPD.在 B802 上再进行上述两步测试上述测试正常，clstop(now)关闭两机的 HA 服务，以便进行后续配置4、oracle 安装及配置（两台服务器上均需进行）4.1、oracle 安装环境检查4.1.1、mem1G#lsattr -El mem04.1.2、swapmem*1.2#lsps

28、-a4.1.3、/tmp400M#df -k(df -m 或df -g 都可)4.1.4、Hard Disk Space: 4G(安装所需空间)+3G(安装源文件)#df -k4.2、AIX 扩展软件包及补丁需求#lslpp -l bos.adt.lib#lslpp -l bos.adt.libm#lslpp -l bos.perf.libbperfstat#lslpp -l bos.perf.libperfstat#lslpp -l ctools#instfix -ik IY58143#instfix -ik IY59386#instfix -ik IY60930#instfix -ik I

29、Y66513#instfix -ik IY70159#instfix -ik IY689894.3、其他参数限制#smit system-change/show characteristics of OS关键点：Maximum numberof PROCESSES allowed per user 设为 2048#smitaio-change/show characteristics of AIO关键点：STATE to beconfigured at system restart 设为avaliable(更改异步 IO（在oracle 中必须打开（AIX6 默认打开)4.4、增加用户和组#s

30、mit group -add group -oinstall/dba#smit user -add user -oracle#passwd oracle关键点：User Name 设为 oraclePrimary Group 设为dba,haguserSoft file size设为-1soft cputime,soft data segment 设为-1soft stack size设为-1soft core file size 设为-1注：软限(-1 表示没有限制)4.5、修改环境变量4.6、创建 oracle 文件系统及处理 oracle 安装文件4.7、以 oracle 用户重新登录并

31、开始安装 oracle$su - root#/oracle/Disk1/rootpre/rootpre.sh(完毕后关闭当前窗口)$cd /oracle/Disk1$./runInstaller4.8、建立裸设备并创建实例（可仅在主机上，完成后 import 到备机即可）B801#varyonvg datavg801B801#varyonvg datavg802B801#mklv -y lv_ora1_spfile datavg801 1B801#mklv -y lv_ora1_ctrl01 datavg801 1B801#mklv -y lv_ora1_ctrl02 datavg801 1B

32、801#mklv -y lv_ora1_ctrl03 datavg801 1B801#mklv -y lv_ora1_redo01 datavg801 1B801#mklv -y lv_ora1_redo02 datavg801 1B801#mklv -y lv_ora1_redo03 datavg801 1B801#mklv -y lv_ora1_system datavg801 10B801#mklv -y lv_ora1_sysaux datavg801 10B801#mklv -y lv_ora1_undo01 datavg801 10B801#mklv -y lv_ora1_temp

33、01datavg801 10B801#mklv -y lv_ora1_user01 datavg801 20B801#mklv -y lv_ora2_spfile datavg801 1B801#mklv -y lv_ora2_ctrl01 datavg801 1B801#mklv -y lv_ora2_ctrl02 datavg801 1B801#mklv -y lv_ora2_ctrl03 datavg801 1B801#mklv -y lv_ora2_redo01 datavg801 1B801#mklv -y lv_ora2_redo02 datavg801 1B801#mklv -y

34、 lv_ora2_redo03 datavg801 1B801#mklv -y lv_ora2_system datavg802 10B801#mklv -y lv_ora2_sysaux datavg802 10B801#mklv -y lv_ora2_undo01 datavg802 10B801#mklv -y lv_ora2_temp01 datavg802 10B801#mklv -y lv_ora2_user01 datavg802 20B801#hown oracle /dev/*lv*B801#varyoffvg datavg801B801#varyoffvg datavg80

35、2B802#importvg -y datavg801 hdisk?B802#importvg -y datavg802 hdisk?B802#chown oracle /dev/*lv*B802#smitty chvgDatavg801 和 datavg802 在 B802 上经importvg后，属性恢复为默认设置，应重新定义两数据 VG 的 active automativally属性为 NO关键点：a.Volume group name 设为 datavg801Active volumegroup automativally设为 nob.Volume group name 设为 dat

36、avg802Active volumegroup automativally设为 noB802#varyoffvg datavg801 在 B802 上卸载 datavg801并在 801 上激活B801#varyoffvg datavg801 以便后续分别在两机上各自建立不同实例在 B801/B802 上分别以 oracle 用户身份开始创建实例ora101 和 ora102，实例 ora101 的所有数据库文件都建立在逻辑卷裸设备 rlv_ora1_xxxxx 上，实例 ora102 所有数据库文件都建立在逻辑卷裸设备 rlv_ora2_xxxxx 上。在两机上分别执行 DBCA关键点A.

37、Create adatabaseB.generalpurposeC.globaldatabase name 设为 ora101 或 ora102 SID 设为 ora101 或 ora102D.configure thedatabase with enterprise manager 不选E.use the samepasswd for all accountsF.Raw DevicesG.specify flashrecovery area;选 enable archiving 编辑 editarchive mode parameters 中archive log file format 中

38、%t_%s_%r.arc 存储位置自己写H.chracter sets 选择 choosefrom the list of character sets:ZHS16GBKI.connection mode 选 dedicatedserver modeJ.sizing设 serverparameter filename 为/dev/rlv_ora1_spfile(或/dev/rlv_ora2_spfile)K.controlfileFile Name File Drectoryrlv_ora1_ctrl01 /dev/rlv_ora1_ctrl02 /dev/rlv_ora1_ctrl03 /d

39、ev/DatafilesFile Name File Drectoryrlv_ora1_system /dev/rlv_ora1_undo01 /dev/rlv_ora1_sysaux /dev/rlv_ora1_user01 /dev/rlv_ora1_temp01 /dev/Redo Log Group1File Name File Drectoryrlv_ora1_redo01 /dev/2File Name File Drectoryrlv_ora1_redo02 /dev/3File Name File Drectoryrlv_ora1_redo03 /dev/L.createdatabase 选中4.9、复制本机共享文件到备机B801$cp $ORACLE_HOME/dbs/initora101.oraB802:/$ORACLE_HOME/dbs/ 复制 B801 机的initora101.ora 到B802 机的相同路径下。B802$