HACMP5.x完全手册

1、/developerworks/cn/aix/library/0804_xinmin_hacmp/4.html?ca=drs-cn-0424HACMP 5.x 完全手册第一部分安装前言 为什么需要 HACMP各厂商现有的 UNIX 服务器一般都拥有很高的可靠性，在这一点上 IBM 的 P 系列服务器表现尤为突出。但所有 UNIX 服务器均无法达到如 IBM 大型主机 S/390 那样的可靠性级别，这是开放平台服务器的体系结构和应用环境所决定的。使用 IBM 高可用性集群软件 -HACMP，可以更好的保护关键业务应用不受故障影响。HACMP 工作原理 HACMP 是 High Availabil

2、ity Cluster Multi-Processing 的缩写。HACMP 是 IBM 公司在 P 系列 AIX 操作系统上的高可靠集群软件，配置冗余，消除单点故障，保证整个系统连续可用性和安全可靠性。HACMP 是利用网络来侦测主机及网卡的状况，搭配 AIX 所提供的硬盘镜像等功能，在主机、网卡、硬盘控制卡、硬盘或网络发生故障时，自动切换到另一套备用元件上重新工作 ; 若是主机故障还切换至备份机上继续应用系统的运行。作为双机系统的两台服务器同时运行 HACMP 软件：两台服务器的备份方式有二种 : 一台服务器运行应用，另外一台服务器做为备份 两台服务器除正常运行本机的应用外，同时又作为对方

3、的备份主机 ; 两台主机系统在整个运行过程中，通过 心跳线 相互监测对方的运行情况 ( 包括系统的软硬件运行、网络通讯和应用运行情况等 ); 一旦发现对方主机的运行不正常 ( 出故障 ) 时，故障机上的应用就会立即停止运行，本机 ( 故障机的备份机 ) 就会立即在自己的机器上启动故障机上的应用，把故障机的应用及其资源 ( 包括用到的 IP 地址和磁盘空间等 ) 接管过来，使故障机上的应用在本机继续运行 ; 应用和资源的接管过程由 HACMP 软件自动完成，无需人工干预 ; 当两台主机正常工作时，也可以根据需要将其中一台机上的应用人为切换到另一台机 ( 备份机 ) 上运行。 实验环境说明：本文的

4、实验环境以双机互备中比较复杂的多 service 多网络的情况为例，其它类似设置可适当简化。机器一览表 节点机器名 操作系统 应用软件 HA 版本 host2 AIX5305-CSP ORACLE 10g HA5208 host1 AIX5305-CSP Tuxedo8.1 HA5208 磁盘和 VG 规划表 节点机器名 磁盘 VG VG MajorNumber host1 hdisk2 host1vg 101 host2 hdisk3 host2vg 201 用户和组规划表 用户 USERID 组 组 ID 使用节点 orarrunc 210 dba 201 host1 tuxrun 301

5、 bea 301 host1 bsx1 302 bea 301 host1 xcom 401 dba 201 host1 orarun 209 dba 201 host2 逻辑卷和文件系统规划表 PP size:128M 节点机器名 逻辑卷 文件系统 大小(pp) 所有者 用途 host1 ora10runclv /ora10runc 40 orarunc ORACLE 客户端软件 host1 tux81runlv /tux81run 30 tuxedo Tuxedo 软件 host1 bsx1lv /bsx1 30 bsx1 宝信 MES 应用程序 host1 xcomlv /xcom 30

6、 xcom 宝信 xcom 通信软件 host2 ora10runlv /ora10run 60 orarun ORACLE 数据库软件 host2 oradatalv /oradata 100 orarun 数据库 路由规划表 节点名 目的 路由 host1 default 54 host2 default 54 HACMP 结构表 集群名 : test_cluster 适配器名 功能 网络名 网络类型 属性 节点名 IP 地址 host1_tty0 heartbeat host1_net_rs232 rs232 serial host1 host1_l2_boot1 boot1 host2

7、_net_ether_2 ether public host1 host1_l1_boot1 boot1 host2_net_ether_1 ether public host1 host1_l2_svc Service host1_net_ether_2 ether public host1 host1_l1_svc1 Service host1_net_ether_1 ether public host1 host1_l1_svc2 Service host1_net_ether_1 ether public host1 host1_l2_boot2 boot2 host1_net_eth

8、er_2 ether public host1 host1_l1_boot2 boot2 host1_net_ether_1 ether public host1 host2_tty0 heartbeat host2_net_rs232 rs232 serial host2 host2_l2_boot1 boot1 host2_net_ether_2 ether public host2 host2_l1_boot1 boot1 host2_net_ether_1 ether public host2 host2_l2_svc service host2_net_ether_2 ether p

9、ublic host2 host2_l1_svc1 service host2_net_ether_1 ether public host2 host2_l1_svc2 service host2_net_ether_1 ether public host2 host2_l2_boot2 boot2 host2_net_ether_2 ether public host2 host2_l1_boot2 boot2 host2_net_ether_1 ether public host2 图 1 HACMP 示意图 图 2 实验环境示意图 应用脚本起停设计 start_host1: 添加网关 运

10、行 start_host1_appstop_host1: 运行 stop_host1_app清理 vg 进程 start_host2: 添加网关 运行 start_host2_appstop_host2: 运行 stop_host1_app清理 vg 进程 start_host1_app: 确认 host2 已启动 整理路由 启动主应用程序 启动通信程序 stop_host1_app: 停通信程序 停应用主程序 清理路由 start_host2_app: 如在 host1 机器上执行 stop_host1_app启动 Oracle 数据库及监听程序如在 host1 机器上执行 start_ho

11、st1stop_host2_app: 停数据库及监听程序 HYPERLINK /developerworks/cn/aix/library/0804_xinmin_hacmp/1.html l main 回页首安装篇规划 万事开头难，对于一个有经验的 HACMP 工程师来说，会深知规划的重要性，一个错误或混乱的规划将直接导致实施的失败和不可维护性。HACMP 实施的根本目的不是安装测试通过，而是在今后运行的某个时刻突然故障中，能顺利的发生自动切换或处理，使得服务只是短暂中断即可自动恢复，使高可用性成为现实。规划前的需求调研 在做规划之前，或者说一个准备实施 HACMP 来保证高可用性的系统初步

12、设计之前，至少需要调查了解系统的以下相关情况，这些都可能影响到 HACMP 的配置。应用特点 对负荷的需求，如 CPU、内存、网络等特别是 I/O 的负载的侧重。 对起停的要求，如数据库重起可能需要应用重起等等。 对于自动化的限制，如重起需要人工判断或得到命令，需要在控制台执行。 网络状况和规划 包括网段的划分、路由、网络设备的冗余等等在系统上线前的状况和可提供条件，以及实施运行过程中可能出现的变更。操作系统情况 目前 IBM 的 HACMP 除了 AIX，还支持 Linux。目前新装机器都是 AIX5.3，即使安装 HA5.4 也没有问题。但如果安装可能是在老机器上进行升级，需要仔细了解操作

13、系统版本及补丁情况。主机设计 可能实施的机器网卡的数量 , 网卡是否只能是双口或更多。 是否有槽位增加异步卡 主机之间的距离，这影响到串口线的长度。 预计实施高可用性的情况 希望实施 HACMP 的机器数量 希望方式，如一备一，双机互备，一备多，环形互备等等。HACMP 版本确定 IBM HACMP 自从出了 5.2 版本后，到了 5.205 后比较稳定，并经过我们自己充分的测试（见测试篇）和实践证明（已有多个系统成功自动切换）。目前考虑到 HA 5.3 的过渡性，HACMP V5.4 的补丁还不够，推荐版本为 HACMP V5.209。IP 地址设计 IP 地址切换 (IPAT) 方式 有

14、3 种方式 :图 3，4和 5 中描述了三个主要的 IPAT 配置场景。 第一个拓扑模式 :IPAT via Replacement 在分开的子网中包含 boot 和 standby 网卡。当集群服务启动的时候 boot 地址被换成 service 地址。尽管这种方式有效性强，但是在需要实现多服务 IP 地址的环境下这种方式是不可取的。集群的管理员不得不利用 pre- 和 post-events 定制其环境建立额外的别名，并且需要确认这些别名在下一次接管发生前被删除。图 3 IPAT via Replacement第二个拓扑模式：IPAT via Aliasing HACMP 4.5 开始引入

15、了 IPAT via Aliasing 作为缺省的拓扑模式。在这种新的模式中，standby 网卡的功能被另外一个 boot 网卡替换。子网需求的不同点是还需要一个另外的子网，每一个 boot 网卡需要它自己的子网，并且任何 service 或 persistent 的 IP 将在其本身的子网上操作，所以一共三个子网。当集群服务启动并且需要 service IP 的时候，boot IP 并不消失。这个设计和第一种是不同的，在同一个 HACMP 网络中有多个 service IP 存在并且通过别名来控制。 图 4 IPAT via Aliasing第三种模式 :EthernetChannel（E

16、C） 这种模式把底层的以太网卡藏到一个单一的“ent”接口之后。 该模式不是对前述任何一种方式的替换，而是可以和前述的任一种模式共同存在 。因为在每一个节点 EC 都被配置成冗余方式，可以在 HACMP 中使用 IP 别名定义它们每一个作为单一网卡网络。因为在每个节点只有一个网卡被定义，所以只有两个子网，一个是用作 boot（每个节点的基本 IP 地址），另一个是用于提供高可用服务。 图 5 IPAT via EthernetChannel本文讨论 实际工作中使用最多的为第 2 种 : 别名方式 (IPAT via Aliasing)，逐步推荐第 3 种 。 这样设计时就需要注意以下事项：网段

17、设计： 一个服务地址需要 3 个网段对应，boot 地址网段不能和服务地址一致。避免网络变更造成的系统不可用，boot 地址的网段不要和实际其它系统的网段一致。在网段比较紧张的地方，建议设计时询问网络管理员。 举例来说，下面的地址将会由于网络变更后打通合一后 可能造成冲突 ：设计人 机器名 服务地址 boot1 地址 boot2 地址 张三 app1_db 张三 app1_app 李四 app2_db 李四 app2_app 王五 app3_db 王五 app3_app boot 地址的设计： 不要和实际其它同网段机器的 boot 地址冲突，最好不同网段。即这个规划不能只考虑系统本身，还需要从

18、同网段的高度考虑。 举例来说，下面的地址由于 2 个系统分开设计，同时开启将直接导致 2 个系统不可用。boot 地址的设计表 1设计人 机器名 服务地址 boot1 地址 boot2 地址 张三 app1_db 张三 app1_app 李四 app2_db 1 李四 app2_app 2 所以在设计时，我们建议 boot 地址的 IP 地址最后一段参照服务地址，这样虽然可记忆性不是很好，但即使设计在同一网段，也可以避免上述错误发生。更改设计如下：boot 地址的设计表 2设计人 机器名 服务地址 boot1 地址 boot2 地址 张三 app1_db 张三 app1_app 李四 app2

19、_db 1 1 1 李四 app2_app 2 2 2 此外，如果是每个网卡多个网口，记得设计时必须注意同一网络的 boot 地址要分开到 2 块网卡，以保证真正的冗余。 心跳设计 配置 HACMP 的过程中，除了 TCP/IP 网络之外，您也可以在其它形式的网络上，如串行网络和磁盘总线上配置心跳网络。TCP/IP 网络 优点：要求低，不需要任何额外硬件或软件，即可实现。缺点：占用 IP 地址，不能避免由于 TCP/IP 的软件问题导致 HACMP 崩溃，系统不可用。串口网络 优点：真正实现高可用性，不占用 IP 地址。缺点：需要硬件支持，对于 p5 机器，需要新增异步卡，而中低端的机器的插槽

20、有限。磁盘心跳 优点 : 不占用插槽，磁盘总线上的心跳网络能够在 TCP/IP 网络资源有限的情况下提供额外的 HACMP 节点间的通信手段，并且能够防止 HACMP 节点之间由于 TCP/IP 软件出现问题而无法相互通信。缺点：需要操作系统和存储支持，如使用增强型卷组，此外对于 I/O 读写负荷高的应用，也需要慎用。正如 IBM 红皮书所说，条件许可的情况下，强烈推荐使用串口网络，其次是磁盘心跳。 资源组设计 对于 HACMP 来讲，服务 IP 地址和磁盘 VG、文件系统、应用服务器都是资源，如何规划需要根据实际情况来，包括以下内容：资源组的数量即资源 ：一般情况下每台机器只要建立一个资源组

21、即可，包括服务 IP 地址、应用服务器及 VG。但对于 2 节点的 oracle RAC 来讲，就需要 3 个，2 个 IP 和应用资源组，1 个并发 VG 资源组。现在不推荐具体确定 VG 里的文件系统，这是因为确定后，有可能造成有些新增文件系统不在 HACMP 的控制范围，结果是 HACMP 切换时由于这些文件系统没有 unmount 掉而导致切换失败。资源组的策略 : 分 failover( 故障切换 ) 和 fallbak（回切）。一般选缺省，当然你可以根据具体情况修正，如 oracle RAC 的并发 VG 资源组的选择就不一样。磁盘及 VG 设计 虽然实际上 HACMP 是靠 PV

22、ID 来认磁盘的，但集群的机器上磁盘顺序不一，磁盘对应不一致会造成某种混乱。以致于安装配置和维护时很容易产生各种人为错误，所以我们强烈建议机器上看到的磁盘和 VG 名称都一一对应，此外 VG 的 MajorNumber 也需要预先设计规划，以免不一致。用户及组设计 HA 要求所有切换需要用到的用户必须所有节点对应，ID 完全相同，用户运行的环境变量完全相同，即当系统切换时，对使用该用户的程序用户即组设置没有区别的。如 host2 上 oracle 用户为 orarun，host1 上的 orarun 必须为切换保留，ID 均为 209，host1 上平时用的 oracle 用户就设为 orar

23、unc。逻辑卷和文件系统设计 HACMP 要求切换相关的文件系统和 lv 不能重名，如 host2 上 oracle 软件目录为 /ora10run，host1 上的 /ora10run 必须为切换保留，改为 /ora10runc。此外，集群下相关的文件系统和 lv，在各个节点主机的定义也需要一致 , 如 /etc/filesystems 里是一致的，这个通过 importvg 或 HACMP 的 C-SPOC 来保证。路由设计 对于有通信需求的主机，很可能对路由有一定要求，如本次实验环境，就有 2 个网段走的不是缺省路由，需要设计清楚，最后在起停脚本实现。应用脚本设计 我们这里说的应用，是包

24、括数据库在内除 OS 和 HACMP 之外的所有程序，对于应用程序的起停顺序和各种要求，都需要预先和应用人员加以沟通，并预先设计伪码，最终编写脚本实现。准备 安装前提 操作系统版本要求： 实验要求为 AIX5203 以上，实际 HA5.4 要求 AIX5301 和 AIX5206，具体安装时可查看以下安装版本的High Availability Cluster Multi-Processing for AIX 5L Installation GuidePrerequisites 一节。系统参数要求 作为集群的各个节点机，我们建议各个参数最好完全一致，需要注意的参数有：异步 I/O 服务进程配置

25、（Asynchronous I/O servers） 用户最大进程数 系统时间 用户缺省的 limits 参数 其它可能影响应用的参数 环境要求 此时，没有建立任何 HACMP 占用设计 ID 相关的用户和组，同样也没有建立 VG 和文件系统，包括名称冲突文件系统、lv 和 Major numver 冲突的 VG。用户和组确认 host1root/lsuser -a id ALLroot id=0daemon id=1bin id=2sys id=3adm id=4uucp id=5host2root/lsuser -a id ALLroot id=0daemon id=1文件系统确认 hos

26、t1root/df -kFilesystem 1024-blocks Free %Used Iused %Iused Mounted on/dev/hd4 524288 487820 7% 3276 3% /dev/hd2 7077888 1868516 74% 91290 18% /usr/dev/hd9var 524288 458364 13% 991 1% /var/dev/hd3 917504 826700 10% 120 1% /tmp/dev/hd1 655360 524856 20% 291 1% /home/proc - - - - - /proc/dev/hd10opt 11

27、79648 589072 51% 11370 8% /opt host2root/df -k 安装包要求： RSCT 或更高版本。使用以下命令进行确认：lslpp l|grep rsct 以下的包也是必须要安装的： rsct.*bos.adt.libbos.adt.libmbos.adt.syscalls .tcp.client .tcp.serverbos.rte.SRCbos.rte.libcbos.rte.libcfg bos.rte.libcurbos.rte.libpthreads bos.rte.odm显示确认结果： host1root/lslpp -l rsct.* Filese

28、t Level State Description Path: /usr/lib/objrepos rsct.basic.HACMP COMMITTED RSCT Basic Function (HACMP/ES Support) rsct.basic.rte COMMITTED RSCT Basic Function rsct.basic.sp COMMITTED RSCT Basic Function (PSSP Support)host2root/lslpp -l rsct.*如果您要安装并行的资源组（如 oracle RAC ），还要安装下面的包： bos.rte.lvm.rte (5

29、 or higher) bos.rte.lvm.rtebos.clvm.enh 软件安装 安装 HACMP5.2 ( 需要在所有节点上安装） 如果是光盘，请插入光盘 , 执行 smitty install_latest Install SoftwareType or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields* INPUT device / directory for software /dev/cd0* SOFTWARE to install _all_lat

30、est. ACCEPT new license agreements? yes Preview new LICENSE agreements? no 如果是安装盘拷贝，请进入 cd installp/ppc 目录，smitty install_latest Install SoftwareType or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields* INPUT device / directory for software .* SOFTWARE to inst

31、all _all_latest. ACCEPT new license agreements? yes Preview new LICENSE agreements? No安装结束后，会报 failed，检查除以下包没装上外，其它都已安装上 clluster.hativoliclusterhaviewnetwiew打补丁 注意，请不要忽略给 HACMP 打补丁这一步骤。其实对 HACMP 来说，补丁是十分重要的。很多发现的缺陷都已经在补丁中被解决了。当严格的按照正确步骤安装和配置完 HACMP 的软件后，发现 takeover 有问题，IP 接管有问题，机器自动宕机等等千奇百怪的问题，其实大都

32、与补丁有关。所以一定要注意打补丁这个环节。如 HACMP 为 5205 或补丁 IY73937。 使用 smitty install_latest 命令来安装： IY53044 - Latest HACMP for AIX R510 Fixes as of January 2004host1root/soft_ins/ha52/patchls.toc cluster.es.cspoc.dsh.1.bffcluster.adt.es.client.include.bff 安装结束后，仍会报 failed，检查除以下包没装上外，其它都已安装上：cluster.doc.en_US.pprc clus

33、ter.doc.en_US.websphere cluster.es.ercmf cluster.es.pprc cluster.es.svcpprc cluster.es.websphere cluster.xd.glvm 补丁可在 IBM 网站下载 :/eserver/support/fixes/图 6 补丁下载示意图 重启机器 记住一定要重起机器 , 否则安装将无法正常继续。 安装确认 1）确认 inittab： #egrep HA|clcomd /etc/inittabharc:2:wait:/usr/es/sbin/cluster/etc/ # HACMP for AIX netwo

34、rk startupclcomdES:2:once:startsrc -s clcomdES /dev/console 2&1clinit:a:wait:/bin/touch /usr/es/sbin/cluster/.telinit # HACMP for AIX These must be the last entries of run level a in inittab!pst_clinit:a:wait:/bin/echo Created /usr/es/sbin/cluster/.telinit /dev/console # HACMP for AIX These must be

35、the last entries of run level a in inittab!在 HACMP 5.1 以后的版本中 为了安全起见，不再使用 /.rhosts 文件来控制两台机器之间的命令和数据交换，而是引进的一个新的进程 clcomd 。如果你查看 /etc/inittab 文件就会发现安装完 HACMP 后，添加了一行：clcomdES:2:once:startsrc -s clcomdES /dev/console 2&1 。2）确认安装和补丁包：（着重确认 cluster.es.server.rte） lslpp -l cluster.* Fileset Level State

36、Description Path: /usr/lib/objrepos . cluster.es.server.rte COMMITTED ES Base Server Runtime 3）确认进程 ps -ef |grep clcomdroot 115694 65676 0 Jun 07 - 2:09 /usr/es/sbin/cluster/clcomd -d总结 本部分主要对 HACMP 的规划和设计进行了详尽的描述，对于 HACMP 的实施，实际是相当重要和具有实用价值的。同时，还对准备和安装部分进行了论述，也是实际 HACMP 实施的整理和总结，相信对大家有所帮助。后面将对 HACM

37、P 的配置进行专门论述，从而形成完整的实施步骤。HACMP 5.x 完全手册，第 2 部分：配置本系列文章的作者通过自己长期的实际项目工作经历，总结出了他对于 HACMP 设计实施的经验。本系列会分为 4 部分，会向您详细地介绍实施 HACMP 过程中会经历的各个过程，如设计，配置，安装，测试等。本文为第 2 部分，会向您介绍 HAMCP 的具体配置过程。配置准备 总的来说，配置前的准备必不可少，这一步还要仔细小心，准备不充分或有遗漏以及这步的细节疏忽会导致后面的配置出现网卡、磁盘找不到等现象。将会直接导致后面的配置失败。修改 .rhostshost1rootvi /.rhosts host1

38、host1_l2_boot1host1_l1_boot1host1_l2_svc host1_l1_svc1host1_l1_svc2host1_l2_boot2host1_l1_boot2host2host2_l2_boot1host2_l1_boot1host2_l2_svc host2_l1_svc1 host2_l1_svc2 host2_l2_boot2host2_l1_boot2在 HACMP 5.2 中为了安全起见，不再使用 /.rhosts 文件来控制两台机器之间的命令和数据交换，使用 /usr/es/sbin/cluster/etc/rhosts 文件来代替 /.rhosts

39、 文件的功能。 注意：如果两个节点间的通讯发生了什么问题，可以检查 rhosts 文件，或者编辑 rhosts 文件加入两个节点的网络信息。为方便配置期间检查发现问题，配置期间我们让 /.rhosts 和 HACMP 的 rhosts 一致。 cp /.rhosts /usr/es/sbin/cluster/etc/rhostsrcp /.rhosts host2:/usr/es/sbin/cluster/etc/rhostsrcp /.rhosts host2:/ 添加共享 vg：host1root/lspv hdisk0 00c1fe1f0215b425 rootvg activehdis

40、k1 00c1fe1f8d700839 rootvg activehdisk2 none nonehdisk3 none none smitty vg - Add a Volume Group host1root/lspv。hdisk2 00c1eedf6ddb9f5e host1vg activehdisk3 00c1eedffa577b0e host2vg active建立文件系统 由于后面需要修改 loglv，必须建立文件系统才会有 loglv，所以需要先建立在 host1vg 上的 /ora10runc 和 host2vg 上的 /ora10run 的 JFS2 文件系统，其他文件系统

41、在 HYPERLINK /developerworks/cn/aix/library/0804_xinmin_hacmp/2.html l _ 增加 lv 和文件系统 实施中的配置 中添加。smitty lv -Add a Logical Volume, 注意选择 JFS2smitty fs- Enhanced Journaled File Systems - Add a Journaled File Systemhost1root/lsfsName Nodename Mount Pt VFS Size Options Auto Accounting./dev/ora10runlv - /or

42、a10run jfs2 15728640 rw yes no /dev/ora10runclv - /oraproddata jfs2 323747840 rw yes no .修改 loglv这一步有 2 个目的，一是避免两边 loglv 重名，二是规范 loglv 的取名，使它看起来更清楚明了。host1vg （host2vg 也要修改）查看 host1root/varyonvg host1vghost1root/lsvg -l host1vg host1vg:LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINTora10runclv jfs2 100

43、 100 2 open/syncd /ora10runcloglv06 jfs2log 1 1 1 open/syncd N/Aumount vg 上所有 fs umount /ora10runc修改 loglv 名称 host1root/ chlv -n host1_loglv loglv06 0516-712 chlv: The chlv succeeded, however chfs must now be run on every filesystem which references the old log name loglv06.host1root/lsvg -l host1vg

44、host1vg:LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINTora10runclv jfs2 100 100 2 closed/syncd /ora10runchost1_loglv jfs2log 1 1 1 closed/syncd N/Ahost1root/ vi /etc/filesystems将 log = /dev/loglv06 的改为 log =/dev/host1_loglv确认 :host1root/mount /ora10runc整理 vg在每台机器上都运行以下脚本（ 替换成您实际 vg 的名称 ）varyoffvg host

45、1vgvaryoffvg host2vgexportvg host1vgexportvg host2vgchdev -l hdisk2 -a pv=yeschdev -l hdisk3 -a pv=yesimportvg -V 101 -n -y host1vg hdisk2varyonvg host1vgchvg -an host1vgimportvg -V 201 -n -y host2vg hdisk3varyonvg host2vgchvg -an host2vgvaryoffvg host1vgvaryoffvg host2vg确认：host1root/lspv。hdisk2 00c

46、1eedf6ddb9f5e host1vg hdisk3 00c1eedffa577b0e host2vg host2root/lspv。hdisk2 00c1eedf6ddb9f5e host1vg hdisk3 00c1eedffa577b0e host2vg host2root/lsfsName Nodename Mount Pt VFS Size Options Auto Accounting./dev/ora10runlv - /ora10run jfs2 15728640 rw yes no /dev/ora10runclv - /oraproddata jfs2 32374784

47、0 rw yes no 修改 IP 地址 按照规划，使用 smitty tcpip 命令修改 2 台机器的 IP 地址， 最终修改为： host1root/netstat -inName Mtu Network Address Ipkts Ierrs Opkts Oerrs Collen0 1500 link#2 0.9.6b.dd.e1.aa 2177624 0 1368126 0 0en0 1500 10.2.1 2177624 0 1368126 0 0en1 1500 link#3 0.9.6b.dd.e1.ab 1928315 0 1222071 0 0en1 1500 10.2.2

48、 1928315 0 1222071 0 0en2 1500 link#4 .cf.23 1532962 0 868518 0 0en2 1500 10.2.11 1532962 0 868518 0 0en3 1500 link#5 .cd.fa 1633025 0 969811 0 0en3 1500 10.2.12 1633025 0 969811 0 0host2root/netstat -inName Mtu Network Address Ipkts Ierrs Opkts Oerrs Collen0 1500 link#2 0.9.6b.dd.e5.64 1169895 0 11

49、19848 0 0en0 1500 10.2.1 1169895 0 1119848 0 0en1 1500 link#3 0.9.6b.dd.e5.65 2070363 0 1607863 0 0en1 1500 10.2.2 2070363 0 1607863 0 0en2 1500 link#4 .db.20 1647564 0 1178253 0 0en2 1500 10.2.11 1647564 0 1178253 0 0en3 1500 link#5 .da.80 1631680 0 998077 0 0en3 1500 10.2.12 1631680 0 998077 0 0修改

50、 /etc/hosts修改并确认每台机器的 /etc/hosts 文件为 : loopback localhost # loopback (lo0) name/address host1_l2_boot1 host1 host1_l1_boot1 host1_l2_svc host1_l1_svc1 host1_l1_svc2 host1_l2_boot2 host1_l1_boot2 host2_l2_boot1 host2 host2_l1_boot1 host2_l2_svc host2_l1_svc1 host2_l1_svc2 host2_l2_boot2 host2_l1_boot

51、2注： 正式配置之前，主机名落在 boot IP 地址上，待配置完成后将改为服务 IP 地址上。编写初步启停脚本 mkdir -p /usr/sbin/cluster/app/loghost1root/usr/sbin/cluster/applsstart_host1 start_host2 stop_host1 stop_host2#start_host1banner start host1route delete 0route add 0 54banner end host1exit 0# stop_host1banner stop host1banner end host1exit 0#

52、 start_host2banner start host2route delete 0route add 0 54banner end start host2#stop_host2banner stop host2banner end host2exit 0编写完成后复制到另一节点上： host1root/usr/sbin/clusterrcp -rp app host2:/usr/sbin/cluster 注意：在两个节点要保证 hosts 和启动 / 停止脚本要一样存在。 同时网关在启动脚本里要增加。配置 tty 心跳网络 / 磁盘心跳 串口线心跳（两边都要增加） smitty tty-

53、Change / add a TTY-rs232-sa-port number : 0确认 host1: cat /etc/hosts/dev/tty0host2: catInitialization and Standard Configuration -Add Nodes to an HACMP Cluster - * Cluster Name test_clusterNew Nodes (via selected communication paths)m host1 host2Currently Configured Node(s)这一步很重要，一般我们都是把每个节点的 boot 作为

54、 communication path。New node 可以一起加，也可以一个一个的加。当回车以后，系统会自己 discover HACMP 的资源，显示如下：There are 2 node(s) and 3 network(s) definedNODE host1: Network net_ether_01 host1_l1_boot1 Network net_ether_02 host1_l2_boot1 Network net_ether_03 host1_l2_boot2 host1_l1_boot2 NODE host2: Network net_ether_01 host2_l

55、1_boot1 Network net_ether_02 host2_l2_boot1 Network net_ether_03 host2_l1_boot2 host1_l2_boot2 .添加 network，修改网卡归属 通过上面步骤地自动 discovery，实际一般 network 和 devices 均已添加，我们只需略做修正就可以了。smitty hacmp-Extended Configuration-Extended Topology Configuration -Configure HACMP Communication Interfaces/Devices -Change

56、/Show Communication Interfaces/Devices 选 en0 host1_l1_boot 2 等 Change/Show a Communication InterfaceType or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields Node Name host1 Network Interface en2 IP Label/Address host1_l1_boot2 Network Type ether* Network Name

57、net_ether_03net_ether_02同样修改 host2_l1_boot1这样可以看到 net_ether_03 没有了。添加心跳网络 smitty hacmp -Extended Configuration-Extended Topology Configuration-Configure HACMP Communication Interfaces/Devices-Add Communication Interfaces/Devices -Add Discovered Communication Interface and Devices-Communication Devic

58、es 串口心跳 # Node Device Device Path host1 tty0 /dev/tty0host2 tty0 /dev/tty0另：磁盘心跳参考 # Node Device Device Path Pvid host1 hdisk5 /dev/hdisk5 00c1eedfbf8 xhost2 hdisk5 /dev/hdisk5 00c1eedfbf8 x按 F7 逐一选中回车，将增加心跳网络，至此 HACMP 的拓扑结构已配好 看确认拓扑 (toplog) 结构 smitty hacmp-Extended Configuration -Extended Topology

59、 Configuration -Show HACMP Topology -Show Cluster Topology Cluster Name: test_clusterCluster Connection Authentication Mode: StandardCluster Message Authentication Mode: NoneCluster Message Encryption: NoneUse Persistent Labels for Communication: NoNODE host1: Network net_rs232_01 host1_tty0_01 /dev

60、/tty0 Network net_ether_01 host1_l1_boot1 host1_l1_boot2 Network net_ether_02 host1_l2_boot1 host1_l2_boot2 NODE host2: Network net_rs232_01 host2_tty0_01 /dev/tty0 Network net_ether_01 host2_l1_boot1 host2_l1_boot2 Network net_ether_02 host2_l2_boot1 host2_l2_boot2 可以看到已符合规划要求，可以继续下面的配置。添加高可用资源 ser