所HACMP51安装报告

1、. ED-In Technology Group沈阳606所HACMP5.1安装与配置报告ED-In P.R. China2005-03Hacmp 5.1 的安装配置方法一、 Hacmp 的软件安装1 安装前提1.1 准备AIX操作系统 在开始安装HACMP5.1软件之前，首先要完成两台P660服务器的操作系统升级操作，包括在两台P660服务器上安装AIX v操作系统，并使用AIX Maintenance Level ML04软件包将操作系统升级至版本。目前，AIX v5.2操作系统最新的Maintenance Level版本为ML05，如果有条件，最好升级至最新的

2、Maintenance Level。在升级完操作系统之后，请检查系统中已经安装的软件包，并确认系统中已经安装了如下所列的各个软件包，如果系统中未安装这些软件包，那么请使用基本的AIX v操作系统光盘安装这些软件包，并使用Maintenance Level补订包将这些软件包升级至最新版本。l RSCT 0 或更高版本l bos.adt.libl bos.adt.libml bos.adt.syscallsl bos.datal .tcp.clientl .tcp.serverl bos.rte.SRCl bos.rte.libcl bos.rte.libcfgl bo

3、s.rte.libcurl bos.rte.libpthreadsl bos.rte.odml rsct.*如果您要安装并行的资源组，还要安装下面的包：l bos.rte.lvm.rte5 or higherl bos.clvm.enh*1.2 准备Oracle数据库系统如果系统中需要安装Oracle 9i数据库，而又不想配置成Oracle并行数据库系统，那么请在开始安装HACMP之前完成Oracle 9i数据库的安装与配置操作。1.2.1 准备共享磁盘卷 为实现HACMP环境下Oracle数据库的高可用配置，我们需要为Oracle数据库实例准备共享磁盘卷。 在AIX操作系统下使

4、用smitty ssaraid命令，在7133 D40磁盘阵列上创建两个RAID 5类型的Disk Array，分别用于Oracle数据库数据和Iman文件系统数据。使用上面创建的Disk Array分别创建oraclevg和imanvg两个卷组，设置卷组auto varyon为no，在Oraclevg上创建oraclelv和/oracledbs文件系统（类型为jfs2），在imanvg上创建imanlv和/imanvol文件系统，设置两个文件系统的auto mount属性为no。 在创建卷组和文件系统的P660服务器上varyoff这两个卷组，在另外一台P660服务器上使用smitty im

5、portvg命令分别导入两个卷组，注意在导入卷组时设置major number属性值与另外一台P660服务器上相同的值。导入卷组后修改卷组的auto varyon属性为no。1.2.2 安装并创建Oracle实例 使用Oracle 9i安装介质安装数据库系统，如果使用的是光盘，那么首先mount光盘，我们这里假设mount点为/cdrom，记得在/下而不是在/cdrom下去运行/cdrom/runInstaller安装脚本，否则在要求更换光盘时无法umount光盘。 安装Oracle安装程序的提示进行安装，选择安装企业版数据库服务器，选择仅安装软件文件而不创建实例。 在一台服务器上完成安装之后

6、，在另外一台服务器上完成同样的安装过程。 然后在两台服务器上创建dba用户组和oracle、infodba两个系统用户。在两个用户的home目录下编辑.profile文件至适当内容（请按照IMAN系统要求编辑该文件）。 安装过程完成之后，在拥有oraclevg卷组的服务器上运行oracle的数据库配置工具dbca创建数据库实例iman，按照IMAN系统需求设置各参数，设置各配置文件、控制文件、日志文件、数据文件的存储位置到/oracledbs/dbs/目录下的相应位置。然后完成实例创建。完成后，将/etc/oratab文件拷贝到另外一台服务器的相同位置。2 开始安装使用HACMP v5.1光盘

7、介质进行安装，在安装过程中除了haview，netwiew( Tivoli)的包以外，所有的hacmp的包都要安装。3 打补丁在HACMP v5.1安装完成之后，需要继续为HACMP打补丁，以将HACMP版本升级至最新，如果可以获得最新的HACMP完整的补订包，那么使用该补订包进行升级，如果无法获得最新的HACMP完整的补订包，那么可以在IBM网站下载IY53044、IY37779、IY45695、IY65063这几个必需的补订，然后使用smitty install命令将其安装到系统中。4 重启机器安装完HACMP软件之后，需要重新启动系统，现在我们重新启动两台P660服务器，接下来再进行HA

8、CMP的配置操作。注：在hacmp 5.1中为了安全起见，不再使用/.rhosts文件来控制两台机器之间的命令和数据交换，而是引进的一个新的进程clcomd。如果你编辑/etc/inittab文件就会发现安装完hacmp后，在最后添加了一行：clcomdES:2:once:startsrc -s clcomdES >/dev/console 2>&1。因此重新启机后，ps ef|grep clcomd ,会发现：root 12908 6478 0 Apr 12 - 0:21 /usr/es/sbin/cluster/clcomd d，证明该进程启动了。Hacmp5.1使用/

9、usr/es/sbin /cluster/etc/rhosts文件来代替/.rhosts文件的功能。注意：如果两个节点间的通讯发生了什么问题，可以检查rhots文件，或者编辑rhosts文件加入两个节点的网络信息。二、 hacmp5.1 的配置1. 准备2台P660服务器的网络配置在P660服务器Oraclesvr上，使用smitty hostname命令设置主机名为Oraclesvr，使用smitty tcpip命令设置2块网卡的boot ip。设置第一块网卡的boot ip为，子网掩码为；设置第二块网卡的boot ip为，设置子

10、网掩码为。编辑/etc/hosts文件如下：loopback localhost# loopback (lo0) name/address Oraclesvr_boot1 Oraclesvr Oraclesvr_svc Oraclesvr_per Oraclesvr_boot2 Imansvr_boot1 Imansvr Imansvr_boot Imansvr_svc编辑/.rhosts文件如下：ImansvrIman

11、svr_boot1Imansvr_boot2Imansvr_svcOraclesvr_boot1Oraclesvr_boot2Oraclesvr_svcOraclesvr_perOraclesvr在P660服务器Imansvr上，使用smitty hostname命令设置主机名为Imansvr，使用smitty tcpip命令设置2块网卡的boot ip。设置第一块网卡的boot ip为，子网掩码为；设置第二块网卡的boot ip为，设置子网掩码为。编辑/etc/hosts文件如下：loopb

12、ack localhost# loopback (lo0) name/address Imansvr_boot1 Imansvr Imansvr_svc Imansvr_boot2 Oraclesvr_boot1 Oraclesvr Oraclesvr_boot Oraclesvr_svc Oraclesvr_per编辑/.rhosts文件如下：Imansvr_boot1Imansvr_boot2Imansvr_svcImansvrOraclesvr_boot

13、1Oraclesvr_boot2Oraclesvr_svcOraclesvr_perOraclesvr注意：在使用smitty tcpip设置网卡的boot ip时，一定要保证2台服务器4块网卡的tcpip子网掩码设置一致，否则在后面同步HACMP配置时无法通过。2. 准备共享卷组 共享卷组的准备过程我们在前面准备Oracle数据库系统的过程中已经做过，这里不需要再重复。3. 准备RS232连接 注：RS232连接在HACMP 5.1版本中已经不再是必需的，如果环境中有，那么可以按照如下方式配置。 首先，使用smitty aio命令将系统中的异步I/O卡设置为enable，并且配置为avail

14、able。 然后，使用smitty tty命令在连接了RS232线缆的端口上创建/dev/tty0（序号因系统环境不同系统会自动设定）。设置参数如下所示：配置完成后，应测试串行网络的连通性。假定在两个节点上配置的TTY的设备名都为/dev/tty0，在两个节点上分别输入命令stty < /dev/tty0，如果TTY配置正确且连通，两条命令都应正确返回命令行。4. 准备Application启动/停止脚本 在/pdm/oracle/ora92目录下创建script子目录，在该子目录下创建start_oracle脚本文件，内容如下：su oracle c dbstart创建stop_ora

15、cle脚本文件，内容如下：su oracle c dbshut创建start_iman脚本文件和stop_iman脚本文件，暂时保持文件内容为空，待将来安装了TSM Client之后再在其中添件所需内容。将4个脚本在2台P660服务器的/pdm/oracle/ora92/script目录下均保存一份，注意两边保存的位置和文件名称一定要保持一致。5. 用smitty hacmp来配置hacmp 5.1 添加cluster 和node smitty hacmpInitialization and Standard Configuration Extended Configuration Syste

16、m Management (C-SPOC) Problem Determination ToolsAdd Nodes to an HACMP Cluster Configure Resources to Make Highly Available Configure HACMP Resource Groups Verify and Synchronize HACMP ConfigurationDisplay HACMP Configuration * Cluster Name imanha New Nodes (via selected communication paths) oracles

17、vr_boot1 imansvr_boot1 Currently Configured Node(s)这一部很重要，一般我们都是把每个节点的boot1 作为communication path 。 New node可以一起加，也可以一个一个的加。当回车以后，系统会自己discover hacmp的资源。显示如下：。IP Network Discovery completed normallyCurrent cluster configuration:No resource groups definedCluster Description of Cluster: imanhaCluster S

18、ecurity Level: StandardThere are 2 node(s) and 1 network(s) definedNODE imansvr: Network net_ether_01 imansvr_boot1 imansvr_boot2 NODE oraclesvr: Network net_ether_01 oraclesvr _boot1 oraclesvr _boot2 。5.2 添加高可用资源（service ip，application server，vg and jfs） 添加

19、服务ip地址 Add Nodes to an HACMP Cluster Configure Resources to Make Highly Available Configure HACMP Resource Groups Verify and Synchronize HACMP Configuration Display HACMP Configuration Configure Service IP Labels/Addresses Configure Application Servers Configure Volume Groups, Logical Volumes and Fi

20、lesystems Configure Concurrent Volume Groups and Logical Volumes Add a Service IP Label/Address Change/Show a Service IP Label/Address Remove Service IP Label(s)/Address(es)* IP Label/Address imansvr_svc Network Name net_ether_01* IP Label/Address oraclesvr_svc Network Name net_ether_01添加application

21、 server Configure Service IP Labels/Addresses Configure Application Servers Configure Volume Groups, Logical Volumes and Filesystems Configure Concurrent Volume Groups and Logical Volumes Add an Application Server Change/Show an Application Server Remove an Application Server* Server Name imanapp* S

22、tart Script /pdm/oracle/ora92/start_iman* Stop Script /pdm/oracle/ora92/stop_iman* Server Name oracleapp* Start Script /pdm/oracle/ora92/start_oracle* Stop Script /pdm/oracle/ora92/stop_oracle添加共享vg，jfs 注意在前面的准备Oracle数据库的步骤中我们已经建立了共享VG imanvg和oraclevg， 并建立了共享文件系统/imanvol和/oracledbs。这里无需再做。5.3 创建资源组

23、Initialization and Standard Configuration Extended Configuration System Management (C-SPOC) Problem Determination ToolsAdd Nodes to an HACMP Cluster Configure Resources to Make Highly Available Configure HACMP Resource Groups Verify and Synchronize HACMP Configuration Display HACMP ConfigurationAdd

24、a Resource Group Change/Show a Resource Group Remove a Resource Group Change/Show Resources for a Resource Group (standard)CascadingRotating Concurrent Custom * Resource Group Name imanres* Participating Node Names / Default Node Priority imansvr oraclesvr同样方法可以添加oracleres* Resource Group Name oracl

25、eres* Participating Node Names / Default Node Priority oraclesvr imansvr接下来可以配置资源组，当然也可以在Extended Configuration 中去详细配置。我们姑且先在Initialization and Standard Configuration 中配置。 Smitty cm_config_hacmp_resource_groups_menu_dmnAdd a Resource Group Change/Show a Resource Group Remove a Resource GroupChange/S

26、how Resources for a Resource Group (standard)选择imanresResource Group Name imanres Participating Node Names (Default Node Priority) imansvr oraclesvr* Service IP Labels/Addresses imansvr_svc Volume Groups imanvg Filesystems (empty is ALL for VGs specified) /imanvol Application Servers imanapp同样的方法配置o

27、racleres Resource Group Name oracleres Participating Node Names (Default Node Priority) oraclesvr imansvr* Service IP Labels/Addresses oraclesvr_svc Volume Groups oraclevg Filesystems (empty is ALL for VGs specified) /oracledbs Application Servers oracleapp检查和同步hacmp配置Initialization and Standard Con

28、figuration Extended Configuration System Management (C-SPOC) Problem Determination ToolsAdd Nodes to an HACMP Cluster Configure Resources to Make Highly Available Configure HACMP Resource Groups Verify and Synchronize HACMP Configuration Display HACMP ConfigurationCluster Description of Cluster: ima

29、nhaCluster Security Level: StandardThere are 2 node(s) and 1 network(s) definedNODE imansvr: Network net_ether_01 imansvr_svc oraclesvr_svc imansvr_boot2 imansvr_boot1 NODE oraclesvr: Network net_ether_01 oraclesvr_svc imansvr_svc oraclesv

30、r_boot1 oraclesvr_boot2 Resource Group imanres: Behavior cascading Participating Nodes imansvr oraclesvr Service IP Label imansvr_svcResource Group oracleres: Behavior cascading Participating Nodes oraclesvr imansvr Service IP Label oraclesvr_svc注意node imansvr的ip 地址排列，虽然imansvr_

31、boot2 排在imansvr_boot1前面，但是实验证明，service 地址依然会绑定在communication path 上。现在就可以做Initialization and Standard Configuration Verify and Synchronize HACMP Configuration . 然后start 一下hacmp ，看看take over 是否都正常。 注意，很多客户是把所有的hacmp 包括应用都配好后再试起hacmp, 作takeover 测试，这是很不好的一种习惯。因为融入的可能因素太多了，一旦有了问题，我们还要隔离问题，先把hacmp配置简化，再一

32、步步作pd , 那么先前的配置就白做了。所以建议客户阶段性的监测一下hacmp。到此为止我们的hacmp已经基本配置完成了。剩下的要在Extended Configuration中配置了。6. HACMP Extended Configuration在Extended Configuration中我们还可以配置tty心跳网络，hdisk心跳网络，Persistent Node IP，application monitor等等。 6.1 配置RS232心跳网络下面我们先介绍一下配置RS232心跳网络。添加RS232网络和设备Initialization and Standard Configur

33、ation Extended Configuration System Management (C-SPOC) Problem Determination ToolsDiscover HACMP-related Information from Configured Nodes Extended Topology Configuration Extended Resource Configuration Extended Event Configuration Extended Performance Tuning Parameters Configuration Security and U

34、sers ConfigurationSnapshot ConfigurationExtended Verification and SynchronizationConfigure an HACMP Cluster Configure HACMP Nodes Configure HACMP Sites Configure HACMP Networks Configure HACMP Communication Interfaces/Devices Configure HACMP Persistent Node IP Label/Addresses Configure HACMP Global

35、Networks Configure HACMP Network Modules Configure Topology Services and Group Services Show HACMP TopologyAdd a Network to the HACMP Cluster Change/Show a Network in the HACMP Cluster Remove a Network from the HACMP Cluster# Pre-defined Serial Device Types diskhb rs232 tmscsi tmssa * Network Namem

36、net_rs232_01* Network Type rs232添加设备：Extended ConfigurationExtended Topology ConfigurationConfigure HACMP Communication Interfaces/Devices Add Communication Interfaces/Devices Add Pre-defined Communication Interfaces and Devices Communication Devices net_rs232_01 * Device Name imansvr_rs232* Network

37、 Type rs232* Network Name net_rs232_01* Device Path /dev/tty0* Node Name imansvr * Device Name oraclesvr_rs232* Network Type rs232* Network Name net_rs232_01* Device Path /dev/tty0* Node Name oraclesvr Extended ConfigurationExtended Topology Configuration Show HACMP TopologyCluster Description of Cl

38、uster: imanhaCluster Security Level: StandardNODE imansvr: Network net_rs232_01 Imansvr_rs232 /dev/tty0 Network net_ether_01 imansvr_svc oraclesvr_svc imansvr_boot2 imansvr_boot1 NODE oraclesvr: Network net_rs232_01 Oraclesvr_rs232 /dev/tty0 Network net_ether_01 imansvr_svc oraclesvr_svc