HACMP软件安装实施工艺指导V10_F

1、信息化标准体系文档e国建设银行china construction bankhacmp软件安装实施工艺指导(vi. 0)北京数据中心开放系统平台管理部2008-11第1页共44页信息技术管理部北京数据中心修改记录编号日期描述版本作者审核发布日期12008-11-1建立文档1.02334本文档中所包含的信息属于机密信息，如无中国建设银行的书面许可，任何 人都无权复制或利用。®copy right 2005 by china construetion bank1 说明41.1 文档说明41.2 注意事项42 hacmp 规划52.1 ha (highavailability) 52.2

2、规划举例63 hacmp安装前准备83.1 硬件环境准备83.2 介质准备84 povverha (hacmp)软件安装94安装hacmp5.4需要的操作系统软件包94.2 更新操作系统104.3 hacmp软件安装104.4 升级hacmp软件115 配置 hacmp145设置ip地址145.2 配置共享磁盘卷组vg155.3 定义tty串口通讯设备165.4 创建集群cluster175.5 添加node节点195.6 创建以太网络，添加ether网络通讯接口195.7 创建点对点网络，添加rs232通讯设备225.8 添力ii service ip label245.9 配置 appli

3、cation server265.10 配置资源组285.11 参数优化315.12 同步资源组3553启动ha365.14保存 snapshot376 ha服务启停、监控386启动ha服务386.2 停止ha服务386.3 监控ha状态397 切换测试417手工停服务切换测试417.2 不停ha服务，在线移动资源组(c-spoc) 427.3 模拟网卡故障测试447.4 模拟服务器异常down机测试441说明1.1文档说明本文的环境是在aix5.3操作系统下安装配置hacmp5.4的步骤，其它版本的 系统安装配置基本类似，不同z处，请参考ibm的官方文档。文档链接地址 ibm systems

4、 information centers : hup:publib.bouldc匚 录分 aix、 软件、等文档冃录。1. 2注意事项配置hacmp的一些注意事项：1、安装的版木要符合数据中心的版木策略要求2、安装前要做好规划，了解应用要实现什么样的高可靠性需求3、ha可以实现排除单点故障，但不是兀余，因此关键部件还要有冗余配置, 如电源模块、双hba卡、rootvg镜像等4、配置为ha的主、备节点不能是同一台物理服务器上的两个逻辑分区5、存储厂商在ha环境下有定制的磁盘解锁脚本，emc、hds存储，在ha 的event事件中增加厂商自定义脚木。6、编写的应用启停脚木要事先手工执行测试，并且确

5、保停止脚木在系统异常 时也可以停止应用，以释放资源。7、ha配置完成后，不要将ha的服务设置为口启动模式，即ha服务的启动, 要手工启动8、ha配置完成后，要模拟各种故障场景，充分测试接管功能是否正常。2 hacmp规划在配置ha前先要做好规划工作，规划的内容包括以下儿点:1、了解应用要实现什么样的高可靠性2规划cluster拓扑结构3、集群的网络连接4、共享的 disk、lvm5、规划资源组6、集群中节点的用户、组id要一致2. 1 ha （high ava订ab订ity）什么是高可用(high availability)1、regardless if the down time is pl

6、anned or unplanned down time2、high availability is done by eliminating of single points of failure3、high availability is fault resilient not fault tolerantha常见的部署模式有主备模式、互备模式、concurrent模式等，ha的failover切换动作可以有如下图所示的儿种切换方式。one to one2. 2规划举例本文档是以两个节点的hncmp主、备基本模式的环境作为例子进行编写的。 其它模式的配置安装，请参考相应文档。ocrdbcla

7、ixaplaixap2ocrdblreshacmp配置参数表拓扑定义cluster nameocrdbclnode nameaixap 1aixap2ip labelaixap l svcaixap l btaixap l stbaixap l ttyaixap2 btaixap2 stbaixap2 ttynetworktypeelhemetelhemetelhemetrs232elhemetelhemetrs232network attributepublicpublicpublicserialpublicpublicserialnetwork nameethlethlethlrsleth

8、lethlrslipaddress32192.16 & 100.2adp. id/dcv/ttyo/dcv/ttyoadp.func.servicebootstandbyservicebootstandbyservice资源组划分res. grp. namenode rel.part. node nameocrdblrescascadingaixaplaixap2建立app应用服务器app namestart scriptstop scriptocrdblapp/hacmp/ocrd

9、blappstart. sh/hacmp/ocrdblappstop. sh配置资源组res. grp. nameservice ipfilesystemsvolume groupapplicationserversocrdblresaixapl svcocrvgolocrdblapp3 hacmp安装前准备3.1硬件环境准备在安装ha软件z前，首先连接好系统外接硬件设备1、tcp/ip网络连接，生产网卡与备份网卡的网线需要连接到不同的网络交换机2、点对点网络心跳线的连接，我们在这里使用rs232串口作为心跳线3、外接存储设备连接，hba卡要连接到不同的san交换机，并且安装存储厂 商的多路径

10、软件，以实现光纤链路的冗余。3. 2介质准备介质准备包括hacmp基本包的安装介质，补丁包的准备，补丁包可以从ibm官方网站下载，链接地址访问 产品选择 cluster softwarefix centralfix central provides fixes and updates for ycur system*s software hardwareand cperating system.continuecontinue后，按照提示逐步操作，选择最新的补丁包下载。4 powerha (hacmp) 软件安装ibm现在将hacmp名称更改为powerha安装软件时需要注意，配置在clust

11、er集群中的每台服务器节点，要求其上安装 的操作系统的版本及补丁级别保持一致、hacmp软件的版本及补丁级别保持一 致。4. 1安装hacmp5. 4需要的操作系统软件包1、操作系统需要安装的基本软件包aix 5lbos componentbos.databos.adt.libbos.adt.libmbos.adt.syscalls.tcp.client.tcp.serverbos.rte.srcbos.rte.libcbos.rte.libcfgbos.rteibcurbos.rte.libpthreadsbos.rte.odmbos.rtevm.rte (required only usi

12、ng concunent logical volume manager for concurrent access)bos.clvm.enh (required only using concurrent logical volume manager for concurrent access)2、需要的rsct软件包rsct.basic.rtersct. basic hacmppat.basic.hacmppat.clients.hacmprsct.core.secrsct.core.rmc4. 2更新操作系统aix操作系统及其上的软件按照数据中心的版本策略要求将版本更新到相应的 级别。使用

13、下面的命令check# oslevel -s# lppchk v4. 3 hacmp软件安装安装hacmp软件前，确保/usr> /根文件系统目录有足够的free空间，要求free空间大于180mb将hacmp5.4的光盘介质放入光驱，#smit installp选择软件包，不用选择 cluster.es.plugins > cluster.es.worksheets > cluster.doc.en_us.es > cluster.hativoli cluster.haview 软件包44升级hacmp软件441下载ha补丁从 hup:/www-912ibmcom/e

14、servei7suppoil/fixes/fixcen(nd 选择 cluster softwarefix centralfix central provides fixes and updates for ycur system's software hardware, and cperating system.product familycontinuecontinue 后选择 powerha,选择最新的补丁 latest service pack,powerha support >powerha cluster manager (hacmp)support for aix

15、5.3 for power systemsfix informationrelated resourcesdownload fixes for powerha for aix 5.3 from this pagein addition, you can search fix central for specific powerha fixes for aix 5.3 by clicking on the "search'1 button at the bottom of this page.aix 5.3powerhareleaseproductselectinformati

16、onpowerha 5.4latest service packview and download日serviceview and download required fixes that not includedpackon initial install cdspecific filesetspowerha (clusterpowerha fixes including powerha/xdfilesets)pprc&ad powerha/xd glvmpowerha/xd hageopowerha/xd hageo fixes将补丁包下载到本地，并以二进制格式上传到服务器的文件系

17、统h录下。4.4.2升级hacmp补丁包本文示例是将powerha5.4升级到ha5.4.1sp03的补丁级别。#smit update_all 方式安装补丁gtceivt findovbtupdate instdlled software to latest leuel (update alltype or select ualues in entry fields press enter after naking all desired changes.entry fields* imput device / directory for software* software to upda

18、tepreuieu only? (update operation ui11 mot occur) contlit software updates?saue replaced f iles?autohatically instal 1 requisite software?extend f ile systems if space needed?uerify install and check file sizes?detailed output?process multiple uolumes?il硼灿闽!1丄皿區preuiew neu licemse agreenents?.update

19、s ii noyes yes no no uesfl=help esc5二resetesc*9=shelifz=refresh esc*6=connand esc*0=exitf3=cancel esc*7=e(lit enter二dof4=llstesc*8=inage安装完成后利用lslpp - 1 igrep cluster.es.server.rte查看补丁是否已升级成功,rooteaixapi：:/>lslpp -1 igrep cluster.es.seruer.rtecluster.es.seruer.rte appliedes base seruer run

20、timecluster.es.seruer.rte appliedes base seruer runtimerooteaixap2:/>|升级后重新引导操作系统，使升级生效。5配置hacmp配置规划表local nodeaixapltakeover (remote) nodeaixap2communication path to takeover node192.16 & 100.1application serverappsrvlapplication start script/hacmp/application stop script/hacmp/servic

21、e ip labelaixapl_svc5. 1设置ip地址1、编辑/ctc/hosts文件，两台服务器的主机名分别为aixapk aixap2# for hacmp3aixapl_svcaixapl_bt192.16 & 100.1aixapl_stb2aixap2_bt192.16 & 100.2aixap2_stb2、编辑/usr/es/sbiii/cluster/etc/rhosts 文件，增加信任关系 aixapl_svcaixapl_btaixapl_stbaixap2_btaixap2_

22、stbaixaplaixap23、为每台服务器配置ip地址：boot地址、standby地址# smit chi net5. 2配置共享磁盘卷组vg注意，创建卷组时需要手工指定卷组的major number号，以免在两台服务器之 间发生冲突，使用b或s参数设置卷组的类型。1、aixapl节点上执行在aixapl服务器上创建ocrvgo 1卷组# mkvg -b -v 200 -s 256 -y ocrvgo 1 hdisk4 hdisk5# chvg -an ocrvgo 1 （卷组去掉自动激活选项）# varyoffvg ocrvgo 12、aixap2节点上执行，倒入卷组# importv

23、g -v 200 -y ocrvgo 1 hdisk4# chvg -an ocrvgo 1# varyoffvg ocrvgo 15. 3定义tty串口通讯设备5.3.1增加tty设备smit tty定义tty用性创建成功后，可以看到irootbaixapl:/usr/es/sbin/cluster/etc>lsdeu -cctty ttyo auailable 06-08-01-00 asynchronous terminal5.3.2 tty通讯测试两台服务器的心跳设备tty配置完成后，需耍测试tty通讯是否止常，测试方法:1、在aixapl .上执行：aixapl#cat /et

24、c/hosts >/dev/ttyoaixap2#cat < /de v/ttyo如果aixap2屏幕上输il!/etc/hosts表内容，表明aixapl到aixap2的通讯止常2、在 aixap2 _l执行：aixap2#cat /etc/hosts >/dev/ttyoaixapl#cat </dev/ttyo如果aixapl屏幕上输ill/ctc/hosts表内容，表明aixap2到aixapl的通讯正常5. 4创建集群cluster配置ha过程屮均使用extended configuration菜单选项，只需要在一个节点上执 行配置操作，配置完成后，只需同步配

25、置到其它节点，本例在aixapl服务器上进行配置。# smit hacmp增加-个集群，注意集群名字的命名规则，参见设讣指南? opsaixapl_bt口回冈file edit options send receive window helpstadd/change/shou an hacmp clustertype or select ualues in entry fields.press enter after making all desired changes.cluster nam巳crdbclto take effectentry fields "mote: hachp

26、 must be restarted on all nodesin order for changefl=helpesc+5=resetesc+9=shellf2二refreshesc+6=connandesc+o-exitf3=cancelesc+7=editenter-dof4 二 listesc+8-inage5. 5添加node节点添加节点，节点的名称要与主机名一致，使用下面的方法，分别添加aixapl >aixap2 两个节点。5. 6创建以太网络，添加ether网络通讯接口561添加以太网络选择增加预定义的ip-based network ,选择以太网ether定义网络名称e

27、therl,选择ip替换的方式切换ip地址。5.6.2 添力口 communication interfaces向etherl网络中添加预定义的通讯接口file edit options send receive window helpconfigure hacmp connunication interfaces/deuicesmoue cursor to desired iten and press enter.change/shou connunication interfaces/deuicesrenoue communication interfaces/deuicesupdate

28、hachp communication interface with operating system settingsselect a categorymoue cursor to desired item and press enter.add discouered connunicat ion interface and deuicesriesfl二helpesc*8-inage /-findfz-befreshesc+0=exit n二find nextf3-cancel enter=do填写下而的信息：network interface信息使用nets(a(-i命令杳看各接口对应的网

29、络别名。network interface信息使用netstat -i命令查看各接口对应的网络别名，见红色边框部分，并 选择相应的节点名称。irooteaixapl:/usr/es/sbin/cluster/etonetstat -imanentumetworkaddressipkts ierrsopkts oerrscoll|cn215001*20;14.5e,b?,f3.461757105?9?30enz150厂128：192：235aixapl_bt175710579?30en31500linktt30.14.5e.b?.95.be117130?20en31500192.168.105d

30、ixdpl_stk|117130?20loo1689t1 inkttl28?40287600loo16896127loopback28740287600loo16896：128?4028?600使川同样的方法，逐一增加aixapl_s(b、aixap2_bt、aixap2_stb网络接口。5.7创建点对点网络，添加rs232通讯设备5.7.1添加串口通讯网络添加预定义的串口网络，选择rs232网络名称填写蔦1lansi itcp/ip 118:21 i.5.7.2添加串口设备向rsl网络中添加，communication device,设备名填写aixapltty, device path选择

31、串口设 备/dev/ttyo,选择相应节点aixapl同样的方法添加aixap2的串口设备,aixap2tty5. 8 添加 service ip label选择配置 hacmp extended resources configuration,如卜图选择 add a service ip label/address选择多节点。这里将 aixapl_svc 作为 service ip label5 9 配置 application server5-9.1编辑启停脚本两台服务器上分别执行：在根目录下创建/hacmp s录，为应用服务器编辑启停脚本 #m kdir /hacmp#cd /hacmp

32、#touch ocrdbapplstart.sh ocrmdbapplstop.sh#chmod 744 *.shrootoaixapl：/hacnp>ls -1 total 0-ruxr-r- 1 rootsystem-ruxrr 1 rootsystem0 mou 0? 09:13 ocrdbapplstart.sh0 mou 07 09:14 ocrdbapplstop.sh/liacmp/ocrdbapp 1 start.sh中存放需要ha带丿j的应用的丿j动脚木 /hacmp/ocrdbapplstop.sh屮存放需要ha停止的应川的停止脚木 如：启、停数据的脚木5.9.2 添

33、加一个 application server#smit hacmp填写应川服务器名称，start脚木、stop脚木路径，如卜图e opswareaixapl_bt回冈£ile edit optionsreceive window help圈ib胡占血胡劃比|剖恳|昼彊国add application seruertype or select ualues in entry fields.press enter after making all desired changes.entry fields/hacnp/ocrdbapplstart biacnp/ocrdbapplstop.

34、* seruer mane* start scriptiapplication monitor mane(s)fl=helpf2-refreshf3=cancelf4二listesc+5=resetesc*6=connandesc*7=editesc+8=imageesc*9=shellesc 匕二exitenter=do5. 10配置资源组5.10.1adda 资源组#smit hacmp,选择扩展的资源组配置创建-个资源组ocrdblres,节点选择aixapl aixap2,优先级按先后顺序排列，aixapl节点优 先级高。山于木例为主备关系，因此下而资源组策略的三个选项按照默认值，不做

35、修改。5102资源组策略含义1、startup policy 启动策略1) online on home node only资源组只是在优先级高的节点上激活(以前的cascading)2) online on first available node资源组会在任何一个先启动的节点上激活3) online on all available nodes资源组在所有节点上激活(适川于怕c环境)4) online using distribution policyone resource group per network or node depending on the distribution p

36、olicy2、failover policy 切换策略failover是指当资源组所在的服务器发生故障时，资源组将要发生的动作。1) failover to next priority node资源组转移到下一个优先级高的节点2) failover using dynamic node priorityresource group is moved to the next node in the resource groups node list asrecalculated based on the dynamic node criteria policy3) bring offline o

37、n eitor node在故障节点的资源组offline,不发生切换动作。(适川于rac环境)3> fallback policy 回切策略fallback是指当故障服务器修复后，节点重新加入集群中时资源组将发生什么样的动作。1) fallback to a higher priority node 资源组回切到高优先级的节电上2) never fallback资源组不冋切5.10.3定义资源组属性向ocrdblres资源组屮增加属性信息，增加service ip地址、application server共享卷组5. 11参数优化配置hacmp的相关参数file edi t option

38、s s«nd receive wi ndow helpextended conf igurationdiscouerextendedextendedextendedejcteritledi 机 ihnmisecuritysnapshotmoue cursor to desired item and press enter.hachp-related infornation fron configured modes topology configurationresource configurationcluster seruice settingseuent configurati

39、onand users configurationconfigurationexport definition file for online planning worksheetsimport cluster configuration from online planning worksheets fileextended uerification and synchronization hachp cluster test toolfl=helpesc+9-shellf2二refresh esc 匕二 exitf3=cancel enter=doesc*8-inageansi1tcp/i

40、p ,13:46 对于低端存储设置为33/24 ,对于咼端存储设置为1024/512回冈兰 opsare aixapl_svfile edi t options send receive window helpchange/show i/o pacingtype or select ualues in entry fields press enter after making all desired changes.igh uat巳r mark for pending write i/os pr filelou water narkfor pending writei/os per filee

41、ntry fieldsq3241fl 二 helpesc+5zresetesc*9=shellf2zrefresh esc+6=connand esoo 二 exitf3-cancelesc*7=edit enter=dof4二listesc+8-inage5ll2sync频率将sync频率调整为105.11.3修改网络 failure detection rate为 failure detection rate ill normal 修改成 slowfile edi t options s«nd receive wi ndow helpextended topology confi

42、gurationmoue cursorto desired item and press enter.configure configure configure configure configure configure conf icrurean hachp cluster hachp hachp hachp hachp hachp hachpconfigure topology seruices and group show hachp topologymodessitesnetworkscomnunication interfaces/deuices persistent mode ip

43、 label/addresses global networksseruicesfl=helpesc+9二shellesc+0二exitenter-dolansi tcp/ip 13:49 | f2二refreshf3=cancelesc*8-inage? opsaixapl_sv口回冈file edi t options send receive window helpchange a cluster network module using pre-defined ualuestype or select ualues in entry fields.press enter after m

44、aking all desired changes.* netuork module marne dgscrip®】i'm iiwllswsh*entry fields rs232 bs232serial protocolnote: changes nade in this panel must be propagated to the other nodes by uerifyingand synchronizingthe clusterflzhelpesc+5=resetesc+9=shellf2二refreshesc+6=connandesc+o-exitf3=canc

45、elesc+7=editenter-dof4 二 listesc+8-inage5. 12同步资源组在aixapl上的各项配置完成后，需要同步配置到aixap2服务器上, #smit hacmp同步成功后出现卜而的提示信息，ok如果没有成功，根据error提示，逐个解决。5. 13启动haaixapl节点上启动ha,# smit cistartstart infor daemon 处选择 trueaixapl节点上启动完成后，clstat查看cluster状态，当substate:为stable是,再启动备份节点aixap2 ± hao步骤同上。5. 14保存 snapshotha配

46、置成功后，创建一个snapshot配置信息，将info、odm下载到本地保存。£ opsaixapeile edit optionsreceive xindavsnapsliot of the cluster conf igurationtype or select ualues in entry f ields. press enter after making a 11 desiredchanges.* cluster snapshot name custom-def ined snapshot hethods saue cluster log files in snapshot

47、bfl i t| p! |i i|b ja g r 1 i nocrdbcgg81t10efl=helpesc*5=resetesc*9=she11f2=refresh esc*6=connand esc*9=exitf3=cancel esc*?=ed it enter=dof4=listesc*8=image6 ha服务启停、监控6.1启动ha服务# smit clstart62停止ha服务停止ha服务的方式有三种分别是:select an action on resource groupsmoue cursor to desired item and press enter.bring

48、resource groups offlinemoue resource groups unnanage resource groupsf3二cancel enter-dofl 二 helpesc+8=inage/二findf2二refresh esc+o-exit n二find mext bring resource groups offline：停止ha服务并将资源纟ii. offline,不发生接管动作 move resource groups：停止ha服务，将资源组切换到其它节点 unmanage resource groups：停止ha服务，但资源组仍然保持激活状态 #smit cl stop6. 3监控ha状态rootaixap2:/usi7es/sbin/cluster>./clstat 关注： 集群状态 节点状态 interface状态，包括tty状态 资源组状态eil« edit options $nd q«c«iv« l»ndg o«lp髦|爵宙因釧自中|比10雄圍園clstat - hachp clusterstatushonitorcluster： ocrdbcl(1226751829)hon mou 18 14:16:37 beist 2608state:upmodes:zs