HACMP日常操作手册

HACMP操作手册

强制方式停掉HACMP:

HACMP的停止分为3种，graceful（正常），takeover（手工切

换），force（强制）。

下面的维护工作，很多时候需要强制停掉HACMP来进行，此时资

源组不会释放，这样做的好处是，由于IP地址、文件系统等等没有

任何影响，只是停掉HACMP本身，所以应用服务可以继续提供，

实现了在线检查与变更HACMP的目的。

[host1][root][/]>smittyclstop

StopClusterServices

Typeorselectvaluesinentryfields.

PressEnterAFTERmakingalldesiredchanges.

*Stopnow,onsystemrestartorbothnow

StopClusterServicesonthesenodes[hostl]

BROADCASTclustershutdown?true

*SelectanActiononResourceGroups

UnmanageResourceGroups

一般所有节点都要进行这样操作。

强制停掉后的HACMP启动：

在修改HACMP的配置后，大多数情况下需要重新申请资源启动，

这样才能使HACMP的配置重新生效。

[host1][root][/]>smittycistart

StartClusterServices

Typeorselectvaluesinentry-

fields.

PressEnterAFTERmaking

alldesiredchanges.

[EntryFields]

*Startnow,onsystemrestart

orbothnow

StartClusterServiceson

thesenodes[bgbcb04]

BROADCASTmessageat

startup?true

StartupClusterInformation

Daemon?false

Reacquireresourcesafter

forceddown?true

日常检查及处理

为了更好地维护HACMP,平时的检查与处理是必不可少的。下面

提供的检查与处理方法除非特别说明，均是不用停机，而只需停止应

用即可进行，不影响用户使用。不过具体实施前需要仔细检查状态,

再予以实施。

clverify检查

这个检查可以对包括LVM的绝大多数HACMP的配置同步状态,

是HACMP检查是否同步的主要方式。

smittyclverify->VerifyHACMPConfiguration

VerifyCluster

Typeorselectvaluesinentry

fields.

PressEnterAFTERmaking

alldesiredchanges.

[EntryFields]

BaseHACMPVerification

Methodsboth

(Clustertopology,resources,

both,none)

CustomDefinedVerification

Methods[]

ErrorCount[]

Logstoreoutput[]

Verifychangesonly?[No]

Logging[Standard]

回车即可

经过检查，结果应是OK。如果发现不一致，需要区别对待。对于非

LVM的报错，大多数情况下不用停止应用，可以用以下步骤解决：

1.先利用强制方式停止HACMP服务。

同样停止host2的HACMP服务。

1.只检查出的问题进行修正与同步：

smittyhacmp->ExtendedConfiguration->Extended

VerificationandSynchronization

这时由于已停止HACMP服务，可以包括"自动修正与强制同步

a

o

对于LVM的报错，一般是由于未使用HACMP的C-SPOC功

能，单边修改文件系统、N、VG造成的，会造成VG的timestamp

不一致。这种情况即使手工在另一边修正（通常由于应用在使用，也

不能这样做），如何选取自动修正的同步，也仍然会报failedo此时

只能停掉应用，通过整理VG来解决。

cldump检查：

cldump的监测为将当前HACMP的状态快照，确认显示为UP,

STABLEo

[host1][root][/]>/usr/sbin/cluster/utilities/cldump

ClusterName:testcluster

ClusterState:UP

ClusterSubstate:STABLE

NodeName:hostlState:UP

NetworkName:net_ether_01State:UP

Address:Label:hostl」l_svclState:UP

Address:Label:hostl_ll_svc2State:UP

Address:Label:hostl_ll_bootlState:UP

Address:Label:hostl_ll_boot2State:UP

NetworkName:net_ether_02State:UP

Address:Label:hostl_12_svcState:UP

Address:Label:hostl_12_bootlState:UP

Address:Label:hostl_12_boot2State:UP

NodeName:host2State:UP

NetworkName:net_ether_01State:UP

Address:Label:host2_ll_svclState:UP

Address:Label:host2_ll_svc2State:UP

Address:Label:host2_ll_bootlState:UP

Address:Label:host2_ll_boot2State:UP

NetworkName:net_ether_02State:UP

Address:Label:host2_12_svcState:UP

Address:Label:host2_12_boot1State:UP

Address:Label:host2_12_boot2State:UP

ClusterName:test_cluster

ResourceGroupName:hostl_RG

StartupPolicy:OnlineOnHomeNodeOnly

FailoverPolicy:FailoverToNextPriorityNodeInTheList

FallbackPolicy:FallbackToHigherPriorityNodeInTheList

SitePolicy:ignore

NodeState

hostlONLINE

host2OFFLINE

ResourceGroupName:host2_RG

StartupPolicy:OnlineOnHomeNodeOnly

FailoverPolicy:FailoverToNextPriorityNodeInTheList

FallbackPolicy:FallbackToHigherPriorityNodeInTheList

SitePolicy:ignore

NodeState

host2ONLINE

hostlOFFLINE

clstat检查

clstat可以实时监控HACMP的状态，及时确认显示为UP,

STABLE

[host1][root][/]>/usr/sbin/cluster/clstat

注：如果没有反应，运行clinfo

/etc/hosts环境检查

正常情况下，2台互备的/etc/hosts应该是一致的，当然如果是

主备机方式，可能备机会多些IP地址与主机名。通过对比2个文

件的不同，可以确认是否存在问题。

[host1][root][/]>rsh

host2:/etc/hosts>/tmp/host2_hosts

[host1][root][/]>diff/etc/hosts

/tmp/host2_hosts

脚本检查

需要注意以下事项：

i.应用的变更需要及时修正脚本，两边的脚本需要及

时同步，并及时申请时间测试。

H.上一点需要维护人员充分与应用人员沟通，运行环

境的任何变更必须通过维护人员实施。

Hi.维护人员启停应用耍养成使用这些脚本启停的习

惯，尽量避免手工启停。

[host1][root][/home/scripts]>rsh

host2

”cd

/home/scripts;ls-1hostlhost2

comm*'>/tmp/host2_scripts

[host1][root][/home/scripts]>Is

-1hostlhost2

comm1'>/tmp/hostl_scripts

[host1][root][/]>diff

/tmp/host1.scripts

/tmp/host2_scripts

用户检查

正常情况下，2台互备的HA使用到的用户情况应该是一致的，当

然如果是主备机方式，可能备机会多些用户。通过对比2节点的不

同，可以确认是否存在问题。

[host1][root][/]>rshhost2lsuser-f

orarun,orarunc,txixrun,bsxl,\

xcom>/tmp/host2_users

[host1][root][/]>lsuser-f

orarun,orarunc,tuxrun,bsxl,\

xcom>/tmp/hostl_users>/tmp/hostl_users

[host1][root][/]>diff/tmp/hostl_user

/tmp/host2_user

注：两边的必然有些不同，如上次登录时间等等，只要主要部分相同

就可以了。

还有两边.profile的对比，用户环境的对比。

[host1][root][/]>rshhost2su-

orarun-cset>/tmp/b

[host1][root][/]>su-orarun

-cset>/tmp/a

[host1][root][/]>diff/tmp/a

/tmp/b

tty心跳检查

由于心跳在HACMP启动后一直由HACMP在使用，所以需要强

制停掉HACMP进行检查。

•察看tty速率

确认速率不超过9600

[host1][root][/]>stty-a

</dev/ttyO

[host2][root][/]>cat

/etc/hosts>/dev/ttyO

hostl上显示

speed9600baud;0rows;0

columns;

eucwl:l:0:0,scrwl:l:0:0:

•••

•检查连接与配置

[host1][root][/]>host1:cat

/etc/hosts>/dev/ttyO

[host2][root][/]>host2:cat</dev/ttyO

在host2可看到hostl_t/etc/hosts的内容。

同样反向检测一下。

errpt的检查

虽然有了以上许多检查，但我们最常看的errpt不要忽略，因为有

些报错，需要大家引起注意，由于crontab里HACMP会增加这

样一行：

00***

/usr/es/sbin/cluster/utilities/clcycle

l>/dev/null2>/dev/null

#HACMPforAIXLog

即实际上每天零点，系统会自动执行HACMP的检查，如果发现问

题，会在errpt看到。

除了HACMP检查会报错，其他运行过程中也有可能报错，大都是

由于心跳连接问题或负载过高导致HACMP进程无法处理，需要引

起注意，具体分析解决。

变更及实现

由于维护的过程出现的情况远比集成实施阶段要复杂，即使红皮书也

不能覆盖所有情况。这里只就大家常见的情况加以说明，对于更为复

杂或者更为少见的情况，还是请大家翻阅红皮书，实在不行计划停机

重新配置也许也是一个快速解决问题的笨方法。

这里的变更原则上是不希望停机，但实际上HACMP的变更，虽然

说部分支持DARE(dynamicreconfiguration),绝大部分操作

支持Forcestop完成，我们还是希望有条件的话停机完成。

对于DARE,我不是非常赞成使用，因为使用不当会造成集群不可

控，危险性更大。我一般喜欢使用先强制停止HACMP,再进行以

下操作,结束同步确认后再startHACMPo

卷组变更-增加磁盘到使用的VG里：

注意，pvid一定要先认出来，否则盘会没有或不正常。

1.集群的各个节点机器运行cfgmgr,设置pvid

[host1][root][/]>cfgmgr

[hostl][root][/]>lspv

•••

hdisk200c1eedf6ddb9f5e

hostlvg

hdisk300c1eedffa577b0e

host2vg

hdisk4nonenone

[host1][root][/]>chdev-1

hdisk2-apv=yes

[host1][root][/]>lspv

hdisk400c1eedffc677bfe

none

在host2上也要做同样操作。

I.运行C-SPOC增加盘到host2vg:

smittyhacmp->SystemManagement(C-SPOC)->HACMP

LogicalVolumeManagement

->SharedVolumeGroups->SetCharacteristicsofaShared

VolumeGroup

->AddaVolumetoaSharedVolumeGroup选择节点VG与

磁盘增加即可

ResouceGroupName

VOLUMEGROUPname

Referencenodehost2

VOLUMEnameshdisk4

完成后两边都可看到

hdisk300cleedffa577b0e

host2vg

hdisk400c1eedffc677bfe

host2vg

lv变更

lv的变更不多，可以变更的部分如下：

smittyhacmp->SystemManagement(C-SPOC)->HACMP

LogicalVolumeManagement

->ShowCharacteristicsofaSharedLogicalVolume->Shared

LogicalVolumes

->ChangeaSharedLogicalVolume选择Iv

*ResourceGroupName

host2_RG

MAXIMUMNUMBERof

PHYSICALVOLUMES[8]

[/oralOrunc]

MAXIMUMNUMBERof

LOGICALPARTITIONS[512]

裸设备增加空间：

smittyhacmp->SystemManagement(C-SPOC)->HACMP

LogicalVolumeManagement

->SharedLogicalVolumes->SetCharacteristicsofaShared

LogicalVolume

->IncreasetheSizeofaSharedLogicalVolume

[EntryFields]

ResourceGroupName

rac2_RG

LOGICALVOLUMEname

XWFTPlv

Referencenoderac2

*NumberofADDITIONAL

logicalpartitions[100]

PHYSICALVOLUMEnames

hdisk3

POSITIONonphysical

volumeouter_middle

RANGEofphysicalvolumes

minimum

MAXIMUMNUMBERof

PHYSICALVOLUMES[]

touseforallocation

Allocateeachlogical

partitioncopysuperstrict

onaSEPARATEphysical

volume?

ALLOCATIONMAP[]

文件系统变更

smittyhacmp->SystemManagement(C-SPOC)->HACMP

LogicalVolumeManagement

->Shared>EnhancedJournaled

->Change/ShowCharacteristicsofaSharedEnhanced

Journaled

ResourceGroupName

bg595bO2_RG

name/cube

NEWmountpoint[/cube]

SIZEof[6291456]

MountGROUP[]

PERMISSIONSread/write

MountOPTIONS[]

StartDiskAccounting?no

BlockSize(bytes)4096

InlineLog?no

InlineLogsize(MBytes)0

服务IP地址变更

增加服务IP地址

i.修改/etc/hosts,增加以下行

hostl_12_svc2

host2_12_svc2

HACMP新增服务IP

smittyhacmp->ExtendedConfiguration->HACMPExtended

ResourcesConfiguration

->ConfigureHACMPServiceIPLabels/Addresses

->AddaServiceIPLabel/Address->ConfigurableonMultiple

Nodes选择网络

AddaServiceIP

Label/Addressconfigurable

onMultipleNodes(extended)

Typeorselectvaluesinentry

fields.

PressEnterAFTERmaking

alldesiredchanges.

*IPLabel/Address

hostl_svc2

*NetworkNamenet_ether_01

AlternateHWAddressto

accompanyIPLabel/Address

[]

同样增加host2_svc2

i.修正资源组

smittyhacmp->ExtendedConfiguration->ExtendedResource

Configuration

->HACMPExtendedResourceGroupConfiguration

->Change/ShowResourcesandAttributesforaResource

Group

->Change/ShowAllResourcesandAttributesforaResource

Group

Typeorselectvaluesinentry

fields.

PressEnterAFTERmaking

alldesiredchanges.

[EntryFields]

ResourceGroupName

eaildO.RG

ParticipatingNodes(Default

NodePriority)bgbcb11

bgbcb04

StartupPolicyOnlineOn

HomeNodeOnly

FailoverPolicyFailoverTo

NextPriority

NodeInTheList

FallbackPolicyFallbackTo

HigherPriority

NodeInTheList

FallbackTimerPolicy(empty

isimmediate)[]

ServiceIPLabels/Addresses

[hostl_svchostl_svc2]

1.HACMP同步

需要同步，参见第2部分的“检查与同步HACMP配置”一节。

1.HACMP启动

注意修改启动参数使得启动时重新申请资源，触发新增服务IP生

效。

这时netstat-in,可以看到地址生效了。

修改服务IP地址

如果要修改应用服务使用的IP地址，自然是需要停止应用来进行

的。比如要将原地址10.2.200.x改为10.2.201.x,路由改为

54步骤如下：

1.正常停止HACMP

smittyclstop->graceful

1.所有节点修改/6tc/h0StS将服务地址修改为需要的地址

hostl_12_svchostl

host2_12_svchost2

i.修改启动脚本的路由部分（如果需要）

GATEWAY=54

i.在一个节点修改HACMP的配置

smittyhacmp->ExtendedConfiguration->HACMPExtended

ResourcesConfiguration

->ConfigureHACMPServiceIPLabels/Addresses

->Change/ShowaServiceIPLabel/Address选择

hostl_12_svc

不做修改,直接回车即可，同样修改host2璃12_svco

smittyhacmp->ExtendedConfiguration->ExtendedResource

Configuration

->HACMPExtendedResourceGroupConfiguration

->Change/ShowResourcesandAttributesforaResource

Group

->Change/ShowAllResourcesandAttributesforaResource

Group选择hostl_RG

不做修改，直接回车即可，同样修改host2BRG

1.同步HACMPo

1.重新启动HACMP并确认。

注意修改启动参数使得启动时重新申请资源，触发新服务IP地址生

效。

注意：如果修改的不是应用服务要用的地址，或者修改期间对该地

址的服务可以暂停，则可以将步骤1改为强制停止，增加第7步。

整个过程可以不停应用服务。

7.去除原有服务IP地址

netstat-in找到该服务IP地址所在网卡en2o然后执行：

ifconfigen2aliasdelete

boot地址变更

i.smittytcpip修改网卡的地址

2.修改/etc/hosts的boot地址

3.修改HACMP配置

smittyhacmp->ExtendedConfiguration->Extended

TopologyConfiguration

->ExtendedTopologyConfiguration

Change/Showa

CommunicationInterface

NodeName[bgbcb04：

NetworkInterfaceenl

IPLabel/Address

bgbcb04_bootl

NetworkTypeether

*NetworkName

[net_ether_Ol]

不做修改,直接回车即可，同