HACMP日常操作手册

-.z.HACMP操作手册强制方式停掉HACMP:HACMP的停止分为3种，graceful（正常），takeover（手工切换），force（强制）。下面的维护工作，很多时候需要强制停掉HACMP来进行，此时资源组不会释放，这样做的好处是，由于IP地址、文件系统等等没有任何影响，只是停掉HACMP本身，所以应用服务可以继续提供，实现了在线检查和变更HACMP的目的。[host1][root][/]>smittyclstopStopClusterServicesTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.*Stopnow,onsystemrestartorbothnowStopClusterServicesonthesenodes[host1]BROADCASTclustershutdown"true*SelectanActiononResourceGroupsUnmanageResourceGroups一般所有节点都要进行这样操作。强制停掉后的HACMP启动:在修改HACMP的配置后，大多数情况下需要重新申请资源启动，这样才能使HACMP的配置重新生效。[host1][root][/]>smittyclstartStartClusterServicesTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]*Startnow,onsystemrestartorbothnowStartClusterServicesonthesenodes[bgbcb04]BROADCASTmessageatstartup"trueStartupClusterInformationDaemon"falseReacquireresourcesafterforceddown"true日常检查及处理为了更好地维护HACMP，平时的检查和处理是必不可少的。下面提供的检查和处理方法除非特别说明，均是不用停机，而只需停止应用即可进行，不影响用户使用。不过具体实施前需要仔细检查状态，再予以实施。clverify检查这个检查可以对包括LVM的绝大多数HACMP的配置同步状态，是HACMP检查是否同步的主要方式。smittyclverify->VerifyHACMPConfigurationVerifyClusterTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]BaseHACMPVerificationMethodsboth(Clustertopology,resources,both,none)CustomDefinedVerificationMethods[]ErrorCount[]LogFiletostoreoutput[]Verifychangesonly"[No]Logging[Standard]回车即可经过检查，结果应是OK。如果发现不一致，需要区别对待。对于非LVM的报错，大多数情况下不用停止应用，可以用以下步骤解决：先利用强制方式停止HACMP服务。同样停止host2的HACMP服务。只检查出的问题进行修正和同步：smittyhacmp->E*tendedConfiguration->E*tendedVerificationandSynchronization这时由于已停止HACMP服务，可以包括”自动修正和强制同步“。对于LVM的报错，一般是由于未使用HACMP的C-SPOC功能，单边修改文件系统、lv、VG造成的，会造成VG的timestamp不一致。这种情况即使手工在另一边修正（通常由于应用在使用，也不能这样做），如何选取自动修正的同步，也仍然会报failed。此时只能停掉应用，通过整理VG来解决。cldump检查：cldump的监测为将当前HACMP的状态快照，确认显示为UP，STABLE。[host1][root][/]>/usr/sbin/cluster/utilities/cldump____________________________________________________________________________ClusterName:test_clusterClusterState:UPClusterSubstate:STABLE_____________________________________________________________________________NodeName:host1State:UPNetworkName:net_ether_01State:UPAddress:Label:host1_l1_svc1State:UPAddress:Label:host1_l1_svc2State:UPAddress:.1Label:host1_l1_boot1State:UPAddress:.1Label:host1_l1_boot2State:UPNetworkName:net_ether_02State:UPAddress:Label:host1_l2_svcState:UPAddress:.1Label:host1_l2_boot1State:UPAddress:.1Label:host1_l2_boot2State:UPNodeName:host2State:UPNetworkName:net_ether_01State:UPAddress:Label:host2_l1_svc1State:UPAddress:Label:host2_l1_svc2State:UPAddress:.2Label:host2_l1_boot1State:UPAddress:.2Label:host2_l1_boot2State:UPNetworkName:net_ether_02State:UPAddress:Label:host2_l2_svcState:UPAddress:.2Label:host2_l2_boot1State:UPAddress:.2Label:host2_l2_boot2State:UPClusterName:test_clusterResourceGroupName:host1_RGStartupPolicy:OnlineOnHomeNodeOnlyFalloverPolicy:FalloverToNe*tPriorityNodeInTheListFallbackPolicy:FallbackToHigherPriorityNodeInTheListSitePolicy:ignoreNodeState------------------------------host1ONLINEhost2OFFLINEResourceGroupName:host2_RGStartupPolicy:OnlineOnHomeNodeOnlyFalloverPolicy:FalloverToNe*tPriorityNodeInTheListFallbackPolicy:FallbackToHigherPriorityNodeInTheListSitePolicy:ignoreNodeState------------------------------host2ONLINEhost1OFFLINEclstat检查clstat可以实时监控HACMP的状态，及时确认显示为UP，STABLE[host1][root][/]>/usr/sbin/cluster/clstat注：如果没有反应，运行clinfo/etc/hosts环境检查正常情况下，2台互备的/etc/hosts应该是一致的，当然如果是主备机方式，可能备机会多些IP地址和主机名。通过对比2个文件的不同，可以确认是否存在问题。[host1][root][/]>rshhost2:/etc/hosts>/tmp/host2_hosts[host1][root][/]>diff/etc/hosts/tmp/host2_hosts脚本检查需要注意以下事项：应用的变更需要及时修正脚本，两边的脚本需要及时同步，并及时申请时间测试。上一点需要维护人员充分与应用人员沟通，运行环境的任何变更必须通过维护人员实施。维护人员启停应用要养成使用这些脚本启停的习惯，尽量避免手工启停。[host1][root][/home/scripts]>rshhost2"cd/home/scripts;ls-lhost1host2m">/tmp/host2_scripts[host1][root][/home/scripts]>ls-lhost1host2m">/tmp/host1_scripts[host1][root][/]>diff/tmp/host1_scripts/tmp/host2_scripts用户检查正常情况下，2台互备的HA使用到的用户情况应该是一致的，当然如果是主备机方式，可能备机会多些用户。通过对比2节点的不同，可以确认是否存在问题。[host1][root][/]>rshhost2lsuser-forarun,orarunc,tu*run,bs*1,\*>/tmp/host2_users[host1][root][/]>lsuser-forarun,orarunc,tu*run,bs*1,\*>/tmp/host1_users>/tmp/host1_users[host1][root][/]>diff/tmp/host1_user/tmp/host2_user注：两边的必然有些不同，如上次登录时间等等，只要主要部分相同就可以了。还有两边.profile的对比，用户环境的对比。[host1][root][/]>rshhost2su-orarun-cset>/tmp/b[host1][root][/]>su-orarun-cset>/tmp/a[host1][root][/]>diff/tmp/a/tmp/btty心跳检查由于心跳在HACMP启动后一直由HACMP在使用，所以需要强制停掉HACMP进行检查。察看tty速率确认速率不超过9600[host1][root][/]>stty-a</dev/tty0[host2][root][/]>cat/etc/hosts>/dev/tty0host1上显示speed9600baud;0rows;0columns;eucw1:1:0:0,scrw1:1:0:0:…检查连接和配置[host1][root][/]>host1:cat/etc/hosts>/dev/tty0[host2][root][/]>host2:cat</dev/tty0在host2可看到host1上/etc/hosts的容。同样反向检测一下。errpt的检查虽然有了以上许多检查，但我们最常看的errpt不要忽略，因为有些报错，需要大家引起注意，由于crontab里HACMP会增加这样一行：00***/usr/es/sbin/cluster/utilities/clcycle1>/dev/null2>/dev/null*HACMPforAI*Logfilerotation即实际上每天零点，系统会自动执行HACMP的检查，如果发现问题，会在errpt看到。除了HACMP检查会报错，其他运行过程中也有可能报错，大都是由于心跳连接问题或负载过高导致HACMP进程无法处理，需要引起注意，具体分析解决。变更及实现由于维护的过程出现的情况远比集成实施阶段要复杂，即使红皮书也不能覆盖所有情况。这里只就大家常见的情况加以说明，对于更为复杂或者更为少见的情况，还是请大家翻阅红皮书，实在不行计划停机重新配置也许也是一个快速解决问题的笨方法。这里的变更原则上是不希望停机，但实际上HACMP的变更，虽然说部分支持DARE（dynamicreconfiguration），绝大部分操作支持Forcestop完成，我们还是希望有条件的话停机完成。对于DARE，我不是非常赞成使用，因为使用不当会造成集群不可控，危险性更大。我一般喜欢使用先强制停止HACMP，再进行以下操作,结束同步确认后再startHACMP。卷组变更-增加磁盘到使用的VG里:注意，pvid一定要先认出来，否则盘会没有或不正常。集群的各个节点机器运行cfgmgr，设置pvid[host1][root][/]>cfgmgr[host1][root][/]>lspv….hdisk200c1eedf6ddb9f5ehost1vghdisk300c1eedffa577b0ehost2vghdisk4nonenone[host1][root][/]>chdev-lhdisk2-apv=yes[host1][root][/]>lspv….hdisk400c1eedffc677bfenone在host2上也要做同样操作。运行C-SPOC增加盘到host2vg:smittyhacmp->SystemManagement(C-SPOC)->HACMPLogicalVolumeManagement->SharedVolumeGroups->SetCharacteristicsofaSharedVolumeGroup->AddaVolumetoaSharedVolumeGroup选择节点VG和磁盘增加即可ResouceGroupName host2_RGVOLUMEGROUPname hostvgReferencenodehost2VOLUMEnameshdisk4完成后两边都可看到hdisk300c1eedffa577b0ehost2vghdisk400c1eedffc677bfehost2vglv变更lv的变更不多，可以变更的部分如下：smittyhacmp->SystemManagement(C-SPOC)->HACMPLogicalVolumeManagement->ShowCharacteristicsofaSharedLogicalVolume->SharedLogicalVolumes->ChangeaSharedLogicalVolume选择lv*ResourceGroupNamehost2_RGMA*IMUMNUMBERofPHYSICALVOLUMES[8][/ora10runc]MA*IMUMNUMBERofLOGICALPARTITIONS[512]裸设备增加空间：smittyhacmp->SystemManagement(C-SPOC)->HACMPLogicalVolumeManagement->SharedLogicalVolumes->SetCharacteristicsofaSharedLogicalVolume->IncreasetheSizeofaSharedLogicalVolume[EntryFields]ResourceGroupNamerac2_RGLOGICALVOLUMEname*WFTPlvReferencenoderac2*NumberofADDITIONALlogicalpartitions[100]PHYSICALVOLUMEnameshdisk3POSITIONonphysicalvolumeouter_middleRANGEofphysicalvolumesminimumMA*IMUMNUMBERofPHYSICALVOLUMES[]touseforallocationAllocateeachlogicalpartitioncopysuperstrictonaSEPARATEphysicalvolume"FilecontainingALLOCATIONMAP[]文件系统变更smittyhacmp->SystemManagement(C-SPOC)->HACMPLogicalVolumeManagement->SharedFileSystems->EnhancedJournaledFileSystems->Change/ShowCharacteristicsofaSharedEnhancedJournaledFileSystemResourceGroupNamebg595b02_RGFilesystemname/cubeNEWmountpoint[/cube]SIZEoffilesystem[6291456]MountGROUP[]PERMISSIONSread/writeMountOPTIONS[]StartDiskAccounting"noBlockSize(bytes)4096InlineLog"noInlineLogsize(MBytes)0服务IP地址变更增加服务IP地址修改/etc/hosts,增加以下行host1_l2_svchost2_l2_svc2HACMP新增服务IPsmittyhacmp->E*tendedConfiguration->HACMPE*tendedResourcesConfiguration->ConfigureHACMPServiceIPLabels/Addresses->AddaServiceIPLabel/Address->ConfigurableonMultipleNodes选择网络AddaServiceIPLabel/AddressconfigurableonMultipleNodes(e*tended)Typeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.*IPLabel/Addresshost1_svc2*NetworkNamenet_ether_01AlternateHWAddresstoacpanyIPLabel/Address[]同样增加host2_svc2修正资源组smittyhacmp->E*tendedConfiguration->E*tendedResourceConfiguration->HACMPE*tendedResourceGroupConfiguration->Change/ShowResourcesandAttributesforaResourceGroup->Change/ShowAllResourcesandAttributesforaResourceGroupTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]ResourceGroupNameeai1d0_RGParticipatingNodes(DefaultNodePriority)bgbcb11bgbcb04StartupPolicyOnlineOnHomeNodeOnlyFalloverPolicyFalloverToNe*tPriorityNodeInTheListFallbackPolicyFallbackToHigherPriorityNodeInTheListFallbackTimerPolicy(emptyisimmediate)[]ServiceIPLabels/Addresses[host1_svchost1_svc2]HACMP同步需要同步，参见第2部分的“检查和同步HACMP配置”一节。HACMP启动注意修改启动参数使得启动时重新申请资源，触发新增服务IP生效。这时netstat

-in，可以看到地址生效了。修改服务IP地址如果要修改应用服务使用的IP地址，自然是需要停止应用来进行的。比如要将原地址10.2.200.*改为10.2.201.*，路由改为54步骤如下：正常停止HACMPsmittyclstop->graceful所有节点修改/etc/hosts将服务地址修改为需要的地址host1_l2_svchosthost2_l2_svchost2修改启动脚本的路由部分（如果需要）在一个节点修改HACMP的配置smittyhacmp->E*tendedConfiguration->HACMPE*tendedResourcesConfiguration->ConfigureHACMPServiceIPLabels/Addresses->Change/ShowaServiceIPLabel/Address选择host1_l2_svc不做修改，直接回车即可，同样修改host2璤l2_svc。smittyhacmp->E*tendedConfiguration->E*tendedResourceConfiguration->HACMPE*tendedResourceGroupConfiguration->Change/ShowResourcesandAttributesforaResourceGroup->Change/ShowAllResourcesandAttributesforaResourceGroup选择host1_RG不做修改，直接回车即可，同样修改host2璤RG同步HACMP。重新启动HACMP并确认。注意修改启动参数使得启动时重新申请资源，触发新服务IP地址生效。注意：如果修改的不是应用服务要用的地址，或者修改期间对该地址的服务可以暂停，则可以将步骤1改为强制停止，增加第7步。整个过程可以不停应用服务。7.去除原有服务IP地址netstat-in找到该服务IP地址所在网卡en2。然后执行：boot地址变更smittytcpip修改网卡的地址修改/etc/hosts的boot地址修改HACMP配置smittyhacmp->E*tendedConfiguration->E*tendedTopologyConfiguration->E*tendedTopologyConfigurationChange/ShowamunicationInterfaceNodeName[bgbcb04]NetworkInterfaceen1IPLabel/Addressbgbcb04_boot1N