系统升级及集群扩展实施方案样本

SAP系统升级及集群实行方案SAP系统升级及集群实行方案长沙友旭信息科技有限公司二00八年十一月目录一、 前言 2二、 有关配备信息 31、 主机信息 32、 主机卷信息 33、 存储信息 34、 系统及软件规划 45、 IP规划 4三、 AIX系统安装调试 51、 安装系统 52、 系统安装设立 53、 扩展软件包安装 7四、 EtherChannel（以太通道）配备及规划 111、 配备前要考虑事项： 112、 配备EtherChannel 123、 配备备份网卡 12五、 HACMP安装配备 131、 HACMP及补丁安装 132、 HACMP配备 143、 HACMP启动 184、 HACMP关闭 195、 配备HAMCP后EMC存储性能调节 20六、 主机软硬件详细信息 211、 sapprd00主机详细信息 212、 sapprd01主机详细信息 21前言三一重工之前SAP系统平台在IBMP561小型机上运营，考虑到既有硬件环境已经不能满足业务需要，决定进行设备更新换代新购买两台IBMP570小型机加EMC存储系统，将SAP系统移到P570上，并且建立高可用HA集群环境。此方案详细记录了系统升级后拓扑图和硬件设备配备；实行过程中AIX系统安装配备、enthchnnal配备及规划、HACMP安装配备；用于提供Pseries系统硬件平台重要信息备份，为日后维护硬件平台提供重要数据记录，从而进一步提高此硬件平台高可用性，高可靠性以及高可维护性。系统构造图

有关配备信息主机信息机型系统版本数据库版本HACMP版本9117-MMAAIX5300-06OracleHACMP5.3主机卷信息主机卷组PP(M)逻辑卷文献系统大小功能sapprd00rootvg256系统卷/512M/usr8G/var512M/tmp2G/home4G/opt512M/media4Gsapprd01rootvg256系统卷/512M/usr8G/var512M/tmp2G/home4G/opt512M存储信息机型RAID规划LUN规划控制器EMC

系统及软件规划分类项目描述备注主机节点名sapprd00/sapprd01AIX版本5300-06HA版本HACMP5.3共享卷组datavg网卡en0：/24/24en2：/24/24数据库Oracle版本归档模式归档实例名ORCL数据库名ORCL存储方式裸设备磁盘阵列管理IP数据库顾客名/密码oracle/sys/超级顾客IP规划主机名IP地址别名阐明sapprd00sapprd00_boot1sapprd00节点boot1IPsapprd00_boot2sapprd00节点boot2IPsapprd00_persapprd00节点管理IPsapprd_svc服务IPsapprd0sapprd01_boot1sapprd01节点boot1IPsapprd01_boot2sapprd01节点boot2IPsapprd01_persapprd01节点管理IP

AIX系统安装调试安装系统将设备上电，插入操作系统光盘开始进行操作系统安装。系统安装设立在开始正式操作系统之前，咱们需要对操作系统安装控制台、安装方式、安装时语言环境等参数进行设立，其详细环节如下：1、在小机加电后按‘F5’键，设立光驱引导，浮现下面安装界面中一方面按‘F1’键，然后按回车键设立系统控制台*******PleasedefinetheSystemConsole.*******TypeaF1andpressEntertousethisterminalasthesystemconsole.TypeenF1endrukopEnteromdezeterminalalsdesysteemconsoletogebruiken.Pourdefinirceterminalcommeconsolesysteme，appuyezsurF1puissurEntree.TasteF1undanschliessenddieEingabetastedruecken，umdieseDatenstationalssystemkonsolezuverwenden.Premereiltasto1edInvioperusarequestoterminalcomeconsole.EscribaF1ypulseIntroparautilizarestaterminalcomoconsoladelsistema.EscriviuF11ipremeuIntroperutilitzaraquestterminalcomaconsoladelsistema.DigiteumF1epressioneEnterparautilizaresteterminalcomoconsoledosistema.2、按“1”1Type1andpressEntertohaveEnglishduringinstall.2Entreu2ipremeuIntroperveurelainstalaci*encatal*.3Entrez3poureffectuerl'installationenfranis.4InstallationindeutscherSprache4eingebenunddieEingabetastedrken.5Immettere5epremereInvioperl'installazioneinItaliano.6Digite6epressioneEnterparausarPortugunainstala.7Escriba7ypulseIntroparausarelidiomaespaldurantelainstalaci.8Skriv8ochtrycknedEnter=Svenskavidinstallationen.88Help?3、在如下BOS系统安装界面选取“2”，即选取“Change/ShowInstallationSettingsandInstall”WelcometoBaseOperatingSystemInstallationandMaintenanceTypethenumberofyourchoiceandpressEnter.Choiceisindicatedby>>>.>1StartInstallNowwithDefaultSettings2Change/ShowInstallationSettingsandInstall3StartMaintenanceModeforSystemRecovery88Help?99PreviousMenu>>>Choice[1]：‘2阐明：选项1：按照缺省方式安装操作系统。选项2：如果要变化安装方式和系统设立。选项3：进入系统维护模式。4、在如下安装界面中选取“1”InstallationandSettingsEithertype0andpressEntertoinstallwithcurrentsettings，ortypethenumberofthesettingyouwanttochangeandpressEnter.1SystemSettings:MethodofInstallation...NewandCompleteOverwriteDiskWhereYouWanttoInstall.hdisk02PrimaryLanguageEnvironmentSettings(AFTERInstall):CulturalConventionEnglish(UnitedStates)LanguageEnglish(UnitedStates)KeyboardEnglish(UnitedStates)KeyboardTypeDefaultInstallTrustedComputingBase...No>>>0InstallAIXwiththecurrentsettingslistedabove.+88Help?|WARNING：BaseOperatingSystemInstallationwill99PreviousMenu|destroyorimpairrecoveryofALLdataonthe|destinationdiskhdisk0.>>>Choice[0]:阐明：在如上安装界面中选取“1”，重新设立系统安装方式后有两个功能选项可以供安装者对系统安装方式进行重新设立。A、“MethodofInstallation”（安装方式），其中有三种安装方式可供选取：-NewandCompleteOverwriteInstallation.(完全覆盖)-MigrationInstallation.（升级安装）-PreservationInstallation.（保护安装）为了保证安装一种干净操作系统，这里咱们选取第一种安装办法以全新、完全覆盖方式来安装操作系统，即选取“1”。B、“DiskWhereYouWantToInstall”菜单项，选取hdisk0作为安装目的盘。5、在完毕系统安装方式后将正式开始从光盘安装操作系统InstallingBaseOperatingSystemIfyouusedthesystemkeytoselectSERVICEmode,turnthesystemkeytotheNORMALpositionanytimebeforetheinstallationends.Pleasewait...ApproximateElapsedtime%taskscomplete(inminutes)00ApproximateElapsedtime%taskscomplete(inminutes)9512Installingadditionalsoftware.操作系统安装过程中会提示进行相应光盘更换，完毕之后系统将自动重新启动，待系统重启后咱们将进行操作系统扩展包安装。扩展软件包安装1、以root登录2、安装AIX5.3Fileset#smittyinstallp选取INPUTdevice/directoryforsoftware为[/dev/cd0](按F4选取)进入SOFTWAREtoinstall选取所需安装软件开头有"@"符即已安装过开头有"+"符即未安装过如下必要装: 安装以bos、rsct、X11打头所有文献集F7确认/选取/为搜索倒数2项选取YES3、升级系统#smittyupdate_all在“INPUTdevice/directoryforsoftware”处输入TL包所在位置在“softwaretoupdate”处选取要安装包在“commitsoftwareupdates?”处可选取NO在“ACCEPTnewlicenseagreements?”处选取YES异步I/O设立#smittychgaioMINIMUMnumberofservers[1]MAXIMUMnumberofservers[10]STATEtobeconfiguredatsystemrestartavailable系统时区设立东八区,北京时间(不用“夏令时”)，时间和日期为当前时间和日期修改成当前日期和时间#smittysystemenvironments――》Change/ShowDateandTime――》Change/ShowDate&Time修改成东八区,北京时间(不用“夏令时”)#smittysystemenvironments――》Change/ShowDateandTime――》ChangeTimeZoneusingsystemdefinedvalues浮现如下提示UseDAYLIGHTSAVINGSTIME？选取No，浮现提示菜单选取(BEIST-8)PeoplesRep.China(CUT+8)顾客最大进程数、watermark设立#smittychgsysMaximumnumberofPROCESSESallowedperuser[4096]HIGHwatermarkforpendingwriteI/Osperfile[33]LOWwatermarkforpendingwriteI/Osperfile[24]换页空间设立PageSpace默认hd6大小为512M，对于数据库服务器，可扩大到8G或与内存大小同样依照业务运营状况可配备1个PageSpace01，并且PageSpace01位于本地磁盘hdisk2，再删除hd6新增PageSpace01#smittymkps新增PageSpace01Pagingspacenamepage00Volumegroupname[rootvg]Physicalvolumename[hdisk2]NUMBERofadditionallogicalpartitions[32]#smittyswapon激活新增PageSpace01删除hd6互换空间运营命令使hd6互换空间处在非活动状态#smittyswapoff删除ps互换空间，采用命令删除hd6互换空间#smittyrmps配备文献属性修改将/etc/security/limits文献中nofiles配备项改为8192，fsize配备项改为-1rootvg镜像（1）#extendvgrootvghdisk1（2）镜像rootvg#mirrorvgrootvg（时间比较长）（3）#bosboot-ad/dev/hdisk0#bosboot-ad/dev/hdisk1(4)#bootlist-mnormalhdisk0hdisk1

EtherChannel（以太通道）配备及规划AIX集成了EtherChannel功能，可以实现2块网卡以上负载均衡和冗余，EtherChannel技术最重要好处是她可以累加所有成员网卡带宽。如果一种成员网卡失效，EtherChannel会自动调节流量分派方略，从而只使用剩余网卡进行工作。失效网卡修复后，EtherChannel会重新启用她。配备前要考虑事项：对于每个EtherChannel您可以配备多达8个主以太网适配器，每个EtherChannel仅具备一种备份以太网适配器。同一种EtherChannel所有成员网卡都需要连接在同一种互换机上。如果这个互换机浮现故障，整个EtherChannel就都会失效。为理解决这个问题，可以配备备份网卡。顾客能为整个EtherChannel指定一块备份网卡，这块网卡连接在不同互换机上。当整个EtherChannel失效时，这块网卡会自动顶替EtherChannel功能。您可以在一种系统上配备各种EtherChannel，但是每个EtherChannel会组建一种附加以太网接口。在EtherChannel中可以使用任何受支持以太网适配器。然而，以太网适配器必要连接到一种支持EtherChannel互换机。请参阅随互换机一起提供文档以拟定它与否支持EtherChannel（互换机文档也许也将该能力称作“链路汇集”或“中继”）。在EtherChannel中所有适配器都应当配备为相似速度（例如，100Mbps），并且应当是全双工。配备完EtherChannel后，系统不能访问EtherChannel中使用适配器。要修改它们任何属性，如介质速度，传送或接受排队大小等等，则在将它们包括在“EtherChannel”之前必要进行这些操作。筹划用于EtherChannel适配器不应当给它们配备IP地址。当使用拥有IP地址适配器配备以太通道时，请保证它们接口处在拆离（detach）状态。要添加到EtherChannel适配器不能具备up状态接口（如果它们IP地址是使用SMIT配备就会发生这种状况）。这会导致机器在重新引导时提示EtherChannel产生问题，由于在DOM中底层接口在EtherChannel启用之前就使用了。因而，配备EtherChannel时，它会发现它其中一种适配器已经在使用。要变化这种状况，请在创立EtherChannel之前，输入smitchinet，选取EtherChannel中所要涉及适配器每一种接口，将它state值更改为detach。这样就会保证机器重新引导时可以对的地配备EtherChannel。（请注意，不要用ifconfig命令去做，这样将不会修改ODM）如果筹划使用超常帧（JumboFrames），则在创立EtherChannel之前您也许需要启用每个适配器以及EtherChannel自身这一功能。在命令行中输入smittychgenet。将EnableJumboFrames值更改为yes然后按下Enter键。请为您要启用“超长帧”每一种适配器执行这一操作。稍后，您还要启用EtherChannel自身超长帧。注:在AIX5.2及后续版本中，一旦超常帧在EtherChannel自身中启用，则不必启用每个底层适配器中超常帧。如果将启用超常帧属性设立为yes，则该功能将自动启用。

配备EtherChannel用root登录，在命令行运营smittyetherchannel。选取Addanetherchannel。选取etherchannel成员网卡。按照如下阐明输入下列信息：Mode中选取RoundRobin模式：在这种模式下各个成员网卡被轮流使用，每轮每个网卡发送一种数据包。在更改了但愿更改字段后按Enter键来创立EtherChannel。使用smitchinet为EtherChannel设备（entx）设立IP地址从列表中选取新“etherchannel”接口。填充所有需要字段并按Enter键。配备备份网卡 用root权限，在命令行上输入smitetherchannel。从列表中选取Change/ShowCharacteristicsofanEtherChannel/LinkAggregation并按下Enter键。选取AddBackupAdapter并按Enter键。增长备份网卡到EtherChannel设备（entx）中。

HACMP安装配备HACMP及补丁安装将安装文献和patch通过ftp工具上传到主机，所在目录如下：安装文献所在目录：/media/hacmp/hacmp53patch所在目录：/media/hacmp/patch#smittyinstallpInstallSoftwareTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]*INPUTdevice/directoryforsoftware/media/hacmp/hacmp53*SOFTWAREtoinstall[_all_latest]+PREVIEWonly?(installoperationwillNOToccur)no+COMMITsoftwareupdates?yes+SAVEreplacedfiles?no+AUTOMATICALLYinstallrequisitesoftware?yes+EXTENDfilesystemsifspaceneeded?yes+OVERWRITEsameornewerversions?no+VERIFYinstallandcheckfilesizes?no+IncludecorrespondingLANGUAGEfilesets?yes+DETAILEDoutput?no+Processmultiplevolumes?yes+ACCEPTnewlicenseagreements?yes+PreviewnewLICENSEagreements?no+阐明：按F4进入软件产品选取，除cluster.hativoli、cluster.haview和rsct.exp文献集外都安装#smittyupdate_allUpdateInstalledSoftwaretoLatestLevel(UpdateAll)Typeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]*INPUTdevice/directoryforsoftware/media/hacmp/patch*SOFTWAREtoupdate_update_allPREVIEWonly?(updateoperationwillNOToccur)no+COMMITsoftwareupdates?yes+SAVEreplacedfiles?no+AUTOMATICALLYinstallrequisitesoftware?yes+EXTENDfilesystemsifspaceneeded?yes+VERIFYinstallandcheckfilesizes?no+DETAILEDoutput?no+Processmultiplevolumes?yes+ACCEPTnewlicenseagreements?yesPreviewnewLICENSEagreements?no+HACMP配备编辑/etc/hosts文献，内容如下： sapprd00_boot1 sapprd00_boot sapprd00_per sapprd01_boot1 sapprd01_boot sapprd01_per sapprd_svc阐明：hosts文献在所有节点上必要保持一致。编辑/usr/es/sbin/cluster/etc/rhosts文献，内容如下：sapprd00_boot1 sapprd00_boot2sapprd00_persapprd01_boot1sapprd01_boot2sapprd01_persapprd_svc阐明：rhosts文献在所有节点上必要保持一致。#smittyhacmpExtendedConfigurationàExtendedTopologyConfigurationàConfigureanHACMPClusteràAdd/Change/ShowanHACMPCluster*ClusterName[cl_sapprd]ExtendedConfigurationàExtendedTopologyConfigurationàConfigureHACMPNodesàAddaNodetotheHACMPCluster*NodeName[sapprd00]

CommunicationPathtoNode[sapprd00]ExtendedConfigurationàExtendedTopologyConfigurationàConfigureHACMPNodesàAddaNodetotheHACMPCluster*NodeName[sapprd01]

CommunicationPathtoNode[sapprd01]ExtendedConfigurationàDiscoverHACMP-relatedInformationfromConfiguredNodesExtendedConfigurationàExtendedTopologyConfigurationàConfigureHACMPNetworksàAddaNetworktotheHACMPCluster#DiscoveredIP-basedNetworkTypesetherAddanIP-BasedNetworktotheHACMPCluster*NetworkName[net_ether_01]*NetworkTypeether*Netmask[]*EnableIPAddressTakeoverviaIPAliases[Yes]IPAddressOffsetforHeartbeatingoverIPAliasesExtendedConfigurationàExtendedTopologyConfigurationàConfigureHACMPNetworksàAddaNetworktotheHACMPCluster#DiscoveredSerialDeviceTypes?rs232*NetworkName[net_rs232_02]*NetworkTypers232ExtendedConfigurationàExtendedTopologyConfigurationàConfigureHACMPCommunicationInterfaces/DeviceàAddCommunicationInterfaces/DevicesàAddDiscoveredCommunicationInterfaceandDevicesàCommunicationInterfacesànet_ether_01#Node/Network#InterfaceIPLabelIPAddress#net_ether_01/sapprd00>en0sapprd00_boot1>en2sapprd00_boot2#net_ether_01/sapprd01>en0sapprd01_boot2>en2sapprd01_boot1ExtendedConfigurationàExtendedTopologyConfigurationàConfigureHACMPCommunicationInterfaces/DeviceàAddCommunicationInterfaces/DevicesàAddDiscoveredCommunicationInterfaceandDevicesàCommunicationDeviceànet_ether_01ExtendedConfigurationàExtendedTopologyConfigurationàConfigureHACMPCommunicationInterfaces/DeviceàAddDiscoveredCommunicationInterfaceandDevicesàCommunicationInterfacesànet_rs323_02*DeviceName[sapprd00_tty0_01]*NetworkTypers232*NetworkNamenet_rs323_02*DevicePath[/dev/tty0]*NodeName[sapprd00]*DeviceName[sapprd01_tty0_01]*NetworkTypers232*NetworkNamenet_rs323_02*DevicePath[/dev/tty0]*NodeName[sapprd01]ExtendedConfigurationàExtendedTopologyConfigurationàConfigureHACMPPersistentNodeIPLabel/AddressesàAddaPersistentNodeIPLabel/Addressàsapprd00&sapprd01*NodeNamesapprd00*NetworkName[net_ether_01]+*NodeIPLabel/Address[sapprd00_per]+*NodeNamesapprd01*NetworkName[net_ether_01]+*NodeIPLabel/Address[sapprd01_per]+ExtendedConfigurationàHACMPExtendedResourcesConfigurationàConfigureHACMPApplicationsàConfigureHACMPApplicationServeràAddanApplicationServer[EntryFields]*ServerName[app]*StartScript[/hascripts/dbstart.sh]*StopScript[/hascripts/dbstop.sh]ApplicationMonitorName(s)+ExtendedConfigurationàHACMPExtendedResourcesConfigurationàConfigureHACMPServiceIPLabels/AddressesàAddaServiceIPLabel/AddressàConfigurableonMultipleNodesànet_ether_01*IPLabel/Address[sapprd_svc]+*NetworkNamenet_ether_01AlternateHardwareAddresstoaccompanyIPLabel/Address[]ExtendedConfigurationàHACMPExtendedResourceConfigurationàHACMPExtendedResourceGroupConfigurationàAddaResourceGroup[EntryFields]*ResourceGroupName[rg]*ParticipatingNodes(DefaultNodePriority)[sapprd00sapprd01]StartupPolicyOnlineOnAllAvailableNodesFalloverPolicyBringOffline(OnErrorNodeOnly)FallbackPolicyNeverFallbackExtendedConfigurationàHACMPExtendedResourceConfigurationàHACMPExtendedResourceGroupConfigurationàChange/ShowResourcesandAttributesforaResourceGroupàrgResourceGroupNamergParticipatingNodes(DefaultNodePriority)sapprd00sapprd01StartupPolicyOnlineOnHomeNodeO>FalloverPolicyFalloverToNextPrio>FallbackPolicyNeverFallbackServiceIPLabels/Addresses[sapprd_svc]+ApplicationServers[app]+VolumeGroups[datavg]+Useforcedvaryonofvolumegroups，ifnecessaryfalse+AutomaticallyImportVolumeGroupsfalse+Filesystems(emptyisALLforVGsspecified)[]+FilesystemsConsistencyCheckfsck+FilesystemsRecoveryMethodsequential+FilesystemsmountedbeforeIPconfiguredfalse+Filesystems/DirectoriestoExport[]+ExtendedConfigurationàExtendedVerificationandSynchronization[EntryFields]*Verify，SynchronizeorBoth[Both]*Automaticallycorrecterrorsfoundduringverification?[Yes]阐明：1、待校验和同步提示OK后，至此HACMP配备完毕。2、HACMP配备过程只需在一种节点上完毕，本例中为sapprd00节点。HACMP启动#smittyclstartStartClusterServicesTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]*Startnow，onsystemrestartorbothnow+StartClusterServicesonthesenodes[sapprd00sapprd01]+BROADCASTmessageatstartup?true+StartupClusterInformationDaemon?false+Reacquireresourcesafterforceddown?false+Ignoreverificationerrors?false+AutomaticallycorrecterrorsfoundduringInteractively+clusterstart?#ifconfig-aen0：flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>inetnetmask0xffffff00broadcast55inetnetmask0xffffff00broadcast55inetnetmask0xffffff00broadcast55tcp_sendspace131072tcp_recvspace65536rfc13230en2：flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>inetnetmask0xffffff00broadcast55tcp_sendspace131072tcp_recvspace65536rfc13230lo0：flags=e08084b<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT>inetnetmask0xff000000broadcast55inet6::1/0tcp_sendspace131072tcp_recvspace131072rfc13231阐明：HACMP启动成功后，会浮现8服务IP地址。#lspvhdisk00007e07178c6be96rootvgactivehdisk10007e07187e36324rootvgactivehdisk20007e0d38e043874datavg