SUN V490+OracleHA双机改造文档

44/44FZPU双机安装文档(Solaris10+Oracle9i+SVM+SunCluster3.1)文档版本：RCV1.0编写作者：Fzpu印刷约定蓝色代表系统showrun内容红色代表注释参考资料:SunCluster3.18/05发行说明（适用于SolarisOS）SunCluster软件安装指南（适用于SolarisOS）SunCluster系统管理指南（适用于SolarisOS）用于Oracle的SunCluster数据效劳指南（适用于SolarisOS）SolarisVolumeManager管理指南SunStorageTek™CommonArrayManager软件安装指南SunStorageTek™6140阵列硬件安装指南日期：2008.11.1硬件环境：管理工作站：无效劳器：2×SUNV490磁盘阵列：SUNStortek6140软件环境：Solaris10SunCluster3.1SunClusteragentforHA-OracleSolarisVolumeManager主机命名规则：效劳器：第一台V490：web-db1；第二台V490：web-db2Suncluster+oracle安装规划（如表K-1所示）：表K-1操作系统SunSolaris1005/08集群软件SunCluster3.1卷管理软件SolarisVolumeManager数据库软件Oracle节点1节点2浮动IP地址6子网掩码网关54IPMP测试IP地址1web-db1-ce0-test2web-db1-ce1-test3web-db2-ce0-test4web-db2-ce1-test节点1对应的主机名web-db1节点2对应的主机名web-db2Cluster名称fzpu-cluster系统用户oracle(dba组)浮动IP对应的主机名web-db一效劳器V490的安装：1.安装前的规划每台效劳器配有两个146G的硬盘做raid1，其中web-db1有16G内存做主节点,web-db2有8G内存。系统安装好之后，两个节点的分区一致，防止出现不可预料的情况。按图1的连接方式，使web-db1和web-db2同时连接6140，确保两台主机都能找到Stortek6140内的硬盘。图1:2.操作系统安装操作系统：Solaris10注意：在安装操作系统的过程中千万要注意两台主机都不要接存储，不然的话两台主机的系统盘和Stortek6140的Target号会不一致，会对以后的安装产生影响。安装操作系统EIS补丁详细步骤3)按照以下的规划安装操作系统web-db1与web-db2相同(表K-2)：由于要安装SC3.1+svm，请预留系统盘的第5分区空间1G，用来建立/globaldevices，第七分区空间512MB用来放置metadb信息注：/globaldevices-创立一个512兆字节的文件系统供scinstall实用程序针对全局设备使用。（分片7）meta分区用于存放卷管理器的状态数据库副本在磁盘的最后一个分片上创立一个20兆字节的分区供卷管理器使用。如果群集使用VERITASVolumeManager(VxVM)并且您要封装根磁盘，则需要有两个未使用的盘片以供VxVM使用。表K-2分区号分区名分区大小说明0/91325MB为分片1至7分配空间后磁盘中剩余的空闲空间。可供SolarisOS、SunCluster软件、数据效劳软件、卷管理器软件、SunManagementCenter代理和SunCluster模块代理软件包、根文件系统以及数据库和应用程序软件使用。1Swap16G2Overlap139989MB整个磁盘3/var20G4/tmp10G5/globaldevices1GBSunCluster软件稍后会给该盘片指定一个不同的装载点并将它装载为一个群集文件系统。6未使用7卷管理器512MBmetadb专用文件系统和磁盘格式以下汇总是你当前的文件系统和磁盘格式,基于你所提供的信息.注意:如果你选择用户化,则你应该了解文件系统,它们在磁盘上的期望目的以及如何改变它们可能会影响系统的操作.文件系统/安装点硬盘/分片大小========================================================================/c1t1d0s091325MBswapc1t1d0s116386MBoverlapc1t1d0s2139989MB/varc1t1d0s320481MB/tmpc1t1d0s410245MB/globaldevicesc1t1d0s51033MBc1t1d0s7516MB4)设置OBP变量local-mac-address为true，

在OBP下：setenv local-mac-address?true

或在Solaris下：eepromlocal-mac-address?=true注：（此选项为solaris多路径必须满足的条件，local-mac-address?变量必须使用Ethernet适配器的默认值true。对于以太网适配器，SunCluster软件不支持local-mac-address?的值为false。此要求与SunCluster3.0不同，SunCluster3.0要求local-mac-address?的值为false。）5)配置/etc/hosts，输入所有cluster节点和逻辑主机IP记录：在两台主机上配置好

IPMP连接两条ce口私网线配置IPMPweb-db1的/etc/hosts信息##Internethosttable#::1localhostlocalhostweb-db1loghostweb-db2#IPMPtestaddress1web-db1-ce0-test2web-db1-ce1-test#logicaddress6web-db(全局逻辑地址)web-db1的/etc/hostname.ce0信息web-db1netmask+broadcast+groupipmp0upaddifweb-db1-ce0-testnetmask+broadcast+deprecated-failoverupweb-db1的/etc/hostname.ce1信息web-db1-ce1-testnetmask+broadcast+groupipmp0deprecated-failoverup

web-db2的/etc/hosts信息root@web-db2#cat/etc/hosts##Internethosttable#::1localhostlocalhostweb-db2loghostweb-db1#IPMPtestaddress3web-db2-ce0-test4web-db2-ce1-test#logicaddress6web-db(全局逻辑地址)web-db2的/etc/hostname.ce0信息web-db2netmask+broadcast+groupipmp0upaddifweb-db2-ce0-testnetmask+broadcast+deprecated-failoverupweb-db2的/etc/hostname.ce1信息web-db2-ce1-testnetmask+broadcast+groupipmp0deprecated-failoverup以下在两机上完成6)修改文件/etc/defaultrouter，设置缺省路由vi/etc/defaultrouter

547)修改文件/etc/system，参加以下3行：

exclude:lofssetce:ce_taskq_disable=1二．Stortek6140安装识别.1配置StorEdge6140：

详细配置注：StorEdge6140共有10块146GFC硬盘，其中8个硬盘做RAID5，剩下的2个做hotspare盘。由于suncluster需要一个quorum盘，Oracle需使用raw做文件系统，所以划分了三个partion。Quorum分区1024MB即可。让系统重新扫描硬件设备root@web-db1#reboot---r

运行cfgadm

–al

可以看见系统已经注册了控制器，只需启用多路径mpxio即可。root@web-db1#cfgadm-alAp_IdTypeReceptacleOccupantConditionc0scsi-busconnectedconfiguredunknownc0::dsk/c0t0d0CD-ROMconnectedconfiguredunknownc1fc-privateconnectedconfiguredunknownc1::5000cca00432dcc9diskconnectedconfiguredunknownc1::5000cca00432dce1diskconnectedconfiguredunknownc2fc-privateconnectedconfiguredunknownc2::200400a0b82aaf01diskconnectedconfiguredunknownc3fc-privateconnectedconfiguredunknownc3::200500a0b82aaf01diskconnectedconfiguredunknownusb0/1usb-mouseconnectedconfiguredokusb0/2usb-deviceconnectedconfiguredokusb0/3unknownemptyunconfiguredokusb0/4unknownemptyunconfiguredokroot@web-db1#ls-l/dev/fc总数6lrwxrwxrwx1rootroot5112月1日12:55fp0->../../devices/pci@8,600000/SUNW,qlc@1/fp@0,0:devctllrwxrwxrwx1rootroot5112月1日12:55fp1->../../devices/pci@8,600000/SUNW,qlc@2/fp@0,0:devctllrwxrwxrwx1rootroot5112月1日12:55fp2->../../devices/pci@9,600000/SUNW,qlc@2/fp@0,0:devctl注：（fp0,fp1为HBA卡上的光纤通道,fp2为本地的光线通道fp0,fp1开启多路径，fp2关闭多路径）root@web-db1#vi/kernel/drv/fp.conf

添加如下语句。

注释掉#mpxio-disable="yes";parent="/pci@8,600000/SUNW,qlc@1"port=0mpxio-disable="no";name="fp"parent="/pci@8,600000/SUNW,qlc@2"port=0mpxio-disable="no";name="fp"//fp0,fp1开启多路径parent="/pci@9,600000/SUNW,qlc@2"port=0mpxio-disable="yes";name="fp"

//fp2关闭多路径注:（多路径软件用于管理指向共享群集存储设备的多个I/O路径。对于Solaris8或Solaris9操作系统，安装并配置SunStorEdgeTrafficManager软对于Solaris10操作系统，启用Solaris多路径功能，此功能作为Solaris10软件的一局部已被默认安装。以上说明在HBA卡FC接口上启用mpxio，而不是全局启用。这样正常阵列设备识别的磁盘号就为长串字符，而本地磁盘识别的磁盘号为正常的cxtxsx，因为只是在FC口局部启用的多路径，而本地禁用多路径）

root@web-db1#stmsboot–uWARNING:Thisoperationwillrequireareboot.

Doyouwanttocontinue?[y/n](default:y)y

Thechangeswillcomeintoeffectafterrebootingthesystem.

Rebootthesystemnow?[y/n](default:y)y

在web-server2上执行相同的步骤

可以看见盘阵已经变成multipath-devices

root@web-db1#formatSearchingfordisks...doneAVAILABLEDISKSELECTIONS:0.c1t0d0<SUN146Gcyl14087alt2hd24sec848>/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dcc9,01.c1t1d0<SUN146Gcyl14087alt2hd24sec848>/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dce1,02.c4t600A0B80002A2B320000066F492B138Dd0<SUN-CSM200_R-0619cyl63998alt2hd256sec64>/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d3.c4t600A0B80002AAF00000007BF492B135Cd0<SUN-CSM200_R-0619cyl510alt2hd64sec64>/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c4.c4t600A0B80002AAF00000007C5492B13D6d0<SUN-CSM200_R-0619cyl65533alt2hd128sec113>/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6Specifydisk(enteritsnumber):root@web-db2#formatSearchingfordisks...doneAVAILABLEDISKSELECTIONS:0.c1t0d0<SUN146Gcyl14087alt2hd24sec848>/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d59a1,01.c1t1d0<SUN146Gcyl14087alt2hd24sec848>/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d0ef5,02.c4t600A0B80002A2B320000066F492B138Dd0<SUN-CSM200_R-0619cyl63998alt2hd256sec64>/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d3.c4t600A0B80002AAF00000007BF492B135Cd0<SUN-CSM200_R-0619cyl510alt2hd64sec64>/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c4.c4t600A0B80002AAF00000007C5492B13D6d0<SUN-CSM200_R-0619cyl65533alt2hd128sec113>/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6三．Cluster软件安装配置

1.Sun软件的安装双机软件采用sun公司的suncluster3.1，此软件已经集成到JES（JavaEnterpriseSystem）软件包中。cd/var/spool/stage/JES_05Q4/Solaris_sparc可通过运行以下命令进行安装：GUImode:./installerCLImode:./installer-nodisplay2.SunCluster环境配置

两个节点通讯用

root@web-db1#vi.rhosts

+root@web-db1#vi/etc/hosts.equivweb-db1web-db2web-db

3，打EIS补丁软件安装完毕之后，也需要打补丁。不过suncluster安装完毕之后，系统默认已经启动效劳，安装补丁之前需停用suncluster效劳。（两个节点上做）安装完毕后，执行reboot---x

重启之后不进入suncluster环境安装SC3.1的patches；root@web-db1#lofiadm-a/opt/iso/eis-dvd.iso/dev/lofi/1root@web-db1#lofiadmBlockDeviceFile/dev/lofi/1/opt/iso/eis-dvd.isoroot@web-db1#mount-F/dev/lofi/1/mnt/iso/root@web-db1#mount-Fhsfs/dev/lofi/1/mnt/iso/root@web-db1#cd/mnt/iso/sun/installroot@web-db1#./setup-standard.shinit6重启系统。root@web-db1#unpack-patches注：（进入cluster补丁包的目录，用这个命令一次打EIS补丁集）然后执行命令init6重启系统。在web-db2上执行以上相同的步骤4.Scintall配置配置主节点web-db1具体内容摘录:root@web-db1#scinstall***主菜单***请选择以下某一带(*)的选项：*1)安装群集或群集节点2)将群集配置为从此安装效劳器中快速启动3)在此群集节点中添加对新数据效劳的支持4)升级此群集节点5)打印此群集节点的发行信息*?)菜单项选择项中的帮助*q)退出选项：1***安装菜单***请选择以下任一选项：1)安装新群集的所有节点2)只将此机器安装为新群集的第一个节点3)将此机器添加为现有群集中的节点?)菜单项选择项中的帮助q)返回主菜单选项：2***只安装新群集的第一个节点***此选项用于建立新的群集，该群集使用此机器作为其第一个节点。安装群集框架软件之后，系统将要求您输入群集的名称。然后，您可以运行sccheck(1M)来测试此机器是否满足SunCluster预配置的根本要求。sccheck(1M)通过后，系统将要求您输入最初将参加该群集的其他节点的名称。除非此群集为单节点群集，否则系统还将要求您输入某些群集传输配置信息。可以随时按Control-d组合键返回主菜单。是否要继续(yes/no)[yes]?y>>>安装类型<<<进行群集安装时可以选择两种安装类型。对于大多数群集，建议使用“典型〞安装。但是，如果不是所有的“典型〞缺省值都适用于您的群集，可能需要选择“定制〞选项。有关“典型〞安装和“定制〞安装这两种方法之间的差异的详细信息，请从菜单中选择“帮助〞选项。请选择以下某一选项：1)典型2)定制?)帮助q)返回主菜单选项：[1]2注：（选择定制安装，因为在其后将配制用于集群成员间通信的专用网络地址，cluster给出的地址为/16与我们现有的IP地址重复，要将它改为屏蔽的专用子网例如/16）>>>群集名<<<每个群集都有指定的名称。该名称可以由除空白以外的任何字符组成。在企业的名称空间中，每个群集的名称应该是唯一的。要建立的群集的名称是什么[]?fzpu-cluster>>>检查<<<您可以在此步骤中运行sccheck(1M)，以检验是否已满足某些根本的硬件和软件预配置要求。如果sccheck(1M)检测到将此机器配置为群集节点时存在潜在的问题，则准备故障检查报告并将其显示在屏幕上。收集数据和生成报告可能要花费几分钟时间，这取决于系统的配置。是否要运行sccheck(yes/no)[yes]?No>>>群集节点<<<此SunCluster发行版最多支持16个节点。请列出为初始群集配置规划的其他节点的名称。每行列出一个节点名。完成后，请按Control-D组合键：节点名（按Control-D组合键以完成）：web-db2>>>群集节点<<<此SunCluster发行版最多支持16个节点。请列出为初始群集配置规划的其他节点的名称。每行列出一个节点名。完成后，请按Control-D组合键：节点名（按Control-D组合键以完成）：web-db2节点名（按Control-D组合键以完成）：^D这是完整的节点列表：web-db1web-db28)Selectthefirstclustertransportadapter:ce2

9)Selectthesecondclustertransportadapter:ce3

10)Doyouwanttodisableautomaticquorumdeviceselection(yes/no)[no]?

yes

11)Doyouwantscinstalltorebootforyou(yes/no)[yes]?

y配置次节点web-db2***主菜单***请选择以下某一带(*)的选项：*1)安装群集或群集节点2)将群集配置为从此安装效劳器中快速启动3)在此群集节点中添加对新数据效劳的支持4)升级此群集节点5)打印此群集节点的发行信息*?)菜单项选择项中的帮助*q)退出选项：1***安装菜单***请选择以下任一选项：1)安装新群集的所有节点2)只将此机器安装为新群集的第一个节点3)将此机器添加为现有群集中的节点?)菜单项选择项中的帮助q)返回主菜单选项：33)

***AddingaNodetoanExistingCluster***

Doyouwanttocontinue(yes/no)[yes]?

4)

>>>TypeofInstallation<<<

Typical

5)

Whatisthenameofthesponsoringnode?

web-db1

6)

Whatisthenameoftheclusteryouwanttojoin?

fzpu-cluster

7)

Doyouwanttorunsccheck(yes/no)[yes]?no

8)

>>>AutodiscoveryofClusterTransport<<<

Doyouwanttouseautodiscovery(yes/no)[yes]?

y

9)

Doyouwantscinstalltorebootforyou(yes/no)[yes]?y5.执行命令scstat–p检查确认所有cluster节点都处于online状态；具体内容摘录:root@web-db1#scstat-pClusterNodes--NodenameStatusClusternode:web-db1OnlineClusternode:web-db2OnlineClusterTransportPaths--EndpointEndpointStatusTransportpath:web-db1:ce1WEB-DB2:ce1PathonlineTransportpath:web-db1:ce0WEB-DB2:ce0PathonlineQuorumSummary--Quorumvotespossible:1Quorumvotesneeded:1Quorumvotespresent:1--QuorumVotesbyNode--NodeNamePresentPossibleStatusNodevotes:web-db111OnlineNodevotes:web-db200Online--QuorumVotesbyDevice--DeviceNamePresentPossibleStatusDeviceGroupServers--DeviceGroupPrimarySecondaryDeviceGroupStatus--DeviceGroupStatus--Multi-ownerDeviceGroups--DeviceGroupOnlineStatusIPMPGroups--NodeNameGroupStatusAdapterStatusIPMPGroup:web-db1ipmp0Onlinece3OnlineIPMPGroup:web-db1ipmp0Onlinece2Online6．重新检测所有的节点上配置IPMP是否配好root@web-db1#ifconfig-alo0:flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL>mtu8232index1inetnetmaskff000000ce0:flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4>mtu1500index2inetnetmaskffffff00broadcast55groupnameipmp0ether0:14:4f:44:55:cace0:1:flags=9040843<UP,BROADCAST,RUNNING,MULTICAST,DEPRECATED,IPv4,NOFAILOVER>mtu1500index2inet1netmaskffffff00broadcast55ce1:flags=9040843<UP,BROADCAST,RUNNING,MULTICAST,DEPRECATED,IPv4,NOFAILOVER>mtu1500index3inet2netmaskffffff00broadcast55groupnameipmp0ether0:14:4f:67:3c:92ce1:1:flags=1040843<UP,BROADCAST,RUNNING,MULTICAST,DEPRECATED,IPv4>mtu1500index3inet6netmaskffffff00broadcast55ce2:flags=1008843<UP,BROADCAST,RUNNING,MULTICAST,PRIVATE,IPv4>mtu1500index5inet29netmaskffffff80broadcast55ether0:14:4f:85:e6:37ce3:flags=1008843<UP,BROADCAST,RUNNING,MULTICAST,PRIVATE,IPv4>mtu1500index4inetnetmaskffffff80broadcast27ether0:14:4f:85:e6:36clprivnet0:flags=1009843<UP,BROADCAST,RUNNING,MULTICAST,MULTI_BCAST,PRIVATE,IPv4>mtu1500index6inetnetmaskffffff00broadcast55ether0:0:0:0:0:17.设置quorumdisk盘在所有节点执行命令scdidadm–L查看硬盘ID，选择两Cluster节点主机都能看到的硬盘ID；具体内容摘录:

查看共享磁盘设备(se6140)的全局设备号（did）。D4为quorum盘、d5，D6为RAW设备。D7为备用root@web-db1#scdidadm-L1web-db1:/dev/rdsk/c0t0d0/dev/did/rdsk/d12web-db1:/dev/rdsk/c1t1d0/dev/did/rdsk/d23web-db1:/dev/rdsk/c1t0d0/dev/did/rdsk/d34web-db1:/dev/rdsk/c4t600A0B80002AAF00000007C5492B13D6d0/dev/did/rdsk/d44web-db2:/dev/rdsk/c4t600A0B80002AAF00000007C5492B13D6d0/dev/did/rdsk/d45web-db1:/dev/rdsk/c4t600A0B80002A2B320000066F492B138Dd0/dev/did/rdsk/d55web-db2:/dev/rdsk/c4t600A0B80002A2B320000066F492B138Dd0/dev/did/rdsk/d56web-db1:/dev/rdsk/c4t600A0B80002AAF00000007BF492B135Cd0/dev/did/rdsk/d66web-db2:/dev/rdsk/c4t600A0B80002AAF00000007BF492B135Cd0/dev/did/rdsk/d67web-db2:/dev/rdsk/c0t0d0/dev/did/rdsk/d78web-db2:/dev/rdsk/c1t0d0/dev/did/rdsk/d89web-db2:/dev/rdsk/c1t1d0/dev/did/rdsk/d92)在节点1，执行命令scsetup指定d6作为quorumdisk盘Isitokaytocontinue(yes/no)[yes]?yes

Whichglobaldevicedoyouwanttouse(d<N>)?D6

Isitokaytoproceedwiththeupdate(yes/no)[yes]?yes

Doyouwanttoaddanotherquorumdisk(yes/no)?no注：（查询磁盘号d6的容量1024M，作为我们先前设定的quorumdisk）

Isitokaytoreset“installmode〞(yes/no)[yes]?yes8。参加所有私网IP地址到/etc/hosts,可以通过如下方式获取私网IP地址#grepip_address/etc/cluster/ccr/infrastructure每个IP地址必须指定唯一的主机名，建议如下命名：root@web-db1#grepip_address/etc/cluster/ccr/perties.ip_address29perties.ip_addressperties.ip_address30perties.ip_address四.磁盘资源配置1.在所有节点上修改文件/kernel/drv/md.conf，修改nmd的值为：max:nmd=1024注：（在Solaris10版本中，SolarisVolumeManager的功能已得到增强，它可以动态配置卷。不再需要编辑/kernel/drv/md.conf文件中的nmd和md_nsets参数。根据需要动态创立新卷。）2.重启所有节点重新识别设备：scshutdown;boot-r3.在所有节点运行命令：

scgdevs第二块硬盘同步第一块的磁盘分区信息注：（在安装solaris时本地第二块硬盘可不分区）prtvtoc/dev/rdsk/c1t0d0s2|fmthard-s-/dev/rdsk/c1t1d0s2

创立转台数据库副本，至少要有3个状态数据库副本metadb–a–f-c3c1t0d0s7

metadb–a–f-c3c1t1d0s74.在主节点上镜像本地硬盘：

metainit–fd10111c1t0d0s0

metainitd10211c1t1d0s0

metainitd100–md101

metainit–fd10411c1t0d0s1

metainitd10511c1t1d0s1

metainitd103–md104

metainit–fd10711c1t0d0s3metainitd10811c1t1d0s3

metainitd106–md107metainit–fd11011c1t0d0s4metainitd11111c1t1d0s4metainitd109–md110metainit–fd11311c1t0d0s5metainitd11411c1t1d0s5metainitd112–md113metarootd100

注（在这里我们创立本地两块磁盘的RAID1卷，分别是d100,d103,d106,d109,d112,其中d100为根盘的镜像卷，本地metadevice的设备号用100以上的，切在做另一个节点是设备好不能与此重复）5.修改文件/etc/vfstab中对应的记录：

root@web-db1#cat/etc/vfstab#devicedevicemountFSfsckmountmount#tomounttofsckpointtypepassatbootoptions#fd-/dev/fdfd-no-/proc-/procproc-no-/dev/md/dsk/d103--swap-no-/dev/md/dsk/d100/dev/md/rdsk/d100/ufs1no-/dev/md/dsk/d106/dev/md/rdsk/d106/varufs1no-#/dev/dsk/c1t0d0s5/dev/rdsk/c1t0d0s5/globaldevicesufs2yes-/dev/md/dsk/d109/dev/md/rdsk/d109/tmpufs2yes-/devices-/devicesdevfs-no-ctfs-/system/contractctfs-no-objfs-/system/objectobjfs-no-/dev/md/dsk/d112/dev/md/rdsk/d112/global/.devices/node@1ufs2noglobal~6.sync;init07.在OK状态，设置引导顺序OKdevaliasOkNvaliasdiskmirr/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dce1,0:aOknvstoreOksetenvboot-devicediskdiskmirrnet

8.重启后，使镜像挂上卷metattachd100d102

metattachd103d105

metattachd106d108metattachd109d111metattachd112d1149.在备节点上镜像本地硬盘metainit–fd20111c1t0d0s0

metainitd20211c1t1d0s0

metainitd200–md201

metainit–fd20411c1t0d0s1

metainitd20511c1t1d0s1

metainitd203–md204

metainit–fd20711c1t0d0s3metainitd20811c1t1d0s3

metainitd206–md207metainit–fd11011c1t0d0s4metainitd11111c1t1d0s4metainitd209–md210metainit–fd11311c1t0d0s5metainitd21411c1t1d0s5metainitd212–md213metarootd200注：（本地metadevice的设备号用200以上的，并不要和主节点的metadevice重复，在这里我们创立本地两块磁盘的RAID1卷，分别是d200,d203,d206,d209,d212,其中d200为根盘的镜像卷，）10.修改文件/etc/vfstab中对应的记录：

root@web-db2#cat/etc/vfstab#devicedevicemountFSfsckmountmount#tomounttofsckpointtypepassatbootoptions#fd-/dev/fdfd-no-/proc-/procproc-no-/dev/md/dsk/d203--swap-no-/dev/md/dsk/d200/dev/md/rdsk/d200/ufs1no-/dev/md/dsk/d206/dev/md/rdsk/d206/varufs1no-#/dev/dsk/c1t0d0s5/dev/rdsk/c1t0d0s5/globaldevicesufs2yes-/dev/md/dsk/d209/dev/md/rdsk/d209/tmpufs2yes-/devices-/devicesdevfs-no-ctfs-/system/contractctfs-no-objfs-/system/objectobjfs-no-/dev/md/dsk/d212/dev/md/rdsk/d212/global/.devices/node@2ufs2noglobal~11.sync;init012.在OK下：setenvboot-devicerootdiskrootmirr，然后重启

metattachd200d202

metattachd203d205

metattachd206d208metattachd209d211metattachd212d21413.在所有节点上添加如下一行到文件/etc/system里：

setmd:mirrored_root_flag=1

查看metadb库信息

root@web-db1#metadbflagsfirstblkblockcountampluo168192/dev/dsk/c1t0d0s7apluo82088192/dev/dsk/c1t0d0s7apluo164008192/dev/dsk/c1t0d0s7apluo168192/dev/dsk/c1t1d0s7apluo82088192/dev/dsk/c1t1d0s7apluo164008192/dev/dsk/c1t1d0s7

root@web-db2#metadbflagsfirstblkblockcountampluo168192/dev/dsk/c1t0d0s7apluo82088192/dev/dsk/c1t0d0s7apluo164008192/dev/dsk/c1t0d0s7apluo168192/dev/dsk/c1t1d0s7apluo82088192/dev/dsk/c1t1d0s7apluo164008192/dev/dsk/c1t1d0s7

14.在第一个节点上，用did设备建立共享硬盘组和meta设备：

1)创立磁盘集ora_data

metaset

-s

ora_data

-a

-h

web-db1web-db2

注：（关于不能使用-M项，-M是用来创立多属主主机磁盘的，就是在同一时间两节点都可以对磁盘集有读写的权限，这是sunclusterforORACLERAC的东西，要满足一定要件才能创立成功）metaset:只允许在多属主磁盘集上使用-M选项用法:metaset-s集名称-a[-Aenable|disable]-h主机名...metaset-s集名称-a[-M]-h主机名...metaset-s集名称-a[-M][-l长度][-L]驱动器名称...metaset-s集名称-d[-M]-h主机名...metaset-s集名称-d[-M]-f-h所有主机名metaset-s集名称-d[-M][-f]驱动器名称...metaset-s集名称-d[-M][-f]主机名...metaset-s集名称-Aenable|disablemetaset-s集名称-t[-f]metaset-s集名称-rmetaset[-s集名称]-j[-M]metaset[-s集名称]-w[-M]metaset-s集名称-P[-M]metaset-s集名称-b[-M]metaset-s集名称-o[-M][-h主机名]metaset[-s集名称]主机名=/etc/nodename的内容驱动器名称=cNtNdN无盘片[-M]对于多属主集是可选的，但在创立集时例外2).将共享磁盘d4，d5添加到磁盘集ora_data中metaset–sora_data–a/dev/did/rdsk/d4s0

metaset–sora_data–a/dev/did/rdsk/d5s0

注：（did设备只映射2个有意义的slice，slice0和7，s7只有8m放一个metadb，s0代表全部可用空）3)查看磁盘集ora_data属性

root@web-db1#metaset-sora_data设置名称=ora_data,设置数量=1主机属主web-db1是web-db2驱动Dbased4是d5是

创立磁盘集在任意一个节点操作即可注:(关于磁盘集属主的问题，在哪台机器上创立先创立了磁盘集那个节点就默认为磁盘集的数组，在实施中如果还未对cluster配置资源，会发生节点不能对磁盘集设置和写入的问题，可以用命令在需要切换的节点上运行命令metaset–sora_data–t进行切换)

4)查看suncluster中磁盘集ora_data状态

root@web-db1#scstat–p

--DeviceGroupServers--DeviceGroupPrimarySecondaryDevicegroupservers:ora_datadbserver1dbserver2--DeviceGroupStatus--DeviceGroupStatusDevicegroupstatus:ora_dataOnline

5）初始化d5、d6为metadevices

metainit-soracle-datad5011/dev/did/dsk/d5

metainit-soracle-datad6011/dev/did/dsk/d6

五.ORACLE数据库的规划以及安装1.在web-db1上安装ORACLE（见附录1。ORACLE安装文档）注：(只在web-db1上操作，安装过程中不进行数据库的创立)2.创立数据库并应用oracle裸设备1）创立oracle裸设备的配置文件，并参加环境变量（两节点同时做）DBCA_RAW_CONFIG=/opt/oracle/raw.txtExportDBCA_RAW_CONFIG以下为编辑/opt/oracle/raw.txt内容cwmlite=/opt/oracle/oradata/fzpu/cwmlite01.dbfdrsys=/opt/oracle/oradata/fzpu/drsys01.dbffict_data=/opt/oracle/oradata/fzpu/fict_data.dbffqct_data=/opt/oracle/oradata/fzpu/fqct_data.dbffzpu=/opt/oracle/oradata/fzpu/fzpu.dbfindx=/opt/oracle/oradata/fzpu/indx01.dbfkgwl=/opt/oracle/oradata/fzpu/kgwl.dbfrbs_ts=/opt/oracle/oradata/fzpu/usr_rbs01.dbfsystem=/opt/oracle/oradata/fzpu/system01.dbftemp=/opt/oracle/oradata/fzpu/temp01.dbftools=/opt/oracle/oradata/fzpu/tools01.dbfundotbs1=/opt/oracle/oradata/fzpu/undotbs01.dbfusers=/opt/oracle/oradata/fzpu/users01.dbfuser_idx=/opt/oracle/oradata/fzpu/user_idx.dbfusr_rbs=/opt/oracle/oradata/fzpu/usr_rbs.dbfredo1_1=/opt/oracle/oradata/fzpu/redo01.logredo1_2=/opt/oracle/oradata/fzpu/redo02.logredo1_3=/opt/oracle/oradata/fzpu/redo03.logcontrol1=/opt/oracle/oradata/fzpu/control01.ctlcontrol2=/opt/oracle/oradata/fzpu/control02.ctlcontrol3=/opt/oracle/oradata/fzpu/control03.ctl注：（一共有14个数据文件，3个控制文件，3个redo_log）2）规划oracle的安装设备一共有14个数据文件，3个控制文件，3个redo_log根据应用需要建立软分区d401-d420，做为orcle的裸设备，d421做为存放归档日志metainit-sora_datad401-pd4020mmetainit-sora_datad402-pd4020mmetainit-sora_datad403-pd4030Gmetainit-sora_datad404-pd4030Gmetainit-sora_datad405-pd40500mmetainit-sora_datad406-pd4025mmetainit-sora_datad407-pd40500mmetainit-sora_datad408-pd404Gmetainit-sora_datad409-pd401Gmetainit-sora_datad410-pd4010Gmetainit-sora_datad411-pd4010mmetainit-sora_datad412-pd4025mmetainit-sora_datad413-pd4010Gmetainit-sora_datad414-pd405Gmetainit-sora_datad415-pd40100mmetainit-sora_datad416-pd40100mmetainit-sora_datad417-pd40100mmetainit-sora_datad418-pd4010mmetainit-sora_datad419-pd4010mmetainit-sora_datad420-pd4010m4)查看磁盘集ora_data状态

root@web-db1#metastat-sora_data

ora_data/d50:Concat/Stripe大小：1048526848块(499GB)条0:设备引导块DbaseRelocd5s00否否ora_data/d424:软分区设备：ora_data/d40状态：确定大小：209715200块(100GB)扩展引导块块计数0673342016209715200ora_data/d40:Concat/Stripe大小：947854848块(451GB)条0:设备引导块Dbase状态Reloc热备援d4s00否确定否ora_data/d423:软分区设备：ora_data/d40状态：确定大小：209715200块(100GB)扩展引导块块计数0463626784209715200ora_data/d422:软分区设备：ora_data/d40状态：确定大小：409600块(200MB)扩展