PowerPath Best Practice for Solaris v 1.0.2.doc

PowerPath Best Practice for SolarisEMC技术解决方案部版本记录版本号版本日期修改者说明1.02006年12月11日李弢初稿1.0.12007年1月8日包云增加有关Path failover timeout说明1.0.22007年1月10日李弢增加Sun Cluster相关部分版权说明本文件中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属美国EMC公司所有，受到有关产权及版权法保护。任何个人、机构未经美国EMC公司的书面授权许可，不得复制、引用或传播本文件的任何片断，无论通过电子形式或非电子形式。目 录1SUN Solaris基本连接和认盘操作31.1系统规划31.2环境检查31.3软件安装31.4修改系统文件31.5Qlogic HBA卡相关设置31.6Emulex HBA卡相关设置31.7Sun HBA卡相关设置32Sun Cluster33PowrePath34Path failover timeout31 SUN Solaris基本连接和认盘操作1.1 系统规划在对Solaris系统进行Bin Request规划时，如果主机采用了Sun Cluster集群，需要注意以下几点： 对Sun Cluster主机，在FA Port上VCMDB bit disable或者通过其他非Cluster的主机设置Lunmasking 对Sun Cluster主机，在FA Port上，不映射VCMDB和GK Volume 对数据卷需要设置PER flag Sun Cluster需要配置Qum Disk此外，对于Solaris平台，每个FA Port上的Volume数不能超过256（0FF）1.2 环境检查第一步：先确认交换机配置，ZONING正确第二步：确认主机Patch符合EMC安装要求由于Sun Solaris主机Patch要求较多且更新较快，建议搜集EMCGrab信息通过HEAT查找所需Patch信息。1.3 软件安装第一步：确认POWERPATH安装正确，LICENSE输入正确# pkginfo l EMCpower第二步：确认SolutionEnabler安装正确1.4 修改系统文件第一步：修改/etc/system文件添加以下内容*emc start*set sd:sd_max_throttle=20set ssd:ssd_max_throttle=20set ssd:ssd_io_time=0x3Cset sd:sd_io_time=0x3cset scsi_options=0x7F8set fcp:ssfcp_enable_auto_configuration=1set semsys:seminfo_semmni=600set semsys:seminfo_semmns=600set semsys:seminfo_semume=600set semsys:seminfo_semmnu=600set shmsys:shminfo_shmmax=1048576set shmsys:shminfo_shmmni=600*emc end*其中有些参数在数据库（Oracle）方面也会做相应设置，建议在/etc/system文件中，将EMC的设置放在前，数据库的设置放在后，一般在设置完成以后SUN会将重复设置的参数取其中的一个有效值。第二步：修改/kernel/drv/sd.conf文件Solaris平台上设备名称如下：cXtXdXsX 其中c的号由操作相同生成。 t号表示target号，当一个HBA卡连接多个FA端口时，各个FA口映射的设备会区别为不同的t号。 d号为BIN File里面将Lun映射到FA端口上的ID号，要求0255 s号为对一个Lun的分区，solaris允许的分区为07如果使用的是SUN的HBA卡，无需修改sd.conf文件。对Qlogic HBA卡，sd.conf修改如下：name=sd class=scsi target=0 lun=0;name=sd class=scsi target=0 lun=1;name=sd class=scsi target=0 lun=2;. .name=sd class=scsi target=0 lun=255;对Emelex HBA卡，sd.conf修改如下：name=sd parent=lpfc target=0 lun=0；name=sd parent=lpfc target=0 lun=1;name=sd parent=lpfc target=0 lun=2;. .name=sd parent=lpfc target=0 lun=255; 在一块HBA卡连接一个FA端口的情况下，默认的target号是0，可以通过target binding设置为不同的target，此时在sd.conf中的设置需要对应的修改。如果一个HBA卡同时连接到两个或者多个FA端口，每个端口会对应一个target，此时需要对每个target都进行设置。1.5 Qlogic HBA卡相关设置 驱动程序安装（QLA）EMC Support Matrix中所支持的HAB卡为QLAXXXX-E的型号，其中-E表示改HBA卡的微码为EMC Approve的版本，和公版的微码有所区别，对应的驱动需要安装对应的EMC Approved的HBA Driver，可以在下载，同时还需要下载SANsurfer Command Line Interface for Solaris安装以便对HAB进行管理和设置。 /kernel/drv/qla2x00.conf文件修改以下是交换机连接方式下使用powerpath qla2300.conf的参数设置hba0-max-frame-length=2048;hba0-execution-throttle=20;hba0-login-retry-count=8;hba0-enable-adapter-hard-loop-ID=0;hba0-adapter-hard-loop-ID=0;hba0-enable-LIP-reset=0;hba0-enable-LIP-full-login=1;hba0-enable-target-reset=0;hba0-reset-delay=5;hba0-port-down-retry-count=8;hba0-port-down-retry-delay=0;hba0-maximum-luns-per-target=8;hba0-connection-options=1;hba0-fc-tape=0;hba0-fc-data-rate=2;hba0-pci-latency-timer=0x40;hba0-pci-x-max-memory-read-byte-count=0;hba0-link-down-error=1;hba0-link-down-timeout=60;hba0-persistent-binding-configuration=1;hba0-persistent-binding-by-port-ID=0;hba0-fast-error-reporting=1;hba0-extended-logging=0;hba0-queue-full-retry-count=16;hba0-queue-full-retry-delay=2;hba0-security-protocols=0;hba0-FDMI-support=0;hba0-VPD-support=0; 升级Fcode首先在下载最新的Fcode版本，使用SANsurfer Command Line Interface for Solaris查看当前HBA卡的Fcode版本# /opt/QLogic_Corporation/SANsurferCLI/scli -l如果HBA没有安装fcode或者是Fcode不是最新版本，则需要升级：# /opt/QLogic_Corporation/SANsurferCLI/scli B升级完成以后需要重新启动系统：# reboot - -r 查看HBA卡WWN# /opt/QLogic_Corporation/SANsurferCLI/scli -l Persistent Binding在Solaris系统中，建议将某一个FA端口binding到主机一个固定的target ID，在系统生成的设备文件中，target ID体现为cXtXdXsX中的t号。如果不使用Persistent Binding，在SAN系统进行调整或者是某些情况下，会导致target ID改变而造成系统设备文件改变。# /opt/QLogic_Corporation/SANsurferCLI/scliSelect Set Target Persistent BindingSelect a HBA instance初次binding建议采用自动方式，系统会自动从target ID 0开始进行binding，binding完成以后会在qla2X00.conf文件中写入以下内容：# WARNING: Beginning of Configuration Data stored by the QLogic # Applications. Consult documentation before editing # any data passed this text. #QL_CONFIGURE=Thu Dec 7 18:09:12 2006;scsi-qla4-target-2-device-0-control=00;scsi-qla4-target-2-device-0-port-id=0E1D00;scsi-qla5-target-2-device-0-control=00;scsi-qla5-target-2-device-0-port-id=0E0400;scsi-qla1-target-2-device-0-control=00;scsi-qla1-target-2-device-0-port-id=0F1D00;scsi-qla3-target-2-device-0-control=00;scsi-qla3-target-2-device-0-port-id=0F0400;qla-mp-config-required=1;scsi-qla3-adapter-model=QLA2340;scsi-qla3-adapter-node=200000E08B861D6A;scsi-qla3-adapter-port=210000E08B861D6A;scsi-qla3-target-2-device-0-node=5006048C49AE72C9;scsi-qla3-target-2-device-0-port=5006048C49AE72C9;scsi-qla3-target-2-device-0-preferred=181FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF000000000000000000000000000000;scsi-qla3-target-2-device-0-lun-disabled=0000000000000000000000000000000000000000000000000000000000000000;scsi-qla1-adapter-model=QLA2340;scsi-qla1-adapter-node=200000E08B86E36E;scsi-qla1-adapter-port=210000E08B86E36E;scsi-qla1-target-2-device-0-node=5006048C49AE72C8;scsi-qla1-target-2-device-0-port=5006048C49AE72C8;scsi-qla1-target-2-device-0-preferred=181FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF000000000000000000000000000000;scsi-qla1-target-2-device-0-lun-disabled=0000000000000000000000000000000000000000000000000000000000000000;scsi-qla5-adapter-model=QLA2340;scsi-qla5-adapter-node=200000E08B86E56F;scsi-qla5-adapter-port=210000E08B86E56F;scsi-qla5-target-2-device-0-node=5006048C49AE72C6;scsi-qla5-target-2-device-0-port=5006048C49AE72C6;scsi-qla5-target-2-device-0-preferred=181FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF000000000000000000000000000000;scsi-qla5-target-2-device-0-lun-disabled=0000000000000000000000000000000000000000000000000000000000000000;scsi-qla4-adapter-model=QLA2340;scsi-qla4-adapter-node=200000E08B868C73;scsi-qla4-adapter-port=210000E08B868C73;scsi-qla4-target-2-device-0-node=5006048C49AE72C7;scsi-qla4-target-2-device-0-port=5006048C49AE72C7;scsi-qla4-target-2-device-0-preferred=181FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF000000000000000000000000000000;scsi-qla4-target-2-device-0-lun-disabled=0000000000000000000000000000000000000000000000000000000000000000;如果需要binding为不同的target ID，在qla2X00.conf中修改其中的targetID。1.6 Emulex HBA卡相关设置 驱动程序安装EMC Support Matrix中所支持的HAB卡为LPXXXX-E的型号，其中-E表示改HBA卡的微码为EMC Approve的版本，和公版的微码有所区别，对应的驱动需要安装对应的EMC Approved的HBA Driver，可以在下载。Emulex驱动程序包中包含lpfc驱动程序和对应的管理软件，需要先安装驱动程序，然后安装管理工具，同时驱动程序和管理工具必须采用同一个软件包里的对应版本。 /kernek/drv/lpfc.conf文件修改以下是交换机连接方式下使用powerpath lpfc.conf的参数设置log-verbose=0x10;log-only=1;fcp-bind-method=2;automap=1;lun-queue-depth=20;tgt-queue-depth=512;no-device-delay=0;network-on=0;xmt-que-size=256;scan-down=0;nodev-holdio=0;nodev-tmo=60;delay-rsp-err=0;num-iocbs=2048;num-bufs=1024;topology=0;ip-class=3;fcp-class=3;use-adisc=0;extra-io-tmo=0;post-ip-buf=128;dqfull-throttle-up-time=1;dqfull-throttle-up-inc=1;ack0=0;cr-delay=0;cr-count=1;discovery-threads=1;link-speed=0;fdmi-on=0; 升级firmware首先在下载最新的firmware版本。查看当前的firmware版本# /usr/sbin/lpfc/lputilSelect Option 2 Adapter Information如果firmware不是最新版本，则需要升级：# /usr/sbin/lpfc/lputilSelect option 3 - Firmware MaintenanceSelect the adapter number to update.Select option 1 Load Firmware Image. 升级Fcode首先在下载最新的Fcode版本。查看当前的Fcode版本# /usr/sbin/lpfc/lputilSelect Option 2 Adapter Information如果未安装Fcode或者不是最新版本，则需要升级：# /usr/sbin/lpfc/lputilSelect option 3 - Firmware MaintenanceSelect the adapter number to update.Select option 1 Load Firmware Image.（PCI）Select option 6 - Load FCode Image.（Sbus）升级完成以后主机需要重新启动：# reboot - -r 查看HBA卡WWN# /usr/sbin/lpfc/lputilSelect Option 2 Adapter Information Persistent Binding在Solaris系统中，建议将某一个FA端口binding到主机一个固定的target ID，在系统生成的设备文件中，target ID体现为cXtXdXsX中的t号。如果不使用Persistent Binding，在SAN系统进行调整或者是某些情况下，会导致target ID改变而造成系统设备文件改变。# /usr/sbin/lpfc/lputilSelect option 1 Persistent BindingSelect option 5 Binding Automapped TargetsSelect a HBA instanceSelect Binding Method1. By Node Name2. By Port Name3. By D_ID以下是binding以后lpfc.conf文件中增加的内容： fcp-bind-WWPN=5006048449ae26d8:lpfc8t0, 5006048449ae26d7:lpfc10t0, 5006048c49ae26c8:lpfc3t0, 5006048c49ae26c7:lpfc6t0;1.7 Sun HBA卡相关设置Sun HBA卡驱动程序以及微码版本由Sun公司来进行安装，EMC需要进行以下设置工作：# cfgadm al -o show_FCP_dev如果显示某个fc设备是connected但是unconfigured状态，使用以下命令config# cfgadm c configure cX再通过以下命令动态认盘# devfsadm2 Sun Cluster 在使用Sun Cluster 3.0 Update 4以及Volume 4.1.0的环境中，只支持Native方式的设备名进行管理，设置方式如下：1. VxVM安装完成以后，使用vxdisk list查看磁盘信息，如果磁盘的命名方式是EMC0_1的模式，首先需要更改命名方式：# vxdiskadmSelect item 20 “Change the disk naming scheme”2. 使用vxdisk list再查看磁盘信息，此时看到磁盘使用的名字是emcpowerXX的方式，需要更改为使用native设备名的方式# vxdmpadm setattr enclosure EMC0 tpdmode=native# vxdmpadm setattr enclosure EMC1 tpdmode=native一个enclosure名EMCX对应一个EMC BOX。 在主机连接Clariion和主机有SUN Cluster的情况下，如果scdidadm L命令看到磁盘的DID号是乱的，需要在/kernel/drv/sd.conf添加如下内容，具体描述见host connectivity guide。# Start addition for CLARiiON storagesd-config-list= DGC RAID 1, clariion-data,DGC RAID 5, clariion-data,DGC RAID 10,clariion-data;clariion-data=1,0x8,0,0,0,0,0;# End addition for CLARiiON storage 从SUN Cluster取出盘之前需要清scsi reservation key，否则该盘只能读不能写，过程如下：1. As root, determine the DID name of disks in question-scdidadm -L2. Check for SCSI-3 PGRs on disk-/usr/cluster/lib/sc/scsi -c inkeys -d /dev/did/rdsk/dXs23. Remove unwanted reservations as follows-/usr/cluster/lib/sc/scsi -c scrub -d /dev/did/rdsk/dXs24. Verify that reservation has been removed-/usr/cluster/lib/sc/scsi -c inkeys -d /dev/did/rdsk/dXs23 PowrePath 建议在PowerPath中，将非EMC类型的设备置于unmanage状态#powermt unmanage class=ess#powermt unmanage class=hpxp#powermt unmanage class=hitachi#powermt unmanage class=invista#powermt unmanage