IBMDSSAN配置详解

1、认识IBMDS34001 SAN- 认识 IBMDS3400（ 一 ）IBMDS3400 是个 4Gbps 的 SAN(?), 需要透过 IBM 的管理介面 ,去修改 Host 和 logicalDrive 的 对应 ,Server 才能认到 SAN 所指派的 Lun(LogicalUnitNumber)Disk. 通常在 IBM 的光碟可以找 到给 Linux 的管理程式 (IBMSystemStorageDS3000StorageManager). 不过你可以在 IBM 的官 方网站找到新版的程式 .目前版本为 ?选择我作业系统的安装版本 (Linux), 安装也很简单就是下一步下一步完全

2、用预设的方式即可 . 预设安装的目录在 /opt/IBM_DS3000/, 主程式为 /opt/IBM_DS3000/client/SMclient, 不过 IBM 会 很贴心的在桌面加上一个捷径 ,点选 2 次就可以开始设定 .2 SAN- 认识 IBMDS3400( 二 )设定 IPIBMDS3400的管理介面是透过IBM?管理工具的方式去管控，所以控制端的IP需要配合DS3400,系统预设的是Controller,Controller2:(两片板的个别IP,需要同时都和控制端相连，两 片 controllers 需要将资料同步 ),点选桌面的IBMSystemStorageDS3000S

3、torageManager2client 或是执行程式 /opt/IBM_DS3000/client/SMclient 就可以开始设定 .预设可以直接让系统去 AutomaticDiscovery, 只要控制端和 DS3400 是相同网段都可以找到 . 如果你的 StorageManager 可以看到下面的 StorageSubsystemUnamed. 就代表正确连接到 DS3400 了.点 2 下进入控制介面 .右下方的状态代表了目前 AutomaticDiscovery 的进度 .如果系统侦测了半天还是没有东西代表 DS3400 和你控制端不同网段 ,如果网路环境有可以DHCP不如让控制

4、端使用 DHCP指定IP再试试看因为DS3400并没有comsole可以登入， 所以一开始连不到会很辛苦 (不知道有没有 reset 键).进入控制介面的第一个画面如下 ,不过这个稍後再做详细的介绍 .登入之後来看一下 DS3400 设定成什麽 IP,在 Tools/ConfigurationEthernetManagementPorts., 可以看到我还是预设的Controller,Controller2:这里就可以设定你想要的IP.不建议以免之後忘 记了 IP 是多少 !记得修改 IP 之後最好将 Remove 掉 StorageSubsystem 再重新作连结 .3 SAN- 认识 IB

5、MDS3400( 三 )createLogicalDrives如果一开始是一个全新的 DS3400 系统上并不会建立任何的 LogicalDrive. 就会像是目前看到 的样子 !在 Configure/CreateLogicalDrives 可以建立 LogicalDrive. 因为 DS3400 主要由 4X3=12 个实 体硬碟 (SATA/SASHardDrives) 组成.所以这边的 Drive 都是经由实体硬碟建立出的 RAID 再切 割出多个 LUN(LogicalUnitNumber) 再来指派给需要的 Server.1. Unconfiguredcapacity:create

6、anewarrayandlogicaldrive.2. Freecapacity:usecapacityfromanexistingarray.因为一开始并没有任何的 Array 存在 ,所以能做的就是 1建立 RAID 和 LogicalDrive. 选择 Manual 可以让你自己多做一些选择 ,不过 IBM 还是建议使用 Automatic.依需求来切割 ,我的环境有 4 个 sasHarddrive 我要把他都建成 RAID5.Logicaldrivecapacity 预设是使用全部的空间 ,我们可以依据需求做修改 ,比如有 2 台 Server 都 需要这空间 ,我们可以切割不同的

7、2个区块共不同的 Server 来使用 (这会在後面介绍 ).所以硬碟 空间不要全部用完 .其中的 LUN 值很重要当你要指配不同的 Drive 给 Server 时 Lun 就不能重复 .Server 会依据 Lun 大小来决定硬碟顺序 .到这里就算是建立好 RAID 并再切割一个 LUN.如果刚刚空间没用完的回 Configure/CreateLogicalDrives 还是可以在建立另外的 Lun.回到 Summary 就会看到刚刚所做的一些改变 .在 Modify/DeleteLogicalDrives 可以移除刚刚所建立的 RAID.4 SAN- 认识 IBMDS3400( 四 )c

8、reateHostAccessIBMDS3400 是由 2 片 controlmodules 组成 . 每一片上面都有 2 个 fiberports 可供存取 ,但是另 外一组皆是使用再备援上 . 所以上面虽然有 4 个 fiberport 但其实可以和 Host 连接的只有 2 个 fiberport( 另两个是备援 ).如果要提共多组的 Fiber 连结就需要透过 FiberSwitch 的连接方式 .下 图是在同一台 Host 使用备援的连接方式 .图的来源 :?在未开始之前先确定你的 Server(QLogic2462dualportfiberchannel) 已经连接到 IBMDS3

9、400 如下图 ,并且 Driver(module) 确定都已经在运行 ,可以使用 #lsmod 来确定 .目前我使用的是 QLogic2462dualportfiberchannel,Driver(module) 可以在这边找到 ?因为 FiberChannel 是靠 WWPN 来认 Lun 的,所以在建立完 Lun 之後就要建立相对应的 Host(Serverfiberchannel 的 WWNP). 在 Configure/ConfigureHostAccess(Manual) 设定中 ,名 称是为了方便记忆 ,还要选择 Server 的 OS 版本 .目前我使用的是 QLogic246

10、2dualportfiberchannel, 所以会看到两个 WWPN, 先建立第一组 Host.如果你的 Server 需要高可靠度的环境 , 我们会将多个 Fiberchannel 的路径指向同一个 LogicalDrive. 先选择 No. 後面我们才会建立出这样的环境 .完成一个 Host! 使用相同的步骤建立出另外一个 Host.n ote:WWPN如同网卡有MACAddress(48bits)作为辨识方式光纤也是有类似的定址 WWN , WorldWideName:FC 光纤通道的定址(64bits),这个光纤通道的 WWN也像是MAC 样每一个 出货的HBA(HostBusAda

11、pter)都有他独一无二的 WWN.属於硬体的一部份，无法轻易更改.不 过 WWN 还细分了 WWNN:WorldWideNodeName/WWPN:WorldWidePortName使用上有点不同1当你的光纤HBA卡有多个port时存在(2个以上)你想针对HBA上所有的port你应该使用 WWNN2. 如果是针对单一个port时需要使用WWPN3. 通常会在Fiberswitch 上使用到 multipath 时会针对 WWNN来设定Linux下要看 WWNN/WWPN 可以查看档案？/proc/scsi/qla2xxx/?不同的FiberHBA 会有不同 Module这边我使用的是 Qlo

12、gic的FiberHBA.l I I I I I I I：rootbenjr#? ls-l/proc/scsi/qla2xxx/totalO-rw-r-r-1rootroot0Mar1119:044-rw-r-r-1rootroot0Mar1119:045irootbe njr#? cat/proc/scsi/qla2xxx/4：QLogicPCItoFibreChannelHostAdapterforxxxxxxxx:SCSIDevicel nformati on:#就是WWNN#就是WWPNa5 SAN-认识 IBMDS3400（五）CreateHostGroup企业中SAN的环境会要求高

13、可靠度，所以单一的路径是不能符合企业中的需求，所以你可以看 到下面的图:图的来源:?路径是两条的QS3400在预设是无法将同一颗logicalDrive硬碟分享给不同的 WWPN,所以需要将不同的 WWPN设定成一个Group.这样LogicalDrive才能同时指派给不同的 WWPN,在Configure/CreateHostGroup可以建立HostGroup.名称是方便记忆，在Hosts可以看到刚刚我们设定好的HostPO和P1 .将这两个都指派到这个 Group.基本上这样就已经将 HostGroup设定完成，最後就是需要将Host和LogicalDrive做对应 (Mapping).

14、在 Modify/EditHostTopology 可以看到我们所设定的.6 SAN-认识IBMDS3400(六)CreateHost-to-LogicalDriveMappings前置作业都已经告一段落了 ，现在需要做的就是将先前定义好的 HostGroup对应(Mapping)到 LogicalDrive.在 Configure/CreateHost-to-LogicalDriveMappings 选择对应的 HostGroup 禾口 LogivalDrive已经定义好的可以在 Modify的EditHost-LogicalDriveMappings来查看.先前我定义了两颗 Logical

15、Drives和两个Host,并将这两个Host对应到同一个 Group.目前要 将这两颗LogicalDrives对应到这个Group.基本上要注意的一点就是Assignlogicalunitnumber(LUNX0to31).Linux是依据 Luns 值大小来决定硬碟顺序.并且 Linux最大的Luns为031(种共32个Lu ns),所以在指配时须将这两个 Luns设为不同的值，不过 IBMDS3400会自己指定，分配不同数值.可以看到在指派第二颗时他指定的Lun变成1.回到Summary可以看到刚刚指定好的 Hosts&Mappings.现在最後一步就是回到 Server(Linux)

16、,设定 driver(module)禾口 multi-path 了 !7 SAN-认识 IBMDS3400(七)Linuxmulti-pathdriver虽然我们在IBMDS3400已经设定好了 HostGroup让同一个Lun去让不同的wwpn存取.所以 在driver上还需要透过一些设定让系统不会误认为这是两个硬碟装置.目前我系统使用的是Qlogic的HBA需要下载的东西有两项 1.QlogicDriver?2.SANsurfer(Qlogic图形管理介面)这两项在Qlogic都可以找的到先来看看QlogicDriver是如何使用.虽然RHEL5在预设就有配置 Qlogic的Driver,

17、不过这边还 是说一下 QlogicDriver是怎麽使用.|i II nu mi anil mi II II II mi iiii iiii anil n n am n ii i n n n n i n ii n n n i n ii i n n i n i n n ii n n i ii n n i n i n ii n n n n n i n i n ii n n i n n n i n n n ：rootbenjr# ?tar-xvzf*.tgz；rootbenjr#? cdqlogicIIII rootbe njrqlogic# ?./drvrsetupI! #这会将sourcefil

18、es档案解开至qla2xxx的目录下IIIIrootbe njrqlogic# ?cd将依据实际版本而有所不同rootbenjr ?./extras/build.shinstall#这是实际在编辑driver的script程式I nil nil anil nilnia n n nnnnnnana n ni n nin ninn n ana n i n n i n n i nnnn n nin n nnnn n n n n nnnn n nn n nnn n 在Qlogix8.x以上的版本已经将failover(multi-path)设定为预设值(=1).之前的版本可以在 /etc/modpro

19、be.conf 力口入 optionsqla2xxxql2xfailover=1 的 failover 参数选项.下次开机或是重新开机会只会看到一个硬碟(Lu n).8 SAN-认识 IBMDS3400(八)安装 QlogicSANsurfer下载下来的SANsurfer是个.bin档在Linux可以直接去执行安装.SANsurfer是一个透过Java 所写的x-windows图形管理介面.安装方式很不难,就只有下面几个步骤. I I I I I rootbenjr#?I nil mi anil mi II II II mi iiii iiii anil n n am n n i n n n

20、n i n n n n n i n n i n n i n i n n n n n i n n n i n i n n n n n n n i n i n n n n i n n n i n n n 或是 I I I I I rootbenjr#? shi iiii iiii anil iiii iiii n n n n n n n n ana n n i n n i n n i n n n ana n i n n i n n i n n n n n n i n n n n n n n n n n n n n n n n n n n n n n 一些宣告和重要讯息有兴趣的可以看一看!通常我们使

21、用预设的全安装(FCHBAGUIandALLAgent)就可以了 !预设安装目录是/opt/QLogic_Corporation/SANsurfer没什麽特别情况就不需要再去修改.安装完成了 !勾选En ableQlogicFailoverCo nfiguratio n 这也是我们最重要要使用的选项 .在这边就选择开启程式或是在目录 /opt/QLogic_Corporation/SANsurfer执行./SANsurfer皆可!安装完SANsurfer时会启动qlremote的服务所以我们无法立即移除 qla2xxx和qla2xxx_conf 的module,所以当你在移除qla2xxx或是

22、qla2xxx_conf时会出现ERROR:Moduleqla2xxxisinuse. 不用急的关机，先将qlremote的服务停止 #/etc/init.d/qlremotestop 就可以再移除 qla2xxx 禾口 qla2xxx_conf 的 module. 如果要移除SANsurfer在目录/opt/QLogic_Corporatio n/SANsurfer/U nin stallDate/SANsurferU nin staller就可以将SANsurfer 移除了 .9 SAN-认识 IBMDS3400(九)透过 SANsurfer 去管理？刚刚安装完qlogicdriver禾口 SANsurfer先确定一下相关的 driver和service都启动了 .I.driverrootbe njr# ?modprobeqla2xxx2.SANsurferrootbenjr# ?/usr/local/b in/qlremote?(orqlremotestart)SANsurferFCHBAManager（ 执行 #./SANsurfer）存放在目录 /opt/QLogic_Corporation/SANsurfer下.SANsurfer可以透过远端去连接但目前我的是存放在Local本地端.所以选择loca