(完整版)多路径网络存储配置说明

多路径网络存储配置指南目录TOC\o"1-5"\h\z\o"CurrentDocument"多路径网络存储配置指南 1\o"CurrentDocument"准备工作 2安装配置target服务 2安装target软件 2配置target 2\o"CurrentDocument"网卡设置 2\o"CurrentDocument"启动target服务 3查看target 3\o"CurrentDocument"客户端软件安装配置 4安装iSCSI Initiator客户端 4\o"CurrentDocument"安装 4\o"CurrentDocument"设置运行级别： 5\o"CurrentDocument"修改配置 5\o"CurrentDocument"网络存储网卡配置 5\o"CurrentDocument"创建接口文件 6安装配置multipath 6\o"CurrentDocument"安装 6\o"CurrentDocument"修改配置 8重启multipath 9\o"CurrentDocument"硬盘使用 9侦测target 9\o"CurrentDocument"设置启动自动连接 9\o"CurrentDocument"重启iscsi查看磁盘 10\o"CurrentDocument"固定multipath设备的命名 10\o"CurrentDocument"分区并格式化 11\o"CurrentDocument"挂载 121准备工作多路径的支持准备工作：网卡：磁盘服务器配置两块以上网卡，提供多条链路来链接，这里配置了 eth0:05,ethl:04防火墙：target用到的端口3260端口，需要打开3260端口。2安装配置target服务安装target软件查看磁盘服务器是否安装 target软件rpm -qscsi-target-utils如果没有安装，执行命令安装：yum-yinstallscsi-target-utils配置target安装完成后配置target服务配置文件，target的主配置文件为/etc/tgt/targets.conf#vi/etc/tgt/targets.conf在该文件最后添加如下配置<targetiqn.2017-06.dev.ruijie-xcache:iscsi1>backing-store/dev/sdd</target>说明：iqn.2017-06.dev.ruijie-xcache:iscsi1iqn.年份一月份.ruijie-xcache. 设备识另1Jbacking-store/dev/sdd1添加的设备/dev/sdd,如果有多快设备则配置多条 backing-storeo每个在同一个target上的backing-store 称为逻辑单元号(LogicalUnitNumberLUN)。网卡设置设置网卡的MTU值:

#vi/etc/sysconfig/network-scripts/ifcfg-ethl添加如下值：MTU=9000启动target服务启动服务:/etc/init.d/tgtdstart服务添加到开机启动：chkconfigtgtdon查看启动netstat-nltp|greptgt[roditfRG-?DTerCacke-Xxcache]*netstat-nlt7grepif"LISTED 1151/tEidL6TEY 1151/tgtdtco 0 0;靠60 LISTED 1151/tEidL6TEY 1151/tgtdtcp 0 0tj13260 jt：*Ircol6RGPcnrerCache'icachel^查看target#tgt-admin -s n-ruu工unn.—7丁丁.，丫丁.丁一丁i,u _UNinformation：LUN：0lype：controllerSCSIID：IETOOC10000SCSISN：beaflOSize：0MB,Blocksize：1Online；YesRemovablemedia：MoPreventremoYal；NoEpadrin-.y：NoBackingstoretype：nullBackingstorepath:KonaBackingstorefla££：LIN：1Ivre：diskSCSIID：IET00010001SCSISN：beafllSlie：21456MB,Block占建匕：S12Onlin&■\?sRemovablemedia:NoPreventremoval：NoReadonly：NoRackingstoretype：rdwrBackinnstererath：devsddlBackingstareflags；Accountinformation：ACLiiifuijnatiuHi JT LUN0是控制器，可以看到各个LUN的大小和磁盘路径。看到如图：LUN:1,LUN:2等，说明配置成功注：如果重新配置了target配置，需要重启服务器3客户端软件安装配置安装iSCSIInitiator客户端安装查看服务器是否安装iscsi-initiator软件rpm -qinstalliscsi-initiator-utils如果没有安装，执行命令安装：yum-yinstalliscsi-initiator-utils设置运行级别：把iscsid和iscsi设置为开机启动：chkconfig--level35iscsidonchkconfig--level35iscsion修改配置修改/etc/iscsi/initiatorname.iscsi文件，设置主机名InitiatorName=iqn.2017-06.ruijie.xcache:iscsi网络存储网卡配置这里要确保设置网络存储的网卡可以 ping通[fmtElacalhoad +ping10,0.0.L4:jqIerhlPINSId5*。」( froir10*0,0,9了erhl:5耳出41 of由工a,44byLtd IJrtrO.10; lt2i：L_ae4«l LL1«251 L-ic匕工3T 111si4ioytca frsr lDrC^0r10t ian^_sc：^-2 ztl-255 rin:c-0*L35 ma64bytes from 10.0.0+10: ian(p_9em3 51755 ti!ne"0^126 tra白4 £rj£. m lanp_aei-^ llI-ZS；匚m—IC,0.0,10pinastatistics-4pachv匚m 4r&c&lvel,Okpa二yel 匚1工时30匚小rxtmin/*vg/r-uxyMcv-0.126，酢/口.：三口/。.口口白tm[roatllocalhov'tpingItLO-O-lO-g4-Ietb;FINj10+0*0,10£130,匚」“:二"LO.CLO谭2EOl。56樟4|绯能&Ol3打回，K.n.r.jr「in。cj—4packecjtrd；：3altLedrorec&lvel,mow>ackei1詈注廿,Lime130jCtiincfllnrrit-]#宕掉eth1后eth2立马就可以通，此时再启动eth1后eth1就不通了，eth1、eth2反过来测试结果每次只有一个 IP会通，Linux默认启用了反向路由检查，我们只需要关闭反向路由检查即可。修改内核文件/etc/sysctl.confvi/etc/sysctl.confControlssourcerouteverificationTOC\o"1-5"\h\znet.ipv4.conf.default.rp_filter =0net.ipv4.conf.all.rp_filter =0net.ipv4.conf.eth1.rp_filter =0net.ipv4.conf.eth2.rp_filter =0sysctl-p3.1.5创建接口文件为MPIO创建接口文件刚刚在target服务器有两块网卡：eth0和ethl#iscsiadm-miface-Iieth0-onew#iscsiadm—miface-Iiethl-onew更新接口名称iscsiadm-miface-Iieth0--op=update-n_ifacename-veth0iscsiadm-miface-Iieth1--op=update-n_ifacename-veth1可使得“iscsiadm-miface”命令查看状态。u.04-JIJUL匕丫LUt!T ZU「L1口喝5：L/尸门HLL51F[root@RG-PoiverCache-X iscsiadm-mifacedefaulttcp,(empty?,<emjpTy>1<emDty>,<empty>iseriser*^empty>,<empty^,^enipty>,<enipty^ethOtcp,^empty>t<ernpty>7ethO.<empty>iwla.nOtcps^empty)f<empty>,《empty》,<empty)6thltcr>,Cempty>, ethl,3.2安装配置multipath安装执行命令安装：#yum-yinstalldevice-mapperdevice-mapper-multipathdevice-mapper-libs-1.02.117-12.el6.x86_64device-mapper-event-1.02.117-12.el6.x8664device-mapper-multipath-libs-0.4.9-100.el6.x86_64device-mapper-persistent-data-0.6.2-0.1.rc7.el6.x8664device-mapper-multipath-0.4.9-100.el6.x86_64device-mapper-1.02.117-12.el6.x86_64device-mapper-event-libs-1.02.117-12.el6.x86645/centos6.364/Packages/device-mapper-multipath-0.4.9-56.el6.x86_64.rpmhttp:〃/mirror//linux/scientific/6.3/x8664/os/Packages/device-mapper-multipath-libs-0.4.9-56.el6.x8664.rpmhttp:〃/mirror//linux/scientific/6.3/x8664/os/Packages/kpartx-0.4.9-56.el6.x8664.rpmhttp://mirror ./centos/6/os/x8664/Packages/device-mapper-1.02.117-12.el6.x86_64.rpmhttp://mirror ./centos/6/os/x86_64/Packages/device-mapper-event-1.02.117-12.el6.x86_64.rpmhttp://mirror ./centos/6/os/x8664/Packages/device-mapper-event-libs-1.02.117-12.el6.x86_64.rpmhttp://mirror ./centos/6/os/x86_64/Packages/device-mapper-libs-1.02.117-12.el6.x86_64.rpmhttp://mirror ./centos/6/os/x8664/Packages/device-mapper-persistent-data-0.6.2-0.1.rc7.el6.x86_64.rpmhttp://mirror ./centos/6/os/x8664/Packages/device-mapper-multipath-0.4.9-100.el6.x86_64.rpmhttp://mirror ./centos/6/os/x8664/Packages/device-mapper-multipath-libs-0.4.9-100.el6.x86_64.rpmhttp://mirror ./centos/6/os/x8664/Packages/kpartx-0.4.9-100.el6.x86_64.rpmhttp://mirror ./centos/6/os/x86_64/Packages/lvm2-2.02.143-12.el6.x86_64.rpmhttp://mirror ./centos/6/os/x8664/Packages/lvm2-libs-2.02.143-12.el6.x86_64.rpmPuckiEt r^rch Vtrsicnla=lalli^£：devicE-BaEs5wi-injltipath ^86_64 04-S-IUO.el6UpdATin弟hTJTibq x«6J4 202J43T2料16TnstialImgfordependent:devicB-aac-7er-iniltipath-lit>E i£0_64 0_4.&-LEMLel6kpaj"tx ^86_64 04.9^100.e)6l曲工ins.fard@vieenuphar k能.64 1,⑫117T2.@16device-Bap^hSr-e^ent i.8fi_64 1⑫llT-iS.el6d由1vi亡目一»05电汇一盯-心。■1・l£bs： i86_64 1瞠117-12,el6deviee=aap^«r1ibi <86_S4 1.02LI.1T-I.2,el6devic»-aap?«r-per£Iscmrdak^a x86_64 0.6.2F,Lrc7.*18Qm2 遍也也 202.143-12bI6初始化DMmodprobedm-multipathmodprobedm-round-robinservicemultipathdstartmultipath-v2//扫描磁盘设置为开机启动chkconfigmultipathdon修改配置配置文件样例在目录： /usr/share/doc/device-mapper-multipath-0.4.9/下执行命令生成配置文件：cp/usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.defaults/etc/multipath.conf修改配置文件：vi/etc/multipath.conf添加如下配置：defaults{udev_dir /devpath_grouping_policy multibusfailback immediateno_path_retry failuser_friendly_namesyes}设置黑名单需要注意的问题， multipath也会为本地的磁盘生成相应的 dm设备，所以需要在multipath.conf中将本地磁盘加入到黑名单，配置的方法可以参考下面的示例blacklist{devnode"Asda*"devnode"A(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"wwid3600508e000000000dc7200032e08af0b}可以根据devnode和wwid来配置wwid获取命令：scsi_id-g-u/dev/sde重启multipath4硬盘使用侦测target这里通过两个接口文件去侦测 target,形成四条链路#iscsiadm-mdiscovery-tsendtargets-p05-Ieth2-Ieth1#iscsiadm-mdiscovery-tsendtargets-p04-Ieth2-Ieth1说明:mdiscovery//侦测targettsendtargets//通过iscsi协议pIP:port〃指定target的IP和port,不写port的话，默认为3260设置启动自动连接查看目前系统上面所有的 target#iscsiadm-mnode[raot(&RG-PowerCache-X#iscsiadm-mnode05:3260,1iqn,2017-06,runjie.xcache:iscsi1192.168.2,205:3260,1iqn*2017-06.ruijie.xcache;iscsi104:3260,1iqn.2017-06.ruij1e.xcache:1scsn1192.168.2,204:3260sliqn.2017-06.ruijie.xcache:iscsnl05:3260,1iqn.2017-06.ruijie.xcache:iscs52193168.2.205:3260.1nqn.2017-06.ruijie.xcache:iscsn2192.168.2,204:3260,11qn.2017-06.rui1ie.xcache:iscsi2192.168.2,204:3260,1lqn.2017-06.ruijie.xcache;iscsi2JC 'G一一 » H I F■» - ■ I LJ? « 设置自动连接命令：iscsiadm-mnode-TPORTNAME-pPORT-IP--opupdate-nnode.startup-vautomatic说明：PORTNAME：侦测到的target(iqn.2017-06.ruijie.xcache:iscsi1)PORTIP:指定target的IP和port,不写port的话，默认为3260重启iscsi查看磁盘serviceiscsirestart//重启fdisk 智l看磁盘Disk/dev/sdd：21.5GB,21467948544bytes255headsf63sectors/tracks260gcylindersUnits=cylindersof16065*512=8225280bytesSectorsize^logicalphysical)：512bytes512bytesI/O£：2e(minimtun^ciptimal)i512bytes/512bytesDiskidentifier：0x987a6addDeviceBoot Start EndBlocks Id System/dev/sddl 1 2609 20956761 83 LinuxDisk/dev/sde：21.5GB.21467948544bytes255heads,63sectors/track,2609cylindersL-nits=cylindersof16065*512=8225280bytesSectorsize(logicalphysical)t512bytes/512bytesI/Osizeminimum/optimal)：512bytes/512bytesDiskidentifier：。艾987a63ddDeviceBoot Start EndBlocks Id System/de^/sdel 1 2609 20956761 83 Linux固定multipath设备的命名通过wwid和设备别名 对应的方式固定 multipath设备的名称，这些和别名对应的设备会被创建到/dev/mapper/目录下，使用时直接使用这个目录的的设备。通过/etc/multipath/bindings 可以获取所有磁盘的wwid,确定每个磁盘的别名之后，在/etc/multipath.conf中的multipaths段中加入相应的配置，配置文件如下所示multipaths{multipath{wwid3600508b4000c3b910000c00000330000aliasdm0}multipath{wwid3600508b4000c3b910000c00000390000aliasdm1}}配置完成之后，重启multipathd服务，使用下面的命令清空已有的 multipath记录#multipath-F然后使用multipath-v2重新扫描设备，这时会在/dev/mapper/目录下生成和别名对应的设备文件。#ls/dev/mapper/controletl01eth02这时我们执行#multipath -l会看到相应的磁盘映射:[rootflRG-PowerCache-Xopt]#multipath_1(1IET00010001)*0IErTVIRrUALd)ISKsize=20Gfeatures=101hwhandler=，01wp=rwpolicy=rround-robin0,prio=0status=active-4i0：0：1sdd8：48failedund^funknown-3：0：0：1sde8：64activeundefunknown[EQt@RG・Pmr2ECachE-Xopt]#这里我们可以看到sdd和sde两条链路设备整合