linux多路径连接iScsi存储-重启自动连接

1、RHEL系统带有iSCSIinitiator软件，下面描述如何配置iSCSIInitiator实现对ISCSI卷的访问1.Linuxiscsi介绍（这一条介绍了linuxiscsi的基本原理和相关命令，具体配置时可略过）在Linux内核中提供了iscsi驱动，iSCSI驱动（driver）使主机拥有了通过IP网络访问存储的能力，驱动在主机（Initiator）和服务端（Target）间使用iSCSI协议在TCP/IP网上传输SCSI请求和响应，在构建上，iSCSI驱动与TCP/IP栈、网络驱动和网络接口卡（NIC）结合，其等同于SCSI或光纤通道卡适配器驱动对主机总线卡（HBA）的作用。驱动采

2、用采用模块的方式，具体模块包括iscsi_tcp,libiscsi,libiscsi_tcp。Initiator守护进程介绍：/etc/iscsi/iscsid.conf-initiator配置文件/sbin/iscsiadm-initiator管理工具open-iscsi包括两个守护进程iscsid和iscsi，其中iscsid是主进程，iscsi进程则主要负责根据配置，在系统启动时进行发起端（Initiator）到服务端（target）的登录，建立发起端与服务端的会话，使主机在启动后即可使用通过iSCSI提供服务的存储设备。iscsid进程实现iSCSI协议的控制路径以及相关管理功能。例如

3、守护进程（指iscsid）可配置为在系统启动时基于持久化的iSCSI数据库内容，自动重新开始发现（discovery）目标设备。Initiator配置介绍（前提是已经安装iSCSIinitiator）1iSCSIinitiator名称设置initiator名称用来唯一标识一个iSCSIInitiator端。保存此名称的配置文件为/etc/iscsi/initiatorname.iscsi,命名规则可采用iqn-type格式，利用iscsi-iname命令可产出一个名称，将此名称输入到initiatorname.iscsi配置文件即可。2iSCSIInitiator配置iSCSIInitiato

4、r的配置文件为/etc/iscsi/iscsid.conf,在iSCSIinitiator的scsid进程启动和执行iscsiadm命令时，将读取这个配置文件的内容，获取与SCSI目标进行交互的相关信息，主要的配置内容包括：CHAPSettings组本组下的各个设置项主要用来指定Initiator与target验证方式及相关信息设置节点会话的验证模式node.session.auth.authmethod=CHAPCHAR（ChallengeHandshakeAuthenticationProtocol），默认为不验证（none）设置会话target验证initiator的CHAR用户名及对应

5、的密码node.session.auth.username=scottnode.session.auth.password=tiger设置会话initiator验证target的用户名及其对应的密码#node.session.auth.username_in=username_in#node.session.auth.password_in=password_in设置initiator发现target的验证模式，默认为不验证（none）discovery.sendtargets.auth.authmethod=CHAP设置发现会话(discoverysession)target验证initia

6、tor的CHAR用户名及对应的密discovery.sendtargets.auth.username=scottdiscovery.sendtargets.auth.password=tiger设置发现会话(discoverysession)initiator验证target的CHAR用户名及对应的密码#discovery.sendtargets.auth.username_in=username_in#discovery.sendtargets.auth.password_in=password_in通过上述配置项，可以看到iSCSI的主要验证方式是CHAR,并且验证是双方向的。超时(Ti

7、meouts)设置组：本组设置initiator与target端交互的时间限制。重试(retry)设置组：本组设置iscsid重试登录节点的次数。会话和设备排队深度(sessionanddevicequeuedepth)设置组：设置session排队命令的数量，设置设备队列深度iSCSI设置(iSCSIsettings)组：启用或禁止R2T(ReadytoTransmit)流控，启用后，initiator在发送任何数据前必须等待一个R2T命令，默认为禁止(no)。node.session.iscsi.InitialR2T=Yes|no启用或禁止立即数据(immediatedata)，禁止后in

8、itiator不随着SCSI命令PDU发送未请求的数据。默认为启用(Yes)node.session.iscsi.ImmediateData=Yes|No3)initiator相关命令介绍open-iscsiinitiator-utils提供的管理命令为iscsiadm，此命令包括discovery、node、session几种模式，分别处理不同的情况。在服务器能够使用Target提供的存储空间前，必须在服务器上通过Initiator软件执行以下步骤：发现目标设备-登录目标设备-与目标设备建立会话，下面分别说明通过各个命令进行说明。(1)发现目标设备(Target)，使用iscsiadmdis

9、covery模式，命令格式如下：iscsiadm-mdiscovery-Pprintlevel-ttype-pip:port-l|-pip:port-l|-D命令示例：iscsiadm-mdiscovery-tsendtargets-p11:3260返回信息：11:3260,1.nayun:test-0111:3260,1.nayun:test-02此命令查询目标门户（Portal）为11：3260上的目标，查找成功后，返回相应的targetID,同时在/var/lib/iscsi/send_targets和/var/lib/iscsi/nodes目录下记录相应的门户和节点信息。/var/li

10、b/iscsi目录下的内容采用dbm数据库方式存储，所有版本的linux以及大多的unix都随系统带有一个基本的，但是却很高效的数据存储程序集合，被成为dbm数据库。适合于相对比较静态的索引化数据。其实就是一个索引化的文件存储系统。这些信息称之为initiatordiscoverydb，可以通过iscsiadm相关操作进行管理。使用iscsiadm-mnode命令，可以查看到发现的节点记录。备注：iSCSInode是一个在网络上可用的SCSI设备标识符，在open-iscsi中利用术语node表示目标（target）上的门户（portal）。一个target可以有多个portal，portal

11、由IP地址和端口构成。（2）在完成目标发现后，即可以登录到相应的节点，使用目标设备提供的存储空间。node相关命令如下：iscsiadm-mnode-Pprintlevel-Ttargetname-pip:port-l|-u|-R|-s-ooperation-nname-vvalue-pip:port命令示例：iscsiadm-mnode-T.nayun:test-01-l执行成功，返回如下信息：Loggingintoiface:default,target:.nayun:test-01,portal:11,3260Logintoiface:default,target:.nayun:test

12、-01,portal:successful.执行失败，返回如下信息：iscsiadm:Couldnotlogintoiface:default,target:.nayun:test-02,portal:11,3260.iscsiadm:initiatorreportederror（24-iSCSIloginfailedduetoauthorizationfailure）iscsiadm:Couldnotlogintoallportals出现上述提示，需要检查target与initiator的验证配置是否对应。登录成功后。在/sys/devices/platform目录下将自动生成一个hostX

13、目录，其中X是一个编号，每次有可能不同，在此目录下包含相关的session和connection信息。在服务端（target）可以查看登录情况，使用如下命令：tgt-admin-show显示如下信息：Target1:.nayun:test-01Systeminformation:Driver:iscsiState:readyI_Tnexusinformation:I_Tnexus:1Initiator:.nayun:initiator-212Connection:0IPAddress:12LUNinformation:LUN:0Type:controllerSCSIID:IET00010000

14、SCSISN:beaf10Size:0MB,Blocksize:1Online:YesRemovablemedia:NoReadonly:NoBackingstoretype:nullBackingstorepath:NoneBackingstoreflags:LUN:1Type:diskSCSIID:IET00010001SCSISN:beaf11Size:537MB,Blocksize:512Online:YesRemovablemedia:NoReadonly:NoBackingstoretype:rdwrBackingstorepath:/dev/sdbBackingstoreflag

15、s:Accountinformation:ACLinformation:/2410在I_Tnexusinformation部分显示了连接信息。(3)登录目标节点成功后，即建立了initiator与target之间的会话(session),同时target提供的存储设备也挂载到主机中，在/dev目录下生成一个新的设备文件类似于sdb、sdc等。查看session命令格式如下：iscsiadm-msession-Pprintlevel-rsessionid|sysfsdir-R-u|-s命令示例：iscsiadm-msession-P3返回如下信息：iSCSITransportClassversi

16、on2.0-871version2.0-872Target:.nayun:test-01CurrentPortal:11:3260,1PersistentPortal:11:3260,1Interface:IfaceName:defaultIfaceTransport:tcpIfaceInitiatorname:.nayun:initiator-212IfaceIPaddress:12IfaceHWaddress:IfaceNetdev:SID:10iSCSIConnectionState:LOGGEDINiSCSISessionState:LOGGED_INInternaliscsidSes

17、sionState:NOCHANGENegotiatediSCSIparams:HeaderDigest:NoneDataDigest:NoneMaxRecvDataSegmentLength:262144MaxXmitDataSegmentLength:8192FirstBurstLength:65536MaxBurstLength:262144ImmediateData:YesInitialR2T:YesMaxOutstandingR2T:1AttachedSCSIdevices:HostNumber:11State:runningscsi11Channel00Id0Lun:0scsi11

18、Channel00Id0Lun:1AttachedscsidisksdcState:running备注：ISCSI会话用来标识到某个具体SCSII_T连接的所有TCP连接。同一个会话里可能有一个或多个连接。当initiator通过默认端口或指定端口与target建立连接时，登录过程就开始了initiator和target互相认证并建立安全协议。在登录阶段，ISCSIinitiator和target会协商建立多种连接属性。（4）使用target提供的存储盘登录到target后，即可使用fdisk等工具像使用本地磁盘一样对磁盘进行分区，并mount到相关目录下进行文件的存取。（5）注销登录使用一下

19、命令注销登录：iscsiadm-mnode-T.nayun:test-01-p11-uLoggingoutofsessionsid:1,target:.nayun:test-01,portal:11,3260Logoutofsid:1,target:.nayun:test-01,portal:successful.（6）其他操作删除一个目标（/var/lib/iscsi/nodes目录下）.nayun:test-01删除一个目标（/var/lib/iscsi/send_targets目录下）iscsiadm-modediscovery-odelete-p11:3260查看某个sendtarge

20、tsportal记录iscsiadm-mdiscoverydb-p11:3260-tst-oshow#BEGINRECORD2.0-872discovery.startup=manualdiscovery.type=sendtargetsdiscovery.sendtargets.address=11discovery.sendtargets.port=3260discovery.sendtargets.auth.authmethod=CHAPdiscovery.sendtargets.auth.username=scottdiscovery.sendtargets.auth.password

21、=*discovery.sendtargets.auth.username_in=discovery.sendtargets.auth.password_in=discovery.sendtargets.timeo.login_timeout=15discovery.sendtargets.use_discoveryd=Nodiscovery.sendtargets.discoveryd_poll_inval=30discovery.sendtargets.reopen_max=5discovery.sendtargets.timeo.auth_timeout=45discovery.send

22、targets.timeo.active_timeout=30discovery.sendtargets.iscsi.MaxRecvDataSegmentLength=327682.通过命令检查系统是否安装了iSCSIinitiator软件包，如果没有找到相关软件包，需要在系统光盘上找到相应的rpm包安装。#rpmqa|grepiscsiEroot-wuxp-RUELrpm-qa|grepiii-initiator-uti1s-72-21.el6.x86_64r0ot-wuxp-RHEL#如果没有安装，通过以下命令安装iSCSIinitiator#yuminstalliscsi-initiat

23、or-utils3.配置每次系统启动是自动开启iscsi服务#chkconfig-list|grepiscsiroDtlocalhDst-#chtc-onfig-listIgrepiscsiiscsiD：芙闭1：关刃2：启用3:启用4:启用5:启用石：其闭iscsidD；关旳1；关汨2;启用3;启用4;启用5;启用缶关旳如果不是开机启动，即3和5是off,需要改成开机启动chkconfigiscsi-level35onchkconfigiscsid-level35on启动iSCSI服务，查看服务状态serviceiscsistart#serviceiscsistatus修改配置文件vim/et

24、c/iscsi/iscsid.confnode.startup=autonode.session.iscsi.InitialR2T=Yesnode.session.iscsi.ImmediateData=Nonode.session.timeo.replacement_timeout=60此台RHEL主机的iscsi编号（iqn号）在/etc/iscsi/initiatorname.iscsi文件中，记录此iqn号V3500/3700管理工具中建立主机时使用，注意图中红圈部分，也就是lnitiatorName=后面部分是iqn号。这在存储阵列中添加主机时会用到。使用vim进行编辑，但要注意格式

25、。vim/etc/iscsi/initiatorname.iscsirootlQC-allicist#vim/etc/iscsi/initiBtQ?naniE.iscsiJnitiatQrNaire=iqn.1954-05.redhat:7.发现目标#iscsiadm-mdiscovery-tsendtargets-p01:3260r-QQtOlocalhDst“#iscsiaciin-mdiscovery-tsendtatg-ets-p01:3260192.1-ES.3.101;32fiO,L.ibm;2145.v3700.nodel192.1S.3.103:3260rL.ibm:2145.

26、v3700.nodel注：p后面是控制器的iscsi地址，默认端口是3260,如果没有更改默认端口，可以不用添加。如果有多个控制器都提供iscsi服务，可以继续发现其余控制器上的目标（最终通过多路径软件访问的都是一个目标）。 HYPERLINK mailto:roctlcicalh.astroctlcicalh.ast:iscaisdir：-兀discover一匸sendtergets-pL921fiE_3.102:3260：L92_lfig.3.102:32fiOf11936-03.ccir：.ibir:2145.v3700.nad-e2192-lfig.3.104:32fi0f1iqn.1

27、936-03.ccro.ibin:2145.v3700.nod-e2登陆到刚刚发现的控制器iscsiadm-mnode-T.ibm:2145.v3700.node1-p01login注：其中-T后面是控制器1的iqn号，-p后面是控制器1的iSCSI地址。登陆成功后检查是否成功iscsiadm-msession查看sessioniscsiadm-mnode查看node数量roDtlocalhD3t-ftiscsiadm-mSEasiontcp:1192.165.3.102:3260,1iqn.top:2192.16S.3.L04:3260r2iJTLtop:3192.16S.3.L01:326

28、0r1iqn.rep:W192.lfie.3.L03:32fi0,2iqn.198-03.e*m.ibm:2145.v3700.node2L9S-.ibin:2145.v3700.nodeSL9S-.ibin:2145.v37OO.nadEl198-03.melibn;2145.y37OO.node!192.16B.3.102:3Z-fiOFL192.16B.3.104:32OPL01:32OPL03:32OPLr”-=4Qi_-ijinI匚口口口GBin口-ftiscsiadn-皿ri口d亡.i-gn.1986-03.Gam.itJin:Z145.v3700.nodeZ.i-n.1986-0

29、3.cam.ibn:Z145.v3700.nadeZ.i-n.1956-03.cam.ibn:Z145.v3700.nadel.i-qn.19S6-03.cam.ibim:2145.U3700.nadeln重复第7和8的步骤将完成对控制器2的发现和登陆操作，完成后应该同时可以看到两个控制器的信息。上图是已经完成对控制器2的发现和登陆。重新扫描iSCSI设备。iscsiadmmnodeR设置开机自动加载分区iscsiadm-mnodeTPORT-NAMEpPORT-IP-opupdate-nnode.startup-vautomatic通过fdisk-l命令查看硬盘可以发现V3500/3700上

30、映射过来的卷，但是因为存在冗余的路径，所以每个卷看到了两个同样大小的存储空间，需要通过安装多路径软件来解决这个问题。Linux系统下多路径软件是操作系统自带的DMMultipath(DMMP)工具。首先检查系统是否已安装了DMMP软件包。rpm-qa|grepdevice-mapper-multipathrcotLocalhost卍#rpm-qaIgrepdevice-mapper-multipathdevice-mapper-multipath-1ib日-0.4.9-72.el6-i68Cdevice-mapper-multipath-049-72.el6.1686如果没有从系统安装光盘上找

31、到并且安装相应软件包。yuminstalldevice-mapperyuminstalldevice-mapper-multipath设置DMMP服务在每次系统启动时自动开启，并检查状态chkconfig-level2345multipathdonchkconfig-list|grepmultipathdDMMP需要建立一个配置文件/etc/multipath.conf,默认情况下是没有的，可以将模板配置文件复制到/etc目录下，模板配置文件/usr/share/doc/device-mapper-multipath-0.4.9/multipath.confcp/usr/share/doc/d

32、evice-mapper-multipath-0.4.9/multipath.conf/etc/multipath.conf启动multipathd服务servicemultipathdstart检查DMMP模块是否正常加载lsmod|grepdm_multipathroDtlocalhost卍#13环日Igrepdm_nultipathdm_multipathL491B2djD_roELnd_r-ohindmjnai_69号7112匸ipatshj,dto_id.i?i?aT.d2n_ILDg安装配置成功后，可以查看到DMMP管理了一个名称为mpathb的多路径设备，此设备包含有两个路径。#

33、multipathllr-3otlocalhoat;#multipath-11mpatha(3COO507C3OO616266b6OOOaOO0OO0OODl)dm-212145sise=200Gfeatures=,l-jueiieif_no_pahThwhandler=1OTwp=rwI-4pollcy=Traund-robin01prio=50stacus=act.iverunningstatus=enabledrunningrunningI|-36;0;0;0sdc0:4fail-e-dfaultyrunningI35:0:0:0sdd8:4Sactiveready-4pollcy=Tr

34、ound-robin01prio=10I-33:0:0:0sdb6:1Gactiveready34:0:0:0sdc8:32activeready使用fdisk查看硬盘会多出一个存储设备/dev/mapper/mpatha,在分区或其他针对硬盘的操作时请使用这个设备，不要使用/dev/sdb和/dev/sdc。#fdisklDiskZdev/sdd:214.7GBf214748364800bytes255hEadsij.63sectors/track,26108cylindersUnirs=cylindersof16065*512=8225280bytesSectorsize(1口gical/physical):512bytes/512bytesI/Osize(minimum/optima1):512bytes/512bytesDiskidentifier:0 x00000000Di