LINUX下多路径详细

1、LINUX下多路径(multi-path )介绍及使用2021-05-16 11:15:34| 分类：openfiler 系统+fr |举报 |字号订阅一、什么是多路径普通的电脑主机都是一个硬盘挂接到一个总线上,这里是一对一的关系.而到了有光纤组成的SAN环境,或者由iSCSI组成的IPSAN环境,由于主机和存储通过了光纤交换机 或者多块网卡及IP来连接,这样的话,就构成了多对多的关系.也就是说,主机到存 储可以有多条路径可以选择.主机到存储之间的IO由多条路径可以选择.每个主机到所对应的存储可以经过几条不同的路径,如果是同时使用的话,I/O流量如何分配？其中一条路径坏掉了,如何处理？还有在操

2、作系统的角度来看,每条路径,操作系统会认 为是一个实际存在的物理盘,但实际上只是通向同一个物理盘的不同路径而已,这样是在使用的时候,就给用户带来了困惑.多路径软件就是为了解决上面的问题应运而生的. 多路径的主要功能就是和存储设备一起配合实现如下功能： 1.故障的切换和恢复2.IO流量的负载均衡3.磁盘的虚拟化由于多路径软件是需要和存储在一起配合使用的,不同的厂商基于不同的操作系统,都提供了不同的版本.并且有的厂商,软件和硬件也不是一起卖的,如果要使用多路径软 件的话,可能还需要向厂商购置license才行.比方EMC公司基于linux下的多路径软件,就需要单独的购置license.好在, Re

3、dHat和Suse的2.6的内核中都自带了免费 的多路径软件包,并且可以免费使用,同时也是一个比拟通用的包,可以支持大多数存 储厂商的设备,即使是一些不是知名的厂商,通过对配置文件进行稍作修改,也是可以 支持并运行的很好的.二、Linux下multipath 介绍,需要以下工具包：在CentOS 5中,最小安装系统时 multipath已经被安装,查看multipath是否安装如下:rootwishdb -J I rpm -qa |grep mapperdevice-mapper-1 * 02 39-1.elSde vice *mapper-event-1,02.39-1.el5device-

4、mapper-multipach-0.4.7-341、device-mapper-multipath :即 multipath-tools .主要提供 multipathd 和 multipath 等工具和 multipath.conf等配置文件.这些工具通过 device mapper的ioctr的接口创立 和配置multipath设备(调用device-mapper的用户空间库.创立的多路彳交设备会在/dev /mapper 中).页脚2、device-mapper :主要包括两大局部：内核局部和用户局部.内核局部主要由device mapper 核心dm.ko和一些 target dri

5、ver md-multipath.ko .核心完成设备的映射, 而target根据映射关系和自身特点具体处理从mappered device 下来的i/o.同时,在核心局部,提供了一个接口,用户通过 ioctr可和内核局部通信,以指导内核驱动的行 为,比方如何创立 mappered device , 这些 divece 的属性等.linux device mapper 的用 户空间局部主要包括 device-mapper这个包.其中包括 dmsetup工具和一些帮助创立 和配置mappered device的库.这些库主要抽象,封装了与 ioctr通信的接口,以便方 便创立和配置 mapper

6、ed device . multipath-tool的程序中就需要调用这些库.3、dm-multipath.ko 和 dm.ko : dm.ko 是 device mapper 驱动.它是实现 multipath 的 根底.dm-multipath 其实是dm的一个target驱动.4、scsi_id :包含在udev程序包中,可以在 multipath.conf中配置该程序来获取 scsi 设备的序号.通过序号,便可以判断多个路径对应了同一设备.这个是多路径实现的关 键.scsi_id是通过sg驱动,向设备发送 EVPD page80或page83的inquery命令来查 询scsi设备的标

7、识.但一些设备并不支持EVPD的inquery命令,所以他们无法被用来生成multipath设备.但可以改写scsi_id,为不能提供scsi设备标识的设备虚拟一个标 识符,并输出到标准输出.multipath程序在创立multipath设备时,会调用scsi_id,从其标准输出中获得该设备的scsi ido在改写时,需要修改 scsi_id程序的返回值为0.因为在multipath程序中,会检查该直来确定scsi id是否已经成功得到.三、multipath 在CentOS 5中的根本配置过程：1、安装和加载多路径软件包# yum - y install device-mapper devi

8、ce-mapper-multipath# chkconfig - level 2345 multipathd on # 设置成开机自启动 multipathd# lsmod |grep dm_multipath # 来检查安装是否正常footwxshdb / *| frepAth2 5421 2 dni_round_xcl> 1 n5C3i_dM12097 1 dw_muitlpath如_gd(3225 20 出1工s,皿ulcpgh,如果模块没有加载成功请使用以下命初始化DM ,或重启系统# -Use the following commands to initialize and s

9、tart DM for the first time:# modprobe dm-multipath# modprobe dm-round-robin# service multipathd start# multipath v2 2、配置 multipath :Multipath的配置文件是/etc/multipath.conf , 如需要 multipath正常工作只需要如下配置即可：如果需要更加详细的配置,请看本文后续的介绍blacklist devnode "Asda"页脚)defaults user_friendly_names yes path_grouping

10、_policy multibus failback immediate no_path_retry fail)# vi /etc/multipath.confdevnode "Asdanefault9 user filend1y_names yes# multipath -v2 # 格式化路径# multipath -ll # 查看多路径(lootfwlshdb/tl nuLtip-ath ! 1dff-2 IETV1RTW±-DI3K-工 IEV3RK3-D工5HdjE-O IET# VIRTUAL -DISKda-3 IET,VlftTUAtrblEX31QTQ 项 m

11、被相帽囹.path_groupmg_po 11cy multibus fallback inaiieil2at.e no_pach_retry fail用fdisk-l命令可以看到多路径软件创立的磁盘,如以下图中的 /dev/dm-0-31404562252S0“681605byre jb Y匕3匕丁匚匕二cylinder*-B22S2SDcylinders 6225280Sl-ai6O38l bytes ac1cr 62 cylmdeDisk /dev/dni-iZ55 heads, 63Dnk /d3/如 S5& hua- 5 Un工匚, cyliiDisk /dev/ds-2!

12、3Q1O 255 heads, 63 sector Unlt cylindera ofDx3k /dev/dm-0： S 255 heads63 sec Drug - cylindcr94、multipath 磁盘的根本操作要对多路径软件生成的磁盘进行操作直接操作/dev/mapper/目录下的磁盘就行在对多路径软件生成的磁盘进行分区之前最好运行一下pvcreate命令：# pvcreate /dev/mapper/mpath0# fdisk /dev/mapper/mpath0页脚Cm8gwlLIF1*M Ualnf Last .八nqC4lllTtg toftl OrylInder ar

13、dcfdiulc value 63ccctud (st for help i : n 4Gd 4CC ione eMtendep priMry P4rtltlen用fdisk对多路径软件生成的磁盘进行分区保存时会有一个报错,此报错不用理会.fdisk对多路径软件生成的磁盘进行分区之后,所生成的磁盘分区并没有马上添加到/dev/目录下,此时我们要重启IPSAN或者FCSAN的驱动,如果是用iscsi-initiator来连 接IPSAN的重启ISCSI效劳就可以发现所生成的磁盘分区了# service iscsi restart# ls -l /dev/mapper/(ZQO$wxshdb /

14、) # Is -1 /dev/iMpper/ gtS 0crw-1rootroox.1明63Jul1911 ：2 4controlb.1rootdisk253,0Jul1913：27jnp&thDb£*W1jc*atdist2.3Jul19iap-athOplbrw-rw1.rootdiffle2&3r1Jul19i3：57mpabhlbrw-rw1?53.5Jul1913U7brw-rw1rootdist253,2Jul1913:.27tnpath2brw-rw1rootdist253,4Jul1913:2?mpath3如上图中的 mpath0p1和mpath1p1

15、就是我们对 multipath磁盘进行的分区# mkfs.ext3 /dev/mapper/mpath0p1 # 对 mpath1p1 分区格式化成 ext3 文件系统# mount /dev/mapper/mpath0p1 /ipsan/ # 挂载 mpath1p1 分区页脚四、multipath 的高有配置以上都是用multipath的默认配置来完成 multipath的配置,比方映射设备的名称, multipath负载均衡的方法都是默认设置.那有没有根据我们自己定义的方法来配置 multipath呢,当可以.1、multipath.conf 文件的配置接下来的工作就是要编辑/etc/mu

16、ltipath.conf 的配置文件multipath.conf 主要包括 blacklist > multipaths、 devices 三部份的配置blacklist 配置blacklist devnode "Asda")Multipaths 局部配置multipaths和devices两部份的配置.multipaths multipath wwid * # 止匕值 multipath-v3 可以看至Ualias iscsi-dmO #映射后的别名,可以随便取path_grouping_policy multibus # 路径组策略path_checker tur

17、 #决定路径状态的方法path_selector "round-robin 0" #选择那条路径进行下一个IO操作的方法)Devices局部配置devices device vendor "iSCSI-Enterprise" # 厂商名称product "Virtual disk" # 产品型号path_grouping_policy multibus # 默认的路径组策略getuid_callout "/sbin/scsi_id -g -u -s /block/%n" # 获得唯一设备号使用的默认程序 prio_

18、callout"/sbin/acs_prio_alua %d" #获取有限级数值使用的默认程序path_checker readsectorO #决定路径状态的方法path_selector "round-robin 0" #选择那条路径进行下一个IO操作的方法failbackimmediate #故障恢复的模式no_path_retryqueue #在disable queue之前系统尝试使用失效路径的次数的数值rr_min_io100 #在当前的用户组中,在切换到另外一条路径之前的IO请求的数目)页脚)如下是一个完整的配置文件blacklist de

19、vnode "Asda")defaults user_friendly_names no)multipaths multipath wwid 14945540000000000a67854c6270b4359c66c272e2f356321alias iscsi-dm0path_grouping_policy multibuspath_checker turpath_selector "round-robin 0")multipath wwid 14945540000000000dcca2eda91d70b81edbcfce2357f99eealias

20、iscsi-dm1path_grouping_policy multibuspath_checker turpath_selector "round-robin 0")multipath wwid 1494554000000000020f763489c165561101813333957ed96alias iscsi-dm2path_grouping_policy multibuspath_checker turpath_selector "round-robin 0")multipath wwid 14945540000000000919ca81302

21、0a195422ba3663e1f03cc3alias iscsi-dm3path_grouping_policy multibuspath_checker turpath_selector "round-robin 0")devices device vendor "iSCSI-Enterprise"页脚product "Virtual disk" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" pat

22、h_checker readsector0 path_selector "round-robin 0"获取wwid的方法：(1)默认情况下,将使用 /var/lib/multipath/bindings内的配置设定具体每个多路径设备名,如果在/etc/multipath.conf中有设定各 wwid别名,别名会覆盖此设定.rooc/ 1 I ffior elib/tnulclpach/bind Ings* Multi-path. bi.n.d.ing 3 f Veisicu ; 1,0f NOTE： Vhis fiie i9工事中3工丫by tht icualt±

23、p叁.hf Yau should nQL need co edix rhis file in namiaL ciccuiascbnces.ff F口口HAM： t alias impathOGKJ2QQQQOOOa-6105JlG«7Qto359GC6G272cZra56321mpachi l1554 0000000000dccA2cdfl9ld70bBledbcfce2357f99eempatiiZ 1494 55100000000002021 34&9cl6551101B13333957ed963ipath3 55000000000 919ciai3030al95422t

24、oa3663eLf03cc3(2)# multipath -v3 命令查找rcoc>?±shdb /) f mulcipaL-h -| qr呼p u.idsdb: 9ecuxd /sbin/scsiid -g - -s /block/%n (config file deffiulc)3de: gecuid = /sbin/scsiid -g -u -3 /block/%n (config file desdc: uid - 14945540000000000afi73&4c«70b43S9cc2 7 2«2f35321 callout) wdC, g

25、«vuid - /abxn/scsx_Ld -g -y -n ZblocJc/%n tc舞f工勺 def«vlcsdd: uid = 14 94554000000000t>d=：ca2eda&ld.7 0bSledbcfce357f'59ee (callcujt)sd;-W -u/Lloc工/节r gqmriq 工工工= 口9de)uld - 1494S94OO0OQOW020f7434»«14S541101B133(M110Ut>sdf: gecuid - /aiaxn/scsixcl -q -a /black/%n (co

26、nfig file default J30工二 u1口 = 19455OaOQOQa0OO»19ca&1.3O2Oal9S22ba363elXO3cc3 与谊llouc)营口后：SfiEuid - /sbin/sGsi_Ld -g - -s /bi口uk/Vti fu口力fiq file default 序此：uld - 113<55e0QOQO05o0Oa7S&ec627Qbi359G46c2 7 2e2I35«321 (callcuc) sdi; getuid /Bbin/scsi id -g - -a /black/tn (confiq file

27、 default; sdi; uid - 14945'eQaOQQODO?OdGGa2edd51(17Db31edtc£ceJ357f35ee (collout)sd j; getuid = Zafcun/sGai-idlq -u -3 /bloGk/tn I config file adj; uid = 11915510000000000?0763105165561101813333>dK： gcuiU /abin/scsi_l<l 7 *u *5 /block/m (config file adk: uid - H94554000000Q00019Gaftl3

28、020a19S422ba3fifi3clfG3cc32、负载均衡测试使用dd命令来对设备进行写操作,并同时通过 iostat来查看I/0状态,命令及输出如下：# dd if=/dev/zero of=/dev/mapper/iscsi-dm1p1开启另外一个终端用以下命令查看IO情况页脚# iostat 10 10sde11307,01u7ed.ei1239S4sdei34*.X1367.01ii7ss.sasdf0,000.00o.co00sdg0,000.000.0000add0.000.0000sddl0.000,000.60003ir.14g.况11103+3011393.4111114114045d1400.6011103.3011393.41二1工144114040sdi0.0.0.00o.co00adj0.006.0000dm-0a. oo0.000.00Q0UJT- 1STg.1922490.3123183.2222S12B232064Q.QO00通过上述输出,我们看到,在对 /dev/mapper/iscsi-dmlpl 读写时,实际上是通过对/dev/m