DeviceMapperMultipath配置指导书

1、资料编码产品名称Device Mapper Multipath使用对象华为工程师、合作方工程师产品版本编写部门多路径Linux组资料版本V1.0Device Mapper Multipath配置指导书拟 制：成林/90006999日 期：2013-2-4审 核：日 期：批 准：日 期：华为技术有限公司版权所有 侵权必究华为机密，未经许可不得扩散Device Mapper Multipath配置指导书文档密级：内部公开修订记录日期修订版本描述作者2013-2-4V1.0整理、初稿成林Device Mapper Multipath配置指导书文档密级： 目 录目 录1前 言31 检查系统DM-Mul

2、tipath41.1 检查DM-Multipath是否正确安装41.2 查看DM-Multipath版本51.3 检查DM-Multipath配置文件51.4 检查DM-Multipath服务multipathd是否开机启动52 修改DM-Multipath配置62.1 修改multipath.conf文件62.1.1 CentOS 6.3 对接阵列S5800T 配置72.1.2 NeoKylin Advance Linux Server V5.6 对接阵列18500配置82.2 FAQ92.2.1 如何获取阵列vendor及product92.2.2 DM-Multipath可用的磁盘在哪里

3、93 注意事项113.1 集群应用113.2 DM-Multipath与UltraPath共存113.3 设备屏蔽113.4 驱动超时参数113.4.1 FC驱动113.4.2 ISCSI驱动12附录A DM-Multipath盘符绑定13附录B DM-Multipath磁盘屏蔽14附录C 常用命令16关键词：Device Mapper Multipath、配置摘 要：本指导书是针对Linux系统自带多路径Device Mapper Multipath对接我司阵列，配置操作过程中需要的步骤、注意事项等提供的指导，本指导书描述了Multipath配置过程及注意事项。缩略语清单：DM-Multip

4、ath(Device Mapper Multipath )：Linux系统自带多路径LUN(Logical Unit Number): 逻辑单元号ALUA（Asymmetric Logical Unit Access）：非对称逻辑单元IALUA（Implicit Asymmetric Logical Unit Access）：隐式ALUAEALUA（Explicit Asymmetric Logical Unit Access）：显式ALUA参考资料清单：无。前 言 对于以下系统，可参照Red Hat系统进行处理。l Oracle Linuxl Oracle VM Serverl Asianu

5、xl Rocky 4Rocky 4.2.40 系统自带DM-Multipath配置说明见3.6小节。l Kylin(NeoKylin)l XenServerl CentOSl Fedoral Scientific Linux对于以下系统，可参照Debian系统进行处理。l Ubuntul Rocky 6对于以下系统，可参考SUSE系统进行处理。l UVP1 检查系统DM-Multipath1.1 检查DM-Multipath是否正确安装执行rpm -qa | grep device-mapper命令。查看系统是否安装或者装全DM-Multipath，特别关注multipath相关项。注：对于d

6、ebian系统，使用deb安装包。执行dpkg -l | grep multipath命令查询DM-Multipath是否正确安装。例如，ubuntu的DM-Multipath包为multipath-tools。若系统为SAN引导方式，要需要multipath-tools-boot包。如图1-1所示，系统（Red Hat 6.3）正确安装Device Mapper时，会有多个rpm包被安装到系统中，其中与Multipath相关的有两个（如图中红框内容）。如果没有安装，或者安装不全，须先从系统安装源获取rpm安装包，进行DM-Multipath的安装。图1-1 Red Hat 6.3 DM-Mu

7、ltipath注1：不同版本会有差异，以系统发布版本的实际情况为准。例如，Red Hat 5.7系统DM-Multipath的rpm包，如图1-2所示。图1-2 Red Hat 5.7 DM-Multipath注2：SuSE系统multipath相关rpm包是multipath-tools-*.rpm。例如，SuSE11SP1系统DM-Multipath的rpm包，如图1-3所示。图1-3 SuSE11SP1 DM-Multipath1.2 查看DM-Multipath版本如1-1小节示例，图1-1中Red Hat 6.3系统中DM-Multipath版本是0.4.9； 图1-2中Red Ha

8、t 5.7系统中DM-Multipath版本是0.4.7； 图1-3中SuSE11SP1系统中DM-Multipath版本是0.4.8。1.3 检查DM-Multipath配置文件查看系统中/etc/multipath.conf文件是否存在。如果不存在，将/usr/share/doc/device-mapper-multipath-*/multipath.conf (Red Hat 6.3)或/usr/share/doc/device-mapper-multipath-*/multipath.conf.synthetic （Red Hat 5.7）或/usr/share/doc/package

9、s/multipath-tools/multipath.conf.synthetic (SuSE11SP1)或/usr/share/doc/multipath-tools/examples/multipath.conf.synthetic (ubuntu 11.04)文件拷贝一份，文件命名为multipath.conf放置于/etc/目录下。 注：上述加粗部分“*”表示相应DM-Multipath版本。有些版本提供mpathconf 命令，可以使用mpathconf -enable 命令来创建配置文件。1.4 检查DM-Multipath服务multipathd是否开机启动执行chkconfi

10、g list multipathd命令，查看multipathd服务是否开机启动。Red Hat 6.3系统查询结果如图1-4所示。图 1-4 Red Hat 6.3查询结果若multipathd在需要的启动级别未配置开机启动，执行chkconfig -level 35 multipathd on命令，设置multipathd服务开机启动。注：上述加粗的“35”表示系统启动级别3和5。2 修改DM-Multipath配置2.1 修改multipath.conf文件1）执行vi /etc/multipath.conf打开配置文件，在文件的devices 配置项中添加阵列相应配置。具体配置内容见本

11、小节后续内容。Red Hat 6.3系统对接S5500T阵列的示例配置，如图2-1所示。图2-1 Red Hat 6.3对接S5500T阵列DM-Multipath配置基本配置项说明: 1. vendor 与 product 阵列信息， 阵列相关； 2. path_grouping_policy 是路径分组策略配置， 策略相关； 3. getuid_callout 获取lun wwn方法， 系统相关； 4. path_checker 路径检查方法， 策略相关； 5. prio(或prio_callout) 获取路径优先级方法， 版本、策略相关； 6. path_selector 选路方法， 策

12、略相关； 7. failback failback配置， 策略相关； 8. dev_loss_tmo fc超时配置， 策略相关（dm-multipath低版本不支持）；注意:具体配置的说明,可参考随机文档multipath.conf.annotated确保multipath.conf配置文件中，blacklist配置项没有设置对阵列的屏蔽。例如，在Red Hat 5.7系统中，multipath.conf配置文件中，默认进行了如图2-2所示配置，屏蔽了所有的devnode。需要将屏蔽设置注释掉，或者在blacklist_exceptions配置项中设置屏蔽例外。图2-2 Red Hat 5.7

13、 DM-Multipath默认配置2）配置修改完毕后，依次执行multipath Fservice multipathd reloadmultipath v2命令，使配置生效。注1：/etc/multipath.conf文件修改后，需要执行service multipathd reload命令重新加载配置，否则更改不生效。注2：debian系统重新加载multipathd 参数的命令为service multipath-tools reload。注3：若servie multipathd rload 命令执行失败，请根据回显提示操作。或使用multipathd reconfigure 命令更新

14、配置。3）执行multipath ll命令，查看修改效果。Red Hat 6.3系统对接S5500T阵列示例中，如图2-1的配置，查询结果如图2-3所示。可以观察，阵列映射给主机有3个LUN，每个LUN有2条路径，每条路径通过alua获取到了不同的优先级。例如：虚拟LUN mpatha，两条路径的物理LUN是sdb、sdd，路径优先级分别是50、10。图 2-3 Red Hat 6.3对接S5500T阵列DM-Multipath查询路径信息2.1.1 CentOS 6.3 对接阵列S5800T 配置隐式ALUA配置：# HUAWEI：S5800T IALUA#device  

15、0;              vendor                  "HUAWEI "                

16、     product                  "S5800T"                         path_groupin

17、g_policy   group_by_prio                getuid_callout          "/lib/udev/scsi_id -whitelisted -device=/dev/%n"       &

18、#160;        path_checker            tur prio alua                path_selector         &#

19、160; "round-robin 0"                failback                immediate  注：1. 本配置仅用于CentOS 6.3系统对接S5800T阵列2. 由于阵列与DM-Multipath对接，使用了IALUA

20、配置，故须手动在阵列侧开启ALUA配置（非默认配置）。操作方法：在ISM界面上，对相应启动器配置ALUA。详细说明，参见阵列ISM使用手册。2.1.2 NeoKylin Advance Linux Server V5.6 对接阵列18500配置 device vendor "HUAWEI " product "HVS85T" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" path_selector "round-

21、robin 0" path_checker tur failback immediate 2.2 FAQ2.2.1 如何获取阵列vendor及productvendor和product信息，依赖阵列的厂商和型号及固件版本。方式一：直接填写2.1小节中相应配置（经过测试无误的）。方式二：在DM-Multipath多路径可用，但尚未添加阵列专属配置前（确保配置文件blacklist列表未把阵列设置屏蔽），在阵列映射LUN给主机，在主机侧扫LUN成功后，会根据默认配置接管阵列映射的LUN。执行multipath ll 可观察vendor及product信息。此时，可与2.1小节中给出的ve

22、ndor和product信息进行印证。例如，在Red Hat 6.3系统上，未添加如图2-1的配置前（示例系统默认配置），multipath ll查看到的信息如图2-4所示。图2-4 查看阵列vendor及product方式三：对于特定设备的vendor和product，可在文件/sys/block/device_name/device/vendor和/sys/block/device_name/device/model文件中找到。其中，device_name是指磁盘设备，例如：“sdb”、“sdc”。执行如下命令可查看sdb设备的vendor和product信息。cat /sys/block

23、/sdb/device/vendorcat /sys/block/sdb/device/model2.2.2 DM-Multipath可用的磁盘在哪里安装DM-Multipath的系统，允许使用的DM-Multipath虚拟盘盘符位于/dev/mapper/目录下。例如，在Red Hat 6.3系统上，使用如图2-1的配置，映射3个LUN时，DM-Multipath生成的虚拟盘符mpatha、mpathb、mpathc，如图2-5所示。图2-5 Red Hat 6.3系统上DM-Multipath 虚拟盘符参考图2-3，DM-Multipath虚拟盘mpatha 对应有两条路径 4：0：0：1

24、、 3：0：0：1，两条路径上的物理盘符分别是sdb、sdd。不同系统会有差异，以实际情况为准。例如，在Red Hat 5.7系统上，如图2-6所示。图2-6 Red Hat 5.7系统上DM-Multipath虚拟盘符3 注意事项3.1 集群应用若做集群应用，在无法确定应用是否可以自动处理盘符漂移时，DM-Multipath配置需要做盘符绑定处理，不同主机对应相同的LUN需要绑定相同的盘符。盘符绑定的具体操作方法见附录A。3.2 DM-Multipath与UltraPath共存若DM-Multipath与自研多路径UltraPath同时存在于系统中时，修改配置文件/etc/multipath

25、.conf屏蔽DM-Multipath对UltraPath虚拟盘的接管，应用直接使用UltraPath虚拟盘。屏蔽盘符的具体操作方法见附录B。3.3 设备屏蔽若需要，请在/etc/multipath.conf文件的blacklist 中，将所需要屏蔽的设备进行屏蔽（例如：本地盘）。3.4 驱动超时参数3.4.1 FC驱动若因FC驱动超时时间原因，导致IO failover 时间过长，而不可接受，可通过调整fc remote port的 dev_loss_tmo参数进行改善。方法一：直接修改 fc remote port 的dev_loss_tmo参数。例如：echo 10 > /sys/

26、class/fc_remote_ports/rport-*/dev_loss_tmo方法二：对于高版本（0.4.8及以上）的DM-multipath，可在配置文件的device中，通过dev_loss_tmo参数对该属性进行配置，重新建立fc remote port时，会使用新配置参数。系统重启后，配置仍旧有效。例如：device vendor “HUAWEI”product “S5500T”dev_loss_tmo 10注：修改DM-Multipath的dev_loss_tmo参数，并重新加载配置后，参数即生效。但不会影响已经建立的fc remote port，若想对fc驱动即时生效，需要重

27、新建立所有fc remote port或修改fc remote port的超时参数。3.4.2 ISCSI驱动若因ISCSI驱动超时时间原因，导致IO failover时间过长，而不可接受，可通过调整ISCSI的node.session.timeo.replacement_timeout参数。例如：把ISCSI配置文件/etc/iscsi/iscsid.conf中的node.session.timeo.replacement_timeout参数，修改为5。修改后需要删除已经建立的node，并重新discovery.附录A DM-Multipath盘符绑定在配置了user_friendly_na

28、mes参数为yes时，绑定物理LUN对应DM-Multipath盘符的方法有两种。方法一：在/etc/multipath.conf文件中的multipath 配置项中添加绑定信息。执行service multipathd reload命令，使配置生效。如图2-2所示，若要把阵列LUN与DM-Multipath盘符mpath*的对应关系固定下来，需要在multipath.conf文件中添加的配置信息，如图A-1所示。图A-1 DM-Multipath盘符绑定注：阵列LUN对应wwid的获取：执行multipath ll 会看到阵列所有映射LUN的信息中有wwid，如图2-3所示。方法二：在/va

29、r/lib/multipath/bindings文件中，保存有 wwid 和 alias的对应关系。保持所有机器该文件内容一致。注：bindings文件需要在系统启动就加载的目录下，可通过binding_file参数设置。附录B DM-Multipath磁盘屏蔽在/etc/multipath.conf文件，blacklist 配置项中添加磁盘屏蔽信息；blacklist_exceptions 配置项中设置屏蔽例外。执行service multipathd reload命令，使配置生效。1）屏蔽所有UltraPath生成的虚拟盘例如，在以上示例的Red Hat 6.3系统中，同时安装了DM-Multipath和UltraPath。DM-Multipath会接管UltraPath生产的虚拟盘。UltraPath（以R5C01版本为例）虚拟盘信息，如图B-1、B-2所示，UltraPath生产虚拟盘sdb、sdc、sdd。DM-Multipath接管UltraPath虚拟盘，如图B-3所示。图B-1 UltraPath VLUN信息图B-2 SCSI信息图B-3 DM-Multipath查询信息在配置文件multipath.conf中，添加配置信息，屏蔽所有UltraPath产生的虚拟盘。配置信息，如下：blacklist d