Dell R410 + Centos6.2 + MD3200部署

1、Dell R410 安装有Centos6.2系统硬件须知：1、R410服务器需要购买安装SAS HBA卡，插在pcie槽，一个即可，想做备份就插2个；2、MD3200一个控制器模块可以连接4个服务器，不含冗余和备份；3、如果连接4台服务器需要4条SAS线，如果做备份的话，只能连2台服务器，每个服务器接两条；硬件连接按照说明书即可（一条SAS线从服务器连接md3200,一条网线用于带外管理）。具体应用：1、为了方便采用带外管理方式，用笔记本电脑安装光盘所带的管理软件；2、配置地址192.168.128.200连接MD3200的mgmt地址，192.168.128.101/102；3、按照提示操作

2、，配置raid类型和需要创建的磁盘，并将磁盘映射至服务器；4、Centos6.2采用multipathd软件进行多路径管理；先用dell md3200安装光盘，安装linux下的软件，备用，./autorun即可。启动#service multipathd start扫描阵列#rescan_dm_devs查看映射来的磁盘# multipath -llMay 09 00:13:34 | multipath.conf line 101, invalid keyword: polling_intervalMay 09 00:13:34 | multipath.conf line 109, inval

3、id keyword: prio_calloutMay 09 00:13:34 | multipath.conf line 116, invalid keyword: polling_intervalMay 09 00:13:34 | multipath.conf line 124, invalid keyword: prio_calloutMay 09 00:13:34 | multipath.conf line 131, invalid keyword: polling_intervalMay 09 00:13:34 | multipath.conf line 139, invalid k

4、eyword: prio_calloutMay 09 00:13:34 | multipath.conf line 146, invalid keyword: polling_intervalMay 09 00:13:34 | multipath.conf line 154, invalid keyword: prio_calloutmpathb (36d4ae52000813c40000003964fa7047c) dm-2 DELL,MD32xxsize=27T features='3 queue_if_no_path pg_init_retries 50' hwhandl

5、er='1 rdac' wp=rw-+- policy='round-robin 0' prio=6 status=active- 1:0:0:0 sdb 8:16 active ready running#multipath -llmpath1 (36d4ae52000890a8e000003be4f8b19b9) dm-3 DELL,MD32xxsize=15Tfeatures=3 queue_if_no_path pg_init_retries 50hwhandler=1 rdacrw_ round-robin 0 prio=100active_ 1:0:

6、0:1 sdd 8:48 activeready那个错误提示是说multipath.conf这个配置文件中有些行使用了不能识别的关键字. 一般是配置文件的版本问题. 不过一般来说multipath跑默认设置就好了，所以您可以先把出错的行注释掉。MBR分区表：（MBR含义：主引导记录）所支持的最大卷：2T （T; terabytes,1TB=1024GB）对分区的设限：最多4个主分区或3个主分区加一个扩展分区。GPT分区表：（GPT含义：GUID分区表）支持最大卷：18EB，（E：exabytes,1EB=1024TB）每个磁盘最多支持128个分区用 parted 建立大小超过2T的分区由于单块

7、硬盘的容量不断增大，价格也很便宜，现在2TB的硬盘已经很常见，而传统的MBR方式存储使很多分区工具不能正常读取大于2TB的磁盘而无法分区大于2TB的磁盘，linux提供parted工具可以很好的支持大磁盘分区。Parted和fdisk很相似，也是命令行工具，但是parted分区是实时的，只要开始执行分区，就实实在在的分区啦，而不像fdisk工具需要执行w后才开始分区，所以使用parted分区的时候一定要注意，看清楚在下手。分区，磁盘空间大于2T，采用gpt#parted /dev/mapper/mpathb(parted)mklabel gpt(parted)mkpart primary 0%

8、 100%primary指分区类型为主分区，0是分区开始位置，100%是分区结束位置(parted)print查看分区设置Model: Linux device-mapper (multipath) (dm)Disk /dev/mapper/mpathb: 30.0TBSector size (logical/physical): 512B/512BPartition Table: gptNumber Start End Size File system Name Flags1 1049kB 30.0TB 30.0TB primary将新分区加入分区列表#kpartx -a /dev/mapp

9、er/mpathbp1虽然ext4 的 feature list 有支持 > 16TB, 不过. 那目前来看就只是设计目标, 因为 e2fsprogs 不支持 > 16TB，所以只能换成xfs文件格式，centos6.2的内核支持XFS，所以只要安装xfs软件就可以了#yum install xfsprogs*格式化文件系统#mkfs.xfs /dev/mapper/mpathbp1挂载#mkdir /md3200#mount /dev/mapper/mpathbp1 /md3200查看分区状况# df -hTFilesystem Type Size Used Avail Use%

10、 Mounted on/dev/mapper/vg_ffmpeg-lv_rootext4 50G 4.9G 42G 11% /tmpfs tmpfs 7.8G 0 7.8G 0% /dev/shm/dev/sda1 ext4 485M 61M 399M 14% /boot/dev/mapper/vg_ffmpeg-lv_homeext4 208G 188M 197G 1% /home/dev/mapper/mpathbp1xfs 28T 33M 28T 1% /md3200最后加入到/etc/fstab开机挂载/dev/mapper/mpathbp1 /md3200 xfs defaults

11、1 2Device Mapper 命令命令说明multipath -h打印使用信息multipath -ll使用所有可用信息（sysfs、Device Mapper、路径检查程序等信息）显示当前多路径拓扑multipath使用简化输出重新集合多路径设备。multipath -f <multipath_dev_node>对特定多路径设备清除 Device Mapper。在删除基本物理设备或取消其映射时使用。multipath -F清除所有未使用的多路径设备映射。rescan_dm_devsDell 提供的脚本。强制重新扫描主机 SCSI 总线，并根据需要集合多路径设备。适用情况：&#

12、183; LUN 动态映射至主机。· 有新目标添加至主机。· 需要恢复存储阵列的故障。限制和已知问题· 在某些错误情况下，如果已设置 no_path_retry 或 queue_if_no_path 功能，则应用程序可能会挂起。要克服这些情况，必须为每个受影响的多路径设备输入以下命令： dmsetup message device 0 "fail_if_no_path"（dmsetup message 设备 0 "fail_if_no_path"）其中 设备 是多路径设备名称（例如 mpath2，但是不指定路径）。·

13、; 如果在卸载卷之前删除了 Device Mapper 设备，I/O 可能会挂起。· 如果 scsi_dh_rdac 模块未包含在 initrd 中，设备搜索可能变得更缓慢，并且系统日志可能会写满缓冲区 I/O 错误信息。· 如果主机服务器或存储阵列在 I/O 活动时重新引导，则 I/O 可能会挂起。在关闭或重新引导主机服务器或存储阵列之前，应该停止存储阵列的所有 I/O。· 对于 MD3200 系列阵列，在恢复发生故障的路径之后，由于驱动程序无法在没有强制重新扫描的情况下自动检测设备，因此未自动完成故障恢复。运行命令 rescan_dm_devs 强制重新扫描主

14、机服务器。由此可恢复发生故障的路径，并激活故障恢复。· 如果主机系统正在执行繁重的 I/O 操作，则故障恢复可能会很慢。此时若主机服务器的 CPU 利用率也很高，则会加剧该问题。· 如果主机系统正在执行繁重的 I/O 操作，则 Device Mapper 多路径服务可能会很慢。此时若主机服务器的 CPU 利用率也很高，则会加剧该问题。· 如果未将根磁盘列入 multipath.conf 文件中的黑名单，则可为根磁盘创建多路径节点。命令 multipath -ll 会列出有助于确定该问题的供应商/产品 ID。故障排除问题解答如何确定 multipathd 是否正在运

15、行？运行以下命令/etc/init.d/multipathd status为什么 multipath -ll 命令的输出未显示任何设备？先请验证是否搜索到设备。命令 #cat /proc/scsi/scsi 可显示所有已搜索到的设备。然后验证 multipath.conf 确保已用适当的设置将其更新。此后运行 multipath。然后再运行 multipath -ll 就应显示新设备。为什么没有为新映射的 LUN 分配多路径设备节点？在任意目录下运行 rescan_dm_devs。由此可调出设备。如果先前没有映射任何 LUN，然后映射了部分 LUN。则在运行 rescan-scsi-bus.sh 之后无法显示 LUN 0。运行 rescan_dm_devs 而非 rescan-scsi-bus 以重新配置 LUN 0。已移除 LUN，但多路径映射依然存在。移除 LUN 后，多路径设备依然存在。运行 multipat