HC1309114 统一存储维护与故障诊断

1、Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 0修订记录课程编码课程编码适用产品适用产品产品版本产品版本课程版本课程版本ISSUEHC1309114统一存储V1V1.0开发开发/优化者优化者时间时间审核人审核人开发类型（新开发开发类型（新开发/优化）优化）吴昊旻2014年3月14日张博新开发本页不打印Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. HC1309114统一存储维护与故障统一存储维护与故障诊断诊断Copy

2、right 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 2l学习完本章节后，您将能够：p掌握存储系统开工失败的处理流程p掌握存储控制器故障的处理流程p掌握RAID组故障的处理流程p掌握链路异常的处理流程p了解MSCS的原理以及安装部署流程目标Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 3目录1. 阵列开工失败阵列开工失败2. 控制器故障3. RAID故障4. 链路异常5. 硬盘故障6. MSCS介绍Copyright 2

3、013 Huawei Technologies Co., Ltd. All rights reserved. Page 4 阵列开工失败l阵列开工失败现象描述现象描述可能原因可能原因故障阐述故障阐述l开工失败通常发生在系统异常掉电后自动恢复的过程中，机房搬迁后重新上电，或者是在更换控制框后。l阵列开工失败表现未ISM无法连接阵列进行管理，控制器状态指示灯绿灯闪烁，通过命令行登陆提示“system is not ready please wait”。l保险箱盘所在硬盘框MAC地址和DB中记录不一致；l主备控内存大小不一致；l保险箱硬盘不在位；l系统损坏；Copyright 2013 Huawei

4、 Technologies Co., Ltd. All rights reserved. Page 5阵列开工失败诊断思路NoImageCopyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 6控制器故障l常见开工失败处理策略p“master start VAULT failed” 主控启动保险箱失败p“master DEV start VAULT failed”设备管理启动保险箱失败p“read db failed”控制器读DB失败p“master start DEV failed”主控启动设备管理失败Co

5、pyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 7目录1. 阵列开工失败2. 控制器故障控制器故障3. RAID故障4. 链路异常5. 硬盘故障6. MSCS介绍Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 8故障诊断原则先外部，后内部先外部，后内部先整体，后局部先整体，后局部先高级，后低级先高级，后低级故障诊故障诊断原则断原则Copyright 2013 Huawei Technologies Co., Lt

6、d. All rights reserved. Page 9控制器故障l检查控制器状态检查控制器状态p控制器是能够完成存储业务处理、实现RAID、LUN映射、分条设置或其他业务和故障告警等功能的部件。通过浏览控制器信息，可以检查控制器的健康状态和运行状态信息。l对系统的影响对系统的影响p如果控制器出现故障，可能会导致读写性能和可靠性降低，甚至业务中断、数据丢失。l参考标准参考标准p在ISM管理软件中：p控制器的健康状态为“正常”，运行状态为“在线”。 p“事件管理”对话框中没有新增与控制器相关的故障信息。Copyright 2013 Huawei Technologies Co., Ltd.

7、All rights reserved. Page 10控制器故障l控制器故障排查思路控制器故障排查思路p按照前面提到的先外部后内部，先整体后局部的原则，首先应该检查系统指示灯和声音告警，然后在检查各个FRU部件的指示灯。若是控制器故障我们可以看到系统指示灯和控制器告警指示灯都红灯常亮。最后再登陆ISM管理软件检查告警信息确认控制器故障。l更换控制器更换控制器p在拔插控制器前需要确认业务已经停止或业务已切换至对端，并检查主机多路径是否工作正常；p检查控制器缓存中的数据是否已写入硬盘，如果没有进行写盘操作可以对控制器执行offline操作，触发写盘操作。 p更换控制器时，如果两个控制版本不一致，

8、在更换过程中会自动进行同步，此时需要时间较长，并可能出现控制器亮红灯或者多次重启现象。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 11目录1. 阵列开工失败2. 控制器故障3. RAID故障故障4. 链路异常5. 硬盘故障6. MSCS介绍Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 12 RAID组故障现象描述现象描述可能原因可能原因故障阐述故障阐述lRAID组故障与成员盘状态有关。该RAID组故障时

9、不能承载业务，导致业务数据丢失。l在ISM导航树展开“存储资源”节点，单击“RAID组”。在右侧的信息展示区，故障的RAID组的“健康状态”显示为“故障”且“运行状态”显示为“离线”。l硬盘框意外掉电 lRAID组成员盘被拔出 lRAID组成员盘被其他硬盘替换 lRAID组成员盘出现坏道或其他导致读写失败的故障l RAID组故障Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 13RAID组故障lRAID组故障排查思路Copyright 2013 Huawei Technologies Co., Ltd

10、. All rights reserved. Page 14RAID组故障lRAID组故障排查思路Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 15RAID组故障(RAID5双盘失效处理)l定位思路定位思路 p在未修复RAID之前，切勿拔插任何硬盘，避免搞混硬盘故障时间和硬盘位置。 p优先修复RAID，再修复文件系统（若文件系统损坏的话），最后恢复业务。 p全部恢复正常后，更换故障硬盘。l处理过程处理过程p确定硬盘失效顺序和时间。p检查失效硬盘的物理和逻辑状态，如果失效硬盘物理状态未fault则需要

11、尝试将其拔插以恢复物理状态为normal。p通过review命令恢复最后失效硬盘逻辑状态为normal，使RAID组变为降级状态。p更换未恢复的故障硬盘，是RAID组开始重构。p重构完成后更换review命令恢复的硬盘。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 16RAID组故障(RAID5双盘失效处理)l定位思路定位思路 p在未修复RAID之前，切勿拔插任何硬盘，避免搞混硬盘故障时间和硬盘位置。 p优先修复RAID，再修复文件系统（若文件系统损坏的话），最后恢复业务。 p全部恢复正常后，更换故

12、障硬盘。l处理过程处理过程p确定硬盘失效顺序和时间。p检查失效硬盘的物理和逻辑状态，如果失效硬盘物理状态未fault则需要尝试将其拔插以恢复物理状态为normal。p通过revive命令恢复最后失效硬盘逻辑状态为normal，使RAID组变为降级状态。p更换未恢复的故障硬盘，是RAID组开始重构。p重构完成后更换revive命令恢复的硬盘。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 17目录1. 阵列开工失败2. 控制器故障3. RAID故障4. 链路异常链路异常5. 硬盘故障6. MSCS介绍C

13、opyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 18FC链路异常诊断思路Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 19FC链路异常处理步骤序号 问题 解决方案 1阵列主机口与光纤交换机协商失败1.更改阵列主机端口模式为点对点或者交换机模式，再重新连接2.更改阵列主机端口速率为1G、2G或者4G再重新连接 3.升级阵列版本2交换机zone配置问题1.删除原来的zone； 2.重新创建zone，保证阵列主机口

14、和业务服务器的HBA卡在一个zone里； 3HBA卡驱动问题1.卸载原有的HBA卡驱动2.重新安装新的HBA卡驱动4硬件故障采用替换法确定故障点，是光模块还是光纤还是HBA卡故障，确定后更换。 Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 20FC链路异常处理步骤序号序号问题问题解决方案解决方案5 存储单元端FC误码率过高登录管理界面查看光纤端口误码情况，如果误码率持续增长，表示误码率过高，如果误码持续增长，属于非正常情况，应该从以下几个方面排除误码： 1）查看存储侧是否有光模块告警信息。2）更换光

15、纤线。3）更换主机端口。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 21iSCSI链路异常诊断思路Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 22iSCSI链路异常处理步骤序号序号问题问题解决方案解决方案1 iSCSI主机端口IP地址或应用服务器业务网口IP地址配置错误1.确认在应用服务器上是否可以ping通iSCSI主机端口IP地址。2.确认现场组网环境是直连组网还是交换机组网。直连组网 = 步骤3

16、。交换机组网 = 步骤4。3.修改iSCSI主机端口IP地址，使iSCSI主机端口IP地址与应用服务器业务网口IP地址在同一个网段，然后转至步骤5。您也可以在应用服务器上修改应用服务器的业务网口IP地址，使其与iSCSI主机端口IP地址在同一个网段上。4.分别为iSCSI主机端口和应用服务器添加路由，使iSCSI主机端口和应用服务器能够通信，然后转至步骤5。5.请在应用服务器上运行ping命令查看网络链路是否可以通，其中目的地址为存储系统iSCSI主机端口IP地址。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved.

17、 Page 23iSCSI链路异常处理步骤序号序号问题问题解决方案解决方案2应用服务器与存储系统之间的线缆松动或损坏1.拔插或更换连接存储系统与应用服务器之间的网线。2.操作结束后，请在应用服务器上运行ping命令查看网络链路是否可以通，其中目的地址为存储系统iSCSI主机端口IP地址。3.操作结束后，iSCSI主机端口的link指示灯是否亮绿色或蓝色，且在ISM中该主机端口的“运行状态”显示为“连接”。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 24目录1. 阵列开工失败2. 控制器故障3. R

18、AID故障4. 链路异常5. 硬盘故障硬盘故障6. MSCS介绍Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 25 硬盘故障现象描述现象描述可能原因可能原因故故障类型障类型l场景的硬盘故障主要包括：p无法识别；p介质故障；p即将失效；p物理故障；l出现硬盘故障时，硬盘指示灯都将红灯常亮，并产生相应告警，硬盘故障时会导致RAID组降级甚至失效。出现介质故障时可能会导致部分数据损坏。l硬盘与槽位接触不良或硬盘故障l硬盘出现不可修复的坏道l硬盘可修复坏道达到阈值l硬盘磁头、电机等故障l故障场景Copyri

19、ght 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 26 硬盘故障l存储系统硬盘故障排查思路注：这里除接触不良外都可以通过更换硬盘的方式解决，如果涉及到RAID失效时，请参考RAID故障进行处理。所有更换的硬盘必需是经过华为认证且和产品型号对应的硬盘，其他途径获取的硬盘存储系统无法识别。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 27 硬盘故障l硬盘SMART信息简介p硬盘SMART信息是硬盘生产商们建立的，硬盘上保存的

20、跟执行情况、可靠程度、读写错误率等属性相关的数据；这些属性反应了硬盘当前的健康状态，通过分析这些数据能判断该硬盘是否具有风险，比如硬盘即将失效就是通过SMART信息来判断的，SMART信息中有如下常用的属性：Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 28 硬盘故障硬盘SMART信息简介smartsmart判断标准判断标准Informational Exceptions log page正常情况该log page内容在smart信息中为：IE asc = 0 x00 ascq = 0 x00 No

21、 additional sense information若为其他打印，如asc和ascq为其他值，则说明硬盘存在异常，如温度超标，或者硬盘出现即将失效的故障Total uncorrected errors正常情况该内容在smart信息中为：Total uncorrected errors = 0若不为0，且为一个较大的值，则说明该盘存在介质故障的风险Grown Defect List正常情况该内容在smart信息中为：Grown Defect List is empty，即Grown Defect List为空。若 “0 x000084-00-000004D3”这样格式的打印，若行数较多，则

22、说明存在介质故障风险。Invalid DWORD count正常情况该内容在smart信息中为：Invalid DWORD count = 0若为一个较大的值则说明该盘存在链路故障的风险Running disparity error count正常情况该内容在smart信息中为：Running disparity error count = 0若该值不为0则说明该盘存在链路故障的风险Loss of DWORD synchronization正常情况该内容在smart信息中为：Loss of DWORD synchronization = 0若为一个较大的值则说明该盘存在链路故障的风险Copyright 2013 Huawei