OceanStor 18000系列存储系统 日志分析

1、Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 0修订记录修订记录课程编码课程编码适用产品适用产品产品版本产品版本课程版本课程版本ISSUEXXXXXXXXXXXXXXXXX开发开发/优化者优化者时间时间审核人审核人开发类型（新开发开发类型（新开发/优化）优化）周晓峰/9000185820131203新开发本页不打印Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. OceanStor 18000系列系列存储系统存储系统

2、日日志分析志分析Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 2目标目标l学完本课程后，您将能够： 掌握如何收集日志及了解日志结构 掌握如何使用工具（ OceanStor ToolKit）进行日志分析 掌握如何对常见问题进行人工日志分析及处理方法Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 3目录目录日志收集方法日志结构介绍日志分析工具介绍常见问题手工日志分析方法Copyright 2010 Huawei

3、 Technologies Co., Ltd. All rights reserved. Page 4l存储设备运行出现故障，需要进行故障排查和定位时需要收集日志信息。l日志收集方法分为两类：p当存储设备工作正常时，可以通过DeviceManager/CLI或者OceanStor ToolKit进行常规日志收集p当存储设备开工失败，无法登录系统时，需要通过其他方式进行日志收集（后面详述）日志收集概述日志收集概述Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 5l使用DeviceManager收集日志n

4、V100R001 使用ISM登录存储系统 选择“设置”-“导出数据”-“系统日志”l使用CLI收集日志常规日志收集常规日志收集1.使用SSH登录存储阵列CLI界面2.执行命令“export event event_type=log”，等待2-5分钟。命令收集完成，界面显示文件存放位置。Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 6l使用OceanStor Toolkit 收集日志p关于OceanStor Toolkit工具的介绍请参见“OceanStor Toolkit存储配套管理工具介绍”课程。

5、p收集方法常规日志收集常规日志收集12Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 7l使用OceanStor Toolkit收集日志常规日志收集常规日志收集345信息收集过程显示界面6Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 8l如果存储设备开工失败，请使用以下方法收集日志：p方法n通过sftp工具，使用管理网口IP登录控制器（用户名/密码与正常登录时一样），进入“/OSM/log/cur_debu

6、g”，下载该目录下的所有文件。然后再登录到另外一个控制器，下载同样目录下的所有文件。开工失败日志收集（夏士鑫更新）开工失败日志收集（夏士鑫更新）Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 9目录目录日志收集方法日志结构介绍日志分析工具介绍常见问题手工日志分析方法Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 10l日志包格式为*.tar（压缩包）l日志包包含格式为*. tar.bz2的两个控制器的日志压缩

7、包 控制器的日志压缩包命名规则：控制器IP地址及是否主控标识（主控文件名含“MAIN”字样）l控制器日志文件结构日志包结构介绍日志包结构介绍【Config】其中包含一个config.txt文件 含阵列中当前的软、硬件配置及各运行参数【Event】其中包含一个event.txt文件 含阵列中当前的告警、事件记录【Messages】主要包含系统日志，小系统日志等【other】主要是各个软件模块的一些调试级别信息（及操作系统的少量信息）注意：原始压缩包中Messages、other两个目录被压缩在“msg_other.zip”文件中。主控制器日志包Copyright 2010 Huawei Tech

8、nologies Co., Ltd. All rights reserved. Page 11目录目录日志收集方法日志结构介绍日志分析工具介绍常见问题手工日志分析方法Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 12l原理介绍 日志分析工具通过定制规则库中的关键字或者关键ID，在日志包中进行搜索，满足定制的条件，分析出问题并给出解决方案。l定制规则库介绍 定制规则库是根据现网出现的常见问题和版本存在的问题，提取定位问题所需的关键字或者关键ID并满足某种关系，编写成规则库。l可分析日志包类型pDevi

9、ceManager收集的日志包pOceanStor Toolkit收集的日志包p开工失败收集的日志包l可分析的问题（仅列举部分，预期可分析规则为200个）p内存不一致问题导致控制器无法正常启动p直流环境BYD生产的BBU电压采样算法有误p硬盘出现硬件错误p硬盘慢盘日志分析工具介绍日志分析工具介绍Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 13l功能介绍日志分析工具介绍日志分析工具介绍p日志分析工具包下载后，解压可直接运行start.exe程序进行使用。p日志分析工具界面包括三部分：日志分析工具操作

10、指导区，分析出的问题显示区域和分析过程记录区域。p日志分析工具在V100R001C03SPC600及以上版本支持。p运营商软件下载p企业网软件下载*请定时关注网站更新Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 14l操作指导日志分析工具介绍日志分析工具介绍Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 15l操作指导日志分析工具介绍日志分析工具介绍Copyright 2010 Huawei Technol

11、ogies Co., Ltd. All rights reserved. Page 16l操作指导日志分析工具介绍日志分析工具介绍Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 17目录目录日志收集方法日志结构介绍日志分析工具介绍常见问题手工日志分析方法Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 18l以下介绍4类常见问题p开工失败p硬盘故障p硬盘隔离p主机业务表现出性能慢人工处理常见问题的日志分析人工处

12、理常见问题的日志分析及处理方法及处理方法Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 19l现象 DeviceManager上报“开工失败”或“开工保险箱盘失败”错误l可能原因p1.保险箱盘未插好p2.保险箱记录的控制框MAC地址和实际不一致p3.控制框与硬盘框线缆级联错误p4.控制框温度过高l处理方法p首先排查1和3号原因（也可通过查看日志进行确认），再进行日志分析。p日志分析方法：n通过前面所述的“开工失败日志收集”方法收集日志。n先分析主控制器日志包中的“/OSM/log/cur_debug/

13、messages”文件，搜索关键字“SYS_TRACE”，找到报上电失败的日志。如果日志中提示是slave上电失败，则再分析备控制器的上述文件。n在提示上电失败日志附近（如前后100行），查找具体的失败原因。下面对各种常见的原因进行逐一说明。开工失败开工失败Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 20l保险箱盘未插好p日志表现n在上电失败日志内容部分，有类似提示 “SYS_VAULT: Check Coffer disk failed”。n表明保险箱盘未正常接入系统，或者保险箱槽位未插硬盘。p

14、解决方法n重新排查连接和硬盘一般可以解决。p注意事项nOceanStor 18000系列存储系统会认为接到引擎0和1的0号槽位的接口卡0号端口的第一个框为保险箱盘所在的框，该框前四块盘为保险箱盘。所以如果没有框接入到该位置，或A、B控制器该位置的框不是同一个框，则设备必然上电失败。开工失败开工失败Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 21l保险箱记录的控制框MAC地址和实际不一致p日志表现n在日志中搜索“DEV first failing reason is that ctrl mac in

15、 db diff from base board on phase(wait read db).”。n表明保险箱记录的控制框MAC地址和实际不一致。p解决方法n清除保险箱DB（仅针对局点首次开工时）。n执行命令cleardb，该命令的具体用法请参见对应产品型号的受限命令参考。受限命令参考手册受限发布，如需使用需要向研发接口人申请。开工失败开工失败Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 22l控制框与硬盘框线缆级联错误p日志表现n“frame mac invalid(new frame not

16、write mac, or frame was not fast plugged)”。 n该错误主要原因是保险箱盘所在的框位置错误，主要场景是设备之前成功上过电，然后下电拆下重新连接，而框的连接顺序与之前不同引起。p解决方法n一般修正连接顺序后即可解决。-l控制框温度过高p日志表现n“Ctrl board is faulty(the entrance temperature is too high, or something else is wrong)”。n该问题出现在上电时，由于环境温度异常导致控制框温度过高，导致开工失败。p解决方法n排除环境温度过高后重新上电可解决 。开工失败开工失败C

17、opyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 23l可能原因一般硬盘故障可能是介质错误，硬件错误等l日志表现p在日志中搜索关键字“Set disk to bad”，在其前面可以看到具体错误原因，如有坏道记录，或者SCSI打印出的具体原因。l解决方法p申请备件，更换对应硬盘。硬盘故障硬盘故障Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 24l可能原因p误码p反复拔插硬盘p硬盘电源接触出现问题l处理方法以下根据

18、分类，分别给出两种硬盘被隔离后的日志分析和解决方法。硬盘隔离硬盘隔离Copyright 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 25l日志表现p查看SAS后端硬盘误码情况，在SES日志中搜索关键字err inc 和 disable disk phyp日志中的phy:9 phymon*disable disk phy表示Phy 9被隔离，即9号槽位硬盘被隔离（phy0phy23对应硬盘023）。l解决方法p1. 拔插故障硬盘前，请收集硬盘的S.M.A.R.T信息并返回研发进行分析p2. 在允许的条件下，将隔离硬盘插入到其他槽位，判断隔离现象是跟着硬盘走还是跟着槽位走。假如跟着硬盘走，申请硬盘备件进行更换。若跟着槽位走，观察槽位内是否有异物。硬盘隔离（硬盘隔离（SASSAS硬盘）硬盘）Copyright 2010 Huawei Technologies Co., L