HC1209105HCNP-StorageSSAM第五章SAN存储系统故障诊断与排除V1.1

修订记录课程编码适用产品产品版本课程版本ISSUE开发/优化者时间审核人开发类型（新开发/优化）本页不打印第五章SAN存储系统故障诊断与排除目标学完本课程后，您将能够:熟悉SAN存储系统故障处理流程、规范、工具和资源了解存储系统故障定义和主要分类掌握存储阵列设备典型场景故障诊断思路和处理方法掌握SAN网络故障诊断思路和处理方法掌握SAN存储主机侧典型故障诊断思路和处理方法目录SAN存储系统故障处理基础1.1

SAN存储系统故障诊断基本概念；1.2SAN存储系统故障诊断基本流程和工具软件。SAN存储阵列故障诊断与排除SAN存储网络故障诊断与排除SAN存储主机软件与主机侧故障诊断与排除故障管理定义故障管理定义：指系统出现异常以及为预防系统出现异常所进行的管理操作，是用来动态地维持系统或网络正常运行并达到一定的服务水平的一系列活动。故障驱动型维护：遇到问题时、系统出现性能故障时或者接到系统故障事故报告后才去进行维护的方法。可能会忽视对系统和网络健康性很重要的长期维护任务。可能不会按照维护任务的优先级或紧急程度来执行维护任务。不能防患于未然。主动维护：时时监控系统状态、日志告警，分析系统潜在或可能出现的问题或异常，提前或及时修复处理，减少系统异常带来客户业务和数据的损失。结构化故障管理采取预定义的网络维护步骤和维护流程来进行主动的网络维护。很多组织制定了相关的维护方法并形成知识体系。服务台事件管理问题管理配置管理变更管理发布管理故障管理配置管理计费管理性能管理安全管理性能管理故障管理配置管理计费管理安全管理FCAPSTMN（电信类）ITIL故障诊断与处理素质观察全局谨慎行事数据备份保持冷静保持沟通技术和经验责任心、客户数据与业务至上流程规范故障处理规范与要求1、了解客户现场情况2、查看设备档案信息3、了解问题单目前的处理接口人4、和客户沟通到达现场时间5、准备好相应的备件、工具、软件和文档6、配置和和必要业务数据备份1、和客户沟通故障处理的流程和方案2、协助远程维护人员搭建远程环境3、收集详细故障信息4、按照方案进行故障维护的操作1、配置数据备份2、确认业务恢复情况3、分析问题产生的根本原因并提出整改方案4、更新设备档案5、建议客户修改密码维护前维护中维护后故障处理常用方法替换法替换法就是使用一个工作正常的部件去替换一个怀疑工作不正常的部件，从而达到定位故障、排除故障的目的。这里的部件，可以是一段光纤跳线、一根网线、一个控制器或者一个级联模块。告警信息分析法系统发生故障时，一般会伴随有大量的告警信息产生，通过查看告警信并配合对性能数据的分析，可大概判断出所发生故障的类型和位置。最小测试法拔去怀疑有故障的板卡和设备，并根据机器在此前和此后的运行情况对比，判断定位故障所在。拔插板卡和设备的基本要求是保留系统工作的最小配置，以便缩小故障的范围。

故障处理常用方法替换法替换法就是使用一个工作正常的部件去替换一个怀疑工作不正常的部件，从而达到定位故障、排除故障的目的。这里的部件，可以是一段光纤跳线、一根网线、一个控制器或者一个级联模块。告警信息分析法系统发生故障时，一般会伴随有大量的告警信息产生，通过查看告警信并配合对性能数据的分析，可大概判断出所发生故障的类型和位置。最小测试法拔去怀疑有故障的板卡和设备，并根据机器在此前和此后的运行情况对比，判断定位故障所在。拔插板卡和设备的基本要求是保留系统工作的最小配置，以便缩小故障的范围。

目录SAN存储系统故障处理基础1.1

SAN存储系统故障诊断基本概念1.2SAN存储系统故障诊断基本流程和工具软件SAN存储阵列故障诊断与排除SAN存储网络故障诊断与排除SAN存储主机软件与主机侧故障诊断与排除故障处理一般进程了解故障基本信息收集详细信息分析原因故障处理验证恢复故障排除编制和更新文档循环2循环1YN存储系统与网络故障诊断工具存储设备维护工具软件网络维护工具软件性能测试工具软件业务分析软件对存储端设备进行信息收集和日志分析的工具软件，可以从华为的官方网站上下载网络抓包的工具软件，可以从相应软件的官网上下载，比如Packetyzer、WireShark可以对存储空间的性能进行测试的工具软件，可以从相应的网站上下载，比如iomter、iozone操作系统或者业务软件自带的信息查看和收集工具配置异常显示此系统故障的信息显示日志分析演示网络维护工具故障诊断文档资源文档资源备件BOM信息信息收集指导书产品文档兼容性信息设备档案信息案例和预警信息预警发布与处理预警的发布预警的处理预警预警的获取华为的官方网站上可以获取已发布的预警信息华为会不定期的发布有关产品的预警信息根据预警的紧急程度安排整改或升级的计划存储系统与网络常用故障诊断命令showctrlinfo－控制器状态showsys－系统状态showrg－RAID状态showlun－LUN状态ethtool－网卡物理状态

阵列常见命令目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除2.1SAN存储阵列故障分类和定义2.2SAN存储阵列故障诊断流程2.3SAN存储阵列典型故障诊断思路和方法SAN存储网络故障诊断与排除SAN存储主机软件与主机侧故障诊断与排除SAN存储系统故障分类-硬件SAN存储系统故障主要分为：硬件类故障控制器故障（异常）硬盘故障电源故障风扇故障电池故障链路故障管理网口异常光模块异常接口卡故障软件类故障系统配置异常（不一致）RAID组降级RAID组失效重构异常Copyback异常性能问题软件BUGSAN存储系统故障分类-软件SAN存储系统故障主要分为：硬件类故障控制器故障（异常）硬盘故障电源故障风扇故障电池故障链路故障管理网口异常光模块异常接口卡故障软件类故障系统配置异常（不一致）RAID组降级RAID组失效重构异常Copyback异常性能问题软件BUG目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除2.1SAN存储阵列故障分类和定义2.2SAN存储阵列故障诊断流程2.3SAN存储阵列典型故障诊断思路和方法SAN存储网络故障诊断与排除SAN存储主机软件与主机侧故障诊断与排除SAN存储阵列故障诊断流程SAN存储日志系统1日志在位置1、登录存储CLI进入debug模式；2、在/OSM下面有log、log_conf_local两个目录存放存储的调试日志，通过信息收集工具收集的也包括这两部分。SAN存储日志系统2A部分是系统配置数据B部分包括debug和backup_info；

Debug_information目录含控制器当前message和SESlog。OSM目录的log_conf_local含控制器的历史日志。OSM目录的log_conf_mirror只含对端控制器日志信息。C部分为硬盘smart信息其它为系统当前(收集日志时)运行状态信息以及配置信息

SAN存储日志系统3Debug_information目录下最重要的信息为message和SES_log。log_reset.txt记录系统重启次数和原因。log_debug.txt记录系统内核日志信息。通过ISM日志无法分析定位的故障可以分析以上3个日志文件。目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除2.1SAN存储阵列故障分类和定义2.2SAN存储阵列故障诊断流程2.3SAN存储阵列典型故障诊断思路和方法SAN存储网络故障诊断与排除SAN存储主机软件与主机侧故障诊断与排除SAN存储阵列故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败RAID/LUN组失效故障诊断思路RAID/LUN故障处理步骤1序号问题解决方案1硬盘故障1、查看控制器版本是否带BST功能，如果有则打开BST功能；如果控制器版本没有BST功能，需要升级控制器软件版本到带BST功能版本S2600、S5000V1R5及其以上版本，S5000TV1R1及其以上版本带BST功能；2、更换故障硬盘，完成重构或回拷；2双盘失效引起RAID失效1、进入MML查看控制器版本是否带BST功能，要求打开BST功能。如果不带BST功能需要升级控制器软件版本至V100R005；MML>bstenable3，显示Status:1(1-enable2-disable)2、设置系统中所有热备盘为空闲盘，避免在处理故障过程，系统系统自动重构3、通过分析故障硬盘日志，确定硬盘故障顺序，先revive后失效硬盘和lun举例：MML>revivedisk03//revive（0.3）硬盘MML>revivelun2//revivelunid=2的lunMML>reviveraidlun0//reviveraid组0下所有lun4、用备件硬盘更换最先失效硬盘，启动自动重构，5、恢复热备盘状态；RAID/LUN故障处理步骤2序号问题解决方案3硬盘被拔出1、在ISM管理软件中查看硬盘被拔插先后顺序，记下先失效硬盘槽位；2、使用在CLI执行showdisk–p查看所有硬盘是否在位；3、插入后失效的硬盘，revivie硬盘和失效RAID组下的LUN；4、将后拔出的硬盘插入系统框，启动重构；4级联框异常查看ISM日志确认级联框是否掉电，将级联框上电，RAID组和lun一般会自动恢复如果RAID组成员盘有跨两个框的情况，需要按照硬盘被拔出的操作方式恢复RAID5控制框异常掉电1、revive失效硬盘（热备盘除外）、LUN，（第03块盘后故障）举例：MML>revivedisk03//revive（0.3）硬盘MML>revivelun2//revivelunid=2的LUNMML>reviveraidlun0//reviveraid组0下所有LUN2、更换先失效硬盘，启动自动重构至本地；3、revive热备盘、恢复热备盘状态；6LUN失效RAID正常1、升级存储系统软件，打开BST功能；2、检查系统热备盘是否正常；3、revivie失效的lun，拔插先失效硬盘启动重构；RAID/LUN故障诊断总结对于RAID/LUN故障，务必要有正确的诊断思路：登录管理页面ISM/OSM查看告警日志；收集存储底层日志，定位RAID/LUN失效原因及硬盘失效先后顺序；拟定RAID/LUN恢复方案以及恢复失败时保全数据安全的补救措施；恢复RAID/LUN基本原则：revive后失效硬盘，重构先失效硬盘；重构前先打开控制器软件BST功能，启动硬盘坏道标记功能；没有BST功能的版本需要先做存储系统软件升级；硬盘的物理状态为normal才能在MML下恢复逻辑状态；RAID/LUN故障案例分享双盘失效问题：描述问题某局点一台S2600在运行过程中系统状态指示灯，两块硬盘故障指示灯亮红灯，主机侧存储资源丢失导致业务中断。分析原因LUN状态为fault（CLI：showlun)RAID组状态为fault（CLI：showrg）同一RAID组中有两块以上硬盘逻辑状态fault（CLI：showdisk–l）告警：有两块以上硬盘失效，失效原因为HardwareError的告警。解决步骤：详细操作步骤见备注。SAN存储阵列故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败控制器故障诊断思路控制器故障原因分析和处理方法序号问题解决方案1控制器异常复位如何收集日志可用下面两种方式收集日志1、通过信息收集工具收集存储系统日志2、debug下运行os_backupinfo.shfalse命令收集2如何查看控制器启动失败mml下S2600R1执行devkeyvar、S2600R2&R5执行devstatus、S5000R1执行devfailreason、S5000R2&R5执行devstatus查看3串口无打印如果串口无打印，要使用COM1和COM2两个串口进行综合判断，在满足下面几个条件时可以判断为控制器故障。1、确保串口线无问题2、确保存储已上电3、确保波特率等已配置正确重启控制器后依旧故障，更换控制器。控制器故障诊断总结对于控制器故障，务必要有正确的诊断思路：查看控制器指示灯查看管理软件告警信息控制器重启，通过CLI观察启动状态，记录启动异常界面和错误在故障诊断过程中，需要注意以下几点：在拔插控制器之前，务必保证业务已停止或者已切换到对端控制器在切换业务到对端控制器后，务必在主机侧检查系统中多路径软件已安装且生效确认cahce脏数据是否已经保存，见备注；控制器故障诊断案例分享描述问题：某局点S2600控制器B亮红灯、系统状态指示灯亮红灯，业务切换至A控。分析原因：控制器B硬件故障解决步骤：登录ISM软件，发现有紧急告警：控制器B离线；用信息收集工具收集日志，从日志中发现以下信息：Jan401:12:13linuxkernel:[8698236497]SYS_ERR:SystemisalreadyinSingleControllerstatus@[jif=8698236497]SYS_EmmFanSingleFault:5805Jan401:11:43linuxkernel:[8698206379]SYS_ERR:Synchronizefaultrecordfailforcontrolleroffline初步判断控制器B故障；拔插控制器、拔插电源,B控均无法上电，判定控制器故障；申请备件，更换控制器，根据故障组网恢复主机端口连接，检查路和业务状态；验证恢复：检查控制器指示灯是否绿灯常亮；在ISM管理软件上检查控制器是否在线，状态是否为normal，确认业务正常切换至B控；SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败电源、风扇、电池故障诊断思路电源/风扇/电池故障原因分析和处理方法序号问题解决方案1电源，电池故障1、观察指示灯确认电源输入输出状态是否正常,用万用表检查机房供电是否正常；2、在命令行下运行showpower、showbattery电源、电池状态是否为：normal，异常状态时，重新拔插，故障依旧则更换；2查看电池寿命admin:/>showbattery参数RemainLife(days）显示电池生命剩余天数3更换电源电池模块1、插拔电源模块时用力要均匀，避免用力过大或强行插拔等操作，以免损坏部件或导致接插件故障2、更换电源模块时，拆卸和安装电源模块的时间建议控制器在2分钟内，特别是风扇模块；具体操作步骤详见相关产品文档《OceanstorS2600存储系统故障处理-(V100R003_01).pdf》5.3章节SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败License问题原因分析和处理方法License注册失败问题小结:查看license文件，是否缺失功能项查看license文件中的SN是否与物理阵列SN匹配收集日志，反馈给400工程师协助定位注意:在申请license文件时，反馈的LAC、ESN务必核实准确序号问题解决方案1License注册失败或启用失败1、确认ISM版本是否最新版本；2、使用写字板打开license文件，查看Resource项是否与项目需求配置一致；3、查看ESN号是否与当前设备序列号匹配；4、是否存在合并license；License问题故障诊断案例分享描述问题：某局点S5500新扩容LUN虚拟快照功能，导入扩容license后在ISM软件上查看虚拟快照为未启用。分析原因：查看客户申请的license文件，发现文件中缺失function信息。解决步骤：启动license回退流程，重新申请license文件。验证恢复：在CLI命令行下查看license信息。admin:/>showlicensefunction==============================================================LicenseFunctionList--------------------------------------------------------------FeatureName|HyperImageDeadlineforrunning|PermanentFunctioninformationname|LCC3SNAPC01SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败主机发现LUN失败故障诊断思路主机发现LUN失败原因分析和处理步骤序号问题解决方案1iSCSI链路故障1、检查主机网口、存储主机端口指示灯是否正常2、检查网线是否存在质量问题（替换法）3、排查主机是否能ping通存储业务IP，端口是否telnet成功telnet0032602FC链路故障1、检查主机HBA卡指示灯是否显示正常2、检查存储光模块指示灯是否正常3、检查FC速率和端口模式是否匹配4、检查主机侧HBA卡驱动版本和加载状态3iSCSI配置问题1、检查启动器配置是否已添加存储目标器信息，是否登录成功2、检查存储是否为主机添加正确启动器端口3、检查存储是否为主机添加lun映射4FC配置问题1、检查存储是否为主机添加正确端口信息2、检查存储是否为主机添加正确lun映射主机发现LUN失败故障诊断总结在遇到主机发现lun失败问题是，应从以下几个方面去排查问题：链路是否正常，交换机配置是否正常iSCSI启动器配置是否正确HBA卡驱动是否正确、速率是否匹配光纤模块是否正常存储端主机映射是否正确主机发现LUN失败案例分享描述问题：某局点S2600存储映射一个LUN给一台Windows2003主机，在主机端扫描不到LUN操作系统版本：windows2003R232bitHBA卡：HPFC2142SRHBA卡驱动版本：

服务器型号：HPDE580G7分析原因：HBA卡驱动加载异常。解决步骤：排查光纤连接状态，指示灯状态正常检查HBA卡状态，设备管理否有带问号的未知设备，如果有HBA驱动未加载重装HBA卡驱动，并重启服务器，重新发现设备成功SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败登录ISM失败故障诊断思路图2-5登录ISM失败故障诊断思路登录ISM失败原因分析和处理步骤序号问题解决方案1主机ISM端口是否被占用在windows主机的DOS命令模式下输入netstat–nab查看哪个进程占用了80，5988，5989，7890，8000-8090，8901等端口，确认占用端口的服务可以停止，在任务管理器中结束掉占用此端口的应用程序。2ISM服务未启动1在阵列debug模式下切换目录到“/ISM/ism_cs/sbin”.输入命令Service.shshow，运行该命令，命令行显示lighttpdserviceisrunning，则表明WEB服务正常；不正常需要重启服务service.shstart。2执行Storage:/ISM/ism_ap/agent/conf#./show_agent.sh，查看agent是否启动，没有启动成功需要重启3加载或双击ISM后，能否正常弹出ISM修改本机JWS缓存文件：检查本机JAVA虚拟机是否申请的最大内容能否为512M,如果能否申请到，将会显示当前的java版本信息。如果申请不到，需要手动释放PC机的一些资源。登录ISM失败故障诊断总结导致ISM登录失败主要有下面几种原因：端口被占用服务未正常启动客户机JRE环境异常或JAVA版本不匹配，查看本地java版本命令：java–versionISM版本兼容性问题登录ISM失败案例分享描述问题：江苏某局点S6800E在开局过程中ISM登录失败，管理口可以ping通，SSH也可以登录到控制器命令行。分析原因：工程师在使用笔记本上自带ISM软件登录，ISM版本与控制器内自带ISM版本不兼容造成解决步骤：笔记本与存储S6800E管理口可以通信的情况下，在浏览器输入管理口ip地址，下载S6800E控制器自带ISM软件并安装登录即可。验证恢复:重新登录ISM软件成功，功能选项显示正常。SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败主机IO错误或超时故障诊断思路主机IO错误或超时失败故障诊断总结对于FCSAN建议在存储侧打开端口统计查看FC端口是否有误码网络阻塞可以通过PING命令查看网络响应时间，一般出现丢包或者延迟较大可以初步判断为网络阻塞；通过直连主机与存储设备测试，排查是交换网络阻塞还是存储原因导致存储引起的IO超时问题一般都是硬盘故障引起，登录至控制器并进入debug模式，使用iostat–x–d1命令查看磁盘的io情况，当观察到某些磁盘的平均服务时间（svctm）在一段时间内明显大于其它磁盘，或者利用率（%util）接近100%（而其它盘较空闲），说明该盘可能是瓶颈。主机IO错误或超时失败案例分享描述问题：在客户测试的时候登录存储的debug下查看IO情况，执行iostat–xd2命令，查看成员盘的读写状态数据await（平均等待时间）和util（利用率），一般观察时间为30S。分析解决：确认sddg硬盘在统计数据中出现了await在一段时间明显大于其他硬盘且util值为100%。可以看出该盘性能明显低于其它硬盘，该硬盘为慢盘。直接更换该硬盘，待重构完成后，再测试此问题是否解决。SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败DB/配置类问题诊断思路DB/配置类问题分析和处理步骤序号问题解决方案1DB不一致

1、先确认是否备份DB，没有备份手动导出DB，清除后再重新导入exportcofferdb-i-di0-uadmin-p123456-f/tmp/disk0.dat（将4块保险箱盘的DB都导出）

2、清除存储系统DB（在线系统需要谨慎操作）S5000V1R1:claencofferdbormml：syscleardbS5000V1R2:mml：vaultsysclearS5000S2600V1R5:claercofferdbormml：vaultsysclearS5600T：mml>nvramclearheadS5500T：mml>vaultsysclear3、在ISM导入备份DB，检查系统配置是否恢复；2DB丢失

如果没有备份DB，出现系统配置丢失，可以通过查看run_log获取所有创建RAID组LUN的信息，从中分析出现在设备应该包含的RAID及LUN的配置信息。确定RAID组包含的硬盘、RAID级别、名称、RAIDID，该RAID组下创建的LUN的大小，分条深度、LUN名称、创建顺序（以上信息务必准确，一旦与原配置有差别，可能造成数据丢失）DB配置类案例分享升级前后版本DB结构不一致导致配置丢失问题描述对设备进行过上下电操作或升级操作；设备重新上电起来后，业务配置RAID、LuN等配置信息丢失。故障处理将预先导出备份的DB重新导入系统，重新导入后系统会复位；在未备份DB的情况下，使用下面的方法恢复：根据先前保存的运行数据整理RAID组以及LUN的配置过程；确认当前版本是否支持创建LUN不格式化的命令，如果不支持，需要先升级到支持该命令的版本再做下面的操作。支持创建LUN不格式化的命令的版本如下备注：严格按照整理的RAID组及LUN的配置过程，重新创建RAID组和LUN，注意创建LUN需要使用创建LUN不格式化的命令创建（在创建LUN的命令最后加-f，如createlun-i0-nLun005-s20000-u64-ca–f；将LUN重新映射给主机，并恢复主机侧业务。SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败SAN存储系统启动问题诊断思路SAN存储系统启动问题分析和处理步骤如何确定系统是否启动失败从系统上电后15分钟内控制框还未正常启动（系统状态指示灯一直闪橘黄色），初步可以判断系统上电失败。进入MML模式下sysstatus查看系统状态，SystemRunningStatus:[normalmode]normalmode表明系统上电是成功的.如果不是normalmode,可以判断为系统上电失败.如果SystemRunningStatus的状态为flashcache，则此时是刷脏数据的过程，属于正常状态，待刷盘完成就显示正常模式。SAN存储系统启动问题分析和处理步骤存储S2600S5000V1R5版本及S5000T系列，通过mml>sysstatus检查Systemerrorreason，判断系统启动失败原因。

序号Systemerrorreason定位方法定位结果1.01masterDEVstartVAULTfailed查看设备管理启动情况设备管理启动保险箱失败1.02masterstartVAULTfailed查看设备管理启动情况主控启动保险箱失败1.03readdbfailed查看设备管理启动情况设备管理启动成功，读DB失败1.04masterstartDEVfailed查看设备管理启动情况设备管理启动失败SAN存储系统启动问题分析和处理步骤检查设备管理开工状态通过mml>devstate请检查failreason：devispoweron表示设备管理正在启动。说明：查询设备管理启动具体状态，根据错误代码查询启动失败处理方法。

SAN存储系统启动问题分析和处理步骤检查框的状态命令行：mml>devframeinfo主要是检查框当前的状态，框的MAC，FWWN，WWN，SN以及框的SCSIAddr，当前框上盘的数量以及SCSIADDRSAN存储系统启动问题分析和处理步骤检查硬盘状态mml>devdiskinfo检查当前所有盘的状态，盘所在的框号和槽号，综合状态，本端和对端状态，WWN以及盘的类型，厂商，是否被隔离，是否即将失效。SAN存储系统启动问题分析和处理步骤检查接口板的状态mml>devboardinfo检查当前所有板的WWN，板的框号和槽号，综合状态，A控和B控状态以及板的电子标签。SAN存储系统启动问题分析和处理步骤检查当前DB中设备管理记录信息mml>devgetdbdevinfo查看DB中记录的控制框产品型号以及SN。mml>devframerecord查看DB中记录的框MAC地址。SAN存储系统启动问题分析和处理步骤序号打印描述定位方法解决方法1failreasonid为3：0&1or2&3disk--->notexist,ormaybediskinvalid请检查4块保险箱盘是否插入保证0&1号槽位和2&3号槽位至少有一个保险箱盘确认保险箱槽位硬盘状态2failreasonid为8：processvaultdisk20minutetimeout１.请检查保险箱所在的框是否插入。２.请检查保险箱所在的框接的接口卡是否插在控制框A0和B0槽位。３．请检查保险箱所在的框连接的接口卡端口是否为第一个下行级联口，及状态４.请检查级联线是否连接保险箱所在的框的上行级联口1.连接保险箱所在为的接口卡必须插在A0和B0槽位。2.级联线必须插在接口卡的第一个下行级联口。3.级联线必须连接级联框的上行级联口及从左数第一个端口。SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败升级失败问题诊断思路升级失败问题总结S5000V1R1升级到V1R2注意：格式化未完成不允许升级；管理口IP、日志、License丢失，升级后需要重新添加；S5000V1R2升级到V1R5能做到平滑升级S5000V1R1升级到V1R5，需要下先升级到V1R2，再升级到V1R5，直接由V1R1升级到V1R5可能导致DB丢失、管理口IP、日志、License丢失DB原始数据还在，可通过回退版本恢复S5000V1R5和S5000TV1R1后续版本均可实现平滑升级，不需要升级中间版本；升级失败问题案例分享描述问题与分析S2600R1直接升级到S2600R5，未先升级到S2600R2过渡；S2600R1升级到S2600R5未转换DB配置数据，升级成功后会发现DB配置丢失。解决方法参考备注SAN存储系统故障诊断2.3.1RAID/LUN组失效故障诊断2.3.2阵列控制器故障2.3.3电源、风扇、电池故障2.3.4License问题2.3.5主机发现存储设备失败2.3.6登录ISM失败2.3.7主机IO错误或超时2.3.8DB/配置丢失或不一致2.3.9SAN存储系统启动异常或失败2.3.10升级失败2.3.11硬盘框扩容失败硬盘框扩容失败问题诊断思路描述问题某局点S5000在线扩容硬盘框，接入新硬盘框前，存储设备运行正常，接入硬盘框后所有硬盘上报失效，在线扩容失败。分析原因新接入的硬盘框与环路速率不匹配导致FC环路故障解决方法参考备注硬盘框扩容失败问题案例分享思考题存储系统故障分类中，请描述控制器、硬盘、RAID主要故障分类和特征？存储系统故障诊断流程中，一般从哪些方面进行排查系统故障？存储侧CLI常用的状态查询命令有哪些？SAN存储系统的日志通常有哪些文件组成？Debug_information下常用的两个文件是？RAID失效恢复中，为什么需要先恢复后失效的硬盘？RAID失效故障处理中需要重点注意哪些事项？控制器故障后，一般最直接查看状态和关键错误信息的方式是哪种？主机发现LUN失败，主要的一个原因是链路故障，请问一般如何快速诊断？FC和iSCSI有什么区别？导致ISM登录失败的原因，你能说出常见的几种吗？查看主机IO状态的命令有哪些？一般如何使用？如何判断存储系统启动失败，通过哪些关键信息断定？实验8-1：主机LUN业务异常故障诊断实验实验内容与目标完成本实验，您应该能够：掌握主机LUN异常，引起业务异常故障诊断与处理实验时间2h实验硬件、软件版本与组网IPSAN组网：每套IPSAN包含1台Windows或Linux主机，主机分别用1个GE网口连接1台交换机，阵列的每个控制器都与交换机相连，组成多路径组网。实验8-2：SAN存储系统登录失败诊断实验实验内容与目标完成本实验，您应该能够：掌握存储管理登录失败问题或故障诊断与处理实验时间1h实验硬件、软件版本与组网IPSAN组网：每套IPSAN包含1台Windows或Linux主机，主机分别用1个GE网口连接1台交换机，阵列的每个控制器都与交换机相连，组成多路径组网。目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除SAN存储网络故障诊断与排除3.1SAN存储网络故障诊断基础3.2FC-SAN网络故障诊断和排除3.3IP-SAN网络故障诊断和排除SAN存储主机软件与主机侧故障诊断与排除SAN网络故障分类和定义按故障对象不同分：IPSAN：1）IP无法连通；2）端口限制：3）VLAN设置不合理：4）交换机端口故障：5）网卡故障：FCSAN：1）端口模式不匹配；2）端口速率不匹配；3）兼容性；4）SFP光功率不足；5）光纤或端口物理故障；6）HBA卡驱动加载异常；按故障性质分：物理故障：硬件设备或者物理设备出现异常，无法正常工作；逻辑故障：设备逻辑状态异常；例如驱动或模块加载异常；配置异常：链路通信参数（速率、模式）配置不合理导致异常；SAN网络故障诊断整体流程目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除SAN存储网络故障诊断与排除3.1SAN存储网络故障诊断基础3.2FC-SAN网络故障诊断和排除3.3IP-SAN网络故障诊断和排除SAN存储主机软件与主机侧故障诊断与排除FCSAN网络不通问题诊断思路FCSAN网络不通问题分析与处理序号问题解决方案1阵列主机口与光纤交换机协商失败1、更改阵列主机端口模式为点对点或者交换机模式，再重新连接

2、更改阵列主机端口速率为1G、2G或者4G再重新连接

3、升级阵列版本2交换机zone配置问题1、删除原来的zone；

2、重新创建zone，保证阵列主机口和业务服务器的HBA卡在一个zone里；3HBA卡驱动问题1、卸载原有的HBA卡驱动

2、重新安装新的HBA卡驱动4硬件故障采用替换法确定故障点，是光模块还是光纤还是HBA卡故障，确定后更换。FCSAN网络不通问题分析与处理序号问题解决方案5存储单元端FC误码率过高登录管理界面查看光纤端口误码情况，如果误码率持续增长，表示误码率过高，如果误码持续增长，属于非正常情况，应该从以下几个方面排除误码：1）查看存储侧是否有光模块告警信息。如是否有告警信息，存储侧光模块工作不正常，会出现大量误码，应及时更换存储对应端口光模块或与之连接的主机侧光模块。2）更换光纤线。某些情况下，光纤线弯曲过大，会导致光纤内部断裂；光纤出口有沾污会导致接收光或发射光信号质量下降，这些都有可能导致数据传输中产生误码。3）更换主机端口。某些情况下，主机HBA卡与光纤线接触不好，可能造成光信号传输质量不好；另外，主机侧光模块工作不正常也有可能制造误码。FCSAN网络不通问题案例分享描述问题通过OSM或ISM或CLI查看FC主机端口误码数过高，且持续增长；有光模块工作参数异常告警；通过CLI命令showfibermodel查看FC主机端口信息可以看到接收光功率过低；查看光纤线路径，有过度弯折或束线过紧。分析原因使用光功率测试议测试光纤线两端光功率看是否有异常；如果没有光功率测试议，可采用交插换线的方式，将问题光纤插入别的端口进行测试在检查完光纤线没有问题后，通过更换光模块的方式判断光模块是否有问题；更换有问题的光模块或线后，清空FC主机端口误码统计；手动清楚告警，恢复业务或起读写，观察是否仍然有误码产生；FCSAN网络不通问题案例分享解决方法将S5600和光纤交换机的端口速率都调整到2Gbit/s，状态异常。将S5600和光纤交换机的端口模式固定为L_Port，状态异常。将同一主机端口模块的FC0和FC1的2条链路断开其中1条，状态正常。将同一主机端口模块的FC0和FC1的2条链路，分别连接到FC0和FC2，状态正常。经验总结S5600存储设备（含部分其它存储设备）的同一主机端口模块上，相邻的2个FC端口由同一FC芯片控制，在连接光纤交换机时，同一芯片的2个FC口不能同时连接到同台光纤交换机的同一个zone。目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除SAN存储网络故障诊断与排除3.1SAN存储网络故障诊断基础3.2FC-SAN网络故障诊断和排除3.3IP-SAN网络故障诊断和排除SAN存储主机软件与主机侧故障诊断与排除IPSAN网络不通问题诊断思路IPSAN网络不通问题诊断思路序号问题解决方案1检查速度和双工模式是否为autoWindows平台：打开网络连接，本地连接状态，查看连接速度；打开设备管理器，网卡属性，查看双工模式。Linux平台：使用命令ethtooleth0查看连接速度和双工模式。2检查虚拟交换机配置1、确保虚拟交换机使用的物理网卡和存储业务网络连通2、确保虚拟机网卡选择了正确的虚拟网络3检查iSCSI主机端口配置存储业务IP如果和主机IP地址不在同一子网，必须设置网关，确保路由可达。IPSAN网络不通问题案例分享问题描述某局点，Windows2003服务器通过iSCSI连接存储，在Initiator软件添加目标端，报“ConnectionFailed.”错误。分析原因检查服务器端配置，可以ping通存储目标端IP地址；检查存储端配置正常，Raid组和映射没有问题；检查交换机配置，服务器和存储在同一个VLAN；检查防火墙配置，发现防火墙没有开放3260端口；解决步骤在防火墙上开放服务器和存储间3260端口验证恢复在Initiator软件重新添加目标端并扫描磁盘成功IPSAN网络不通问题案例分享问题描述某局点客户无法通过iSCSI挂载硬盘。通过执行iscsiadm-mdiscovery-tst-ptargetip命令可以发现启动器名称，但是执行iscsiadm–mnode–ptargetip–l命令却无法login，提示iscsi驱动有问题。S2600V1R5，操作系统版本为RedHat5.0分析原因执行iscsiadm-mdiscovery-tst-ptargetip可以发现启动器名称。执行iscsiadm–mnode–ptargetip–l却无法login。由此得出结论：openiscsi版本不一致导致S2600无法通过iSCSI连接到应用服务器解决步骤安装RedHat5.0第一张光盘里的openiscsi安装包。安装完成后，执行iscsiadm–mnode–ptargetip–l命令使启动器生效。实验9-1：FCSAN网络故障诊断实验实验内容与目标完成本实验，您应该能够：掌握FCSAN交换端口/Zone/链路等异常问题诊断和处理方法实验时间1h实验硬件、软件版本与组网本实验一台装有SuSE10的服务器，通过1根FC光纤线分别连接到NS2120光纤交换机，存储设备选S2600或S5000R5，通过2跟光纤线分别连接到两台SNS2120光纤交换机，服务器和存储组成了多路径FCSAN网络。实验9-2：IPSAN故障诊断实验实验内容与目标完成本实验，您应该能够：掌握IPSAN网卡/VLAN等异常问题诊断和处理方法实验时间1h实验硬件、软件版本与组网本实验一台装有SuSE10的服务器，通过1根网线分别连接到GE交换机，存储选S2600或S5000R5，通过2跟网线分别连接到GE交换机，服务器和存储组成了多路径IPSAN网络。目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除SAN存储网络故障诊断与排除SAN存储主机软件与主机侧故障诊断与排除4.1SAN存储系统主机侧故障诊断基础4.2主机故障诊断流程和信息收集4.3主机故障诊断和排除存储主机侧故障分类和定义多路径安装失败

多路径包异常安装失败、安装环境异常、兼容性问题安装失败。多路径failover异常多路径组网情况下，一条路径故障后，failover失败，业务受影响。多路径failback异常多路径failover后，多路径无法成功failback的故障与win/linux/AIX主机兼容性问题主机软件与OS含补丁版本、HBA含驱动、iSCSI驱动、存储系统软件间的兼容性问题和版本配套不合理带来的问题。目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除SAN存储网络故障诊断与排除SAN存储主机软件与主机侧故障诊断与排除4.1SAN存储系统主机侧故障诊断基础4.2主机故障诊断流程和信息收集4.3主机故障诊断和排除主机侧与主要软件故障诊断流程Window平台下Ultrapath状态查询命令Windows2003/2008下多路径查询命令命令功能upadm.exeverson显示版本信息。upadm.exeshowdiskMap磁盘映射信息。upadm.exeshowarray服务器连接的阵列信息。upadm.exeshowarrayCtrl服务器连接控制器信息。upadm.exeshowlunIo虚拟LUNIO统计信息upadm.exeshowlunScsi显示虚拟LUN详细信息。upadm.exeshowconfig查询多路径配置信息Windows7/Solaris下多路径查询命令命令功能upadmhelp显示帮助信息upadmshowversion查询版本信息upadmshowarrays查询连接的阵列信息upadmshowvluns所有映射的LUN信息。upadmshowvlunid=<ID1,ID2,...>查询指定LUN的信息upadmshowluntrespass查看当前LUN切换功能的状态Linux平台下Ultrapath常用命令Liunx常用命令列表命令功能up_esn查看设备序列号信息upadmhelp查看简要帮助信息。upadmchconfig检查系统相关配置。upadmshowpath查看路径信息。upadmshowarray查看管理的阵列信息。upadmshowversion查看版本信息。upadmshowconnectarray查看连接到服务器上的所有存储系统信息upadmshowiostatarray=array_id{lun=lun_idinterval=seconds}查看IO性能统计upadmstarthotscan动态识别LUNupadmstartfailback手动启动Failback功能upadmstartforcerebalance强制切换LUN的工作控制器为归属控制器AIX平台下Ultrapath状态查询命令AIX平台下Ultrapath状态查询命令命令功能upadmhelp显示简要帮助信息。upadmshowversion查询软件版本信息。upadmshowdaemon查询守护进程运行状态。upadmshowoption查看可配置选项。cfgmgr扫描硬盘。lspv查看硬盘的概要信息。upadmshowlun[dev=updiskxx]查看虚拟硬盘的详细信息。lspath-F查看硬盘的路径信息。lspath查看路径的优先级属性。主机信息收集－Windows平台（1/4）准备主机侧信息收集工具，并上传到主机侧。双击”HostInfoTools-1.4.EXE”。信息收集完成后收集到的信息包将会自动弹出，在C:\WINDOWS\Upreports\collection\ZIP目录下，压缩包名称为：XXXX_20111205_1727_Uprptv31_x86.zip，其中XXXX为主机名。包含下面三个文件夹。HBAINFO目录下主要包含主机HBA卡相关信息。HOST目录下主要包含主机及操作系统相关信息。UPINFO目录下主要包含多路径相关信息。主机信息收集－Windows平台（2/4）HBAINFO目录下主要包含主机HBA卡相关信息。HBA_INFO.TXT文件包含HBA卡的型号、Firmware和驱动版本信息。Qlogic_INFO.TXT文件包含HBA卡的相关配置信息。注：以主机HBA卡为Qlogic卡为例。主机信息收集－Windows平台（3/4）HOST目录下主要包含：MEMERY.DMP文件是操作系统蓝屏时产生的内存转储文件，用于定位系统蓝屏问题。Application.evt和APPLACATION_EVENTLOG.TXT文件包含主机应用程序日志信息。System.evt和SYSTEM_EVENTLOG.TXT

文件包含主机系统日志信息。Winmsd.nfo和winmsd.txt文件包含主机系统信息。主机信息收集－Windows平台（4/4）UPINFO目录下主要包含：cfg文件夹主要包含多路径的相关配置文件Log文件夹主要包含多路径相关的日志文件InstallationLog.txt文件包含多路径的安装和卸载日志信息。UPLOG_x.txt文件包含多路径的运行日志信息，通过日志里wwn、failover、switchlun、removepending、MPGdeleted！等关键字可以定位LUN的上报、failover、切换工作控制器、主机删除链路、主机删除虚拟盘等信息，通过日志里的check关键字可以定位链路IO错误、超时以及对应的错误码等信息。主机信息收集－Linux平台（1/5）准备主机侧信息收集脚本，并上传到主机。

脚本文件如下：安装包目录\Linux\Tools\HostInfoTools-1.2.sh转换该脚本格式：dos2unixHostInfoTools-1.2.sh，修改脚本权限为可执行：chmod+xHostInfoTools-1.2.sh，执行脚本：./HostInfoTools-1.2.sh脚本运行完成后，将会将运行该脚本的当前目录下生成output.tar.gz文件，将该文件从主机上下载下来。主机信息收集－Linux平台（2/5）注：以主机HBA卡位Qlogic卡为例。解压output.tar.gz后，文件内容如下：主机信息收集－Linux平台（3/5）ARRAY_INFO.txt主机到阵列控制器上路径条数、路径好坏信息。与主机相连所有阵列阵列信息、阵列上LUN信息和控制器信息。FS_INFO.txtscsi设备信息、磁盘挂载信息、磁盘容量信息等。HARDWARE_INFO.txtCPU信息。内存信息。PCI信息。HBA_INFO.txtHBA卡信息，比如版本号等。主机信息收集－Linux平台（4/5）HISTORY.txt控制台历史命令信息。LOG_INFO.txt主机message日志。MENULST_INFO.txt主机menu.lst信息。MPP_INFO.txt物理LUN设备IO统计、设备状态、控制器状态等。虚拟LUN设备IO统计。OS_TYPE_INFO.txt主机版本、内核版本、系统位数、主机名等。主机信息收集－Linux平台（5/5）PROC.txt/proc/mpp目录下阵列信息，包括控制器信息、主机到控制器的路径信息、物理LUN和虚拟LUN信息。SOFTWARE_INFO.txt已经安装的RPM包列表。已经加载的模块列表，可以查看是否加载多路径模块。UP_INFO.txt多路径版本号信息。upUpper.ko和upVhba.ko多路径内核模块。主机信息收集－AIX平台（1/2）解压HostInfoTools-1.3.tar后，当前目录结构如下：确认确定此目录下的文件具有可执行权限chmod–R+xdirName运行：./HostInfoTools-1.3.sh，运行完毕后当前目录结构如下：其中收集的信息备份在outputs目录中，其为压缩包：主机信息收集－AIX平台（2/2）将收集的信息拷贝到windows上，解压后目录结构如右：Aix_UltraPath目录中文件如下

：主机软件信息收集－HostAgentHostAgent软件由下面组件组成：ConsistenAgent、InbandAgent、Hypermanager,各组件的日志如下：ConsistentAgent:收集其安装目录下的log文件夹下的所有文件和对应的所有的.log文件。InbandAgent:收集其安装目录下的log文件下的所有文件和bi下的InbandAgent.log文件。HyperManager:收集其安装目录下的.log文件。

目录SAN存储系统故障处理基础SAN存储阵列故障诊断与排除SAN存储网络故障诊断与排除SAN存储主机软件与主机侧故障诊断与排除4.1SAN存储系统主机侧故障诊断基础4.2主机故障诊断流程和信息收集4.3主机故障诊断和排除存储主机侧典型故障诊断4.3.1多路径安装失败问题4.3.2多路径运行过程问题（failover/failback异常）4.3.3与Win/Linux/AIX主机兼容性问题4.3.4HostAgent部署异常问题多路径安装失败问题诊断forWindows多路径安装失败问题处理for

Windows序号问题解决方案1多路径重复安装，安装时提示“已安装”1在注册表中存在残留安装信息，搜索‘UltraPath’关键字的注册项，删除注册表中UltraPath相关的键值。2删除当前安装程序中的UltraPathforWindows，重新安装2安装时提示reg.exe未安装1系统文件reg.exe丢失，在安装盘SUPPORT\TOOLS下运行Setup.exe,资源工具包的安装，安装reg.exe注册表程序2由于在资源工具包的安装过程中，程序自动将资源工具包的路径添加到WindowsXP的“PATH”变量下，因此安装完成后，用户可以直接在DOS命令行下运行reg.exe；3安装提示没有环境变量可能出现用户手动修改环境变量时删除了系统的环境变量，在系统环境变量Path的值中添加“%SystemRoot%\system32;%SystemRoot%;”重新安装。4SANboot场景安装多路径出现蓝屏或其他环境出现蓝屏1、多数情况属于OS系统未安装SP1/SP2补丁，先安装SP1/SP2补丁以后再安装多路径。2、如果系统已经安装SP1/SP2补丁，则需要分析蓝屏时产生的MEMERY.DMP文件，确认蓝屏发生的原因。多路径安装失败问题诊断forLinux多路径安装失败问题处理forLinux

序号问题解决方案1安装时提示多路径已安装该主机已经安装了多路，先卸载再安装。1、执行rpm-qUltraPath查询已安装的多路径版本。2、卸载旧版本的多路径。例如，执行rpm-eUltraPath。3、安装新版本的多路径。例如，执行rpm-ivhUltraPath*.rpm。如果不能解决问题，执行rpm－e－allmatchesXXX.rpm,清除与多路径相关的文件，重新安装。2使用光盘安装报错，提示找不到安装源（安装路径问题）1、将光盘中的多路径安装包拷贝到OS系统其它目录下。2、将小写的路径名称修改为正确路径名（区分大小写），再重新安装。3安装时提示安装rpm包Error检查多路径安装包格式是否为正确，执行dos2unixXXX.rpm或者重新获取原始格式的多路径安装包。多路径安装失败问题处理forLinux

序号问题解决方案4多路径查询或卸载失败rpm管理器失败可能出现rpm数据库损坏，执行rpm－rebuilddb，修复rpm数据库，重新执行查询或者卸载。5重启系统后多路径没有自动加载1、查看/boot/grub/menu.lst文件中，确定存在多路径启动选项“LinuxwithUltraPath”并且default的值指向该多路径启动选项“LinuxwithUltraPath”。如果不是，则先卸载掉多路径，修改/boot/grub/menu.lst，把default的指向值改为default0，再重新安装多路径。2、确定/boot/grub/menu.lst文件中“LinuxwithUltraPath”启动项中“initrd(hd0,5)/boot/mpp-***-smp.img”中的文件“mpp-***-smp.img”在本地硬盘的/boot目录下存在。多路径安装失败问题诊断（AIX）多路径安装失败问题处理forAIX序号问题解决方案1安装失败，bin用户被屏蔽1、检查/etc/passwd，去掉“#bin:*:8:2::/bin:/usr/bin/ksh”的#。2、没有bin用户时，需手动添加bin用户。2bosboot验证未通过跳过bosboot校验方式安装1、将/usr/sbin/下备份bosboot文件为bosboot.bak,修改bosboot在第二行添加exit02、成功安装多路径以后，恢复bosboot文件。参见案例。多路径安装失败诊断总结对于多路径安装失败，务必要有正确的诊断思路：首先确认是否存在兼容性问题。根据多路径安装失败提示，检查OS系统环境和配置参数。查看多路径安装日志信息，查看安装日志信息诊断。参考多路径升级指导书（一般在多路径软件包中有多路径升级指导），制定安装方案以及安装失败时的补救措施。多路径安装失败案例分享描述问题AIX主机，安装多路径软件时提示如下错误:0503-409installp:

bosbootverificationstarting...0503-497installp:

Anerroroccurredduringbosbootverificationprocessing.ERROR:installfailed!pleaseaccordingtoerrorinfotocheck!原因分析bosboot验证未通过，该命令用于保存磁盘的设备配置数据.“bosboot:/unixand/usr/lib/boot/unixmustlinktothesamekernelfile.”,即/unix和/usr/lib/boot/unix指向的必须是