FusionStorage Block运维故障处理指南

1、FusionStorage Block运维故障处理指南技术创新，变革未来FusionStorage Block是华为分布式存储，了解和掌握FusionStorage Block的故障处理方法，可以更好的部署和维护企业云计算存储环境。学完本课程后，您将能够：FusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法FusionStorage Block应急

2、预案介绍FusionStorage Block高危操作FusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法FusionStorage Block应急预案介绍FusionStorage Block高危操作FusionStorage Block软件组成FusionStorage Block功能简介FusionStorage Manager（FSM）管理

3、进程，提供告警、监控、日志、配置等操作维护功能，推荐主备节点部署。FusionStorage Agent (FSA)管理代理进程，部署在各节点（服务器）上，实现各节点与FSM通信。MDC业务控制进程，实现对分布式集群的状态控制，以及控制数据分布式规则、数据重建规则等。创建控制集群时，元数据管理服务（zookeeper）部署在3个、5个或者7个节点上，每个元数据管理服务节点上部署一个MDC进程，形成控制集群。VBS业务IO进程，负责卷元数据的管理，提供分布式集群接入点服务，使计算资源能够通过VBS访问分布式存储资源。每个服务器上部署一个VBS进程，形成VBS集群。OSD业务IO进程，执行具体的I

4、/O操作。在每个服务器上部署多个OSD进程，一块磁盘对应部署一个OSD进程。FusionStorage Block故障概览FusionStorage Block故障硬件故障控制集群故障块客户端故障存储池故障管理节点故障操作维护故障FusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法FusionStorage Block应急预案介绍FusionSto

5、rage Block高危操作告警机制硬盘，SSD卡/盘，网络，进程，服务.FS_OSDFS_VBSFS_MDCFS_AGENTFS_MANAGEROMM告警模块（接收告警的上报和恢复，并记录到DB）Portal告警是由系统中各个部件，实时监控或在处理业务时，发现影响系统可靠性的事件时，通过告警模块上报至数据库，并且在portal上呈现给维护人员告警的严重程度从低到高依次为：提示一般严重紧急告警收集需要重点关注的告警 (1)告警ID告警名称告警影响51001OSD退出服务表示有节点或磁盘被踢出存储池，存储池容量受损51003存储池故障表示有全副本故障，或曾出现过全副本故障（该告警从C02SPC2

6、00版本开始才可以自动清除，之前的版本都无法自动清除），全副本故障会导致上层无法写新的数据51009硬盘不在位硬盘被拔出，或没插好，持续5min以后，该盘（OSD）会被踢出集群51004硬盘故障表示硬盘出现某种故障，且检测到该故障后，该硬盘会被立刻踢出集群，更换新的硬盘时会自动将新盘加入集群51013硬盘介质故障51014硬盘即将故障51015硬盘温度异常51005硬盘空间不足当硬盘占用率大于等于告警阈值95%时，系统会上报告警，单盘占用率超过95%时，该盘会写保护，系统业务会中断需要重点关注的告警 (2)告警ID告警名称告警影响51006存储池空间占用率超过阈值次要：存储池空间使用比例 80

7、% 90% 严重：存储池空间使用比例 90% 93% 紧急：存储池空间使用比例 93%以上上报次要告警时就需要考虑扩容事宜，因为如果达到95%，会出现写保护，上层业务会中断51007MDC与VBS通信异常MDC失去某个VBS的心跳而上报的告警，有可能是VBS所在的节点异常，也有可能是存储平面网络异常51016SSD卡故障SSD做主存时，如果上报SSD相关告警，则SSD对应的OSD会被踢出集群SSD做缓存时，如果上报SSD相关告警，则SSD所在节点的所有OSD均会被踢出集群故障恢复后需手动将节点或磁盘再扩容进来51017SSD卡温度异常51018SSD卡电容失效51019SSD卡平均磨损值即将超

8、额51020SSD卡坏块过多需要重点关注的告警 (3)告警ID告警名称告警影响51024存储池降级某些硬盘或节点发生异常，但由于容量不足或其他限制条件导致这些OSD无法被踢出集群，持续12小时后上报该告警51813NVDIMM不在位NVDIMM为FusionStorage的缓存，如果上报NVDIMM相关告警，则该NVDIMM所在节点的所有OSD均会被踢出集群51814NVDIMM故障51816NVDIMM电容不在位51801MDC进程异常FusionStorage的主要进程异常，对系统均会有不同程度的影响，发现后需立刻排查恢复；OSD进程异常超过一定时间后会被踢出集群51802VBS进程异常5

9、1803OSD进程异常51825FusionStorage Agent进程异常51804ZooKeeper进程异常FusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法FusionStorage Block应急预案介绍FusionStorage Block高危操作关于日志必须了解的日志输出有分类-FSM,FSA,MDC,OSD,VBS,DI等日志输出

10、有级别区分-DEBUG,INFO,WARNING,ERROR历史日志有备份-根据场景不同，备份场所也不同关键流程有日志-启动，初始化，创卷等业务流程，CRB等流程日志输出有考虑性能-每15分钟从内存向磁盘持久化一次，紧急情况下，可以用工具立即输出常用日志路径(1)节点名称日志文件（示例）描述所在目录FusionStorage Managerdsware-manager-web.logdsware-manager-web.日期.log.zipFusionStorage manager运行时的日志/var/log/dsware/managerinstall.logFusionStorage man

11、ager安装日志/var/log/dsware/managerinstallAgent_.logFusionStorageAgent安装日志/var/log/dsware/managerbackup_20130308.logFusionStorageManager管理数据产生的日志/var/log/dsware/manager/backuptimes_20130304.log/var/log/ntpNTP服务产生的日志/var/log/dsware/manager/times和/var/log/ha.log.2013-03-05_12-00-00.gz/scriptlog/*.logHA日志/

12、var/log/omm/oms/ha常用日志路径(2)节点名称日志文件（示例）描述所在目录 FusionStorage Agentagent_handle.logagent执行shell脚本产生的日志/var/log/dswaredsware_agent.log*agent运行时的日志/var/log/dswareinstall.log.0 安装agent的日志/var/log/dswarelog-MDC.*MDC运行时的日志/var/log/dswarelog-OSD.*OSD运行时的日志/var/log/dswarelog-VBS.*VBS运行时的日志/var/log/dswarezook

13、eeper.log.*ZK运行时的日志/var/log/dsware常用日志归档路径配有日志服务器时，CNA节点产生的日志每15min被压缩打包一次并上传到日志服务器未配置日志服务器时，CNA节点产生的日志仍会每15min被压缩打包一次并被收到特定目录，当OS安装在U盘上时，日志被放到“/tmp/udisk/log/节点名/日期/时间”目录，当OS安装在硬盘上时，路径是“/tmp/disk/log/节点名/日期/时间”CNA的日志路径：/var/log/galaxenginelog/VRM日志路径：历史日志/var/backuplog/galaxenginelog/日期/实时日志/var/lo

14、g/galaxengine/* 日志获取方法1 - 信息收集工具信息收集工具：收集存储计算节点、主备FSM节点的运行业务日志、元数据信息、内存信息、系统环境配置信息、core文件。工具位置信息：主FSM节点下的/opt/dsware/tools/ops_tool/infoCollect/CollectInfo.sh，同时需要root用户权限执行。（说明：备FSM节点无权限执行该工具）日志获取方法2 - ELK信息收集工具描述：日志的收集转储，并提供关键字搜索日志功能的工具日志获取方法3 - 工具收集日志获取方法4 - 手动收集使用putty工具，用非root用户登录需要取日志的节点执行su -

15、 root命令，并提示输入root用户的密码，切换至root用户执行TMOUT=0命令，防止PuTTY超时退出执行 tar -czvf log.tar,gz 日志文件，例如tar czvf log.tar.gz /var/log/dsware/*执行 cp log.tar.gz /home/XXX 将日志考入可考出的目录chown 777 /home/XXX/log.tar.gz.将日志拷贝到可拷贝目录下使用非root用户通过winscp登录，拷贝日志以下是常用的默认密码：节点名非root用户名默认密码root密码默认目录FSMdswareHuaweiCLOUD8HuaweiCLOUD8!/h

16、ome/dswareVRMgandalfHuaweiCLOUD8HuaweiCLOUD8!/home/GalaX8800CNAgandalfHuaweiCLOUD8HuaweiCLOUD8!/home/GalaX8800存储和DB节点(数据库)dswareHuaweiCLOUD8HuaweiCLOUD8!/home/dsware日志收集(命令行方式)FusionStorage Block信息收集项列表节点类型收集项ID描述FusionStorage Manager（FSM）4502FSM进程日志4503FSM安装日志4507OMM进程内存异常Core日志4508OMM Agent侧进程日志45

17、09OMM Server侧进程日志FusionStorage Agent（FSA）4500FusionStorage存储集群信息4501FusionStorage系统节点信息4504FSA节点进程日志4505FSA节点进程内存异常Core日志4507OMM进程内存异常Core日志4508OMM Agent侧进程日志4700操作系统信息及日志4800硬件信息及错误事件日志日志收集(命令行方式)使用“PuTTY”，登录FSM主节点。以“dsware”用户，通过管理IP地址登录。执行以下命令，进入指定路径。 cd /opt/dsware/client/bin如果将日志信息收集到第三方FTP服务器执行

18、以下命令，并根据提示输入相关密码，进行日志信息的收集sh dswareTool.sh -op infoCollector -ftpIp ftpIp -user ftpUser -port ftpPort -dir uploadDictionary -nodeIp nodeIp1,nodeIp2,. -nodeType nodeType -period beginTime-endTime -items item1,item2,. -nodeUserName nodeUserName如果将日志信息收集到FSM主节点执行以下命令，并根据提示输入相关密码，进行日志信息的收集。 sh dswareToo

19、l.sh -op infoCollectorToFsm -nodeIp nodeIp1,nodeIp2,. -nodeType nodeType -period beginTime-endTime -items item1,item2,. -nodeUserName nodeUserNameFusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法Fus

20、ionStorage Block应急预案介绍FusionStorage Block高危操作FusionStorage Block安装配置流程部署FusionStorage Manager（FSM）组件通过FusionSphere OpenStack安装部署界面，创建两台FSM虚拟机，创建完成后即可登录FusionStorage Block自助维护平台进行后续配置。部署FusionStorage Agent（FSA）组件首先通过FusionStorage Block自助维护平台对服务器批量安装FSA组件。开始确认环境满足系统要求部署FSM组件部署FSA组件将存储资源接入虚拟化环境创建控制集群创建

21、存储池结束创建块客户端FusionStorage Block软件安装FSA组件配置介绍项目说明配置原则MDC元数据控制组件，实现对分布式集群的状态控制，以及控制数据分布式规则、数据重建规则等。 创建控制集群时，元数据管理服务（zookeeper）部署在3个、5个或者7个节点上，每个元数据管理服务节点上部署一个MDC进程，形成控制集群，如图2所示。 系统最多可创建96个MDC。图2 控制集群 部署元数据管理服务需要占用独立的存储空间，该空间称为元数据。若将单个磁盘分给元数据使用，该磁盘称为元数据盘；若将磁盘分区分给元数据使用，该分区称为元数据分区。如图3所示。图3 元数据部署方式 FSA组件配置

22、介绍项目说明配置原则OSD服务端软件进程，其功能是处理VBS下发的IO消息，进行数据冗余保护并持久化到存储介质中。OSD进程部署在为FusionStorage Block存储池提供存储资源的服务器上，若当前服务器除系统磁盘以外没有存储设备，则不需要部署OSD。 每个部署OSD进程的服务器上会有多个OSD进程，每个磁盘对应一个OSD进程。VBS客户端软件进程，其功能是将虚拟机或者应用下发的SCSI/iSCSI命令进行解析，并转化为系统内部的IO消息发送给OSD进行处理。VBS进程部署在使用FusionStorage Block存储资源的服务器上，若当前服务器仅提供存储资源，不提供虚拟机或应用，则

23、不需要部署VBS。 每个部署VBS进程的服务器上默认启动一个VBS进程。删除创建流程Create MDCCreate OSDCreate VBSDelete OSDDelete VBSDelete MDCFusionStorage Block故障点控制集群存在对应进程存储接口硬盘不显示存在对应进程硬件故障存储接口配置错误进程异常网络问题残余进程MDC，VBS，OSD物理网络故障排查具体现网网络排查可根据现网不同的组网、网络设备及排查经验进行排查物理服务器RH2288H交换机存储网络FusionStorage Block物理服务器上执行ping 临时IP 交换机执行：interface Vlan

24、if 存储Vlan ID ip address 临时IP 子网掩码commitping 存储设备IP undo interface vlanif xx commit 存储设备IP 1.排查端口链接状2.判断目标服务器IP是否可达1.检查目标存储控制面IP可达2.检查目标存储数据面IP可达FusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法Fusio

25、nStorage Block应急预案介绍FusionStorage Block高危操作故障处理案例：硬盘不显示故障处理案例：控制集群创建失败故障处理案例：存储池创建失败故障FusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法FusionStorage Block应急预案介绍FusionStorage Block高危操作备份策略简介维护工程师在对Fu

26、sionStorage Block进行重大操作（如升级、重大数据调整等）前，为了保证FusionStorage Block在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低，需要提前对管理节点的数据进行备份。FusionStorage Block同时支持对关键数据进行自动备份和手工备份。备份机制在对系统数据进行备份时，FusionStorage Block支持自动备份和手动备份两种方式，并遵循以下备份机制： 每日凌晨02:00自动进行备份。 本地自动与手工备份文件存放在同一目录。 本地自动备份文件超过保存份数上限时，系统会自动清理创建时间最早的备份文件；本地手动备份的备份

27、文件超过保存份数上限时，系统会提示清理文件。 若存在可使用的第三方备份服务器，则开启第三方备份后，在完成本地自动与手工备份后FusionStorage Block会自动将备份文件上传到第三方服务器。 当第三方备份服务器上的备份文件未超过最多保留份数时，新备份文件不覆盖旧备份文件；超过最多保留份数时，系统会自动清理创建时间最早的备份文件。备份存放备份文件名“FusionStorageManager-Backup-YYYY-MM-DD-hh-mm-ss-sn.tar.gz”备份文件存放路径备份类型存放路径（自动备份）存放路径（手工备份）本地备份FusionStorage Manager（FSM）节

28、点的“/opt/dsware/manager/backup”说明： 使用root帐户登录FSM节点，执行cat /opt/dsware/manager/webapps/dsware/WEB-INF/BackupCperties。回显信息中“backupFileDir”后面的目录为自动备份目录，如下所示。. backupFileDir=/opt/dsware/manager/backup .FSM节点的“/opt/dsware/manager/backup/manual”说明： 手工备份路径为自动备份路径下的“manual”目录。第三方备份Linux系统：“FTPS服务配置的路径/CloudCo

29、mputing/DswareMgr_FSM浮动IP” Windows系统：“FTPS服务配置的路径CloudComputingDswareMgr_FSM浮动IP”Linux系统：“FTPS服务配置的路径/CloudComputing/DswareMgr_FSM浮动IP/manual” Windows系统：“FTPS服务配置的路径CloudComputingDswareMgr_FSM浮动IPmanual”备份FSM数据登录FSM主节点使用“PuTTY”，登录FSM主节点。以“dsware”用户，通过FSM节点浮动IP地址登录FSM主节点。备份FSM数据到本地执行以下命令，进入FSM命令行工具所在

30、目录。cd /opt/dsware/client/bin/执行以下命令，进行本地手工备份命令下发。sh dswareTool.sh -op executeBackupCmd检查本地备份结果切换至root帐户。 su - root命令下发成功约5分钟，本地手工备份数据完成后执行以下命令，进入手工备份文件的存放路径。 cd /opt/dsware/manager/backup/manual/执行以下命令，查看路径下的文件信息。检查是否含有最新的备份文件。ll开始结束登录FSM主节点备份FSM数据到本地检查本地备份结果检查远端备份结果是否备份到第三方否是恢复FSM数据停止FSM进程进入FSM停止进程

31、脚本所在路径。 cd /opt/dsware/manager/setup/停止FSM备节点所有进程。 sh MonitorTool.sh stop恢复FSM主节点数据进入FSM恢复脚本所在目录。 cd /opt/dsware/manager/setup/恢复FSM主节点的数据。 sh DataRecovery.sh /home/dsware/FusionStorageManager-Backup-YYYY-MM-DD-hh-mm-ss-sn.tar.gz启动FSM进程进入FSM恢复脚本所在目录。 cd /opt/dsware/manager/setup/执行以下命令，启动FSM主节点进程。 s

32、h MonitorTool.sh start开始结束停止FSM进程恢复FSM主节点数据恢复FSM备节点数据启动FSM进程可用本地数据恢复否是从第三方备份服务器拷贝数据FusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法FusionStorage Block应急预案介绍FusionStorage Block高危操作应急预案简介应急预案当系统发生大面积

33、故障，导致部分或全部业务中断，严重影响用户使用时，启动应急预案应急处理原则以快速恢复客户的业务为核心以对客户的影响最低为原则以日常的演练为保障应急场景&应急工具补齐(1)分类工具/应急场景说明运维工具一键式日志收集工具一键式收集运行日志，内存关键信息，系统配置，元数据，OS配置，监控数据等，与ELK互补日志分析与ELK集成通过与ELK的对接，满足德电的运维需求，整理出常见问题的关键字，快速分析和定位问题巡检与ZABBIX集成将运维人员最关注的常见指标，现网最容易出现的典型问题做成ZABBIX监控项，帮助运给人员及时发现问题应急工具MDC元数据可视化和编辑快速查看和修改MDC元数据，保证全系统最

34、重要的元数据在极端情况下有办法修改，快速恢复故障MDC元数据分析工具通过元数据分析工具，提前发现问题VBS元数据分析工具通过元数据分析工具，提前发现问题亚健康类问题快速分析工具将现网遇到的最常见，最难处理的亚健康问题的分析过程工具化，快速找出亚健康节点，分析亚健康原因应急场景&应急工具补齐(2)分类工具/应急场景说明应急预案优化基于操作日志的VBS元数据修复增加了底层元数据与VRM间一致性的校验，保证元数据恢复准确无误优化了元数据和关键元数据日志的备份方案，保证备份数据更加可靠简化了元数据恢复流程，让恢复流程更加快速半数以上ZK故障的应急处理增加了校验全量备份与当前视图一致性的处理，保证恢复高

35、效的同时，降低了恢复过程中的风险MDC元数据故障或损坏的应急处理优化了元数据和关键元数据日志的备份方案简化了元数据恢复流程，让恢复流程更加快速增加了MDC无条件踢盘的逃生工具，保证极端场景下，有恢复手段增加了校验全量备份与当前视图一致性的处理，保证恢复高效的同时，降低了恢复过程中的风险FSA节点配置丢失的应急处理简化了操作复杂度，将大部分的手动操作脚本化，将原有的恢复时间缩短40%以上FSM主备同时故障的应急处理简化了操作复杂度，将大部分的手动操作脚本化，将原有的恢复时间缩短40%以上OSD元数据故障的应急处理增加了修改SNAP主区和备区元数据的工具增加了修改AIO元数据的工具细化了SNAP中

36、元数据有KEY重复的处理流程和指导书常见的应急场景元数据损坏故障场景故障模块可能的故障原因故障特征应急指导文档SPC2006.0备注元数据损坏ZKZK盘物理故障ZK盘所在节点OS损坏ZK盘数据被人为破坏误操作将配置删除ZK的BUG将ZK中数据损坏超过一半ZK故障FusionStorage V100R003C30U1 半数以上ZK故障的应急处理指导 01.doc支持支持完善流程，优化操作MDC元数据损坏FusionStorage V100R003C30U1 MDC元数据故障或损坏应急处理指导 01.doc支持支持完善流程，优化操作VBSVBS的BUG导致元数据损坏VBS的BUG导致元数据丢失元数

37、据存储介质静默错误VBS元数据损坏或卷丢失FusionStorage V100R003C30U1 VBS元数据故障应急处理指导 01.doc支持支持完善流程，优化操作OSD介质自然产生的静默错误硬件的BUG导致静默错误人为误操作损坏元数据自身软件的BUG误清除元数据OSD各模块的元数据损坏FusionStorage V100R003C30U1 OSD元数据故障的应急处理指导 01.doc支持支持完善流程常见的应急场景 - 用户数据损坏故障场景故障模块可能的故障原因故障特征应急指导文档SPC2006.0备注用户数据损坏OSD硬盘+硬盘硬盘+cachecache+硬盘OS损坏+硬盘OS损坏+cac

38、he上下电中单盘损坏其它+元数据损坏硬盘+OS损坏cache+OS损坏OS损坏+OS损坏非存储介质损坏最后一个副本是存储介质发生故障FusionStorage V100R003C30U1 存储介质故障导致存储池故障的应急处理指导 01.doc支持支持完善流程，优化操作最后一个副本所在节点配置丢失FusionStorage V100R003C30U1 FSA节点配置丢失导致的存储池故障的应急处理指导 01.doc支持支持完善流程，优化操作OM最后一个副本是非存储介质发生故障FusionStorage V100R003C30U1 由非存储介质导致的存储池故障的应急处理指导 01.doc支持支持完善

39、流程，优化操作常见的应急场景其它故障场景故障模块可能的故障原因故障特征应急指导文档SPC2006.0备注系统配置丢失OMFSM数据库损坏FSM主备虚拟机同时故障FSM的业务中断FusionStorage V100R003C30U1 FSM主备同时故障的应急处理指导 01.doc支持支持完善流程，优化操作存储池写保护OM写入数据量大导致写保护节点故障导致写保护存储池写保护FusionStorage V100R003C30U1 存储池写保护的应急处理指导 01.doc支持支持修改了部分描述不准的文档问题卷被误删除VBS用户误操作卷被误删除FusionStorage V100R003C30U1 卷被

40、误删除应急处理指导 01.doc支持支持修改了部分描述不准的文档问题时间跳变OM时间跳变Portal不可登陆FusionStorage V100R003C30U1 系统时间跳变导致FusionStorage界面登录失败的应急处理指导 01.doc支持支持修改了部分描述不准的文档问题ZK分区盘符漂移MDCZK分区盘符漂移ZK故障FusionStorage V100R003C30U1 ZK分区盘符漂移导致ZK故障的应急处理指导 01.doc不支持支持完善流程，优化操作升级过程中的应急ALL升级过程中遇到的所有支持的应急场景跟故障类型相关FusionStorage V100R003C30U1 升级过

41、程中的应急处理指导01.doc支持支持完善流程，优化操作FusionStorage Block故障简介FusionStorage Block告警机制介绍FusionStorage Block日志机制介绍FusionStorage Block故障处理流程FusionStorage Block典型故障案例分析FusionStorage Block备份与恢复方法FusionStorage Block应急预案介绍FusionStorage Block高危操作高危操作类别操作操作风险业务恢复时间机房管理空调下电或制冷失效，未对存储池进行保护处理全局高温 硬件损坏，导致数据丢失大于30分钟对存储机柜进行下电服务器安全：将导致存储池故障，虚拟机蓝屏，业务IO中断 机柜级安全：如果多柜下电则导致存储池故障，虚拟机蓝屏，业务IO中断约10分钟存储平面交换机网络整改，并且未对存储池与计算池进行保护如果引发网络环路，将有可能导致存储平面与业务平面网络中断 存储平面中断时间过长，有可能导致虚拟机HA大于10分钟操作维护非应急场景，禁止对存储池进行强制移除磁盘、移除SSD卡等操作可能引发部分数据丢失，数据重构完成后将导致部分数据无法恢复大于30分钟删除节点上的块客户端被删除节点的IO中断约10分钟在系统中执行dswareTool命令，停止VBS集群服务所有的业务中断 所有虚拟机的