05 云计算故障处理2020更新 HCIE 云计算-课件05 FusionStorage Block故障处理

FusionStorageBlock故障处理,FusionStorageBlock是华为分布式存储，了解和掌握FusionStorageBlock的故障处理方法，可以更好的部署和维护企业云计算存储环境。,学完本课程后，您将能够：FusionStorageBlock故障简介FusionStorageBlock告警机制介绍FusionStorageBlock日志机制介绍FusionStorageBlock故障处理流程FusionStorageBlock备份与恢复方法FusionStorageBlock应急预案介绍FusionStorageBlock高危操作,FusionStorageBlock故障简介FusionStorageBlock告警机制介绍FusionStorageBlock日志机制介绍FusionStorageBlock故障处理流程FusionStorageBlock备份与恢复方法FusionStorageBlock应急预案介绍FusionStorageBlock高危操作,FusionStorageBlock软件组成,FusionStorageBlock功能简介,FusionStorageBlock故障概览,FusionStorageBlock故障简介FusionStorageBlock告警机制介绍FusionStorageBlock日志机制介绍FusionStorageBlock故障处理流程FusionStorageBlock备份与恢复方法FusionStorageBlock应急预案介绍FusionStorageBlock高危操作,告警机制,告警是由系统中各个部件，实时监控或在处理业务时，发现影响系统可靠性的事件时，通过告警模块上报至数据库，并且在portal上呈现给维护人员告警的严重程度从低到高依次为：提示一般严重紧急,告警收集,需要重点关注的告警(1),需要重点关注的告警(2),需要重点关注的告警(3),FusionStorageBlock故障简介FusionStorageBlock告警机制介绍FusionStorageBlock日志机制介绍FusionStorageBlock故障处理流程FusionStorageBlock备份与恢复方法FusionStorageBlock应急预案介绍FusionStorageBlock高危操作,关于日志必须了解的,日志输出有分类-FSM,FSA,MDC,OSD,VBS,DI等日志输出有级别区分-DEBUG,INFO,WARNING,ERROR历史日志有备份-根据场景不同，备份场所也不同关键流程有日志-启动，初始化，创卷等业务流程，CRB等流程日志输出有考虑性能-每15分钟从内存向磁盘持久化一次，紧急情况下，可以用工具立即输出,常用日志路径(1),常用日志路径(2),常用日志归档路径,配有日志服务器时，CNA节点产生的日志每15min被压缩打包一次并上传到日志服务器未配置日志服务器时，CNA节点产生的日志仍会每15min被压缩打包一次并被收到特定目录，当OS安装在U盘上时，日志被放到“/tmp/udisk/log/节点名/日期/时间”目录，当OS安装在硬盘上时，路径是“/tmp/disk/log/节点名/日期/时间”CNA的日志路径：/var/log/galaxenginelog/VRM日志路径：历史日志/var/backuplog/galaxenginelog/日期/实时日志/var/log/galaxengine/*,日志获取方法1-信息收集工具,信息收集工具：收集存储计算节点、主备FSM节点的运行业务日志、元数据信息、内存信息、系统环境配置信息、core文件。工具位置信息：主FSM节点下的/opt/dsware/tools/ops_tool/infoCollect/CollectInfo.sh，同时需要root用户权限执行。（说明：备FSM节点无权限执行该工具）,日志获取方法2-ELK信息收集,工具描述：日志的收集转储，并提供关键字搜索日志功能的工具,日志获取方法3-工具收集,日志获取方法4-手动收集,使用putty工具，用非root用户登录需要取日志的节点执行su-root命令，并提示输入root用户的密码，切换至root用户执行TMOUT=0命令，防止PuTTY超时退出执行tar-czvflog.tar,gz日志文件，例如tarczvflog.tar.gz/var/log/dsware/*执行cplog.tar.gz/home/XXX将日志考入可考出的目录chown777/home/XXX/log.tar.gz.将日志拷贝到可拷贝目录下使用非root用户通过winscp登录，拷贝日志以下是常用的默认密码：,日志收集(命令行方式),FusionStorageBlock信息收集项列表,日志收集(命令行方式),使用“PuTTY”，登录FSM主节点。以“dsware”用户，通过管理IP地址登录。执行以下命令，进入指定路径。cd/opt/dsware/client/bin如果将日志信息收集到第三方FTP服务器执行以下命令，并根据提示输入相关密码，进行日志信息的收集shdswareTool.sh-opinfoCollector-ftpIpftpIp-userftpUser-portftpPort-diruploadDictionary-nodeIpnodeIp1,nodeIp2,.-nodeTypenodeType-periodbeginTime-endTime-itemsitem1,item2,.-nodeUserNamenodeUserName如果将日志信息收集到FSM主节点执行以下命令，并根据提示输入相关密码，进行日志信息的收集。shdswareTool.sh-opinfoCollectorToFsm-nodeIpnodeIp1,nodeIp2,.-nodeTypenodeType-periodbeginTime-endTime-itemsitem1,item2,.-nodeUserNamenodeUserName,FusionStorageBlock故障简介FusionStorageBlock告警机制介绍FusionStorageBlock日志机制介绍FusionStorageBlock故障处理流程FusionStorageBlock备份与恢复方法FusionStorageBlock应急预案介绍FusionStorageBlock高危操作,FusionStorageBlock安装配置流程,部署FusionStorageManager（FSM）组件通过FusionSphereOpenStack安装部署界面，创建两台FSM虚拟机，创建完成后即可登录FusionStorageBlock自助维护平台进行后续配置。部署FusionStorageAgent（FSA）组件首先通过FusionStorageBlock自助维护平台对服务器批量安装FSA组件。,FSA组件配置介绍,FSA组件配置介绍,删除创建流程,CreateMDC,CreateOSD,CreateVBS,DeleteOSD,DeleteVBS,DeleteMDC,FusionStorageBlock故障点,物理网络故障排查,具体现网网络排查可根据现网不同的组网、网络设备及排查经验进行排查,物理服务器RH2288H,交换机,存储网络,FusionStorageBlock,物理服务器上执行ping临时IP,交换机执行：interfaceVlanif存储VlanIDipaddress临时IP子网掩码commitping存储设备IPundointerfacevlanifxxcommit,存储设备IP,1.排查端口链接状2.判断目标服务器IP是否可达,1.检查目标存储控制面IP可达2.检查目标存储数据面IP可达,FusionStorageBlock故障简介FusionStorageBlock告警机制介绍FusionStorageBlock日志机制介绍FusionStorageBlock故障处理流程FusionStorageBlock典型故障案例分析FusionStorageBlock备份与恢复方法FusionStorageBlock应急预案介绍FusionStorageBlock高危操作,备份策略简介,维护工程师在对FusionStorageBlock进行重大操作（如升级、重大数据调整等）前，为了保证FusionStorageBlock在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低，需要提前对管理节点的数据进行备份。FusionStorageBlock同时支持对关键数据进行自动备份和手工备份。备份机制在对系统数据进行备份时，FusionStorageBlock支持自动备份和手动备份两种方式，并遵循以下备份机制：每日凌晨02:00自动进行备份。本地自动与手工备份文件存放在同一目录。本地自动备份文件超过保存份数上限时，系统会自动清理创建时间最早的备份文件；本地手动备份的备份文件超过保存份数上限时，系统会提示清理文件。若存在可使用的第三方备份服务器，则开启第三方备份后，在完成本地自动与手工备份后FusionStorageBlock会自动将备份文件上传到第三方服务器。当第三方备份服务器上的备份文件未超过最多保留份数时，新备份文件不覆盖旧备份文件；超过最多保留份数时，系统会自动清理创建时间最早的备份文件。,备份存放,备份文件名“FusionStorageManager-Backup-YYYY-MM-DD-hh-mm-ss-sn.tar.gz”备份文件存放路径,备份FSM数据,登录FSM主节点使用“PuTTY”，登录FSM主节点。以“dsware”用户，通过FSM节点浮动IP地址登录FSM主节点。备份FSM数据到本地执行以下命令，进入FSM命令行工具所在目录。cd/opt/dsware/client/bin/执行以下命令，进行本地手工备份命令下发。shdswareTool.sh-opexecuteBackupCmd检查本地备份结果切换至root帐户。su-root命令下发成功约5分钟，本地手工备份数据完成后执行以下命令，进入手工备份文件的存放路径。cd/opt/dsware/manager/backup/manual/执行以下命令，查看路径下的文件信息。检查是否含有最新的备份文件。ll,恢复FSM数据,停止FSM进程进入FSM停止进程脚本所在路径。cd/opt/dsware/manager/setup/停止FSM备节点所有进程。shMonitorTool.shstop恢复FSM主节点数据进入FSM恢复脚本所在目录。cd/opt/dsware/manager/setup/恢复FSM主节点的数据。shDataRecovery.sh/home/dsware/FusionStorageManager-Backup-YYYY-MM-DD-hh-mm-ss-sn.tar.gz启动FSM进程进入FSM恢复脚本所在目录。cd/opt/dsware/manager/setup/执行以下命令，启动FSM主节点进程。shMonitorTool.shstart,FusionStorageBlock故障简介FusionStorageBlock告警机制介绍FusionStorageBlock日志机制介绍FusionStorageBlock故障处理流程FusionStorageBlock备份与恢复方法FusionStorageBlock应急预案介绍FusionStorageBlock高危操作,应急预案简介,应急预案当系统发生大面积故障，导致部分或全部业务中断，严重影响用户使用时，启动应急预案应急处理原则以快速恢复客户的业务为核心以对客户的影响最低为原则以日常的演练为保障,应急场景&应急工具补齐(1),应急场景&应急工具补齐(2),常见的应急场景元数据损坏,常见的应急场景-用户数据损坏,常见的应急场景其它,FusionStorageBlock故障简介