fusionsphere操作维护与故障处理

1、本页不打印修订© 2016技术第0页作者/工号时间审核人/工号开发类型（新开发/优化）李2016-05fly新开发课程编码适用版本课程版本HC13081云计算V1R51.0FusionSphere日常操作维护 与故障处理讲解© 2016技术目录1.日常维护操作2.3.4.日志收集健康检查问题定位故障处理升级与补丁© 2016技术第2页上下电l下电顺序：l上电顺序与下电相反：l约束：1、下电整个FusionSphere时，按照DC逐个下电。在每个DC内，先下电没有部署glance和keystone服务的AZ。再下电部署有glance服务，但没有部署keystone服

2、务的AZ。最后再下电系统中唯一一个部署有keystone服务的AZ。2、上电整个FusionSphere时，首先需要上电系统中唯一一个部署有keystone服务的AZ。接着再按照DC逐个上电。在每个DC内，先上电部署glance服务的AZ，接着再上电其他AZ。版权所有© 2016 华为技术有限公司第3页上电业务虚拟机启动FSM虚拟机上电计算节点上电控制节点（ 界面操作）上电Openstack OM所在主机上电机柜下电机柜下电VRM所在物理主机（物理部署）下电其他控制节点安全下电VRM和OM所在主机下电业务主机（界面操作）关闭MongoDB关闭FSM虚拟机（ 界面操作）停止Fusion

3、Storage服务通知租户关闭业务虚拟机计算资源扩容FusionComputel使用场景p随着业务的增长，计算资源无法满足现有业务的要求，可在站点内新增集群，并为集群添加主机。l扩容流程创建集群(VRM界面)安装主机的操作系统（VRM安装工具）向集群添加主机（ VRM界面）开始配置FusionCompute接 OpenStack（Web UI）l根据不同场景有如下几种扩容方式：p为现有集群扩容主机不需要在OpenStack中配置。p扩容集群需要操作有可用的控制节点。版权所有© 2016 华为技术有限公司第4页计算资源扩容KVM收集主机MAC 并编辑别名开始PXE上电部署compute

4、角色ISO镜像方式安装主机配置主机网络配置资源隔离配置内核参数多网元管理重启加入主机组服务器/机框接入l大部分场景下，不需要配置网络，资源隔离等。l服务器/机框的接入，是为了告警上报。如果硬件告警已经接入了其他网管系统，可以不接入。版权所有© 2016 华为技术有限公司第5页扩容控制节点收集主机MAC 并编辑别名开始PXE上电部署控制角色ISO镜像方式安装主机配置主机网络配置内核参数多网元管理配置资源隔离配置分区重启加入主机组服务器/机框接入l扩展控制节点中如果部署了gaussdb、mongodb、image-cache时，需要配置分区信息。版权所有© 2016 华为技术有

5、限公司第6页扩容主机使用的本地物理存储l使用场景p当本地存储资源不足时，可为主机添加物理磁盘l扩容流程开始完成l扩展控制节点中如果部署了gaussdb、mongodb、image-cache时，需要配置分区信息版权所有© 2016 华为技术有限公司第7页分区划分配置为主机安装磁盘下电待扩容主机迁移节点上虚拟机登陆Openstack OM备份与恢复策略l备份策略p维护工程师在对系统进行操作（如数据调整等）前，为了保证系统中的各个服务在出现异常或执行操作未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低，需要提前对AZ内各个服务的管理数据进行备份。支持对各个服务的管理数据进行自

6、动备份和手工备份。n默认开启自动备份功能（OpenStack每天凌晨3点，OpenStack OM,Fusion Compute每天凌晨2点）。n支持配置第FTP和FTPS备份服务器，在第备份服务器上默认保存7份（备份份数可配置）。p无论是否设置第服务器，备份包会在本地保存，默认7份。l恢复策略p在对系统部件进行操作（如升级、数据调整等）后，系统有可能出现异常或未达到预期结果，此时需要进行数据恢复操作。n数据恢复前，确保已无正在执行的配置操作。n数据恢复时，执行配置操作。© 2016技术第8页OpenStack设置备份策略和手工备份l备份策略包括：设置备份策略p自动备份时间、备份包保

7、存数量、第三方服务器l涉及的主要命令：手工备份查询备份策略命令：backup policy-get设置备份策略命令：backup policy-set -enable true -time 自动备份时间 -number 备份包保存数量 -thirdurl 第三方服务器url查询已注册服务命令：backup service-get执行备份命令：backup execute -service all -force查看备份进度命令：backup progress-get -service all - detail查看本地备份后的备份包：backup package-get -service all

8、-type local/remote开始pppp否是否备份到第三方是pp结束版权所有© 2016 华为技术有限公司第9页检查远端备份结果检查备份进度和结果执行备份命令登陆管理节点执行命令设置备份策略登陆管理节点OpenStack数据手工恢复l手工恢复的步骤：开始p使用“PuTTY”，通过反向录AZ内第一台主机的IP地址登查看备份包p执行以下命令，查看备份包。nbackup package-get -service servicenamep执行以下命令，执行恢复nrestore execute -service servicename -file 备份包名 -path 备份包所在目录否

9、是否进行系统审计p执行以下命令，恢复进度nrestore progress-get -service servicename -是p执行以下命令，审计结束ninfocollect audit© 2016技术第10页参照系统审计的内容消除审计不合格项检查恢复进度和结果执行恢复登陆管理节点Openstack OM设置备份策略和手工备份l备份策略包括：备份策略设置p第三方服务器（界面操作）、备份包保存数量（登录节点命令执行）。执行命令手工备份开始l支持两种备份方式p登录Openstack OM界面，执行手工备份（支持备份到第三方服务器）。p登录Openstack OM主节点执行命令手工备份

10、（不支持备份到第三方服务器） 。否是否备份到第三方是结束版权所有© 2016 华为技术有限公司第11页检查远端备份结果检查备份进度和结果执行备份命令登陆管理节点设置第三方服务器执行命令设置备份数量登陆OM主节点登陆Openstack OM PortalOpenstack OM数据手工恢复FM上执行命令手工恢复开始结束版权所有© 2016 华为技术有限公司第12页启动OM备节点服务启动OM主节点服务在OM主节执行恢复命令停止OM主节点服务停止OM备节点服务登录OM备节点查看备份包信息登陆FM主节点FusionCompute数据备份FC上执行命令手工恢复备份策略设置开始结束版权

11、所有© 2016 华为技术有限公司第13页检查远端备份检查本地备份管理数据备份设置FTP设置登陆VRM Portal登陆VRM PortalFusion Compute数据手工恢复VRM上执行命令手工恢复开始结束版权所有© 2016 华为技术有限公司第14页查看监控进程状态启动备节点软件监控进程在主VRM节点上执行恢复命令Copy恢复数据到指定目录下停止备节点CMA进程停止备节点监控进程登陆VRM备节点目录1.日常维护操作2.3.4.日志收集健康检查问题定位故障处理升级与补丁© 2016技术第15页日志收集FusionCare工具l日志收集通过建立FTP服务来收集

12、日志。l首次使用日志收集需要添加节点。l日志收集支持收集云计算五个的日志，：FusionCompute，Openstack OM，FusionStorage，FusionSphere OpenStack和FusionAccess。l日志收集收集各节点的日志，操作系统、模块、狗等的日志。l日志收集支持工具自身日志的收集。© 2016技术第16页健康检查FusionCare工具lFusionCare工具是一个基于Web的B/S程序。l首次使用健康检查需要添加环境和节点。l健康检查支持检查FusionCompute， Openstack OM， FusionStorage，FusionSp

13、hereOpenStack，FusionAccess。l健康检查支持检查各个节点的重要进程、配置文件、硬件以及一些其他相关的内容。© 2016技术第17页目录1.日常维护操作2.日志收集健康检查3.问题定位故障处理4.升级与补丁© 2016技术第18页故障处理流程故障处理流程步骤：1、故障2、故障3、故障定位4、故障排除收集© 2016技术第19页步骤：故障收集与l故障是故障处理的重要依据，应尽可能多的收集故障，：p故障现象描述。p故障发生的时间及频率。p故障发生的地点。p故障的范围、影响。p故障发生前运行状况。p故障发生前对进行的操作以及操作的结果。p故障发生时

14、是否有指示灯异常。根据收集的故障详细，对故障范围和类型进行。p© 2016技术第20页步骤三：故障定位l常用故障定位：p在管理界面查看告警。p在管理界面查是否正常。操作日志，分析操作过程是否有误。pp在管理界面检查数据配置是否正确。p观察指示灯状态是否正常。l维护或需要从众多可能中找出故障的过程。通过一定的分析、比较各种可能的故障成因，不断排除非可能因素，最终确定故障发生的具体。© 2016技术第21页1、查看告警lOpenstack OM告警显示页面，默认显示当前活动告警，仔细排查当前活动告警与当前故障是否相关。l告警级别分为紧急、重要、次要、提示，级别越高表示告警越紧急

15、重要。© 2016技术第22页2、查看l在Openstack OM性能界面了解当前系统性能统计状态，以便定位当前故障是否有系统性能导致。© 2016技术第23页3、操作日志l在Openstack OM用户日志管理界面检查当前用户对系统的操作，以便定位当前故障与用户操作是否相关。© 2016技术第24页4、检查数据配置l在Openstack OM页面检查硬件状态，并检查配置数据是否正确。© 2016技术第25页5、检查硬件的指示灯状态l检查硬件的指示灯状态，是否故障状态（红色或未上电或无数据传输等），例如：1、E6000服务器u服务器刀片BH622 V2u

16、管理模块MM620u数据模块DMu交换模块NX112或NX230u电源模块u风扇模块2、1、ALM指示灯2、ACT指示灯3、数据传输状态指示灯4、连接状态指示灯框uu硬盘框3、交换机u接入交换机1、电源开关2、状态指示灯3、UID指示灯4、硬盘Active指示灯5、硬盘Fault指示灯1、数据传输状态指示灯2、连接状态指示灯3、HLY指示灯u汇聚交换机© 2016技术第26页故障排除l告警：p如果发现当前告警与故障的产生现象相匹配，通过该告警帮助处理流程进行处理。可以点击FusionManager告警显示页面的告警名称链接，该链接会打p告警帮助文档查看开故障处理指导页面。p严格按照告警帮助页面处理步骤进行操作处理。：由于性能导致系统故障时，需要进行扩容。ll操作错误：p如果根据操作日志发现进行了错误的操作时，需要对该操作进行恢复。l数据配置错误：p检查数据配置错误时，对错误的数据进行重新配置更正。l硬件状态错误