管理系统应急预案

管理系统故障处理应急方案一、管理系统故障处理相关人员二、管理系统故障处理通知流程1、发现管理系统网络故障或供电系统故障，应及时立即通知相关负责人或值班人员，由其进行相关处理，并保持联络了解处理进度，通知客户人员以便做好解析工作。2、发现管理系统中非数据库系统设备故障（包括网卡故障），应立即按相关步骤启用备用系统，通知相关负责人或值班人员，约定好时间尽快到现场诊断排查。通知客户人员以便做好解析工作。3、发现管理系统中数据库系统故障，应立即按相关步骤进行处理，通知相关负责人或值班人员，通知客户人员以便做好解析工作。三、管理系统各类故障处理流程1、网络故障或供电系统故障判断方法：机房内所有外网地址均无法访问，但可以访问其他互联网地址。处理流程：通知相关负责人或值班人员,确认情况。保持联络了解处理进度。如果是网络故障，故障恢复后，逐个检查各系统是否都已正常对外服务。如果是供电系统故障，供电故障恢复后，首先请值班人员协助启动各个计算机设备；然后检查各系统是否能正常启动；在对外服务前先进行一次数据库备份。最后，再启动对外服务程序。2、个别设备（非数据库）故障判断方法：机房内所有外网地址均可以访问，但在内网监测到部分地址不可访问；部分外网地址不可访问。处理流程：确定故障机器位置及故障类型。如果是软件故障（如内存、硬盘空间引起的软件错误退出），内存引起的重新启动整个机器；硬盘空间不足的先清理无用的垃圾和临时文件，或重新分配硬盘空间，满足条件后重新启动软件。如果是网卡或硬件引起的故障，这时是无法进行远程维护的，应立即启用备用系统，以实现尽快提供对外服务。然后通知相关负责人或值班人员，在值班人员协助下，先尝试检查是否网线连接故障，如是重新连接后将该机设为备用系统；如不是再尝试重启机器，如重启后能够远程访问，通过远程检查故障原因并在可继续使用时将该机设为备用系统，如重启后仍不能远程访问，和相关负责人或值班人员约定好时间尽快到机房现场诊断排查。数据库系统软件故障判断方法：网络正常并可访问，不能访问数据库或数据库响应很慢。处理流程：检查数据库进程是否正常运行，如正常运行，检查内存占用情况和硬盘空间使用情况，如硬盘空间不足清理临时文件和无用垃圾文件或重新分配硬盘空间。如内存占用满，找到长时间访问会话并终止，记录该会话相关的sql,数据库正常后，分析该SQL运行时间长的原因，并排除（如临时表空间不足）。如数据库进程异常退出，检查机器是否有错误日志，检查硬盘文件是否正常。如果硬件没有问题，则有可能是内存不足引起的数据库进程，可重新启动数据库后，立即备份数据，然后调整数据库参数，如减少会话访问数量等，再对外提供服务。如果是硬件问题如硬盘满（现在还没有出现这种情况），请先将数据库备份恢复到备用机器后，启用备用机器后，增加硬盘空间，并改该机为备用系统。数据库系统网卡故障判断方法：数据库主网卡不能访问，通过第二网卡可以访问。处理流程：通知相关负责人或值班人员，在值班人员协助下，先尝试检查是否网线连接故障，如是重新连接后，立即备份数据。如果不是，请通过值班人员协助下将主网卡与第二网卡网线进行交换。如果可以访问（按理这是可以的），立即备份数据。如果仍不可以访问，将主网卡与第二网卡网线交换回去，通过第二网卡将数据库备份并恢复到备用数据库，启用备用数据库作为主数据库服务器。相关负责人或值班人员约定好时间尽快到机房现场诊断排查。数据库系统设备故障判断方法：数据库主网卡不能访问，通过第二网卡也不可以访问。处理流程：通知相关负责人或值班人员，在值班人员协助下，先尝试重启机器，如重启后能够远程访问，通过远程检查故障原因，立即备份数据并恢复到备用服务器，启用备用数据库作为主数据库服务器。如能够重启机器到操作系统，但网络不能访问的，立即赶往机房备份数据，并恢复到备用服务器，启用备用数据库作为主数据库服务器。无法启动机器的，立即赶到机房，确定硬件故障原因，如果在当天无法排除故障的，在备用数据库器恢复最近的数据备份，并启用为主数据