007数据中心机房应急预案

1、最新整理江西中磊支付科技有限公司密级：内部中磊第三方支付平台数据中心机房应急预案手册文档编号：V1.0项目名称：先锋软件支付平台编写：杨文辉编写日期：2014-4-20审核：李骏审核日期：2014-6-13批准：朱志龙批准日期：2014-6-17江西中磊支付科技有限公司最新整理2014年7月最新整理修订记录日期版本说明作者2014-4-18草稿拟稿2014-06-17V1.0正式签发文档最新整理目录、机房应急预案.51 机房系统故障处理通则 .5.1.1 故障等级. 51.2 故障处理与通报制度 .6.2 机房动力应急预案.9.2.1 机房停电故障.9.2.1.1 准备工作.9.2.1.2 停

2、电情况下处理方式 .9.2.1.3 市电恢复后的操作 . 1.0.2.2 UPS 故障处理. 1.1.2.3 开关电源整流模块故障的紧急处理方案 .1.22.4 机房空调及局部过热故障的紧急处理方案 . 1.32.4.1 机房空调故障的应急处理步骤. .1.3.2.4.2 机房局部设备温升过快或过热的处理步骤 .1.42.5 应急方案处理过程中非常事件的处理 .1.5.3 机房防汛应急预案.1.5.3.1 防汛应急预案内容. 1.5.3.1.1 第一预案. .1.5.3.1.2 第二预案. .1.5.最新整理3.1.3 第三预案. .1.6.3.1.4 第四预案. .1.6.4 机房防火应急预

3、案.1.7.4.1 应急保障原则.17.4.2 火灾事故应急处理流程及措施 .1.8.、硬件及软件应急预案 .2.3.最新整理一、机房应急预案1 1 机房系统故障处理通则凡系统发生故障时，网管运行监控负责人必须立即组织抢修，不得拖 延。运行监控人员均应熟悉故障紧急处理流程，熟练掌握操作步骤和方法。运行监控管理人员应如实上报故障情况，故障报告应当做到时间清、原因清、结果清。重大故障和严重故障要报上级业务主管领导。对已处理的重大故障和 严重故障，事后必须做故障分析，查清故障原因，确定故障性质和责任， 采取防范措施，避免同类故障再次发生。故障处理基本原则：先重点后一般；先调通后维修。1.11.1 故

4、障等级网管系统的故障等级共分三类：1 1、重大故障在系统运行期间，关键设备（包括传输或其它专业所属设备）、软件故 障造成所有网管业务中断超过 2424 小时。2 2、严重故障最新整理在系统运行期间，关键设备（包括传输或其它专业所属设备）、软件故 障造成下列情况之一的系统故障：（1 1 ）所有网管业务中断超过 1212 小时但不超过 2424 小时；（2 2）网管个别业务中断超过 2424 小时；3 3、一般故障除重大故障和严重故障外的其他故障。1.21.2 故障处理与通报制度网管中心应建立相关设备故障处理联系制度，并将联系人和联系方法张贴在醒目位置。网管中心应建立设备操作手册和故障处理流程，并

5、存放在固定地点。网管中心应建立设备运行情况统计和登记表，并存放在固定地点。故障处理：1 1、在系统发生故障时，值班人员应对照运行维护手册进行简单的故障处理和准确定位，对无法处理的故障应立即通知系统维护主管工程师，并逐级上报。系统维护主管工程师组织相关人员现场处理，故障处理完毕后， 马上通知故障发起点，并进行详细记录。当系统发生故障时，网管中心运 行维护负责人必须立即组织抢修，不得拖延。2 2、在处理故障时，应严格按照故障处理流程进行，整个流程强调闭环管 理，按先最新整理重点后一般；先调通后维修的原则进行。3 3、在系统和设备故障处理的过程中，若出现较为严重或一时无法解决 的问题，及时通知故障发

6、起点，并立即向主管领导汇报，同时与厂家联系， 及时争取技术支持，填写故障报告。4 4、在系统设备故障处理过程中，若使用了备件单元或备用电路板，应 按规定分别详细登记故障发生的工作单元、故障现象或故障代码、换用备 件名称、编号，有条件时应附上当时的打印记录，向主管报告，并及时与 备件管理人员取得联系，按正确的手续发送返修。5 5、在相关专业部门或设备供应商进行抢修的过程中，网管中心应负责 协调相关专业部门，采取其它措施对网络进行监控。6 6、在相关专业部门或设备供应商进行抢修的过程中，网管中心应负责 协调相关专业部门，采取其它措施对网络相关数据进行保存和统计。7 7、网管中心在相关故障排除后 4

7、848 小时内提交故障分析报告。报告将 视故障级别上报所在公司运行维护部和上级网管中心。运行维护人员均应熟悉故障紧急处理流程，熟练掌握操作步骤和方法。故障通报：1.1. 发生严重故障和重大故障时，由地（市）级网管维护部门直接向省 级分公司网管中心和运行维护部报告。最新整理2.2. 对重大故障，分别由省级分公司网管中心和运行维护部上报至总部 运行维护部网管中心3.3. 如遇特殊情况也可越级上报。各分公司必须严格按照规定时限执行4.4. 重大故障和通信事故，由总部运行维护部通报总部相关部门和各省 级分公司。当出现值班人员不能解决的故障时，值班人员应立即上报系统维护主 管工程师和部门主管故障处理完毕

8、一天内，系统主管工程师写出故障报告，上报部门主管， 重大故障和严重故障要报上级业务主管部门。当发生故障时，机房当班人员应将故障发生经过详细填写进值班日 志。5 5、如果网管系统出现严重故障，在故障发生后应在第一时间向上一级 网管中心通报相关情况。6 6、出现故障后，由网管中心指定专人向相关部门通报故障影响范围和 处理情况等。运行维护负责人应如实上报故障情况，故障报告应当做到时间清、原因清、结果清。最新整理2 2 机房动力应急预案2.12.1 机房停电故障2.1.12.1.1 准备工作1 1、 停电后第一时间电话咨询供电公司询问停电原因及停电时长。2 2、电话通知相关领导停电状况，如果在值班过程

9、中停电需同事共同处 理的也及时通知，在停电期间要保持通信畅通有问题及时联系。3.3. 准备扳手、六棱起、数字万用表、“ + + ”字“一”字螺丝刀各两把（大、 小）等常用电工工具，准备好高压绝缘手套、绝缘鞋、专用扳手。以及油机房钥匙. .4.4. 以上 3 3 点工作尽量在最短时间内结束，然后针对故障原因作出相应 处理。2.1.22.1.2 停电情况下处理方式由于公司机房为一路高压市电引入 ，如出现市电停电，变压器故障等原 因造成停电现象出现，只能采用应急油机发电. .现应急油机发电步骤如下：1 1、维护人员赶至公司机房后，首先确认是否需要发电。若赶至现场后, , 发现市电已经恢复供应，只需要

10、将低压配电系统中 P1P1 柜和 P6P6 柜的断路器合 闸即可恢复机房市电供应。2 2、确认需要发电，首先前往一楼办公室内拿油机室钥匙， 并将位于公司 出风口打开。最新整理3 3、 打开出风口后，前往位于公司机房，首先打开油机房玻璃移窗方便油机进风，检查油机油位，水位等，检查无误后，启动油机。4 4、 启动固定柴油发电机，观察油机工作状态，正常，运行 5-105-10 分钟 后将油机负载开关合闸。此时，油机电送至机房低压 P12P12 发电机柜，由于断 路器未合闸，机房尚未恢复供电油机空载运行。5 5、 在油机空载运行期间，分别切断负载电流比较大的用电设备，以减小合闸电流对油机的冲击。依次切

11、断：开关电源的主用，备用分路开关，2 2 楼空调配电箱和办公空调的电源开关，1#、2#UPSUPS 的市电输入开关。6 6、 摇出 P1P1 进线柜断路器，确认与市电网络断开后，将 P12P12 油机断路 器摇至运行位置，将 P11P11 进线柜断路器摇至运行位置，合 P12P12 断路器，合 P11P11 断路器，合 P6P6 断路器，机房照明恢复。再分别合上：开关电源的主用, , 备用分路开关，2 2 楼空调配电箱和办公空调的电源开关，1#、2#UPSUPS 的市电输入开关等负载较大的开关。7 7、 此时所有负载由油机供电，油箱内 200L200L 柴油预计能带载运行 7 7 小时 左右。

12、如果停电时间超过 4 4 小时应联系供油车添加柴油，加油工作必须停柴 油发电机后进行。电池放电时间估计在 4040 分钟左右，加油工作必须在停机 2020 分钟内结束，如果不能加满可等电池充满电后再次添加。2.1.32.1.3 市电恢复后的操作1.1. 当市电来电后，再依次切断：开关电源的主用，备用分路开关，2 2 楼空调配电箱和办公空调的电源开关，1#、2#UPSUPS 的市电输入开关最新整理2.2. 断开 P11P11 柜的低压母联开关，断开 P12P12 柜的油机供电开关，油机退出 带载运行。（油机空载运行 5 51010 分钟后停机。）3.3. 分别将 P1P1 柜的市电总开关摇至运行

13、位置并合闸，检查确已合上；合上 P6P6 柜联络开关，并检查确已合上。4.4. 无异常，再分别合上：开关电源的主用，备用分路开关，2 2 楼空调配电 箱和办公空调的电源开关，1#、2#UPSUPS 的市电输入开关。5.5. 所有设备恢复市电供电，检查设备的供电运行情况。6.6. 确认设备运行正常后，至油机室分油机负载开关，关闭油机，关闭油机 室玻璃窗，关闭北侧油机室出风口。2.22.2 UPSUPS 故障处理公司核心机房 UPSUPS 系统为 2 2 台梅兰日兰 80KVA80KVA UPSUPS 的并机系统 如80KVA80KVA UPSUPS 系统中一台 UPSUPS 故障，系统自动将负载

14、倒到另一台 UPSUPS 上， 如何关闭故障的UPSUPS，如何再次开启 UPS,UPS,如下：关机：1 1、先将旁路转换开关打到“ ONON ”的位置：2 2、将 UPSUPS 输出开关打到“ OFFOFF”位置3 3、分别关掉 UPSUPS 的 S1,F1S1,F1 和 F2F2 开关，这时 UPSUPS 停止运行；4 4、关掉 UPSUPS 输入开关，系统关机完毕。最新整理开机：1 1、 首先确认 UPSUPS 的 S1,F1S1,F1 和 F2F2 开关都打到“ OFFOFF”位置，配电柜的UPSUPS 输出开关也在“ OFFOFF”位置。2 2、 先把旁路转换开关打到“ ONON ”

15、的位置3 3、 分别将 UPSUPS 的 F1,F2F1,F2 开关合闸，再将 S1S1 开关合闸；4 4、 当 UPSUPS 面板指示为旁路供电状态时，再把旁路转换开关打到“ OFFOFF”位置这时，UPSUPS 转到正常工作模式，启动完成。5 5、 最后合上 UPSUPS 输出开关，系统供电正常。当关掉其中一台 UPSUPS 再启动的方法：1 1、 先把旁路转换开关打到“ ONON ”的位置2 2、 再把已关掉的 UPSUPS 的 S1,F1,F2S1,F1,F2 开关分别打到“ ONON ”的位置；3 3、 当两台 UPSUPS 面板指示为旁路供电状态时，再把旁路转换开关打到OFFOFF

16、”位置这时，两台 UPSUPS 转到正常工作模式，启动完成2.32.3 开关电源整流模块故障的紧急处理方案开关电源整流模块故障的更换操作步骤：以公司 IDCIDC 机房的整流柜为例：开关电源系统总共有 1010 个整流模块，实际运行 6 6 个，4 4 个备用最新整理假设第 5 5 个整流模块故障，无直流输出，现场检查后无法修复，需要 更换备用的模块。1 1、 关闭该模块的交流输入开关，2 2、 将背面的交流输入电源线、直流输出电源线和通讯线依次拔下，3 3、 拧下前面板的固定螺丝，将故障模块抽出，4 4、 将备用模块插入故障模块原来的位置，拧紧固定螺丝，5 5、 然后将背面的交流输入电源线、

17、直流输出电源线和通讯线依次插上,6 6、 调整此备用模块的地址编码为：4 4 ,7 7、合上此模块对应的交流输入开关，此时，备用模块更换完毕，查看模块输出是否正常。注意：更换整流模块时要注模块前面板的地址码，必须要和故障模块 的一致，否则会产生模块通讯中断告警。2.42.4 机房空调及局部过热故障的紧急处理方案2.4.12.4.1 机房空调故障的应急处理步骤发生机房空调故障，会使机房的温度升高，危害设备正常运行。所以 发生此类故障后，要积极维修，如果一时无法修复，必须采取应急措施， 保障机房环境符合要求。现在的机房空调都是 2 2 主 1 1 备份或一主一备，一台空调故障，其他空调可以正常工作

18、最新整理1 1、首先判断机房空调什么故障，如果压缩机故障，送风机工作正常，此时，要把邻近的空调的温度设定值调低1-21-2 度即可。这样，故障空调的风机可以形成空气对流，对故障空调区域的设备影响不大。或者尽量 将机房防静电地板掀开，增加出风口。如果是空调的送风机故障，不能正常送风，此时，就要把邻近的空调的温度设定值调低2-32-3 度，然后把邻近空调的送风口的格栅尽量调整到故障空调前面的区域，这样才能的保障机房温 度不至于上升。或者尽量将机房防静电地板掀开，增加出风口。或者拿普通的电风扇在故障空调的影响区域吹风，打开机柜门，冰块 局部降温等措施防止局部升温过快。242242 机房局部设备温升过

19、快或过热的处理步骤首先将此设备的机柜门打开，让热空气充分散出，也可以用电风扇对此设备吹风，加快散热速度，购买冰块，放在大盆里，置于局部过热部位，利用冰块融化吸收热量,或者同时放置冰块并用电风扇吹最新整理2.52.5 应急方案处理过程中非常事件的处理1 1、 当倒闸过程中出现可尽快恢复的操作错误时，机房负责人要及时 制止，并立刻安排恢复操作。2 2、 当停电倒闸或油机带载过程中发生不可预见的非常情况时，全体 现场人员应采取适当的应急措施保护通信设备供电安全并立即报告相关领 导，召开紧急会议，研究处理方案。3 3 机房防汛应急预案3.13.1 防汛应急预案内容3.1.13.1.1 第一预案当受台风

20、或强热带风暴影响风力达 8 8 级以上，暴雨日雨量达 50.150.1 毫米 以上或气象等有关部门发布暴雨将达起始标准后，各机房负责人、机房代 维负责人必须到位，加强值班，严格执行报告制度，做到上情下达，下情上报。值班领导和人员遇到突发事件或灾情，及时下达临时紧急处置指令， 并迅速向公司上级分管领导汇报。各值班人员要做好防汛值班记录，并检 查机房防汛值班到岗到位情况。3.1.23.1.2 第二预案当气象台发布暴雨警报时，防汛应急工作小组成员全部到位。并及时最新整理向公司分管领导通知防汛信息，通报风情、水情、雨情。各机房防汛应急 工作小组成员要根据各自的职责，加强值班，进一步检查落实各项防汛应 急措施，组建各类防汛抢险队伍，落实抢险物资。3.1.33.1.3 第三预案当暴雨袭击或县有关部门发布紧急警报时，防汛应急工作小组成员要 按各自的职责进入指挥岗位。并立即进行紧急部署要把防汛作为压倒一切 工作的头等大事来抓，并落实各项防汛应急措施。3.1.43.1.4 第四预案遇暴雨突发性灾害天气时，防汛应急工作小组成员要迅速组织人员及 时检查疏通地下排水管道，做到排水畅通；要组织专门力量，对易积水的 机房进行监测，及时