分行29、930机房断电事故调查报告

1、分行9.29/9.30中心机房断电事故调查报告省分行信息技术管理部：2011年9月29日12点50分及2011年9月30日8点 10分，分行中心机房（以下简称机房）接连发生两次断电事故， 造成郴州分行全辖所有业务分别中断45分钟、14分钟。经调查， 确定如下调查结果：1 机房UPS系统为一主一备供电模式，其 中UPS1（主机）异常，在主路输入停止，电池放电完毕后自动 切换旁路失败，导致UPS2（备机）供电无法送至负载；2、UPS 电池损坏，其中UPS1电池几乎完全失去功能，在输入熔断器烧 坏后无法支持UPS继续供电；3、机房存在鼠患，在UPS输入 配电柜开关上发现老鼠尸体；4、机房强电布线非常

2、不规范，从 机房配电柜至供电开关间布线凌乱；5、9月29日断电发生时， 给机房供电的两路市电其中一路变压器掉了一相电，同时UPS1 烧坏一个输入熔断器；6、9月30日断电系东方万象工程师在未 获得我行人员许可的情况下对UPS1进行放电操作，导致与9 月29日同样原因的掉电事故。现将具体调查情况报告如下：一、事故现场调查情况1、9月29日中午12：51分，技术员发现机房断电，网络 通讯中断，同时发现UPS设备出现告警，UPS1整流器、逆变 器指示灯为红色，旁路与输出指示灯均为绿色。UPS2整流器、 逆变器、输出指示灯均亮绿灯。立即通过电话与UPS维保商东 方万象技术员联系，在维保商技术员的指导下

3、，手动关停主机Q1 （主路输入）、Q4（旁路输入）.Q5（输出），开启Q3 （维修旁 路），负载由UPS2提供电源，供电恢复。技术员后来发现由电业局提供的国家电网机房专线输入变压器跌落保险掉了一相。2、9月29日19:00, UPS维保商东方万象从武汉抵达现 场检修UPS主机，断开UPS1电池开关，发现主输入熔断器损 坏，其它元器件无异常，用导线临时替换熔断器（已损坏的）， 按顺序闭合Q1、Q4、电池开关、启动逆变，在Q5（此时为断 开状态）输入端测得正常电压，设备运行正常。9月30日凌晨4时左右，UPS维保商东方万象工程师周劲 松携带熔断器配件。3、9月30日8 : 1。分，东方万象工程师姜

4、国清、周劲松关UPS1电池开关、关Q1、Q4，更换保险，合Q1、Q4，测得电 池浮充电压404V，合电池开关，测得逆变后端电压正常。合 Q5，看显示面板旁路电压正常，断Q3，启动逆变，负载切换到 主机，全部恢复正常工作模式，4、随后，东方万象工程师姜国清、周劲松在未征求同意的情 况下，擅自做UPS1放电测试，断开Q1，观察电池电压，发现 电池电压瞬间由406V掉至362V，欲合上Q1时发现负载已经 掉电，于是立即断开Q5，闭合Q3，发现负载仍然没电。郴州 分行技术人员发现UPS输出配电柜三个施耐德20A单相空气开 关跳闸（分别为网络机房、服务器机房、操作间供电开关），复 位后机房负载恢复正常。

5、此时机房状态为：UPS1的Q1、Q4、Q5开关断开，Q3开 关闭合，UPS2正常，机房负载由UPS2通过UPS1的维修旁路 供给。二事故原因调查情况2011年9月30日24点，管理部工程师梁承山与东方万象 负责人曾志雄抵达，进行事故原因调查。10月1日凌晨1点至 4点，在主持下，对29日、30日发生的UPS故障现象及处理 过程进行了仔细的回顾与分析。根据掌握的情况，在向省分行信 息技术管理部汇报后，确定于10月1日晚对故障UPS进行全 面检修及故障排查。10月1日下午，经由省分行向总行申请了 故障排查的窗口时间。10月1日22： 00，梁开始对设备进行故障排查检修，过程 如下：1、22：00，

6、测量三个跳闸的空气开关输出电流分别为： 20A、13.5A、10:21A，开关下端接头较松。判断机房负载即将 达到空气开关容量上限，在电网出现波动时容易发生跳闸现象。2、在UPS输入配电柜备机输入开关处发现死亡老鼠一只 （取出后发现老鼠全身完全干枯），UPS输出配电柜输出开关及 电缆上发现有其他老鼠死后留下的油污。3、检查跳闸空开后端没有发现UPS电源插座接非计算机 设备。4、闭合UPS1的Q4开关，测UPS1的Q 5（输出）开关 输入端电压为399V,401V,399V,50HZ（此时UPS1的Q1（主路 输入）、Q5 （输出）是断开的，Q4（旁路输入）.Q3 （维修旁路）、 电池开关是闭合

7、的）。判断UPS1的静态旁路是导通的。5、闭合UPS1的Q1开关，启动逆变后，逆变正常，测 Q5输入端电压为382V,383V,382V,50HZ判断UPS1的逆变 正常。6、23 : 00点报告省分行运行中心，主动关停网络设备、 前置机。7、断开UPS输入配电柜上的UPS1输入开关M1，观察 电池在低负载（3A）情况下电压下降非常明显，之后断开UPS1 的电池开关,UPS1显示面板显示UPS1已经自动切换旁路，旁 路输出电压为399、399、399V，经实际测量Q5输入端电压为 12.45V、12.53V、12.85V（感应电压，实际供电没有通过静态 旁路送至Q5）。此时再测量Q4输入端电压

8、为402V、403V、 397V，输出端电压为399V、402V、400V。证明UPS2供电 正常，并已经到达UPS1的Q4，但是并没有通过UPS1D静态 旁路到达Q5。判断UPS1自动切换旁路存在故障。8、将供电恢复正常模式：备机为正常开机状态，将主机 Q1、Q4、Q3、Q5断开，停机后按正常流程开机，此时机房供 电模式恢复为正常状态，测量 UPS1的Q5输出端电压为 382.2V、382.6V、382.2V。判断 UPS1 逆变输出正常。9、断开UPS输入配电柜上的UPS1输入开关M1，断开 电池开关（完全模拟事发时现场现象），UPS1面板显示“电源 1超限，UPS内部故障，负载切换故障（

9、只显示一次，再次查看 即无此条报警y，查看UPS1电压状态显示：电源2电压394V 397V 392V负载电压394V 397V 392V，实际测得Q5输出端 电压为6V、7V、8V，Q4输入端电压为402V、402V、402V， 输出端电压为402V、402V、402V。此时UPS1的整流器指示 灯、逆变器指示灯为红色，旁路指示灯与输出指示灯为绿色，同 时三个施耐德20A的空气开关跳闸。再次验证UPS1的自动切 旁路功能存在故障。10、再次重复步骤9，得出同样结果，此时可以确认UPS1 的自动切旁路功能存在故障。11、将供电恢复正常模式：备机为正常开机状态，将主机Q1、Q4、Q3、Q5断开，

10、停机后按正常流程开机，此时机房供 电模式恢复为正常状态。12、断开UPS2的Q1开关（时间12 : 13）,电池开始方攵 电，随后断开UPS2电池开关,UPS2显示自动切换为旁路，实 际测得UPS2的Q5输出电压401V 401V 397V。判断UPS2自动切换旁路正常。13、10月2日凌晨1:00,恢复正常供电模式，然后断开 UPS1的Q1开关、电池开关、Q5开关、Q4开关，闭合Q3开 关，将供电模式恢复为UPS2的逆变输出通过UPS1的维修旁路 给机房供电。此时负载恢复供电。14、启动网络设备、前置机、测试网络正常、前置机通讯 控件正常。经过以上操作测试，确定是由于UPS1主机内部存在故障

11、，导致UPS1自动切换旁路异常，UPS2供电无法通过UPS1静 态旁路向负载输出，最终导致机房设备断电。三应急处置方案 由于郴州分行中心机房使用的UPS年限过长，全面维修所需的配件难以在短时间内备齐，维保商东方万象公司无法确定对 UPS1进行全面维修的时间。为降低郴州分行中心机房的动力风险，经省分行信息技术部领导的批准，省分行信息技术管理部梁 承山工程师、东方万象工程师、郴州分行信息技术部共同确定了 将郴州分行中心机房UPS主备机互换的应急处理方案，由于 UPS1的逆变输出是正常的，将UPS主备机互换，可以达到UPS 设备备份的应急目的，临时提高机房供电安全系数。应急处理方 案于2011年10

12、月3日凌晨2时至6时实施。10月3日02:00开始，关闭所有负载，断开负载 的输入开关。断开UPS2的输出开关。5,断开Q4，断开电池开关 和Q1O 断UPS1的维修开关Q3。拆开UPS1与UPS2的输入输出接线的前挡板。(4 )拆除UPS1输出开关Q5输出端导线连接头，标记 为“UPS总输出。拆除UPS2的主输入Q1至静态旁路Q2输入端的 连接线，用该导线将UPS1的主输入端Q1与静态旁路Q2输入 端按相同相序连接。将UPS1静态旁路Q4输入端导线连接头拆除，按 相同相序连接至UPS1输出Q5输出端。将UPS2输出开关Q5输出端导线连接头拆除，按 相同相序连接至UPS2静态旁路Q4输入端。将标记为“UPS总输出”的导线连接头按拆除前相 同相序与UPS2Q5输出端连接。(9 )将三个跳闸的施耐德20A单项空气开关更换为施 耐德32A单项空气开关。转换后示意图为：确认改接正确后。合上UPS1与UPS2的输入输出接线的 前面挡板，按照正常开机程序分别开启现UPS1与UPS2,完成 UPS1与UPS2的转换工作。全部转换工作需在10月3日清晨6时前完成。2、应急方案的实施过程10月3日凌晨2点整，在向省分行运行中心汇报后，严格 按实施方案逐步