川气东送SCADA系统培训课件-自动化系统事故预案

1中油龙慧自动化工程有限公司ChinaPetroleumLonghuiAutomationEngineeringCo.,Ltd.

单元13-自动化系统事故预案2013.09121.1目的确保川气东送安全、高效、平稳的运行，提高对事故的处理能力，有效排除现场灾患，消除危害后果,分析总结事故经验，处理SCADA系统紧急事件及故障制定本预案。1.2适用范围适用于指导川气东送管道自动化系统紧急事件及故障的处理。1.3应急启动条件调控中心川气东送管道分公司生产运行部要求启动本预案时，即刻启动本预案。一、总则3

二、组织机构4

四、操作员工作站事故应急处理措施1、调控中心维护人员接到启动本预案命令后，迅速启动本预案。2、并通知相关场站维护人员全部到位。3、配合值班调度工作人员，并对SCADA系统中出现的故障进行及时排查处理。4、保障好各场站SCADA系统运行安全与稳定。三、应急响应程序4.1调控中心OASYS系统服务器事故4.1.1一台CMX服务器死机如果是“HOT”的CMX服务器死机，系统将自动切换到“STANDBY”的CMX服务器，于是原“STANDBY”的CMX服务器变成当前运行的“HOT”CMX服务器，原“HOT”的CMX服务器退出运行，系统仍然保持平稳运行。此时需登录到CMX死机的服务器，手动启动CMX，启动成功后，此CMX服务器成为“STANDBY”的热备用服务器。如果是“STANDBY”的CMX服务器死机，将不影响系统运行。此时需登录到CMX死机的服务器，手动启动CMX，启动成功后，此CMX服务器成为“STANDBY”的热备用服务器。启动CMX方法：运行CMD之后输入cmx_startup，回车即可。简单方法：重启CMX服务器死机的工作站即可。5

4.1.2一台XIS服务器死机如果是“HOT”的XIS服务器死机，系统将自动切换到“STANDBY”的XIS服务器，于是原“STANDBY”的XIS服务器变成当前运行的“HOT”XIS服务器，原“HOT”的XIS服务器退出运行，系统仍然保持平稳运行。此时需登录到XIS死机的服务器，手动启动XIS，启动成功后，此XIS服务器成为“STANDBY”的热备用服务器。如果是“STANDBY”的XIS服务器死机，将不影响系统运行。此时需登录到XIS死机的服务器，手动启动XIS，启动成功后，此XIS服务器成为“STANDBY”的热备用服务器。启动XIS方法：运行：CMD之后输入xis_startup，回车即可。简单方法：重启XIS死机的服务器的工作站即可。4.1.3两台CMX服务器死机如果两台CMX服务器同时或相继死机，中心CMX服务器将无法从站场工作站实时采集数据和监控，此时需要登录到服务器，分别启动CMX服务器，恢复数据的实时采集与监控。如果两台服务器均无法恢复，申请切换到备用调控中心临时统一监控现场情况，相关人员及时与TELVENT公司相关技术支持人员联系取得必要的技术支持。4.1.4两台XIS服务器死机如果两台XIS服务器同时或相继死机，中心历史数据服务器将停止历史数据的采集和存储，此时需要登录到服务器，分别启动历史数据服务器，恢复历史数据的采集与存储。但在XIS服务器死机到历史数据恢复之前的历史数据将丢失，永不可恢复。如果两台服务器均无法恢复，相关人员及时与TELVENT公司相关技术支持人员联系取得必要的技术支持。6

4.2各站场OASYS工作站事故4.2.1站场工作站死机如果站场工作站死机，则OASYS系统对PLC的数据轮询将中断，此时应当关闭CMX和XIS的所有进程，关闭OASYS系统，然后再重新启动OASYS系统，启动CMX和XIS进程，通过CMX中的“arelay”进程建立与PLC的正常通信。必要时，可以重新启动工作站，以确保启动成功。具体步骤为：（1）关闭系统顺序为：xos_shutdown

cmx_shutdown

xis_shutdown

oas_shutdown。（2）启动系统顺序与关闭顺序相反，即oas_startup

xis_startup

cmx_startup

xos_startup。4.2.2站场工作站与PLC通讯失败当工作站与PLC通讯失败后，若是OASYS系统的原因，则应该重新启动CMX，恢复“arelay”进程。必要时，可以重新启动工作站和OASYS系统。4.2.3站场停电如果站场停电时间短，UPS系统自动对OASYS系统和PLC系统供电，维持系统运行；因UPS的供电时间最好不能超过3至4小时，如UPS剩余时间不超过1小时，则建议提前停运OASYS系统及PLC系统，待供电正常后再启动。OASYS系统的停运和启动步骤如上所诉。

五、站场PLC事故应急处置措施4.3调控中心OASYS与站场通讯失败

如果是光纤或DDN通讯故障导致的通讯失败，待通讯恢复正常后，OASYS系统将自动恢复与站场的通信。如果光纤或DDN通讯正常，而中心OASYS系统与站场OASYS工作站通信中断，则需要切换调控中心CMX服务器。4.4系统不可恢复

当OASYS系统出现不可恢复的异常状况时，将系统中OASYS文件夹用备份OASYS文件更换，重新启动运行。5.1AB系统故障如果是主CPU“PRIM”故障，系统将自动切换到“SYNC”的CPU上，于是原“SYNC”的CPU变成当前运行的“PRIM”CPU，原“PRIM”的CPU退出运行，为“DISQ”系统仍然保持平稳运行。如是可恢复性故障，重新启动“DISQ”CPU，消除故障，自动恢复到“SYNC”状态，若是不可恢复性故障，更换备件，将故障CPU返修。如果是“SYNC”的CPU故障，也不影响系统运行。处理方法同前面描述。如果是模块故障，将此模块带电插拔，若是可恢复性故障，将会恢复，若是不能恢复，联系中油龙慧系统工程师解决。8

5.2HIMA系统故障如果是主CPU故障，系统将自动切换到备CPU上，系统仍然保持平稳运行。如是可恢复性故障，重新插拔故障CPU，消除故障，自动恢复到备用状态，若是不可恢复性故障，更换备件，将故障CPU返修。如果是备CPU故障，也不影响系统运行。处理方法同前面描述。

模块故障。系统模块为冗余配置，如果一个出现故障，将故障模块重新插拔处理，如果故障不可恢复，更换备件，将故障模块返修。在处理DO模块时，将输出通道的旁路开关闭合，在故障处理结束后，将旁路开关打开。5.3BB系统故障由于BB阀室PLC为非冗余系统，但其可靠的稳定性和对恶劣环境的适应能力是使用该套产品的重要原因。阀室控制内容较少，没有故障诊断程序，因此所遇到的故障可归纳为数据传输故障，基本分为三种原因：1）CPU故障由造成模块采集的数据无法存储并转发给中心；2）通讯故障造成中心OASYS系统无法读取阀室相关参数信息，无法下发相关命令；3）数字量、模拟量模块故障造成CPU中数据无法更新，中心不能正确了解现场阀室的参数信息。9

解决办法：出现故障时，需现场维护人员将截断阀打至就地状态，检查故障原因，如果CPU故障时其面板及电源模块面板上的指示灯会显示相关故障信息，记录故障代码查阅帮助了解故障内容，尝试将PLC系统重新上电，若故障不消除则与公司系统工程师联系。如果是通讯故障，则检查相关网线、串口线是否损坏，并利用手提电脑对PLC系统数据模拟扫描，上载程序观察信息。

采集模块故障时，其面板上指示灯会亮起，也会在CPU及电源模块指示灯出有所指示记录故障代码查阅帮助了解故障内容，数字量模块需对机柜后排端子检查，是否有过电压或过电流，通道是否接地，并模拟相关信号检查采集是否正确，当确认通道损坏后，告知公司总部采取其他措施。5.4程序故障每次巡检时进行程序备份，修改程序前进行备份，确保维护PC机中是最新的程序。在系统运行中修改程序时，将DO输出掉电，由于修改程序导致程序运行故障，应及时将备份程序下载至PLC，恢复至修改前状态。系统运行稳定后，将DO输出闭合。10

六、个别事故应急处置措施6.1站场非逻辑、非人为触发ESD

检测模块，并排查问题。如果是模块断电，查明断电原因。如果模块正常，检查继电器及浪涌保护器，如烧毁则更换，如正常，则为现场原因。ESD连接断开，检测是否为ESD通讯模块故障，如果是模块故障更换模块，反之，检查交换机工作是否正常，如不正常更换网络接口，如正常，检测上位机RTU是否连接完好，如不正常，重新连接，仍不正常，则联系中油龙慧工程师。5.5站场停电

如果站场停电时间短，UPS系统自动对系统供电，维持系统运行；如停电时间长，UPS剩余时间不超过1小时时，检查CPU电池状态，如果CPU电池没电，在系统失电时程序将丢失，此时，及时备份程序，待电恢复后，重新下载程序，同时申请更换电池。如果电池正常，电恢复后，系统将正常工作。11

6.2SCADA系统断电因维护现场都处于生产运行状态，所以一般情况下不允许对SCADA系统断电。必须断电时，应首先与站场自动化管理员和调度沟通协调好，停输后才可以进行。断电时应注意失电关断和有AO命令的设备。如果存在失电关断的设备且不在关状态位置，则应该考虑切断动力源。对于存在AO命令的设备，断电过程中，执行先断DO，再断AO，最后断DI、AI的顺序即可。切忌先断AO，再断DO，这种情况很容易导致调节阀关闭。另外整个系统的设备断电应按照正确的断电顺序进行。切忌直接断开PLC机柜的总开关。6.3SCADA程序下载下载程序前先与站场自动化管理员和调度沟通协调好，停输后才可以进行。下载时应注意容易误动作的设备，如失电动作、有AO命令的设备，如果属于失电动作，则下载程序前应该先将动力源切断，有AO输出的设备，应该将设备切换到就地或切换到手动状态，同时下载程序前，应该检查DO输出模块的通道输出情况，判断当前的工艺，提前做好预防措施，保证下载程序前后现场流程不发生变化。下载过程中通讯会暂时中断，将无法监视一些重要参数，存在一定的隐患，所以，应该通过下位机软件对重要参数进行监视。尽量使用在线修改功能，然后用“Downloadchange”进行下载。为预防计量数据清零，应先记录相关的累积量，一旦清零，可以采取手动输入的方式恢复。下载完成后必须对PLC时钟进行重新设定，并取消强制点。12

6.4站控室下发开关阀命令，现场设备未动作

这种情况一般首先判断上位机命令是否下发出去。判断方法一是看PLC机架中相应模块上对应的通道指示灯是否亮起或熄灭。如果命令下发正常，再判断现场电磁阀是否用动作。如果有动作，但是阀体未进行开阀或关阀，则检查阀体是否为就地或现场手动。如果电磁阀没有动作，证明命令下发至PLC端就中断了命令的继续下发，这时主要检查浪涌保护器和相应的端子排以及现场的进线是否存在问题。6.5PLC、ESD通信中断

由于站场正在生产运行中，PLC及ESD的通讯中断会对生产运行造成重大事故及损失。如果出现这种情况，应首先检查交换机及各个机柜中通讯模块的正常，并作出相应的处理办法。另外还要检查上位机中通讯的设置以及通信电缆的完好。6.6ESD失电ESD