大洋播出控制项目应急预案

大洋播控系统应急手册编写日期： 2011年10月大洋播出系统应急手册Copyright©2008DayangAllrightsreserved.中科大洋中国区PagePAGE16ofNUMPAGES16目录第一章 常见故障应急处理 31.1播控消息服务工作异常 31.2切换器故障 31.3 2x1倒换器故障 41.4键控器故障 41.5视频服务器故障 41.6播控工作站故障 51.7时钟跳变故障 61.8同步丢失故障 71.9整体系统应急预案 71.10日常准备 71.11应急切换 8第二章 常见异常现象案例分析 92.1系统异常现象分析方法 92.2系统异常现象案例分析 11附录 16附件.一 《大洋系统日常巡检记录表》 16附件.二 《大洋系统常见故障应急处理索引表》 17附件.三 《北京中科大洋科技发展股份有限公司技术支持中心售后服务部门联系方式表》 18常见故障应急处理播控系统常见故障的应急处理系统中的受控设备主要包括：视频服务器，应急录像机，键控器，切换器。如果这些设备出现异常情况，无法受控，则软件上则显示的设备状态为“未连接”或者“错误”，此时先做好相应的应急措施，然后重启各相应设备，如果还是不行，则排查控制线，如果还是不行，可判断为设备自身有问题，此时应立即联系大洋公司售后技术人员，在其指导下进行下一步操作处理。1.1切换器故障1.1.1切换器故障现象一通过监视器发现，播出通道最终输出的信号为黑屏，但是播出信号监视全部正常。处理方法：采用手动控制的方式，将2X1倒换器切换至备播出通道，保证系统正常播出。然后，排查主切换器的具体故障原因，待设备故障排除后恢复至主播出通道。1.1.2切换器故障现象二通过监视器发现，播出通道最终输出的信号为黑屏，但是播出信号监视全部正常。手动切换2X1倒换器至备播出通道仍无法恢复正常。处理方法：立即采用跳线绳从切换器输入端信号源直接跳接至2X1倒换器的输入端，尽量保证信号不中断或减少信号中断的时间。然后，排查主、备切换器的具体故障原因，待设备故障排除后，恢复正常播出。1.2播控消息服务工作异常消息服务异常，表现为打开素材播控软件素材管理器时，显示“打开消息队列错误”，或者提交一条素材同步，迁移或回迁任务时，任务查看窗口中显示“未处理”。处理措施：重新启动迁移备服务器（KVM-4）上的消息服务（manageserver）；如无法重新启动，请在SysConfig中修改消息服务器的IP指向为冷备消息服务器（迁移主服务器KVM-3）。1.32x1倒换器故障现象：通过监视器发现，2X1倒换器以后（从键混开始）的输出信号为黑屏。处理方法：立即关闭2X1倒换器的电源，利用倒换器自身的断电旁通功能使输出信号直接通过。如果2X1倒换器不具备断电旁通功能，则必须使用跳线绳从倒换器的输入端直接跳接至倒换器的输出端，尽量减少信号中断时间。然后，再排查3X1倒换器的具体故障原因，待设备故障排除后，恢复正常播出。1.4键控器故障现象：通过监视器发现，键控器的最终输出信号为黑屏。处理方法：立即关闭键控器的电源，利用键控器自身的断电旁通功能使输出信号直接通过。如果键控器不具备断电旁通功能，则必须使用2X1切换到备路键混器或者使用跳线绳从键控器的输入端直接跳接至键控器的输出端，尽量减少信号中断时间。然后，再排查键控器的具体故障原因，待设备故障排除后，恢复正常播出。1.5视频服务器故障1.5.1视频服务器故障现象一通过监视器发现，主播出服务器输出信号为黑屏或静帧，备播出服务器输出信号正常。处理方法：采用手动控制的方式，将矩阵或切换台切换至备播出服务器的输出通道，保证系统正常播出。然后，再排查主播出服务器的具体故障原因，待服务器恢复正常后，再次切换至主播出服务器的输出通道。1.5.2视频服务器故障现象二通过监视器发现，主、备播出服务器的输出信号均为黑屏或静帧处理方法：通过监视器检查，垫片服务器输出信号是否正常。如果垫片信号正常，采用手动控制的方式，将矩阵或切换台切换至垫片服务器的输出通道；如果垫片信号错误，立即手动切换到测试图或其他备份源。然后，迅速启用播出录像机，使用录像带进行应急播出。启用录像机应急播出后，按照下面的顺序进行系统排查，尽快恢复播出系统：主、备播出服务器与磁盘阵列是否出现异常；主、备播出数据库服务器是否出现异常；主、备播出控制工作站是否出现异常；1.6播控工作站故障1.6.1播控工作站故障现象一通过播出软件界面发现，主播控工作站对服务器、录像机、切换器、扩展键等设备的控制失效；或者出现主播控工作站死机的情况。处理方法：如果备播控工作站没有自动进行播出设备的接管控制，那么必须采用手动控制的方式在备播控工作站执行接管操作，保证系统正常播出。然后，排查主播控工作站的具体故障原因，待设备恢复正常后，再次改由主播控工作站接管。1.6.2播控工作站故障现象二通过播出软件界面发现，主、备播控工作站对服务器、录像机、切换器、扩展键等设备的控制同时失效；或者出现主、备播控工作站死机的情况。处理方法：采用手动方式，控制切换器、录像机和备份源（垫片信号或线路信号）应急播出，并按照下面的顺序进行系统排查：如果出现同时无法控制设备的情况，检查422倒换器是否出现异常。检查电源是否松动、倒换卡是否损坏、控制线连接是否断开。如果出现主播控工作站或备播控工作站无法控制设备的情况，检查Moxa卡及Moxa盒的状态是否异常。待设备控制线路故障排除后，使用PCommlite软件进行串口通讯测试。测试成功后，恢复主、备播控工作站的自动播出控制。1.7时钟跳变故障现象：播控工作站系统时钟经常跳变或者不准确。这种情况可能是GPS卫星校时系统出现故障，时钟接收机上的时间会发生跳变，此时校时服务器端的时间也会随校时钟发生跳变，但是各工作站上安装的校时服务器端有防跳变功能，最小防跳变时间为1秒，所以工作站上的时间是不会变的，这样不会影响到正常播出，此时工作站上的校时客户端软件会有报警信息出现。处理方法：请首先检查播控工作站校时客户端（TimeClient）是否正常启动，防跳变参数设置是否正确请检查GPS接收机的时钟信号是否正常，如果确实时间有跳变，请重启时钟接收机；如果GPS接收机的时钟信号正常，则请检查校时服务器（TimeServer）是否正常启动，如不正常，请重新启动校时服务器端软件。1.8同步丢失故障1.8.1同步丢失故障现象一不同信号源之间进行切换的时候输出信号闪烁。处理方法：检查同步机是否出现异常，如果设备工作正常，接下来排查切换器、故障信号源的同步信号线缆是否松动，准确定位后更换即可。1.8.2同步丢失故障现象二叠加台标、字幕后发生漂移。处理方法：检查同步机是否出现异常，如果设备工作正常，接下来排查键控器、字幕机、台标机的同步信号线缆是否松动，准确定位后更换即可。常见异常现象案例分析2.1系统异常现象分析方法首先讲，系统维护与产品维护有很大的区别。系统维护常常是复杂而重要的，这是由于系统集成的本质决定的。通过下表我们可以看出系统维护与产品维护的异同。类比项产品系统用途一般产品是用于满足单一的应用需求，如：DA只负责转信号一个系统常常是需要满足错综复杂的应用需求，如：播控系统要编单，控制，资源共享功能单一，简单综合，复杂构成由众多小器件小产品组装而成，也可以看成一个小系统由众多众厂家的软硬件产品集成范围有明确的范围，一个产品常常封装为一个机箱、板卡或软件包范围广泛，系统由基础工程、机柜、线路、硬件、软件等集成使用者一般一个产品的使用者是单一的一个系统常常是由整个业务生产部门在使用维护维护简单，用户不需要掌握特定的知识技能，只需进行简单操作即可，如断电重启维护复杂，需要有掌握特定知识技能的维护者，日常检查和故障排查的工作量大，维护难度高故障产品发生故障不能使用时，一般是返回厂家处理或淘汰系统发生故障时，由于涉及因素和关联产品过多，一般都是由维护者进行第一手处理，当把故障定位到具体产品时，再返回相关厂家处理在任何系统中，出现某种异常现象时，故障原因一般很难立刻判定，常常有这种情况，同样异常现象发生了两次，很可能导致该异常的故障原因却完全不同。故此，当一个系统发生异常时，是否能够准确快速的定位故障原因，是一名优秀系统维护人员技术水平的重要判定因素。那么，如何才能成为一名优秀的系统维护人员呢？我们认为有三点：要具备扎实的理论基础―――扎实的理论基础是技术实践的坚实后盾。对此，大洋公司为电视台提供了全面详尽的网管培训，详细讲解了系统的全部流程与功能。系统维护人员在学习过程中，应先着重透彻理解系统原理，其次再掌握维护操作方法，同时，系统维护人员日常也应主动增强对系统周边知识的积累与补充。这样，在今后的维护工作中，才可做到有坚实的理论基础作后盾。要具备丰富的实践经验―――系统维护的主要工作就是实践，也就是说经验就来源于日常的工作中。一方面，系统维护人员在系统维护工作中应注意经验积累，对日常检查工作进行详细书面记录，故障处理后要进行归纳总结，并将总结的经验积累到本维护文档。另一方面，大洋公司在为电视台提供网管培训的过程中，也含有大量实践操作课程，其中包括应急处理和故障排查等。系统维护人员应认真练习实际掌握。这样，才可顺利承担系统日常的维护工作。要具备条理清晰的逻辑分析能力―――如前所述，系统维护工作中的难点是定位故障原因。系统维护人员在具备了前两项理论基础和丰富经验的前提下，遇到异常现象时，应该基于科学的逻辑分析方法对故障进行定位排查。当发现某一异常现象时，应先找出系统中关联该异常的所有环节和设备（线路、器件、站点、设置等）；再根据各节点可能故障的概率性进行排序，然后逐项进行归纳法测试，从而最终定位故障。例如：S2ATier信息中有一个磁盘通道的硬盘全部掉线，那么关联这个异常的所有设备应包括：控制器、磁盘通道线缆、盘阵IO模块。那么根据概率，线缆断的可能性最低，而带电设备的老化可能性较高，故应先测试控制器与盘阵IO模块。再从测试方法来看，测试盘阵IO模块的操作要比控制器简单快速，故对这个异常的处理则应该先测试是否盘阵IO模块损坏，然后测试控制器，最后再更换磁盘通道线缆测试。可以说，根据以上思路，尽管系统异常现象千奇百怪，但天网恢恢、疏而不漏，一名优秀的维护人员绝对可以准确迅速的定位所有异常故障。以上是为系统维护中最困难的故障定位工作，提供了一些理论指导和原则。本章节的下半部分，我们则列举一些常见的系统异常现象，并对其可能造成的故障原因进行分析，以供系统维护人员日常参考。2.2系统异常现象案例分析系统异常案例分析序号类别子类异常现象描述故障分析以太交换机某端口状态灯显示为橙色报警首先应判断在此端口是否连接MDC或数据库等重要服务器，如有应进行应急处理。其次，对连接在该端口的站点进行PING测试，查看是否可通，以判断是否为千兆设备在百兆状态下。再次，应检查该端口连接站点的以太网卡；然后，检查端口该使用的网络跳线。最后如上述测试检查均正常，可确认是该端口损坏。交换机所有状态灯亮黄灯或者红灯报警，不能正常使用首先应判断在此端口是否连接MDC或数据库等重要服务器，如有应进行应急处理。其次，在条件允许的情况下进行重启，查看是否正常。如启动后故障依旧，请抓取日志及FIREWARE版本，向大洋公司售后部门反馈。SQLServer服务器在主SQLserver服务器上无法打开企业管理器，但客户端站点工作正常该故障是由于存储在SQLserver服务器C盘中的系统文件损坏导致；同时，由于SQLserver的数据文件存储在另外的数据盘，故该故障危险度不高。可于停机时，将该主数据库服务器的SQLserver删除后重装，再将备份的数据文件恢复导入，即可解决。注意：删除SQLserver软件前，务必完全备份数据库文件。数据库没有自动备份首先，请检查SqlAgent服务是否正常启动；其次，请查看自动备份的计划是否正常；再次，请检查备份路径是否仍有足够的存储空间。最后，可尝试手动执行一次备份任务，如不正常，可尝试重装SqlServer的企业管理软件。数据库出现质疑该故障是由于数据信息出现了错误数据导致；应先备份所有数据文件，重装数据库后将原数据用附加数据库的方式还原。应用系统迁移服务器迁移软件锁死重新启动迁移软件，但需要在进程中结束迁移进程文件导入工作站无法导入素材检查网络导入盘连接正常，测试FTP连接视频服务器是否正常，如连接出现状况先重新连接网络盘，或者检查VIPS上FTP服务是否正常。编单工作站无法完成节目单编辑的整个流程检查数据库连接是否正常，如果正常，则软件有问题，或工作站自身系统有问题播控工作站无法正常控制所与受控设备，不能正常调单播出如果数据库连接正常，并且控制线与各受控设备也没有问题，则工作站自身硬件有问题，需更换编目工作站无法完成媒资编目任务检查数据库连接是否正常，如果正常，则软件有问题，或工作站自身系统有问题播控设备16x2切换器播出通道最终输出的信号为黑屏，但是播出信号监视全部正常手动将2X1倒换器切换至备播出通道，保证系统正常播出。2x1倒换器通过监视器发现，播出通道最终输出的信号为黑屏，但是播出信号监视全部正常。手动切换2X1倒换器至备播出通道仍无法恢复正常立即关闭2X1倒换器的电源，利用倒换器自身的断电旁通功能使输出信号直接通过。如果2X1倒换器不具备断电旁通功能，则必须使用跳线绳从倒换器的输入端直接跳接至倒换器的输出端，尽量减少信号中断时间。键控器通过监视器发现，播出通道最终输出的信号为黑屏，但是键控器输入信号监视全部正常。立即键控器的电源，利用键控器自身的断电旁通功能使输出信号直接通过。如果键控器不具备断电旁通功能，则必须使用跳线绳从键控器的输入端直接跳接至监控的输出端，尽量减少信号中断时间。主视频服务器通过监视器发现，主播出服务器