交换机紧急处理流程20060117

1、交换机紧急故障处理. 核心网元发生下列故障属于紧急（重大）故障：A 类：核心网元通信全阻；B类：核心网元至某一局向中继（信令）全阻或以上故障；C 类：核心网元重要设备（模块）出现单边工作或以上故障。 （核心网元重要设备或 模块列表详见下表）核心网元重要设备（模块）列表设备厂商中兴MP、MPM、P MPPP、DSN、DSNI、MAP处理机、DB服务器、计费服务器华为MPU、SYS、NET、NDR、PMC、IOC、BAM、OPT、FBI 、 CTN、 BNET、CKS、SNT、MCC、BAU、VLR、CKD、FSN、 BAC、 AMP、CDP、BCP、CNU、BDR、NCC、QSI、MHI、 SP

2、C、 VDP、 BCC摩托罗拉BSP, GCLK, KSW, KSWX， GCLKX ，GPROC2，LAN 及相应的连接光纤西门子CP（CP113C、CP113E）、SSNC（CCNC、）MB（MB、BMBD、） SN（SSG、TSG）、CCG爱立信CP、IOG、 GSS、选组级（ SPM、 TSM、CLM）传输设备时钟板、电源板、交叉板紧急（重大）故障处理及上报要求紧急（重大）故障处理流程1、紧急（重大）故障发生后，当地运行维护部门与班组必须立即采取必要措施，保证 系统运行和通信电路及早恢复，避免事故扩大。2、紧急（重大）故障发生后，当地运行维护部门与班组应立即填写故障报告单。对于A类紧急

3、（重大）故障，应在故障发生后 20 分钟内上报省公司网络部。3、紧急（重大）故障发生后，当地运行维护部门与班组应立即查清原因，确定故障性 质和责任，落实今后的防范措施。紧急（重大）故障处理流程见下图：紧急（重大）故障处理流程图二、 紧急（重大）故障上报要求1、A类紧急（重大）故障，应在故障发生后 20 分钟内上报省公司网络部。2、B类紧急（重大）故障，如故障未解决，应在故障发生后90 分钟内上报省公司网络部3、C类紧急（重大）故障，如故障未解决，应在故障发生后3 小时内上报省公司网络部。4、紧急（重大）故障解决后，当事班组应填写故障处理单，向省公司网络部汇报。245、对于 A 类紧急（重大）故

4、障，应在故障解决后将整个故障的情况以书面报告的形式在 小时内上报省公司网络部。6、省公司网络部 24 小时值班电话： 8118767几个典型的故障处理流程1. MSC 的 CP 负荷过高处理流程2. MSC 或BSC CP FAULT 的处理（硬件故障）3. MSC 或 BSC CP Stoppage 无法恢复至正常状态处理4. MSC 或BSC IOG 故障处理5. 计费文件导致交换机通信中断处理6. PCU 故障处理1. MSC的 CP负荷过高处理流程注意不要关闭统计 , 以便分析春节各项指标2. MSC 或 BSC CP FAULT 的处理 (硬件故障 )1. CP FAULT 分类永久

5、性错误 (Permanent) 电路或器件引起 ,Updating 不能恢复临时性错误 (Temparary) 由静电干扰引起 ,Updating 可恢复2. 对 CP Fault 的处理REPCI;检测 CP故障, 按可能性列出框和板REMCI:MAG= ,PCB= ; 参数由上面得到 , 可得出处理流程< 关电 , 换板等处理 >RECCI; 检查处理结果 , 不好重复 REMCIREPCE; 在上面的操作中想中间退出3. MSC 或 BSC CP Stoppage 无法恢复至正常状态1. 产生原因*循环 Restart/Reload*两侧 CP坏*两测 POW坏2. 处理 O

6、PI " System Start/Restart, Manually, Initiate "(1)按 PHC(2)OPI "SYSTEM RESTART"IO命令 RESTAR或T RELOAD<SYREI:RANK=;CPT命令 RESTART<PTSRI :RANK= ; APZ212CPT命令 RELOAD<PTCPL:CS=1(CPA)/4(CPB) ,RP= ,FILE= ; APZ2124.IOG 故障处理* IOG 与 CP 失去通信处理*IOG 系统启动如果 IOG 软件错误、文件错误导致 IOG宕机, 或者硬盘故障不

7、能通过指令修复时，需用系统小启动解 决。具体操作步骤见： OPI“SPG,STAR”T .5. 计费文件导致交换机通信中断处理（1） 广元 MSCA 计费文件导致通信中断处理广元 MSCA 配置为 SPG0+SPG1 的双备份结构，平时 SPG0 负责 I/O输入输出、STS 统计、CP系统备份管理， SPG1 负责计费输出。 SPG0 可以执行计费功能已备紧急情况使用计费拥塞通常会因为计费信息无法写入硬盘而导致话务中断，为防止因计费 TTFILE 拥塞、吊死等异常问题造成话务 中断的紧急情况发生，首先必须保证在 SPG0 和 SPG1 上都各自有 2 个计费主文件可以备用 ,并且相关数据定义

8、完 善必须检查保证在每个 spg 上定义 2个计费文件，文件号可以在 00-03之间选择,相关数据准备完善 （具体参考附件 ）, 以备紧急使用 ,减少此类话务中断造成的损失 .在紧急情况下 ,如出现计费拥塞引起话务阻断，（伴随会立即有”common charging output congestion”或 ”infinitefile end warning ”告警出现可根据告警信息查相关 ALEX 的 OPI 来处理 .）一般可可根据实际情况决定参照以下步骤打开另一个文件 : 例如某交换机正常情况下用 SPG1作计费输出 TTFILE00, 某日发现电话全阻，且 交换机出现告警 infinit

9、e file end warning 同时还出现功能块 CHOF的 SAE 500 拥塞告警，此时应立即恢复交换机话务该交换机在 SPG0 上已定义了 TTFILE01并且数据定义正确检查 sae:saaep:sae=500,block=chof;检查 CDR当前输出到哪一个计费文件 :chofp:fn=tt;（状态为” open”则为当前使用的 TTFILE，但是若 IOG 出现异常则有可能所有文件都为 close 或 unknown”状态）打开另一个计费文件 , 如 TTFILE01: chofi:fn=tt,fileid=01; !report to chofp!Chofp:fn=tt;

10、 （验证 TTFILE01 已经打开）发现 TTFILE01 状态为 OPEN, 同时话务恢复正常!chobe:fn=tt,fileid=01; （若需解闭 TTFILE 用此命令） 检查子文件是否生成 :INMCT:SPG=X;INFIP:FILE=TTFILE01;INFIP:FILE=TTFILE01-XXXX （检查当前子文件长度是否在增加）END;同时在对 FPU 的检查中，我们建议： DEST应该按照标准定义，即只定义 CHARGING00&GYG1FTAM.总之，对于计费中断引起交换机话务阻塞的问题，通常有几种原因： SPG1因软件吊死或硬件原因导致计费无法写入，计费缓冲

11、区会很快溢出，话务 随即中断硬盘上有未删除的旧 TTFILE 子文件存在，导致计费文件不能创建，同样引起计 费阻塞和话务中断硬盘计费 用的卷（ VOLUM）E因太多文件存在而导致硬盘空间溢出，计费文件无 法写入导致话务中断（2） MSC2 紧急情况下的计费处理按照爱立信的标准配置， AP2 配置为计费节点， AP1 配置为 O&M 和 STS 的节点。当 AP2 发生紧急故障，并且不能处理计费时，我们需要将计 费功能从 AP2 切换到 AP1 上，以避免计费拥塞导致的话务中断。准备工作：检查计费相关 SAE, 并增加到合适值 （建议 NI=40000-50000） saaep:sae=

12、500,block=chop;saaii:sae=500,ni=xxxxxx,block=chop;在激活 AP1 计费功能之前，先备份 ACABIN CXC137440 参数文件 （在 AP1 上）：copy "c:program filesapacsconfcxc137440.par" c:temp以下 4.14.5 步骤，均在 AP1 的 ACTIVE NODE 执行：4.1 建立计费目录：copy "c:program filesapacsconfcxc137440.par" c:temp4.2 建立 BILLING 虚拟目录（两个 NODE ）

13、： ftplsvdls -n "Default FTP Site" vdcreate -n "Default FTP Site" -a Billing -dK:AESdatacdhftpBilling4.3 定义 destination cdhls -lcdhdef -t ftpv2 -c r -g yes -k yes -h Billing Billingcdhls -p Billing4.3 定义 destination Setcdhdsls -lcdhdsdef Billing Billing4.3 定义 transfer queues ，删除条件

14、为 5 天afpls -lafpdef -d 7200 -n TTFILE. -g FyyyymmddHHMMSSpppp -j local RTRFILES Billingafpls -a RTRFILES Billing4.4 检查 message store 缓存大小： phaprint -t ACS_ACABIN_MessageStores Note ：第四个参数为 message store 缓存的大小4.5 修改 RTR 的缺省参数：rtrls -drtrch -a 2048 -d FIXED -e 60 -g 0 -h 2048 -j 900 -k 00:00 -l NO -n

15、2048 -o 0 SET DEFAULTrtrlsNote ： n 参数，是文件 record 长度，必须等于或大于 message store 缓存的大小激活 AP1 计费功能以下步骤在 AP1 的 ACTIVE NODE 执行：4.6 关闭 MSD/RTR service:cluster res ACS_RTR_service /off /waitcluster res ACS_MSD_service /off /wait4.7 修改 MSD/RTR 的 StartupParameters 参数从 CHSTEMP >CHS ：cluster res ACS_MSD_service

16、/priv StartupParameters="-name CHS -site cp0ex"cluster res ACS_RTR_service /priv StartupParameters="-name CHS -site cp0ex"4.8 Soft Function Change ACABIN (CXC 137440/4) parameter file CXC137440.par:Note: 参数 ACS_ACABIN_MessageStores 更改 message store name, 从"CHSTEMP" 为 &q

17、uot;CHS"sfcexecsfcstatesfcend 以下为示例 ,供参考 : C:>sfcexecSoft Function Change SessionNOTE: The session can be aborted at any time before switch to the new system has been ordered. Press Ctrl+C and ENTER to abort.Following resources are in state offline:NO RESOURCE1 ACS_MSD_service2 ACS_RTR_servi

18、cePress ENTER if you don''''''''t want to start any of these resources orenter one or more numbers for the resources that you want to start orenter a(ll) if you want to start all resources.: <= (Just press enter here)Would you like to copy parameter files from disk

19、? y(es)/n(o):nWould you like to edit parameter files? y(es)/n(o):yChoose one of the packages to upgrade parameters in:NO CXCNUMBER MODULENAME REVISION CNI1 CXC1371035 AVIRBIN R1E APZ21220/5-10862 CXC1371036 RTRBIN R3B APZ21220/5-10833 CXC137440 ACABIN R5G APZ21220/5-8444 CXC1371014 SSHSERVBIN R3D AP

20、Z21220/5-10485 CXC1371042 CDHADMBIN R5A APZ21220/5-11266 CXC1371045 GCCAPIBIN R2B APZ21220/5-10097 CXC1371046 DBOADMBIN R2A8 CXC1371020 CPFADMBIN R4A9 CXC137451 FCCAPIBIN R6A APZ21220/5-83910 CXC137460 CPTASPBIN R4E APZ 21240/2-5711 CXC1371002 ALDABIN R1B12 CXC1371004 ALISADMBIN R2A13 CXC137418 MMLA

21、PIBIN R4C14 CXC137425 AISAPIBIN R3B APZ21220/5-103415 CXC137429 MCCBIN R4B APZ21220/5-107516 CXC137430 MLSMMLBIN R4M17 CXC137471 ADHADMBIN R2K18 CXC137479 ALECADMBIN R1E19 CXC1371029 CLHADMBIN R3C APZ21240/2-3420 CXC137590 SGSBIN R1B21 CXC137597 STSCBIN R4JEnter a number for the package to upgrade p

22、arameters in or enter ''''''''c(ontinue)'''''''' to continue soft function change session. :3 <= (Input ACABIN package number here) Parsing format file .Parsing parameter file .Parameter editing session started.:list ACS_ACABIN_MSD_H

23、ome ACS_ACABIN_MessageStores ACS_PRCPRIO_PriorityTable:print ACS_ACABIN_MessageStores Category: Named Table Index: ACS_ACABIN_$1 string1, 15: "cp0ex" string1, 15: "CHSTEMP" unsignedShortInt: 6000 unsignedShortInt: 4096 unsignedShortInt1, 2048: 40 unsignedShortInt1, 32: 8 unsigned

24、ShortInt1, 32: 32 unsignedShortInt1, 100: 25 unsignedShortInt0, 255: 48 unsignedShortInt0, 3600: 240 unsignedShortInt0, 60: 10 unsignedShortInt0, 1440: 0 string2, 3: "Yes" string2, 2: "A2" string0, 63: "Q:ACSData":edit ACS_ACABIN_MessageStoresCategory: Named Table Index

25、: ACS_ACABIN_$1 string1, 15 ("cp0ex"): string1, 15 ("CHSTEMP"):CHS <=Press enter to CHSTEMP, input CHSunsignedShortInt (6000): unsignedShortInt (4096): unsignedShortInt1, 2048 (40): unsignedShortInt1, 32 (8): unsignedShortInt1, 32 (32): unsignedShortInt1, 100 (25): unsignedSho

26、rtInt0, 255 (48): unsignedShortInt0, 3600 (240): unsignedShortInt0, 60 (10): unsignedShortInt0, 1440 (0): string2, 3 ("Yes"): string2, 2 ("A2"): string0, 63 ("Q:ACSData"):ENDParameters updated Exiting .Would you like to edit more parameter files? y(es)/n(o)?:nSystem upg

27、rade performed. Would you like to switch to the new system,thereby starting the supervision period? (No will abort and restore the system.) y(es)/n(o)?:yParameter tables generated. No errors found.Change of parameter(s) succeeded, supervision period has started.Execute sfcend when supervision period

28、 is over.C:>sfcstateState is ''''''''Supervision''''''''C:>sfcendSoft function change session has ended.4.9 激活 resource:cluster res ACS_MSD_service /on /waitcluster res ACS_RTR_service /on /wait4.10 定义 RTRrtrdef -a RTRFILES CHS cp

29、0ex4.11 打印 message store, 现在 CDR 计费文件开始输出到 AP1: msdls4.12 等待 15 分钟计费文件产生 :afpls -l -s RTRFILES至此 ,计费功能已经成功切换到 AP1 上!当 AP2 恢复后 , 将计费功能切换回 AP2AP2 恢复后 ,检查所有的 resource online, 以下步骤在 AP1 的ACTIVE NODE 执行：4.13 在 CP 侧，关闭计费接口：mmlsaaep:sae=500,block=chop; saaii:sae=500,ni=xxxxxx,block=chop;chope;chopp;exit;4.

30、14 . 关闭 MSD/RTR service ，在 active node: cluster res ACS_RTR_service /off /wait cluster res ACS_MSD_service /off /wait4.15. 修改 MSD/RTR StartupParameters 为 CHSTEMP. cluster res ACS_MSD_service /priv StartupParameters="-nameCHSTEMP -site cp0ex"cluster res ACS_RTR_service /priv StartupParamete

31、rs="-name CHSTEMP -site cp0ex"4.16. Soft Function Change ACABIN (CXC 137440/4) parameter file CXC137440.par, 修改 message store name 为 "CHSTEMP":sfcexec sfcstate sfcend4.17 激活 resources on-line: cluster res ACS_MSD_service /on /wait cluster res ACS_RTR_service /on /wait4.18 在 CP 侧打

32、开计费接口 , 计费输出返回到 AP2 mml chopp;chopi; saaep:sae=500,block=chop; saadi:sae=500,ni=,block=chop; exit;4.19 在 AP2 上，检查计费文件产生： afpls -l -s RTRFILES 拷贝计费文件从 AP1 到 AP2 以下步骤在 AP2 上执行： ftp 登录到 AP1 的执行 NODE ftp>cd billingready ftp>mget *.* ftp>bye6. PCU 故障处理* PCU 阻断超过 120 分钟为全网严重故障。GPRS 故障的处理流程当 GPRS出

33、现故障时，首先应该联系爱立信设备厂家。然后请按以下步 骤处理：、当 GB 接口 ABL 状态时， BSC 上直接闭解 GB 接口：删除 GB 接口数据：1. RRGBP; !仔细记录 GB接口的数据（特别是 DLCI） ，以备后面 使用2. RRVBI:NSVCI= ； !闭塞 GB 接口3. RRNSE:NSVCI= ； !删除 NSVC4. RRNEE; ! 删除 NSE重建 GB 接口数据：5. RRNEI:NSEI=;6. RRNSI:NSVCI=nsvci,DLCI=dlci,DEV=dev,NUMDEV=numdev;7. RRVBE:NSVCI= nsvci;8. RRGBP;

34、!检查 GB 接口状态。二、第一种方法不能够恢复的情况下，处理MSC 侧的半永久连接：1. 在 BSC侧先删除 GB接口数据（方法一中的第一步到第四步） 。2. 在 MSC侧重建半永久连接，指令：EXSCP:NAME=; ! 找到 GB接口连接的半永久连接（一般有 3 个）! 记录 dev1 和 dev2对三个半永久连接做以下步骤：EXSCE:NAME=,DEV=!; 删除 GB接口连接的半永久连接EXSPI:NAME=; EXSCI:NAME=; EXSSI:DEV1=; EXSSI:DEV2=; EXSPE;! 调转 dev1 和 dev2!=dev2!=dev1EXSCI:NAME=,D

35、EV=;EXSCP:NAME=; ! 半永久连接的状态应该恢复为 ACTIVE3. 等待至少 30 分钟，系统更新。4. 在 BSC侧做方法一中的第五步到第八步）三、如果遇到 GB 接口状态 ACTIVE ，但是 GPRS 不能上网的情况：在 BSC侧重定义小区 GPRS功能：a.RLGRP:CELL=ALL;! 如果有GPRS占用，参数 PDCHTYPE对应的状态为： ONDSLAVEb.RLGSP:CELL=ALL;！记录开通 GPRS的 CELL，c.RLGSE:CELL=;d.RLGSI:CELL=;e.RLGSP:CELL=ALL;f.RLGRP:CELL=ALL;! 如果有GPRS

36、占用，参数 PDCHTYPE对应的状态为： ONDSLAVE四、如果方法三不能解决，则闭解控制 GB 接口的 RP ：在 BSC侧做指令：RADRP:DEV=RTGPHDV-0&&255!;找 出控制 GB接口的 RP（目前一般局有 2 3 个 RP）对上述每个 RP做以下步骤：EXRPP:RP=;FCRWS:RP=,WS=SEP; ! 分离 RPEXRPP:RP=; ！应为 MS状态BLRPI:RP=;BLRPE:RP=;PCU重大安全事件应急处理流程图5、GPRS重大安全事件上报流程华为 BSC 故障处理1、华为重大安全事件应急处理流程 任何问题处理之前，请先确认并反馈网络

37、业务是否异常。 初步确定问题原因。 查看告警和分析话统指标有无异常， 各单板指示灯 是否正常； 同时要了解事故的基本情况， 如事故发生时间、 有何告警信 息、用户投诉范围等信息 重大事故处理的求助手段：拨打华为支持热线，根据服务热线提供的信息， 对问题远程登录，可直接电话指导解决问题；或直接要求维护专家直接到现场， 进行现场技术支持。处理事故，迅速恢复系统业务。 通过华为远程支持电话指导或华为现场 支持，先大致判断问题影响面， 尽量先在机房处理问题， 再考虑到基站 近端处理问题， 若不能迅速定位事故原因， 为尽快恢复系统业务， 则尝 试进行复位和换板来解决问题(1) 必要时四级复位或下电复位相

38、关基站 如果部分站点运行异常(例如指配失败率特别高) ， 则进行站点四级复位。(2) 必要时下电复位相关 BM模块如果某个 BM模块的呼叫业务受到影响(主要考虑主被叫，因为切换问题对 用户的影响要小些。)，且大范围内手机用户反映强烈， 请考虑转换全部数据并下 电加载该 BM模块。如果影响比较小，是否立即复位，请现场根据具体情况再做决定；最迟当 天晚上转换全部数据并下电加载该 BM模块。(3) 必要时下电复位整个 BSC如果 BSC的呼叫业务(主要考虑主被叫，因为切换问题对用户的影响要小些。 ) 受到影响，且每个模块都运行不太正常，请考虑转换全部数据并下电加载整个 BSC。业务恢复后的监测与观察

39、事故恢复后，请注意确认系统是否已正常运行。安排人员执守到话务高峰时段， 确保如有问题第一时间处理解决确认拨打测试正常核查 BSC单板指示灯等是否正常告警检查BSC维护台检查单板面板状态是否正常。时钟状态检查信令链路状态是否正常BTS维护台检查单板面板状态是否正常。查看信道状态核查占用情况是否正常。如果 SDCCH占用特别多，而 TCH占用非常少，则值得怀疑。如果一个 TRX上的 TCH信道，都是占用时间不超过 30 秒钟，则该基站（小区） 值得怀疑。话统分析处理请核查各项统计结果是否正常：核查 CPU占用率是否正常。核查 MTP链路性能测量各指标统计结果是否正常。核查 BSC整体性能测量关键指

40、标统计结果是否异常。核查小区性能测量关键指标统计结果是否正常。2、华为 BSS安全事件应急处理1）个别或者部分基站（小区）运行异常的处理：用户投诉集中于部分区域；基 站异常可能由于 BSC相关的运行异常等导致的。处理步骤：是否与某一模块或某一传输有关 通过基站维护台检查：查看信道状态、占用状态和单板是否正常。话统小区性能测量关键指标观测数据配置检查。检查项目有：数据配置的正确性；操作日志。核对远、近端基站维护台信道状态等是否一致必要时进行基站四级2）BSC单板工作异常对于重要单板， BSC已经考虑采用主备用工作方式，例如 CKS、MPU、BNET、 MCC、MCTN、SNT等，或者采用负荷分担方式（注意：只对业务进行负荷分担， 对信令不能进行分担。 ），如 OPT、FBI。一块 E3M故障也不会影响整个模块的业 务中断。如果 LAPD板故障，可以通过打开 LAPD互助功能来消除单板故障的影响。 对单板工作异常，请按如下步骤进行处理：是主备用的主板工作异常，请从维护台发起倒换，使备板变为主用。从 B