SCTP偶联中断故障处理案例.doc

SCTP偶联中断故障处理故障现象：诺西端局CSGS45的单块ESB板故障，造成SCTP偶联的主通路中断，由于现网局间SCTP偶联均配置了双通路，单块ESB板故障并不会导致局间SCTP偶联中断。而实际情况是，CSGS45至中兴局向部分SCTP偶联中断，而到华为局向和其他诺西局向的SCTP偶联均正常，也就是说SCTP的双通路并未起到保护作用，对此，我们进行了分析，并排除了故障。原因分析：分析判断可能原因：1、备用通路不通2、诺西端局硬件或配置问题3、中兴端局硬件或配置问题原因排查：SCTP（STREAM CONTROL TRANSMISSION PROTOCOL 流控制传输协议）能在两个端点之间提供稳定、有序的数据传递服务，在SIGTRAN协议的应用中，SCTP上层用户是SCN 信令的适配模块（如M2UA、M3UA），下层是IP网。偶联实际上是在两个SCTP端点之间建立的连接关系，任何时刻两个SCTP端点之间能且仅能建立一个偶联。通路则是一个端点将SCTP分组数据发送到对端端点特定传送地址的路由。在现网中，如下图1所示，两个端局之间配置了4个偶联，每个偶联具有主备两条通路，并采用了心跳机制，即当某条通路空闲时，本端端点会生成相应的心跳消息并通过该空闲通路发送到对端端点，而对端端点收到消息后将立即发回对应的心跳确认消息。该机制被用来随时监视偶联通路的可用情况，当某一条通路故障时，数据传送将立即切换到另一条通路上，以此来保持SCTP偶联的可靠性和稳定性。图1 局间偶联示意图图2 诺西端局偶联配置示意图如上图所示，诺西端局的偶联建立在GISU板上，每一块GISU板对应一个偶联。每个偶联的两条通路分别通过两块ESB板连接直IP承载网，进而与对端局相连。本次故障起因为ESB1板故障，但单块ESB板故障只会导致偶联2条通路中的1条通路中断，根据偶联的心跳机制，数据传输将立即切换到另一条通路上，整个偶联将不会受影响。而实际情况是CSGS45至中兴局向部分SCTP偶联中断，而到华为局向和其他诺西局向的SCTP偶联均正常，也就是说SCTP的双通路并未起到保护作用，对此，我们进行了如下分析。1、偶联备用通路不通当偶联的主用通路中断后，备用通路未起到作用，导致偶联中断。因此，首先排查备用通路是连通。通过ZOYI:A;命令查询了偶联对应的IP地址如下。ASSOCIATION SET NAME ASSOC SET ID SCTP USER ROLE- - - -CSGS9BICC 9 M3UA SERVER ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 0 GISU-2 - MSSBICC SCTP-DOWN SOURCE ADDRESS 1 . . . . . : 8 SOURCE ADDRESS 2 . . . . . : 66 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : 3/27 SECONDARY DEST. ADDRESS . : 4/27 DESTINATION PORT . . . . . : 8071 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 1 GISU-4 - MSSBICC SCTP-DOWN SOURCE ADDRESS 1 . . . . . : 9 SOURCE ADDRESS 2 . . . . . : 67 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : 3/27 SECONDARY DEST. ADDRESS . : 4/27 DESTINATION PORT . . . . . : 8072 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 2 GISU-5 - MSSBICC SCTP-DOWN SOURCE ADDRESS 1 . . . . . : 0 SOURCE ADDRESS 2 . . . . . : 68 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : 3/27 SECONDARY DEST. ADDRESS . : 4/27 DESTINATION PORT . . . . . : 8073 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 3 GISU-8 4 MSSBICC ASP-DOWN SOURCE ADDRESS 1 . . . . . : 1 SOURCE ADDRESS 2 . . . . . : 69 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : 3/27 SECONDARY DEST. ADDRESS . : 4/27 DESTINATION PORT . . . . . : 8074 DATA STREAM COUNT . . . . : 16SPECIFICATION VERSION . . : 1.0 (RFC) TRAFFIC MODE . . . . . . . : LOAD-SHARE ASP MESSAGES . . . . . . . : YES REGISTRATION REQUEST . . . : YES SSNM MESSAGES BROADCAST . : NO NETWORK APPEARANCE . . . . : 4294967295ASP MESSAGES IN IPSP . . . : NO ROUTING CONTEXT . . . . . : - FIRST DATA STREAM NUMBER . : 1 TACK .: 2 SECONDS M3UA HB.INTERVAL.: 15 SECONDS ACTIVATION DELAY.: 0 SECONDS其中SOURCE ADDRESS 1与PRIMARY DEST. ADDRESS对应了主用通路的两个端点的IP地址，SOURCE ADDRESS 2与SECONDARY DEST. ADDRESS对应了备用通路两个端点的IP地址。利用ZQRX命令，对每个偶联的备用通路IP地址进行了PING测试，结果均能PING通，表明备用通路每个地址都是连通的。 QRX:GISU,3:IP=4,SRC=66,;LOADING PROGRAM VERSION 24.18-0MSCi CSGS45 2013-01-21 17:23:36PING, SENDING UNIT: GISU-2 PING 4 (4) from 66: 56 data bytes64 bytes from 4: icmp_seq=0 ttl=251 time=26.921 ms- 4 ping statistics -1 packets transmitted, 1 packets received, 0% packet lossround-trip min/avg/max/stddev = 26.921/26.921/26.921/0.000 msCOMMAND EXECUTED2、诺西端局硬件或配置问题诺西端局的偶联是由GISU板负责的，首先通过ZUSI命令查询各GISU板工作状态均正常，且无任何告警，证明硬件无问题。 ZUSI;LOADING PROGRAM VERSION 27.15-0EXECUTION STARTEDMSCi CSGS45 2013-01-21 17:13:32WORKING STATE OF UNITS UNIT PHYS STATE LOCATION INFOGISU-0 003A SP-EX VMU-2 IDLE GISU-1 003B WO-EX VMU-2 - GISU-2 003C WO-EX VMU-3 - GISU-3 003D WO-EX VMU-3 - GISU-4 003E WO-EX VMU-4 - GISU-5 003F WO-EX VMU-5 - GISU-6 0040 WO-EX VMU-6 - GISU-7 0041 WO-EX VMU-7 - GISU-8 0042 WO-EX VMU-8 - GISU-9 0043 WO-EX VMU-9 - GISU-10 0044 WO-EX VMU-10 - GISU-11 0045 SP-EX VMU-10 IDLE 接下来查询建立在同一块GISU板上，但到其它局向的偶联状态。如下所示，标黄的部分为到华为关口局HYADS2的偶联，且开在GISU-2和GISU-4板上，这与到中兴CSGS9局的偶联开在同一块板件上。两者采用相同配置，到华为关口局的偶联正常，排除了因诺西端局配置不当导致偶联中断的因素。ASSOCIATION SET NAME ASSOC SET ID SCTP USER ROLE- - - -HYADS2BICC 6 M3UA SERVER ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 0 GISU-1 7 MSSBICC ASP-ACTIVE SOURCE ADDRESS 1 . . . . . : 6 SOURCE ADDRESS 2 . . . . . : 64 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : /27 SECONDARY DEST. ADDRESS . : 30/27 DESTINATION PORT . . . . . : 2906 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 1 GISU-0 7 MSSBICC ASP-ACTIVE SOURCE ADDRESS 1 . . . . . : 7 SOURCE ADDRESS 2 . . . . . : 65 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : /27 SECONDARY DEST. ADDRESS . : 31/27 DESTINATION PORT . . . . . : 2906 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 2 GISU-2 6 MSSBICC ASP-ACTIVE SOURCE ADDRESS 1 . . . . . : 8 SOURCE ADDRESS 2 . . . . . : 66 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : /27 SECONDARY DEST. ADDRESS . : 30/27 DESTINATION PORT . . . . . : 2906 DATA STREAM COUNT . . . . : 16 ASSOC. ASSOC ID PARAMETER SET IND UNIT IN UNIT NAME STATE - - - - - 3 GISU-4 6 MSSBICC ASP-ACTIVE SOURCE ADDRESS 1 . . . . . : 9 SOURCE ADDRESS 2 . . . . . : 67 SOURCE PORT . . . . . . . : 2905 PRIMARY DEST. ADDRESS . . : /27 SECONDARY DEST. ADDRESS . : 31/27 DESTINATION PORT . . . . . : 2906 DATA STREAM COUNT . . . . : 16SPECIFICATION VERSION . . : 1.0 (RFC) TRAFFIC MODE . . . . . . . : LOAD-SHARE ASP MESSAGES . . . . . . . : YES REGISTRATION REQUEST . . . : YES SSNM MESSAGES BROADCAST . : NO NETWORK APPEARANCE . . . . : 8ASP MESSAGES IN IPSP . . . : NO ROUTING CONTEXT . . . . . : - FIRST DATA STREAM NUMBER . : 1 TACK .: 2 SECONDS M3UA HB.INTERVAL.: 15 SECONDS ACTIVATION DELAY.: 0 SECONDS3、中兴端局硬件或配置问题1）中兴端局的偶联是由SIPI板负责的，经诊断2块SIPI单板工作状态均正常，且无任何告警，证明硬件无问题。2）查看中兴交换机CSGS9 SCTP偶联配置，数据配置正确，如下：3）、查看BFD（双向转发检测：Bidirectional Forwarding Detect