XX移动诺西GPRS核心网数据包乱序分析

1、XX 诺西诺西 GPRS 核心网核心网 数据包乱序分析数据包乱序分析 2013 年 7 月 1.概述 根据 XX 移动局方的要求，参照标杆案例“降低核心网乱序丢包，提升 HTTP 下载速率” ，对现网的数据包乱序情况进行分析和定位原因，探索相应的优化空间。 2.思路 先针对诺西 GPRS 核心网的不同业务网段接口进行数据采集，统计得出乱序包的大致占 比，然后根据不同的包类型、特征码、上下行流向、源头以及流经业务路径等多个维度进行 进一步的细分和聚焦分析，定位出关键点，推断问题产生的可能原因或源头，进一步采集数 据样本进行验证和评估。 3.分析 3.1 问题定义问题定义 根据相关项目经验，我们将

2、乱序包定义为带 tcp.analysis.out_of_order 标识的数据帧。 在抓包统计分析过程中，应当注意是否存在大量超长帧、坏帧等情况导致 TCP/UDP 协 议层无法解析，从而影响统计结果的准确性。 3.2 初步统计初步统计 XX 移动现网有多台 SGSN 和 GGSN，根据本地 care 团队的提议，我们选取 GGSN10&12 的 Gi 口进行数据采集。初步的统计结果如下： Gi/Gi接口帧数目乱序帧所有乱序比率上行乱序大帧* 28061.07%1835 28091.07%1531 27571.06%1624 26681.02%1226 20781.04%1215 GGSN10

3、&12 27131.03% *大数据帧主要指产生了IP分片的数据帧，从而导致IP上层协议无法解析，因此无法判断是否乱序包。统计结果表明这一类数 据极少，因此我们认为关于乱序的统计是准确有效的。 从这个初步的统计结果来看，XX 现网的乱序似乎比例并不高，远远低于标杆案例当中 的 4%。 但是对数据进行多维度的进一步细分，我们发现乱序包主要发生在 CMWAP 下行方向， 而且基本都集中在华为基本都集中在华为 WAPGW 下行的数据，比例高达下行的数据，比例高达 8%以上以上。如下表： Gi/Gi接 口 WAPGW 下 行帧数目 WAPGW 下 行乱序帧数 目 WAPGW 下行乱序 帧占比 华为下

4、行帧数 目 华为下 行乱序 帧数目 华为下行乱序 帧占比 中兴下行 帧数目 中兴下行 乱序帧 中兴下行 乱序帧占 比 5540425764.65%2868325438.87%26721330.12%GGSN 10&125595526174.68%2917925678.80%26776500.19% 5690725394.46%2910124578.44%27806820.29% 5668224194.27%2868123688.26%28001510.18% 4262018984.45%2165918508.54%20961480.23% 5775425154.35% *将GGSN10&12的

5、华为/中兴WAPGW GRE tunel地址作为特征码，即(ip.src = 2)为中兴WAPGW下行数据， 而(ip.src = 30)为华为WAPGW下行数据，带tcp.analysis.out_of_order标识的则为乱序数据包。 3.3 聚焦分析聚焦分析 对于 WAPGW 下行数据，需要对其数据流向和流经节点进行深入分析，以进一步判断 影响乱序的相关因素。 SiSi 互联 SiSi CMNET 7609-A7609-B 1 2 3 4 NE5000ENE5000E 中兴WAPGW 华为WAPGW Flexi ISN 图-1 XX 移

6、动诺西 GPRS 核心网与 CMNET 网络连接示意图 为了排查该问题是否和诺西设备相关，根据以上的网络连接图，我们在节点 1,3 和 4 都 进行了数据采集，但抓包结果表明节点 1 的下行数据主要为 CMNET 和 Gn 漫游数据，亦即 CMWAP 下行并非走了 CMNET 与 7609-A 的互联链路。 相应的统计结果如下： Gi/Gi接 口 帧数目 乱序 帧 所有乱 序比率 WAPGW 下行 WAPGW 下行乱 序 WAPGW 下行乱 序帧占 比 华为下 行 华为 下行 乱序 华为下 行乱序 占比 中兴下 行 中 兴 下 行 乱 序 中兴下 行乱序 占比 22910.80%6013320

7、663.44%3037919886.54%29754780.26% 21660.75%5908119733.34%3002619306.43%29055430.15% 21260.74%5859219423.31%2964519026.42%28947400.14% Gi- FW01 下行 20280.71%5848618803.21%2910418026.19%29382600.20% 3350.10% 3630.11% 3350.10% 21110220.10% CMNET 下行至 7609-A 3660.11% 下行方向只有 CMNET 数据以及 Gn 口(漫游)数据，怀疑下行 GGSN

8、10&12 的 CMWAP 数据都走了另一侧的路径 根据数据配置以及流量分析，最终确认 CMWAP 到诺西核心网的下行路径如下图所示： SiSi 互联 SiSi CMNET 7609-A7609-B 2 3 4 1 2 NE5000ENE5000E 中兴WAPGW 华为WAPGW FW01 Flexi ISN FW02 3 1 图-2 XX 移动 CMWAP 下行至诺西 GPRS 核心网的真实走向示意图 即 WAPGWNE5000E诺西 7609-B经由互联互联 port-channel7609- AJuniper 火墙7609-AGGSN。 根据上图所示的业务路径，只需要节点 1(7609-

9、B 的业务链入口)和节点 4(7609-A 下行 到 GGSN)采集数据进行比对，即可判断 CMWAP 下行到诺西核心网时诺西设备是否会对乱 序情况产生影响。 Gi/Gi接口帧数目 乱序 帧 所有 乱序 比率 WAPGW 下行 WAPGW 下行乱 序 WAPGW 下行乱 序帧占 比 华为 下行 华为 下行 乱序 华为下 行乱序 占比 中兴 下行 中 兴 下 行 乱 序 中兴 下行 乱序 占比 5368723104.30%4843522694.68%2496622338.94%23469360.15% 69914.78%69795.25%68489685010.00%644321290.20%

10、68474.68%68075.08%6911466799.66%648621280.20% 67174.60%66705.02%6747765419.69%652971290.20% 69844.80%69645.24%6851468179.95%642831470.23% CMNET 到 7609-B 70134.86%69885.30%68432687310.04%633801150.18% 66664.62%66545.14%64949652910.05%644521250.19% 152736083.98%135806064.46%69455948.55%6905120.17% 623

11、14.34%62264.84%6330661199.67%653651070.16% 64984.52%64795.03%6381163599.97%650451200.18% 7609B- 7609A Po1 63124.34%63074.80%6473261369.48%665981710.26% 28061.07%5540425764.65%2868325438.87%26721330.12% 28091.07%5595526174.68%2917925678.80%26776500.19% 27571.06%5690725394.46%2910124578.44%27806820.29

12、% 26681.02%5668224194.27%2868123688.26%28001510.18% 20781.04%4262018984.45%2165918508.54%20961480.23% GGSN10&12 4 27131.03%5775425154.35% *注：节点4的数据采集时间为7月25日，而节点1和2的采集时间为7月30日下午。不同时段的数据统计可能略有差异。 从上表的统计分析可得知：CMWAP 下行数据流经诺西核心网设备之后，乱序比例并没 有明显变化，尤其是对中兴 WAPGW，甚至绝对值一直保持在同一个数量级，基本没有变化。 因此，可得知诺西设备或者甚至是内部流经的

13、众多业务链节点对乱序并没有贡献。 4.结论和建议 结论 1) 乱序分布：诺西 GPRS 核心网的乱序集中在华为 WAPGW 下行数据，约为 8- 10%；而诺西上行乱序极少，基本可以忽略，而中兴 WAPGW 下行乱序稳定保持在 1 2 0.2%； 2) 乱序原因：华为 WAPGW 沿 CMNET 路径下行至诺西 GPRS 核心网的乱序占比已 经高达 8-10%，而流经的诺西设备对乱序没有明显影响； 建议 针对现网情况，我们有如下建议： 1) 乱序解决： a.需要协调华为侧尽快解决 WAPGW 乱序问题； b.需要安排测试，比对中兴 WAPGW 以及华为 WAPGW 两种设备不同乱序情况下 的端到端关键质量指标(时延抖动丢包率等)，以便评估乱序对于终端用户的影响。 2) 网络调整： a.网络能力协同：CMNET 与诺西 GPRS 核心网采用了 2 条 10G 链路实现互联， 诺西上行数据为 2 条链路负