华为PTN传输隐性故障导致诺基亚LTE网络特定IP地址段eNB基站速率异常

1、名称华为PTN传输隐性故障导致诺基亚LTE网络特定IP地址段eNB基站速率异常公司中国移动通信集团浙江分公司专业无线设备类型LTE-eNodeB设备厂家诺基亚设备型号软件版本编制时间2015.01作者作者电话关键字传输时延，最大速率故障描述：2015年1月27日中午14点30分，接到宁波余姚移动分公司投诉，余姚分公司有两个室分站，其中1个站点可正常上网，另一个站点上网异常,现场测试下载速率峰值只有1Mbps。后经过对问题区域的拉网测试和一系列分析最终确定是由于华为PTN传输隐性故障导致诺基亚LTE网络特定IP地址段eNB基站下载速率异常，并且导致的一些用户投诉问题在此次故障中，存在一下几个特征

2、：（1）故障的表象从单个站点开始，排查具备片面性；该故障最初有宁波余姚分公司投诉开始，单个站点上网速率较低，分公司反映这类站点共计有5个，最初排障主要集中在单个站点的排障测试中，没能第一时间从全网考虑出发。（2）无线主设备状态正常，无告警，排障具有隐蔽性；由于LTE网络的扁平化，用户感知的体验不好的排障由无线侧发起，在无线侧没有相关告警提示的情况下，增大了对站点排障的难度，拉长了故障处理时间。（3）故障处理过程专业跨度较大，排障具有较强的不便性；本次故障涉及网优（具体指标查看）、无线（站点排查）、传输（定位故障原因落地侧）三个专业，故障处理过程专业跨度较大，在排障中具有很强的不便性。流程图问题

3、分析：首先对用户投诉的“NBYY移动新综合楼2ESTL”基站进行了初步分析排查:1、核查基站状态正常无告警，提取历史告警信息，也无任何历史告警；2、核查基站参数配置，问题发生时未进行过任何修改，参数配置核查亦无异常；3、后台查看指标情况，正常工作日上午会有峰值出现，峰值速率一般在50Mbps以上。后台指标上看当天上午最大速率只有7Mbps，见下图-1：NBYY移动新综合楼2ESTL80,00070,00060,00050,00040,00030,00020,00010,00002806240121022210010118001122011101210222100101投诉当天峰值只有7M2正常

4、工作日上午会有峰值出现，峰值速率一般在50mbps以上。1106260121022201101最大值项:MaxPDCPThrDL平均值项:AvgPDCPcellthpDL图-14、从指标上看，最大速率明显较日常下降很多，对基站进行重启操作后，无法恢复；采取TDS和TDL进行双重启同样无法恢复，且TDS侧站点指标均正常；1月27日余姚区域日常拉网测试时也反映发现下载速率异常：外场测试人员在余姚的当天的日常拉网测试过程中发现，部分站点切入、切出正常，RRC层无明显异常信令，但是占用这些站点调度几乎为0,下行速率基本上在1Mbps以下，而且出现PING失败现象。下表1为路测的速率及调度情况：小区SC

5、ellPDCPThrputPDSCHRbPDSCHRbEARFCNDLDL（kb/s）Num/slotNum/s738278-1379003.25.0370.0402347-2383504.87.0148.5402439-2383505.07.0139.0402346-13835012.25.5385.0402359-33835017.75.0585.0730538-237900194.25.51280.4730538-137900204.08.11171.7738276-337900256.014.91844.6730538-337900277.58.41940.5738294-137900

6、311.214.13400.2738294-337900317.415.51806.4738289-137900380.664.07370.0738276-237900391.811.41890.8738276-137900406.818.12992.1737876-137900407.727.24037.0738280-137900417.819.43362.2737845-137900444.121.82997.0738286-337900498.525.87654.7738279-137900509.117.44660.4738286-137900524.934.35564.3表T从余姚

7、区域测试拉网结果来看,速率下降问题已经不是单个eNB站的问题而是区域性存在问题:1、2、15点后台跟踪基站LOG时发现有一个站点的LOG无法提取，后台ping该基站地址，发现时延非常大(2000ms左右，正常ping包时延不会超过10ms)，对发现异常的站点均进行了Ping时延验证，发现都存在时延大的问题。于是反馈给传输侧进行检查；15点30分传输侧进行排查未发现告警，对其中一个站点进行了传输主备倒换，基站ping包时延正常，平均在3ms左右，同时外场进行复测恢复正常;80,00070,00060,00050,00040,00030,00020,00010,0000NBYY移动新综合楼2EST

8、L15点30分传输主备倒换后测试最大速率和平均速率正常180011220001112102220111110101010101010101最大值项:MaxPDCPThrDL平均值项:AvgPDCPcellthpDL图-23、怀疑是传输单板隐性故障,导致基站时延较大,对路测中发现的速率低小区进行传输主备单板倒换,外场复测速率恢复正常；4、由于传输单板无告警,怀疑全网性的传输故障,对宁波全网LTE站点的当天6-15时的最大速率进行统计，并和上周同一时段下行最大速率(PDCP_DATA_RATE_MAX_DL)和平均速率(PDCP_DATA_RATE_MEAN_DL)进行对比，发现存在速率异常站点5

9、26个，主要集中在3个IP地址段，反馈给传输侧进行倒换。IP地址段基站数201501202015012720日和27日速率比值PDCP_DATARATEMAX_DLPDCP_DATARATEMEAN_DLPDCP_DATARATEMAX_DLPDCP_DATARATEMEAN_DLPDCP_DATARATEMAX_DLPDCP_DATARATEMEAN_DL100.67.286131798.4324.125074.5258.81313100.67.823130530.7265.617580.3218.7171.2100.67.923428350.0250.96919.1159.74.11.6表

10、-2解决措施通过上述一系列的分析和定位，可以确定该LTE网络故障问题是由于华为PTN传输隐性故障导致的，所以对存在问题的基站提交给传输部门进行处理：1、对一批基站进行传输倒换后进行现场测试验证，发现仍然有部分站点未恢复，也就是说简单的基站传输倒换并不能完全解决所有基站的问题；2、最后传输侧采用新的故障处理方法，申请1月28日凌晨1点进行传输板倒换，然后将主传输板重启后再倒回主传输板操作；问题解决：28日凌晨1点对传输主备单板分别重启操作完成后，立马对前期存在问题的基站逐个进行了现场测试验证都已经恢复正常。并且第二天白天对整个余姚区域进行了详细的拉网测试验证，拉网测试下载速率也已经恢复正常。对全

11、网速率KPI指标进行核查亦恢复正常，至此，由于传输隐性故障导致的局部性的速率下降问题得到解决。三个传输问题IP地址段在故障解决后KPI速率统计对比如下表所示：基201501202015012720日和27日速率比值2015012820日和28日速率比值PDCPDAPDCPDAPDCPDAPDCPDAPDCPDAPDCPDAPDCPDAPDCPDAPDCPDAPDCPDAIP地址段站TARATETARATETARATETARATETARATETARATETARATETARATETARATETARATE数MAX_DLMEAN_DLMAX_DLMEAN_DLMAX_DLMEAN_DLMAX_DLMEAN_DLMAX_DLMEAN_DL100.67.286231798.4324.125074.5258.81.31.332124.9333.31.01.0100.67.823230530.7265.617580.3218.71.71.234559.9348.70.90.8100.67.923428350.0250.96919.1159.74.11.628868.3280