客户专线速率不达标疑难案例解析

案例标题政企客户专线速率不达标疑难案例汇总解析案例作者鲁景华所属分公司：北京市分公司摘要：政企专线开通测试和故障处理的过程中，经常会遇到用户投诉专线带宽不达标（或测速不达标）的情况。在处理此类故障遇到两类场景，一是运营商的线路带宽二层测试正常，但基于网络层、应用层的网络性能测试指标不达标，二是用户的业务实际应用中超速或有个性化使用需求。针对这两种典型疑难故障案例，本文详细介绍了如何精准测试用户的流量和TCP应用层的测试方法及测试案例，从客户端业务和运营商传输网络两个角度提炼、分析、研究处理此类故障的处理方法，希望能为政企交付工程师提供借鉴，从而有效提升运维服务品质，提高客户感知，助力市场发展。关键词：政企客户；以太网专线；带宽不达标；Wireshark；仪表设置（一）案例背景业务背景随着社会全面步入信息化，用户的各种网络应用对通信的需求不断扩大。面对这种日益扩大的需求，平时开通测试和处理故障的时候经常遇到用户投诉专线带宽不达标的情况，在处理此类故障遇到两种情形，一是运营商的线路带宽二层测试正常，但基于网络层、应用层的网络性能测试指标不达标，由于应用层带宽测试与上层应用协议的实现机制、用户终端（如个人PC、服务器等）能力、TCP滑动窗口等因素密切相关，现阶段常用的应用层测试工具FTP、IPERF、飞鸽传书等都是基于电脑的测试软件，与采用测试仪表进行测试相比，误差较大，不能完全真实地反映网络能力。在实际工作中多次遇到线路测试正常，而用户在实际使用过程中线路带宽不达标的疑难故障，二是用户的业务超速或个性化需求，造成线路丢包或时延增大，用户侧数通设备端口上的统计是一段时间的平均速率，无法实时反应端口的实时流量，故此用户怀疑运营商带宽不够。因此，如何有效解决用户的实际需求，提供面向用户侧的测试解决方案，成为运维侧工程师的重要工作。相关背景知识1）TCP窗口TCP协议在数据的发送端使用拥塞窗口机制控制流量发送，接收方采用接收窗口进行端到端的流量控制。TCP接收窗口是指发送方终端在没有接收到所传送的数据的确认时，被允许发送的数据段（Byte）的数量就称为窗口，即是一种接收方能够控制发送方使其降低速度的反馈机制，能够抑制发送方发送速度过快，避免传输接收方所能处理的更多的数据。由此可以看出TCP窗口的大小决定了发送的数据量，TCP协议选择拥塞窗口与接收窗口中数值较小的一个作为TCP滑动窗口值使用。当TCP滑动窗口值越大，在网络中一次可以传输的数据量越大，TCP就可以获得更高的吞吐量。2）传输时延TCP是面向连接的，提供可靠的传输，超时重传是TCP协议保证数据可靠性的一个重要机制，其原理是在发送一个数据以后就开启一个计时器，在一定时间内如果没有得到发送数据报的ACK报文，那么就重新发送数据，直到发送成功为止。这是数据丢包的情况下给出的一种修补机制。当网络传输时延超过TCP重传计时器设定的时间后，需要对没有收到ACK的数据块进行重新传送，已经发送的数据块和需要重新传送的数据块在网络中传输时占用了网络带宽，而对于上层应用而言没有收到ACK信息会再次发送，这就使得应用层的带宽利用率降低。3）时延带宽积时延带宽积(Bandwidth-DelayProduct，BDP)表示信道能容纳多少数据，用于计算信道的利用率。当采用TCP协议承载应用层通信时，在信道被充分利用的情况下，时延带宽积就是信道中正在传输的但是没有被确认的数据量，即为TCP协议中滑动窗口的大小数值。因此为了最有效的利用网络提供的带宽资源，TCP滑动窗口大小应不小于BDP大小。Window系统的TCP窗口最大为64K。时延带宽积的计算公式如下：BDP(bits)=RTT(sec)*BW(bps)滑动窗口大小是以Byte为单位，因此需要进行单位换算，按照以下公式进行计算：WindowSize(Byte)=BDP(bits)/8(bitsperByte)其中RTT表示从发送端发送数据开始，到发送端收到来自接收端的确认，总共经历的时延，公式中的BW是用户签约的带宽。（二）测试方法（注：以最常用JDSUMTS5800为例，其他型号仪表配置类似，如EXFO）TCP应用层测试法此测试法，主要解决运营商的线路带宽二层测试正常，但基于网络层、应用层的测试指标不达标疑难故障。MTS5800测试仪表设置如下：（1）开机初始化，进入“选择测试”选择以太网“第4层TCP线速”测试选项。点击仪表右上角“设置”按钮，进入具体配置界面。（2）在“接口”菜单内的“物理层”选项。配置相应仪表“自协商”、“双工模式”等信息。（3）选择“全部数据流”菜单，设置“源IP”、“缺省网关”、“子网掩码”等。（4）选择“配置数据流”菜单，点击“数据流1”左边的白色方框，选中“数据流1”。（5）在“1”菜单内的“TCP/UDP”选项，将流量模式设置为“TCP”。（6）在“TCP主机”菜单内的“TCP主机设置”选项。配置相应仪表“TCP主机模式”一台仪表配置为“服务器”；“监听端口”；“最大分割字节”填测出的线路的MTU值；“窗口大小”填线路的BDP(bits)/8值。（7）在“TCP主机”菜单内的“TCP主机设置”选项。配置相应仪表“TCP主机模式”另一台仪表配置为“客户机”；“连接到端口”要与服务器的监听端口值相同；“最大分割字节”填测出的线路的MTU值；“连接到服务器”填服务器的IP地址；“窗口大小”填线路的BDP(bits)/8值。（8）返回测试界面，在“操作”菜单内分别点击两台仪表的“启动TCP服务器”和“启动TCP客户端”，在客户机仪表上查看测试结果。2）仪表串接测试法此方法主要解决客户业务超速或个性化需求，造成线路丢包或时延增大，用户侧数通设备端口上的统计是一段时间的平均速率，无法实时反应端口的实时流量，用户怀疑运营商带宽不够疑难故障。MTS5800测试仪表设置如下：（1）开机初始化，进入“选择测试”选择电口以太网3层流量、IPV4、“双端口通过”测试选项，点击仪表右上角“设置”按钮，进入具体配置界面。（2）在“接口”菜单内的“物理层”选项。配置相应仪表“自协商打开或关闭”。（3）在“捕获”菜单配置相应“捕获缓存尺寸”、大小1-256M（4）查看测试结果。“端口1”接互联网，测得结果就是下载速率。（5）查看测试结果。“端口2”接用户，测得结果就是上传速率。（6）开机初始化，进入“选择测试”选择光口以太网3层流量、IPV4、“P1监测/通过”测试选项，点击仪表右上角“设置”按钮，进入具体配置界面（7）选择“激光器”打开激光器。（8）选择“操作”然后选择“连接Rx到Tx”（9）当打开两个端口同时测试收发两条光纤时，选择“双重测试视图”（10）可同时显示用户的收发流量（三）汇总案例解析1.传输设备缓存小导致应用层带宽不达标的案例案例描述：某公司申请了一条由东城区金宝街89号金宝大厦到高碑店电话局IDC机房50M的以太网电路，用户申告线路带宽不达标，上传数据只能达到20多兆，区局多次打环测试没问题，线路路由拓扑如下图所示：案例分析和详细处理过程：测试工程师在A端接上仪表，Z端打环进行二层环回测试，经测试发现线路速率为50Mbps，线路无丢帧、错帧，线路二层测试正常。测试工程师在A端接上仪表，Z端接回用户路由器，进行等效环回测试，经测试能达到50M,反过来A端接用户路由器，Z端接仪表，三层等效环回测试也能达到50M.测试工程师在A,Z端接上仪表，进行4层应用层测试，二层环回测得线路时延RTT是0.8ms，线路带宽是50M,则理论TCP测试窗口WindowSize(Byte)=RTT(sec)*BW(bps)/8(bitsperByte)计算得：5KB，测试结果如下：通过以上测试，发现有大量的重传帧，传输网管查看线路配置，发现此条线的缓存只有200K,将缓存增加到2M,经测试正常。用户应用上传数据能达到45M，用户对线路质量表示认可，用户应用上传数据结果如下图：客户超速导致网速卡顿丢包案例案例描述：某客户申告300M的互联网专线光15075网速卡顿，Ping测丢包，联通监测用户超速，用户在自己交换机端口的监测流量不超速，线路路由拓扑如下图所示：案例分析和详细处理过程：互联网网管查看局端端口：用户上传流量超过340M，用户300M线路满载.联通流量统计截图从统计截图上看，用户发出的流量远远超出申请的300M线路带宽的流量。用户在自己交换机端口的监测流量：上行流量大概在150-200M之间，下行流量几乎没有。用户流量监测截图将仪表串接在电路中，测试上下行流量：测试仪表电口连接图PORT1口连光猫，收互联网方向的流量，即下载流量。PORT2口连用户设备，收用户的流量，即上行流量。测试结果显示，用户发出的流量即上行流量374.96M，超过申请的带宽300M，下载流量223.84M。互联网放开限速，测试用户发出的流量达504M。用户在交换机出口监测的流量200M，而在DDOS出口的流量就达到370M,多出的流量应该就是DDOS设备产生的，测试拓扑图：测试结果：DDOS设备端口起来后就发出190M多的流量，定点此设备为故障点。Wireshark抓包分析结果（限速300M抓的包），用户最高的瞬时流量达620M,线路中有大量乱序TCP流量，平均大约有200M。Wireshark抓包线路流量分析截图Wireshark抓包线路乱序TCP包分析截图Wireshark抓到的乱序包3.客户超速导致时延变大案例案例描述：某客户一条到山东济南的20M专线，用户申告时延大，两端工程师上门对PING一小时时延均大约10ms正常，但在有负载的情况下长ping每隔一两分钟就会有一个大时延最大达500ms。线路路由拓扑如下图所示：案例分析和详细处理过程：将仪表串接在北京用户路由器发的光路中，测试用户的流量并抓包：（2）仪表测试结果，用户流量超速，瞬时峰值最大达27M多，超过用户申请的线路20M的带宽，测试流量图（检测时长单位：ms）如下图：仪表测试结果（3）线路流量超速与ping测结果中时延变大同时出现，流量超速与时延对比图如下：（4）仪表测出的速率只能精确到1秒内的平均值，测试结果：仪表测试截图（5）Wireshark软件统计出的按秒计的平均流量图，最大27M附近，与仪表测的结果基本一致。Wireshark软件统计截图（6）Wireshark软件按1毫秒分析线路的瞬时流量，发现线路的最高达450M，统计结果：（6）Wireshark软件线路中所有包流量统计：线路中所有包流量统计截图（7）Wireshark软件过滤主机12流量统计：过滤主机12流量统计截图（7）Wireshark软件过滤主机11流量统计：过滤主机11流量统计截图（8）从分析叠加看，突发的大流量是有11，12这两台主机产生的。（四）总结1.针对运营商的线路带宽二层测试正常，但基于网络层、应用层的网络性能测试指标不达标故障建议传统专线的二层、三层测试方法，只能验证联通线路的二层、三层性能，在实际应用中，用户最关切的是应用，接上自身设备进行线路调试时，常常会出现各种各样的问题。TCP应用层测试法的总结：1）首先二层流量的测试，确定物理层和数据链路层正常，同时测出链路的MTU值和线路的传输时延RTT；2）用等效环回测试法测试线路的网络层性能，同时测试用户设备的处理能力；3）依据测出的传输时延和线路的带宽算出TCP测试窗口；4）微调测试窗口的大小，测出线路的最大应用层带宽；5）应用层带宽不达标的原因大多是由于线路的缓存小造成的，需要网管核实整条线路上所经过的所有设备的缓存；6）Window系统的TCP窗口最大为64K，并且Windows在vista之后的系统不再提供修改TCP窗口的方法，而测试线路的应用层又与TCP窗口有关，使用用户终端（如个人PC、服务器等）测试应用层带宽误差较大，所以不建议用电脑测试应用层带宽。2.针对用户的业务超速故障建议路由器和交换机的端口流量统计是5分钟的平均流量，传输设备的端口流量统计是5秒钟的平均流量，都不能完全反应出用户的实时流量，往往统计出来的结果与实际差别很大。仪表测试的精度是1秒的平均流量，测量的准确性提高很多，仪表还能抓包，抓下来的包用Wireshark软件分析，流量统计可以精确到1毫秒，