端到端质量评测系统某某联通

端到端质量评测系统某某联通第一页，共28页。一项目整体情况二指标评价体系介绍目录三指标数据分析四IPTV质量分析五发现问题汇总2第二页，共28页。本期**联通采购28台探针设备，每地市在城域网和郊县接入局点部署2台探针设备，利用探针多端口接入功能，分别通过ADSL、PON和LAN等方式接入，通过系统定制下发任务执行测试，主要测试内容包括传输层和网络层基本性能测试，数据、语音、IPTV等业务测试，通过系统平台对探针测试数据进行采集、预警、统计分析，与原有网管系统实现联动，定位影响业务质量的关键网元，解决用户感知明显的网络问题，完善业务质量评价体系。项目整体情况全省部署拓扑示意图地市详细部署示意图第三页，共28页。探针端口用途划分设备本端接口标识本地端口名称用途备注

探针eth0DSLAM-IPTVDSLAM:IPTV-PPPOEDSLAM的IPTV业务测试端口eth1DSLAMDSLAM:PPPOEDSLAM的宽带拨号用户互联网业务测试端口eth2PON-IPTVPON:IPTV-PPPOEPON的IPTV业务测试端口eth3PONPON:PPPOEPON的宽带拨号用户互联网业务测试端口eth4汇聚交换机接汇聚交换机连接汇聚交换机eth5IPTV二级平台接IPTV二级平台汇聚交换机连接IPTV二级平台侧交换机eth6ETH6预留关闭eth7ETH7预留关闭第四页，共28页。一项目整体情况二指标评价体系介绍目录三指标数据分析四IPTV质量分析五发现问题汇总第五页，共28页。指标评价体系介绍指标评价体系中指标共分为监测基础网络质量类的测试指标、监测互联网业务质量类的测试指标、监测网络承载的仿真业务质量类的测试指标和监测IPTV业务质量的测试指标共四大类66个指标。指标类别

包含任务

主要指标

分类标准网络基础质量

PING、SLA(UDP)、SLA(TCP)、吞吐量、DNS测试、服务可用性测试

时延、抖动、丢包、带宽测试结果、DNS解析时延、TCP连接时延

通过时延、抖动、丢包等该类一系列指标监测全省及各地市网络的基础质量互联网业务质量

WEB访问测试、FTP上传下载测试、HTTP下载测试、SMTP测试、POP3测试、IMAP测试、FLASH测试

TCP连接时延、首字节到达时延、传输页面文件时延、传输页面元素时延、页面下载速度、页面浏览总时延、登录认证时延、上传下载速度、上传下载时延、邮件收发速度、邮件收发时延、视频首次停顿时间、视频加载时延、总停顿时延、视频下载速度。

结合基础网络质量，监测用户普通互联网应用的感知质量(网页浏览、收发邮件、视频观看等）仿真业务质量

VOIP、SIP、流媒体质量测试

平均抖动、平均丢包率、MOS值，响铃时延、通话就绪时延、通话挂断时延、语音延时、平均抖动、平均丢包率、MOS值，视频包的抖动、MDI[DF]、MDI[MLR]模拟高敏感业务，监测网络针对敏感业务的承载质量IPTV业务质量

IPTV测试

DNS解析时延、认证时延、是否认证成功、心跳时延、EPG服务器连接时延、EPG获取时延、点播响应时延、点播平均带宽、点播MDI[DF:MLR]、直播组播带宽、、直播组播频道加入时延、直播组播频道退出时延、直播组播频道切换时延、直播组播MDI[DF:MLR]、直播单播带宽、直播单播频道加入时延、直播单播频道退出时延、直播单播频道切换时延、直播单播MDI[DF:MLR]。

监测特殊业务的应用质量第六页，共28页。考核指标根据端到端质量测评系统一期建设规模，重点对测速服务器可用性、HTTP页面访问质量、媒体质量指标进行测试分析，这些指标含盖了对基础网络质量、网络基础应用和视频质量比较关键和重要的指标的分析，随着端到端指标测评体系二期的建设以及探针数量和部署规模、范围的不断扩大，会有新的指标加入到考核和分析中。考核目标

考核任务

被测目的端

主要指标

指标含义网络TCP质量

服务可用性测试

各地市本地测速服务器

TCP连接时延

主要监测地市城域网到本地测速服务器的网络TCP质量及测速服务器的响应质量端到端基于业务应用的时延质量

WEB访问测试

省测速网站（）、页面浏览总时延

主要监测基于应用的网络质量，反应基础网络时延对应用的影响端到端评测系统服务器管理页面（）端到端基于仿真业务的抖动质量

流媒体质量测试

省网管中心探针

MDI[DF]

主要模拟敏感应用，监测网络承载质量，反应基础网络抖动对敏感业务的影响第七页，共28页。一项目整体情况二指标评价体系介绍目录三指标数据分析四IPTV质量分析五发现问题汇总第八页，共28页。测速服务器可用性测试数据采集节点测速服务器可用性TCP连接时延(ms)DSLAM（PPP1)PON（PPP3)汇聚层（ETH4)汇总平均值**-272局57.66**-枢纽局20.016.440.418.95**-22局48.439.610.4119.48**-新华局21.125.960.359.14**-平山局29.129.430.3412.96**-枢纽局25.876.390.610.95**-小凌局6.136.060.464.22**-长征局26.626.410.3411.12**-西苑局10.6911.840.847.79**-西关局7.896.364.026.09**-282局20.426.060.378.95**-28局28.656.510.3911.85**-282局211.236.690.6372.85**-212局20.268.540.599.8测试任务:服务可用性测试，监测探针到各地市自己的测速服务器的TCP连接时延测试频度：全天7*24时间，间隔60分钟进行一次总测试次数：750

数据采集时间：12月1日-31日总结：汇聚层专线接入时延基本小于1ms。PON接入时延基本小于10ms。DSLAM接入时延基本在20-30ms之间，与PON接入方式时延基本相差15ms左右。从指标可以得出，汇聚层专线接入方式指标好于PON接入方式；PON接入方式指标好于DSLAM接入方式。不同的接入方式对指标影响存在差异。第九页，共28页。测速服务器可用性**DSLAM接入方式时延为211.23ms，时延较大。盘锦12月27日之前网络TCP质量都较差，探针所在DSLAM12月份有4次测速结果，分别是2次2M测速达标率115%和2次8M测速达标率69%。**TCP连接时延**TCP连接时延**TCP连接时延**DSLAM接入方式时延为48.43ms。时延在12月5日和30日出现突增导致，原因DSLAM上联电路流量突增，怀疑为攻击导致。**汇聚接入方式时延为4.02ms，**西关局是由于在12月初、中旬和12月末出现网络TCP质量波动导致质量下降第十页，共28页。HTTP页面访问质量测试数据采集节点访问页面总时延(ms)测速网站DSLAM（PPP1)PON（PPP3)汇聚层（ETH4)汇总平均值**-272局374.1678.3439.13163.88**-枢纽局427.18107.5353.96196.22**-22局388.57129.6442.97187.06**-新华局206.39119.6939.02121.7**-平山局927.0695.3282.18368.19**-枢纽局911.41105.8442.03353.09**-小凌局89.35148.9941.3293.22**-长征局255.87100.356.7137.62**-西苑局438.6153.6490.46310.57**-282局587.02111.3278.2258.85**-西关局41.9104.1144.8763.63**-28局179.66135.4890.18135.11**-282局340.35134.3739.29171.34**-212局122.9447.491.5887.31测试数据采集节点访问页面总时延(ms)探针管理平台页面DSLAM（PPP1)PON（PPP3)汇聚层（ETH4)汇总平均值**-272局84.347.7841.5357.87**-枢纽局139.6464.7448.8384.4**-22局140.5166.2774.993.89**-新华局98.1562.6346.7169.16**-平山局263.8669.7450.94128.18**-枢纽局109.3761.4553.3774.73**-小凌局63.4463.6457.4161.5**-长征局112.8164.9248.4475.39**-西苑局101.2177.3857.1678.58**-282局272.1582.1450.92135.07**-西关局64.9672.0655.2964.1**-28局135.0573.5456.8488.48**-282局121.5764.1147.9477.87**-212局84.155.259.7766.36测试任务:WEB页面访问测试，探针模拟用户访问省测速网站和服务器WEB页面的质量，监测指标是访问页面的总时延（包含DNS解析时延、连接时延、首字节到达时延、传输页面文件时延和传输页面元素时延）。测试频度：全天7*24时间，间隔60分钟进行一次总测试次数：113数据来源：12月27日-12月31日第十一页，共28页。HTTP页面访问质量测试数据采集节点DSLAM方式访问测速网站详细指标连接时延(ms)首字节到达时延(ms)传输页面文件时延(ms)传输页面元素时延(ms)**-272局64.4676.54135.6497.52**-枢纽局23.8175.0677.19251.12**-22局45.0959.0791.67192.74**-新华局20.8031.2852.08102.23**-平山局124.12295.98310.04196.91**-枢纽局128.90159.80365.20257.51**-小凌局9.9214.3319.3145.79**-长征局27.5336.5760.98130.80**-西苑局87.2873.79121.47156.06**-282局193.80168.8789.17135.18**-西关局7.5019.3114.760.33**-28局18.7626.8843.6490.37**-282局38.6747.5982.71171.38***-212局15.2121.5250.9535.27测试数据采集节点访问页面总时延(ms)测速网站DSLAM（PPP1)PON（PPP3)汇聚层（ETH4)汇总平均值**-平山局927.0695.3282.18368.19**-枢纽局911.41105.8442.03353.09**-282局587.02111.3278.2258.85到省测速网站汇聚层专线接入时延基本小于100ms。PON接入时延基本小于150ms。DSLAM接入时延基本在400ms左右。到管理平台页面：汇聚层专线接入时延基本小于50ms。PON接入时延基本小于70ms。DSLAM接入时延基本小于150ms。结论汇聚层专线接入方式指标好于PON接入方式；PON接入方式指标好于DSLAM接入方式

第十二页，共28页。HTTP页面访问质量到测速网站质量分析：DSLAM接入方式下，**地市、**和**在12月28日和29日，WEB访问各项指标均较差，网络质量下降，下载速度下降，原因分析怀疑是DSLAM下行电路拥塞，受到攻击导致。

采集时间连接时延(ms)首字节到达时延(ms)传输页面文件时延(ms)传输页面元素时延(ms)下载速度(KB/s)总时延(ms)2013-12-2821:00:001164.084680.752653.42857.968.419356.212013-12-2819:00:00981.18903.702259.65494.719.874639.242013-12-2817:00:001323.901053.852090.30532.6110.685000.66**到测速服务器TCP连接时延指标**DLSAM具体数据采集**平山局DSLAM流量图第十三页，共28页。媒体质量指标测试数据采集节点仿真业务MDI[DF](ms)DSLAM（PPP1)PON（PPP3)汇聚层（ETH4)全天统计**-272局89.07**-枢纽局11.711.177.810.22**-22局11.311.127.7510.06**-新华局11.1910.87.829.94**-平山局11.2211.147.7710.04**-枢纽局45.5311.117.7721.47**-小凌局11.0711.257.810.04**-长征局11.1611.077.7810**-西苑局10.4810.447.769.56**-282局11.2311.197.7810.07**-西关局7.8211.217.818.95**-28局11.1911.117.7910.03**-282局16.6811.337.811.94**-212局64.9211.817.7728.17测试任务:流媒体质量测试，省网管中心探针向各地市探针模拟发送媒体流，各地市探针监测接收媒体流的质量，监测指标MDI[DF].测试频度：全天7*24时间，间隔60分钟进行一次总测试次数：750

数据来源：12月1-31日总结：汇聚层专线接入DF小于8ms。PON接入DF在11ms左右。DSLAM接入时延基本在11ms左右。汇聚层专线接入方式指标好于PON接入方式；PON接入方式指标好于DSLAM接入方式第十四页，共28页。基于仿真应用的网络抖动质量分析**枢纽局和**212局12月份媒体包抖动较大，导致MDI[DF]指标较差。第十五页，共28页。一项目整体情况二指标评价体系介绍目录三指标数据分析四IPTV质量分析五发现问题汇总第十六页，共28页。中兴平台PON接入认证时延(ms)EPG服务器连接时延(ms)EPG获取时延(ms)直播单播频道加入时延(ms)直播单播频道退出时延(ms)直播单播频道切换时延(ms)直播单播MDI[DF](ms)Probe-**-28局-1610-01236.236.993016.80433.2254.38536.80150.29Probe-**-781局-1610-01276.0611.462911.98485.4243.64590.26125.58Probe-***-515局-1610-01235.489.482919.92414.1020.78478.8999.04Probe-**-西苑局-1610-01251.069.843333.58633.0666.53653.8597.28Probe-**-**县局-1610-01260.399.822689.41605.9278.58650.66154.95华为平台PON接入认证时延(ms)EPG服务器连接时延(ms)EPG获取时延(ms)直播单播频道加入时延(ms)直播单播频道退出时延(ms)直播单播频道切换时延(ms)直播单播MDI[DF](ms)Probe-**-282局-1610-01118.668.52108.11190.19257.26438.5268.07Probe-**-358局-1610-01121.108.43107.47181.02257.69441.0975.61Probe-**-**局-1610-01423.127.3391.26198.72250.91487.976.70Probe-**-**局-1610-01218.397.3291.31201.50257.48480.196.62Probe-**-**局-1610-01184.2613.95611.11178.85236.34423.724.56Probe-**-小凌局-1610-01130.599.891262.86149.76231.99383.926.75Probe-**-22局-1610-01132.539.32143.68165.72235.54401.916.09IPTV质量总体分析华为平台整体指标要好于中兴平台。华为平台认证时延、EPG获取时延、直播加入时延和MDI值明显好于中兴平台。中兴平台直播退出时延好于华为平台中兴获取EPG菜单时延较大，分析可能原因是中兴平台EPG服务器应用处理响应慢。中兴直播单播DF较大，但是探针到IPTV区域中心网络质量良好，初步分析服务器提供片源质量问题第十七页，共28页。组播部署后IPTV用户感知对比盘锦华为平台282局组播部署前后测试对比项目部署前部署后对比部署前部署后对比DSLAM接入方式DSLAM接入方式PON接入方式PON接入方式认证时延(ms)461.34453.78

130.03118.66

EPG服务器连接时延(ms)37.0937.01

10.288.52

EPG获取时延(ms)558.36501.8

163.02108.11

直播单播频道加入时延(ms)428.97486.26

172.94190.19

组播频道加入时延(ms)

44.98

直播单播频道退出时延(ms)288.69291.97

257.2257.2

组播频道退出时延(ms)

2.15

直播单播频道切换时延(ms)694.98748.76

432.74438.52

组播频道切换时延(ms)

650.76

直播单播MDI[DF](ms)68.4468.02

69.9268.07

组播MDI[DF](ms)

45.63

组播部署后IPTV区域中心由之前的超负荷运行状态缓解为50%左右的系统利用率。组播部署后计费认证时延和EPG获取时延有明显的下降，对于用户感知有提升。组播部署后组播频道加入、退出时延和MDI值相对于直播有明显降低。组播频道切换时延比直播频道切换时延略高，但不影响用户感知。第十八页，共28页。一项目整体情况二指标评价体系介绍目录三指标数据分析四IPTV质量分析五发现问题汇总第十九页，共28页。发现并已解决问题汇总-1****局PON接入丢包问题a）问题发现时间：5月21日-24日b）问题呈现现象：****局PON接入端口PING测试结果中丢包率指标平均值5%以上，汇聚交换机接入端口PING测试结果无丢包，初步定位为***局PON接入网络质量问题。c）问题分析解决：**数据维护人员通过现场检测PON接入线路，发现是OLT的PON口光模块故障，通过更换PON口光模块后问题解决。d）故障恢复效果评测：问题解决后，采集**局PON接入端口PING测试结果，丢包率指标为0，问题得到解决。第二十页，共28页。发现并已解决问题汇总-2**和***DNS解析时延偏大问题a）问题发现时间：7月1日-7月7日b）问题呈现现象：**和***的探针汇聚层接入端口DNS解析时延指标、到DNS服务器PING测试的网络时延指标均是10ms以上，其他地市探针汇聚层接入端口DNS解析时延指标和到DNS服务器PING测试的网络时延指标都低于2ms；初步定位为***和***城域网质量问题。c）问题分析解决：经与***和***维护人员沟通，发现两个地市的DNS本地服务未启用，其它地市均已采用本地DNS服务器。省网管中心组织两个市分公司完成本地DNS服务器启用。d）故障恢复效果评测：本地DNS启用后，阜新和葫芦岛DNS时延都降低到10ms以下。第二十一页，共28页。发现并已解决问题汇总-3**到本地测速服务器不通问题a）问题发现时间：7月1日-7月7日b）问题呈现现象：**探针汇聚层接入端口到本地测速服务器的服务可用性测试中的TCP连接时延指标为0呈现中断告警，到本地测速服务器的PING测试网络时延指标也为0呈现中断告警；**探针的其它测试端口到本地测速服务器的服务可用性测试和PING测试的TCP连接时延和网络时延指标都正常，没有问题。初步定位是为探针汇聚层端口分配的固定IP地址存在问题。c）问题分析解决：经与**维护人员沟通，在查看相关BRAS配置数据发现，为汇聚层接入端口分配的固定IP为之前IPTV业务地址段中的IP，存在访问控制列表，限制了该段IP访问互联网资源的权限。取消该地址段限制后，问题恢复。d）故障恢复效果评测：汇聚层接入端口到本地测速服务器的TCP连接时延指标和网络时延指标测试结果正常，故障已经恢复。第二十二页，共28页。发现并已解决问题汇总-4***下载测试中下载速度慢的问题a）问题发现时间：7月1日-7月7日b）问题呈现现象：***探针汇聚层接入端口进行的FTP下载测试中的下载速度指标平均值为1M，其它地市下载速度指标均在6M以上。初步定位为**地市针对探针配置了端口限速设置。c）问题分析解决：经与**维护人员沟通，确认了探针与汇聚交换机是100M互联，未配置端口限速，之后检查相关BRAS的策略配置，发现针对为探针分配的IP地址段设置了端口限速的设置。取消限速配置后，问题解决。d）故障恢复效果评测：汇聚层接入端口进行的FTP下载测试，下载速度指标平均值达到了9M以上，问题得到解决。第二十三页，共28页。发现并已解决问题汇总-5***聚宝局DSLAM接入丢包问题a）问题发现时间：7月1日-7月25日b）问题呈现现象：**聚宝局DSLAM接入的普通宽带端口的丢包率指标平均值为5%左右，每天的测试结果发现，在白天8点-18点间，只是偶尔存在丢包，丢包率指标在0.5%左右，在晚上18点-24点间，丢包现象严重，丢包率指标在1%~10%之间；晚上下载测试的下载速度指标较白天有明显下降趋势，白天下载速度指标值平均在260KB