VOLTE自动测试系统的研发及异常事件智能(网络部)探素课件

1、VoLTE智能自动测试分析系统中国移动集团 网络部 设计院2015年11月第1页，共19页。目录一、研发背景二、主要成果三、核心创新点四、实际应用情况4新、4无、4有一套系统、一个体系、一组结果数据甄别算法关联定位算法bit位图快速比对算法海量数据全流程一点集中处理定向多点分发VoLTE质量评估体系第2页，共19页。一、研发背景4无4新4有新协议：引入基于互联网的通信控制协议（ SIP/SDP会话协议、RTP/RTCP传输协议、Diameter认证系统协议等 ）新终端：增加VoLTE语音/视频拨打功能、自适应AMR-WB语音编码、H.264/H.263视频编码、SIP/RTP协议。新网络：巨量

2、网络改造、新旧网络交插、网元、接口数量激增（改造涉及十大领域，覆盖现网90%的网元，数量接近100万，各类接口38个）、呼叫流程长，2G/4G配合、CS、PS、IMS多域互操作新感受：低时延、高清语音、高清视频通话无测试设备：2014年，无测试手机、无芯片模块、无测试软件无信令监测：2014年，未建成VoLTE信令监测系统，且信令无法提供竞对数据和语音/视频质量等数据无数据支撑：2014年，缺少可以反映VoLTE网络质量的各项数据统计结果无分析方法：2014年，无现网数据可供分析，未形成有效分析方法有需求：急需随时掌握了解移动/联通/电信网络/业务质量（语音/视频质量），拥有快速发现、定位问题

3、的能力，能够有数据、有方法督促省公司/厂家解决问题/优化网络、设备，提升端到端客户感知，推动商用部署有基础：2/3/4G网络质量管理体系较为完善，多网竞对、分层测试方法、测试系统，数据分析方案较为健全有能力：网络部/设计院分析经验丰富，学习能力强；自动测试系统可扩展能力强有支撑：设计院/网络部联合创新、快速迭代能力强，新需求能够快捷落地第3页，共19页。 全网一套测试系统，各省分布测试，测试设备集中调度，测试数据集中甄别分析处理，测试问题定向反馈，闭环管理。二、主要成果 一套系统后台系统集中部署南方基地测试前端分布全国测试状态实时监控CMNET集中处理定向反馈设备调试设备验证异常复测测试任务分

4、级管理前端设备多种多样PC+测试手机+MOS盒ATU+测试手机ATU测试场景各式各样集团公开巡检集团摸底测试集团委托测试省公司巡检日常优化测试道路校园风景区高铁地铁铁路酒店商场交通枢纽居民楼测试结果分发全网第4页，共19页。关于印发VoLTE业务网络测试规范的通知(网通 2015 189 号)二、主要成果 一个体系测试数据网格LOG级甄别单一事件级甄别快速反应 宏观：整体指标分析 微观：网格栅格事件异常判别RTP丢包率，RTP抖动时延，eSRVCC切换中断时延覆盖率，IMS注册成功率，eSRVCC切换成功率VoLTE全程呼叫成功率，VoLTE呼叫建立时延，MOS均值VoLTE用户网络满意度；万

5、用户投诉比QoEKQIKPIPI一本测试规范多种测试工具一组甄别方案多种分析方法一套评估标准多维短板对比VoLTE质量评估分析管理体系ATUATU+终端笔记本MOS盒终端第5页，共19页。二、主要成果 一组结果宏观层面：指标 4月测试 8月测试 GSM 接通率（%） 95.87%95.69%98.99%掉话率（%） 5.09%1.32%0.59%呼叫建立时延(s) 4.074.26 6.25MOS均值3.573.60 2.22.6 MOS 3.0以上占比 84.63%86.50%MOS 3.5以上占比 72.15%80.78%IMS注册成功率（%） 93.00%97.60%eSRVCC成功率（

6、%） 93.00%86.32%eSRVCC切换时延 （用户面）278260.07 4月： 无线网问题占39%，核心网与IMS网问题占24%，终端问题占14%，其他问题占比23%。 8月：核心网与IMS网问题占34%，终端问题占28%，无线网问题占23%，其他问题占比15%。微观层面：每个城市的volte业务黑点分布，具体问题，发生时间，网络环境，参数配置 有效支撑了系统联调和网络优化。1、了解特点趋势，坚定发展信心2、掌握原因变化，明确主攻方向 3、分城市分厂家，比对有效督促 VoLTE业务质量已经能够体现出VoLTE的技术优势，话音质量较高，接续速度较快，但接通率、掉话率还劣于GSM和CSF

7、B。在各试点城市的持续优化下，网络质量稳步提升。城市诺西华为爱立信中兴杭州97.19%长沙95.73%97.84%福州99.64%86.49%广州93.59%92.47%汇总99.64%96.46%93.59%92.27%城市主要网络问题次要网络问题最次网络问题杭州LTE核心网问题（25%）IMS网络问题（16%）无线环境问题（3%）南京LTE核心网问题（61%）IMS网络问题（9%）无线环境问题（2%）长沙LTE核心网或与接入网配合问题（23.3%）IMS网络问题（23.3%）无线环境问题（16.4%）福州LTE核心网问题（44.0%）IMS网络问题（26.4%）无线环境问题（0%）广州LT

8、E核心网或与接入网配合问题（36.9%）IMS网络问题（21.9%）无线环境问题（7.6%） 发现、定位并推动解决系统设备、协议配合、终端功能、网络配置等全程全网共性、或个性重大问题108例。发现典型问题，组织重点突破 找到黑点分布，督促逐一解决第6页，共19页。三、核心创新点 数据甄别算法 准确及时，快速响应：自动检查测试数据中的各类异常，排除由于设备异常、测试执行异常等问题导致的数据准确性偏差，实现测试数据自动甄别，快速响应。测试异常呼叫级排查试呼空闲接通VoLTE状态终端网络INVITE REQUESTINVITE OKINVITE REQUEST起呼接通再起呼为VoLTE设置默认流程系

9、统判断流程乱序时，自动快速甄别，输出异常人工核定，有效剔除测试异常网格级、log级排查为VoLTE关键指标设置默认门限系统判断某完整测试数据的指标超过该门限时，自动快速甄别，输出异常人工核定，快速响应，对异常区域，即时安排复测测试执行数据回传指标超过门限自动排除快速响应主被叫LOG RSRP差异超过10%终端天线测量异常主被叫LOG RSRP差异超过10%终端天线测量异常连续大量未接通疑似欠费或终端故障语音MOS严重偏低终端故障超呼叫时长终端网络INVITE REQUESTINVITE OKINVITE REQUEST起呼接通外电呼入满3分钟未能挂断，30秒后再发起起呼设备过热导致软件触发的挂

10、机AT指令无法生效接通状态未满3分钟外电呼入导致再次进入试呼状态未到呼叫时长第7页，共19页。三、核心创新点 关联定位算法起呼INVITE REQUST不简单局限于单一信令单一错误代码，着眼VOLTE呼叫全流程，关联端到端网元交互，精准定位问题 。 单一基于错误代码判断，片面不科学SIP消息消息描述问题定位invite 500内部服务器错误IMS网络网元服务异常invite 503临时得不到服务Invite 580预进程处理失败传统分析软件智能分析系统全面跟踪信令流程网元交互，分析定位智能化IMS终端TRYING例如：简单分析逻辑：IMS内部回复临时得不到服务，媒体流丢失，即IMS网络网元故障

11、 Invite 503临时得不到服务无线质量全检测SIP信令全跟踪呼叫流程全监控网元交互全识别EPC问题EPS承载激活或修改异常，如切换与承载碰撞，华为EPC不进行承载流程无线网问题弱覆盖质差等情况下无线链路失败，重建专载未建立IMS问题流描述携带非IPV6，未携带带宽参数，如中兴SBC配合问题中兴SBC与华为EPC计费标识理解差异第8页，共19页。三、核心创新点 bit位图快速比对算法BIT位图案例库异常呼叫BIT图直观清晰、易于扩展经验固化、高效比对Bit位图算法设计：各阶段是否信号正常：置位“1”是，“0”否。包含电平RSRP、干扰SINR、BLER等。各阶段SIP信令是否正常：置位“1

12、”是，“0”否。各SIP响应消息，如是否有SIP trying等、各阶段流程是否正常：置位“1”是，“0”否。如EPS承载是否正常等针对网元特征识别：置位“1”是，“0”否。如中兴异频重定向、S1_MME PAGING触发源等 以bit位图形式描述VOLTE信令流程，按照人工分析逻辑构建标准位图案例库（新增无需修改程序，扩展便利），利用计算机进行智能（人工经验程序化嵌入）、快速比对（计算机二进制比对），实现问题定位的高效输出，结构清晰扩展性强。智能输出实现：人工分析经验异常呼叫信令第9页，共19页。三、核心创新点 海量一点处理 定向多点分发定向分发智能分析数据甄别数据分类数据采集测试自动执行与

13、处理：自动测试：ATU、终端、PC自动回传：测试数据自动回传全流程自动化传统人工数据按不同维度自动分类、存储：场景维度：城市测试/铁路测试/高速测试任务维度：集团秘测/省内巡检/日常优化测试数据自动甄别，排除测试异常：整体排查：设置指标门限排查设备异常细节排查：监控设备状态排查流程异常网络质量智能分析：宏观分析：统计指标横向对比微观分析：定位异常、关联分析人工测试PC连接VoLTE终端测试数据本地处理不分类存储数据存储不分类多维度需人工合并人工清洗不清洗或人工清洗人工排查耗时耗力人工分析人工分析效率低下人员不同参差不齐 系统采用全网一点集中处理，将测试中的数据采集、分类、甄别、分析、分发等流程

14、有机串联，效率高、易管理、标准统一。集中管理定向分发：集中管理：设备统一管理、数据集中处理定向分发：集团、省市任务定向分发分散管理设备、数据分散管理各级用户不做区分第10页，共19页。三、核心创新点 VoLTE质量评估体系 构建基于客户感知的端到端VoLTE质量指标集111个，关联VoLTE业务面，控制面，承载面。关于印发LTE/VOLTE信令采集指标等规范的通知（网通 2014 238 号）关于印发“LTE/VOLTE信令监测及互联网KQI指标相关规范”的通知（网通 2015 159 号）第11页，共19页。三、核心创新点 VoLTE质量评估体系 分级VOLTE指标，从体验类、接入类、保持类

15、、感知类多维度构建volte质量评估体系，开展基于用户感知的VOLTE质量评估，促进VOLTE网络质量持续提升，全面支撑VOLTE商用。VoLTE质量指标分级接通率呼叫建立时延MOS均值eSRVCC切换成功率掉话率IMS注册成功率重要评估指标日常分析指标接入类无线接通率率VoLTE语音专用承载建立成功率VoLTE视频专用承载建立成功率保持类LTE通话时长占比eSRVCC切换占比无线掉线率完整类RTP丢包率RTP端到端时延RTP抖动感知类挂机时延IMS注册时延eSRVCC切换时延MOS3.5以上占比问题分析指标平均RSRP平均SINRVoLTE用户平均占用RB数终端问题占比无线问题占比IMS问题

16、占比EPC问题占比VoLTE质量评估体系体验类接入类保持类感知类指标项分值门限VOLTE业务质量满意度5待定VOLTE业务万用户投诉比5待定指标项分值门限IMS网络注册成功率595%无线接通率595%VoLTE视频专用承载建立成功率595%VoLTE语音专用承载建立成功率595%指标项分值门限LTE通话时长占比1080%无线掉线率52%指标项分值门限VoLTE始呼接续时长55sVOLTE语音接通率1595%VoLTE掉话率151%VoLTE呼叫建立时延74s平均MOS83.5MOS3.5以上占比580%第12页，共19页。四、实际应用情况系统全网广泛应用：集团层面：2015年完成VOLTE3次

17、拉网评估，1次正在进行。累计测试1万余公里，累计呼叫1.4万次。省公司层面：北京、天津、陕西等11个省公司使用本测试系统，累计测试1.3万公里，累计呼叫2.5万次。准确输出多项指标：第一批试点城市VoLTE质量在各省持续优化下稳步提升，后续试点城市VoLTE质量特点明显指标 VoLTE试验网城市非VoLTE试验网城市福州杭州南京长沙苏州济南上海无锡接通率 98.5%91.0%96.2%97.4%98.9%97.3%93.4%99.5%掉话率2.98%1.95%0.88%0.15%0.65%0.47%2.32%0.47%呼叫建立时延5.74.2 4.912.91 4.64.343.894.72M

18、OS 3.0以上占比 86.41%82.42%85.5995.1% 92.25%66.02%88.00%76.41%经济效益平均每城市测试费用降低60%：全国单位城市轮次的测试费用（包括测试设备成本、人工出差补助、合同利润等）平均花费在5万元左右。使用自动测试系统后，无须配备现场工程师，仅需远程配备一名后台人员，每个城市轮次的平均花费预计在2万左右。每年总产值超过8000万。质量评估、数据分析效率提升约34倍：自动化智能化网络质量评估、数据异常原因分析及定界可节约100人（每个省3人）的资源投入，节约人力资源投入超过2000万元。第13页，共19页。四、实际应用情况典型问题发现解决：中兴设备：

19、不合适的异频重定向功能导致VOLTE掉话（厂家已有解决方案） 中兴基站设备默认开启异频重定向，在异频邻区未配情况下以重定向方式进行异频互操作。此种方式不影响LTE数据业务感知质量，但会导致VOLTE专用承载接续失败而掉话。需要中兴对ENODEB设备进行升级解决。含中兴ENODEB城市异频重定向掉话次数原因长沙无3月已发现，升级已解决福州无3月已发现，升级已解决济南8首次测试，尚未升级北京39首次测试，尚未升级卡特设备：enodeb不具备相应自适应功能造成掉话（厂家已有解决方案） PDCP数据包SN SIZE长度有12bit、7bit等多种格式，卡特设备仅支持自身的7bit模式，不支持其他模式，

20、跨厂家呼叫时会发生掉话。华为设备：机械执行协议，强制释放VOLTE通话（厂家正在制定解决方案） 3GPP协议规定终端应至少1小时进行1次周期性IMS注册。华为在1小时以内未收到注册请求，强制把用户正在进行的volte通话释放，造成掉话。没有照顾到用户体验，应在当前用户通话完毕之后再进行相应操作。诺西设备：诺西BUG造成跨厂家volte掉话（厂家正在制定解决方案） 诺西SGW只支持CMNET APN与IMS APN承载于相同PGW的组网模式，如2者承载于不同PGW，则跨厂家呼叫时会发生掉话。诺西MME/SGW需要版本升级解决。 截至10月底，共发现问题1363例，已解决776例，主要涉及设备功能（29%），参数配置（21%），终端（19%），异厂家IOT（19%）。第14页，共19页。四、实际应用情况服务集团领导 刘爱力副总裁在杭州VOLTE商用工作推进会上讲话引用。支持外部门工作计划部VOLTE现网试点及网络建设工作进展通报中多次引用。支撑本部门重点工作集团以及网络部生产分析会材料多次展示支撑volte网络质量商用标准制定数据、指标、分析结果广泛应用：KPI商用初期成熟期接通率（%）95%97%掉话率（%）2%1%呼叫建立时延(s)54MOS3.0以上占比80%85%IMS注册成功