宽带业务质量监测系统创新申报书

1 成果上报申请书 成果名称 宽带业务质量监测系统 成果申报单位 中国移动通信集团安徽有限公司 成果承担部门 /分公司 数据业务部 项目负责人姓名 项目负责人联系电话 和 Email 成果专业类别 * 数据业务 所属专业部门 * 数据线条 成果研究类别 * 相关网络解决方案 省内评审结果 * （按填写说明 4） 关键词索引（ 3 5 个） 应用投资 300 万元（指别的省引入应用大致需要的投资金额） 产品版权归属单位 中国移动通信集团安徽有限公司 对企业现有 标准规范的符合度： （按填写说明 5） 如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个： 成果简介： 简要描述成果目的和意义，解决的问题，取得的社会和经济效益。 随着中国移动向全业务运营商的转型，家庭宽带作为一项战略性产品近年来得到迅猛发展，用户对这些互联网业务的质量提出了更高要求。作为一项长流程业务，宽带业务质量涉及网内传输、出口质量、 DNS性能、 Radius 性能、 BRAS、接入质量等多系统、多环 节。目前服务质量优化工作，往往依赖于用户投诉或故障触发。急需建立完善从“服务性能监视” “服务瓶颈发现” “主动干预调整”的依赖流程驱动的闭环自激励模式，使得事后维护向事前维护转变、补救性维护向预防性维护转变。 服务质量优化工作涉及两个层面： （一）考量与宽带用户体验质量（ QoE， Quality of Experience）密切相关的应用层级别的网络业务质量，主动发现用户体验质量劣化问2 题。 （二）从端到端对宽带网络中涉及的各个网元性能进行监控，对用户体验质量劣化问题进行定位，帮助维护人员快速判断并解决故障 。 本创新项目主要包含两项内容： （一）建立了一套 QoE 相关指标的主动测量体系，积极主动的获得用户体验的量化评价，并进一步的形成网络优化建议，周而复始的形成测量 评价 优化的闭环管理模式。 （二）建立宽带业务端到端监控系统，对宽带业务的设备节点、业务节点进行全面的监控。 通过以上两项措施，根本解决互联网服务黑盒子问题，从用户维度对实现互联网服务质量的监控管理。 省内试运行效果： 描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。 从安徽移动的应用实践看，宽带业务质量监测系统完全满足安徽移动对宽带业务质量监控、保证的需要： （一）宽带业务质量全面评估：实现了对用户体验指标、 Radius性能、DNS 性能、掉线率、接口带宽利用率、链路质量综合考量，准确、定量评价业务质量； （二）业务质量劣化自动预警：提前知晓用户体验程度变化，进而采取改进措施，降低投诉，极大地提高了用户感知度。 （三）宽带业务智能排障：实现了对用户接入的级联设备端口的逻辑管理，故障的快速排查和准确定位困难，提高了故障排除的工作效率。 （四）第三方出口质量优化：提供对多个第三方出口路由优化的自动化手段，对主要访问目标地址群（即热点 网站）实现智能对比分析。提供了第三方出口电路的质量评估手段。 （五）网络设备全面监控：打破原有各类网元系统独立网管的界限，建立统一、全面的设备性能与故障监控手段，极大地提高了故障定位的工作效率。 安徽移动宽带业务质量监测系统的建设和成功使用，创新了业务质量管控新模式，在全业务竞争的格局下具有较好的推广和借鉴价值。该项目的建设，极大地提高了宽带业务质量提升的效率与效果，保证了宽带业务的健康发展，具有极好的社会效益和经济效益。 3 文章主体（ 3000 字以上，可附在表格后）： 根据成果研究类别，主体内容的要求 有差异，具体要求见表格后的“填写说明 6”。 （详见附件） 附件： 宽带业务质量监测系统创新成果主体介绍 （ 3000 字以上） 1. 项目背景情况 随着中国移动向全业务运营商的转型，家庭宽带作为一项战略性产品近年来得到迅猛发展，用户对这些互联网业务的质量提出了更高要求。作为一项长流程业务，宽带业务质量涉及网内传输、出口质量、DNS 性能、 Radius 性能、 BRAS、接入质量等多系统、多环节。目前服务质量优化工作，往往依赖于用户投诉或故障触发。急需建立完善从“服务性能监视” “服务瓶颈发现” “主动干预调整”的 依赖流程驱动的闭环自激励模式，使得事后维护向事前维护转变、补救性维护向预防性维护转变。 服务质量优化工作涉及两个层面： （一）考量与宽带用户体验质量（ QoE， Quality of Experience）密切相关的应用层级别的网络业务质量，主动发现用户体验质量劣化问题。 （二）从端到端对宽带网络中涉及的各个网元性能进行监控，对用户体验质量劣化问题进行定位，帮助维护人员快速判断并解决故障。 本创新项目主要包含两项内容： （一）建立了一套 QoE 相关指标的主动测量体系，积极主动的获得用户体验的量化评价，并进一步的形 成网络优化建议，周而复始的4 （二）建立宽带业务端到端监控系统，对宽带业务的设备节点、业务节点进行全面的监控。 通过以上两项措施，根本解决互联网服务黑盒子问题，从用户维度对实现互联网服务质量的监控管理。 2. 技术方案 2.1. 技术理论 鉴于本项目含有以下两个子系统： （一）宽带业务主动拨测系统，全面了解宽带用户的网络使用体验，以便针对性的进行网络优化。 （二）宽带业务端到端监控系统，对宽带业务的设备节点、业务节点进行全面的监控。 下面就这两个子系统分别描述： （一）宽带业务主动拨测系统 用户体验质量 QoE(Quality of Experience)，可以理解为终端用户对移动网络提供的业务性能的主观感受。它可以通过接近量化的方法来表示终端用户对业务与网络的体验和感受，并反映当前业务和网络的质量与用户期望间的差距。 在通信及计算机网络领域传统上考虑的是 QoS(Quality of Service)， ITU-TRecE.800最初定义 QoS 为“决定用户满意程度的服务性能的综合效果”，包含多个层面较为广泛的内容。 QoS提出的最终目标就是当终端用户使用一个特定服务时可以得到最好的体验。考虑到终端 用户对 QoS的体验随着应用需求的不同而不同，需要为下层协议定义出一组公共参数来明确业务的需求，因此目前业界有时也将5 QoS 狭义地理解为底层分组数据传输的性能指标，如时延、抖动、带宽、误码等。从 ITU-T的定义可见 QoS 提出概念的初衷是和 QoE概念相吻合的。 QoS机制主要负责从网络的角度进行业务管理和提供业务的差异性，网络实体根据不同的质量需求来处理不同业务。但从终端用户的角度来体验 QoS是一个更广、更主观的问题，即 QoE所定义的范畴。从移动通信网络的角度来说，要想获得更好的 QoE的最佳方案就是提供一个优良的端 到端的 QoS。 用户体验管理（ CEM）是一种业务管理的创新方法（ TMF（电信管理论坛）中有研究），重点在于直接实时测量用户体验以及定义用户体验指标（ CEI）。而 KQI（关键质量指标）是主要针对不同业务提出的贴近用户感受的业务质量参数。从 TMF的研究角度而言， CEM 是从属于 QoE 管理范畴的概念； CEI 是反映 QoE级别的相关关键指标，着眼点是用户，与用户行为相关； KQI是 业务层面的关键指标，可能是不同业务或应用的质量参数，因此针对 CEI的 CEM 可以被理解成为 QoE管理架构中业务管理的优选方案。 QoE 管理是衡量一个网络和业务的品质，最根本的标准在于用户的体验质量，它主要指的是用户对于网络的满意度。它定义为一个应用或业务的总体可接受性，是终端用户的主观感受。如网络业务中用户应该达到的页面显示或文件的传送速度、音频质量、图像质量、视频连续度、音 /视同步程度。同时， QoE 也包含了用户主观的程度性体验。 （二） 宽带业务端到端监控系统 一、需要对宽带业务的设备节点、业务节点进行全面的 监控分析 1、 DNS与 Radius性能 DNS 解析成功率 DNS 时延 6 DNS 失败原因分析 用户认证成功率 Radius性能 用户认证延时 用户认证失败分析 2、 链路设备状态 设备状态 端口状态 端口流量 流向分析 3、 接入业务状态 设备性能监控 在线用户数 地址池利用率 用户接入失败原因 用户账户与 IP 信息 4、 接入设备状态 端口配置信息 端口通断状态 二、依托已有管理资源 优先利用现网已经建设的数据网管系统、 GPON 网管系统、 PBOSS资源系统、 DNS网管 优先利用设备已有 的命令行、日志接口 对于 DNS业务指标、 Radius业务指标有可能需要通过分光报文分析实现 对于故障辅助定位，则需要使用数据网设备、 OLT 的命令行接口 7 2.2. 应用场景描述 （一）宽带业务主动拨测系统： 端到端 QoE 主动拨测评价系统，通过对用户行为模型的分析，尽可能的降低程度性概念对量化、闭环管理的困扰，通过一系列的测量分析手段，对用户体验形成尽可能的量化评价。 依据 QoE 评价的理论基础，结合安徽移动的现网实际情况，本次项目的应用场景满足下述要求： 1. 第三方出口 QoE分析 对于每一 条第三方电路，对热门互联网资源执行周期性用户行为仿真测试，形成第三方出口的量化评价。 2. 异网访问网内资源 QoE分析 在异网部署测试节点（如电信、联通 IDC 机房），对网内数据业务资源执行类似用户行为的访问测试，形成数据业务资源的量化评价。 3. 区域资源 QoE分析 对不同省市、运营商的主要互联网资源执行周期性用户行为仿真测试，形成区域、运营商的量化评价。 4. 优化建议与验证 G P O N 网 管 数 据 网 管P B O S S 资 源管 理 平 台宽 带 端 到 端 监 控 平 台获 取 G P O N 设 备 告 警 信 息获 取 C M N E T 网 络 、 第 三 方出 口 等 设 备 告 警 信 息完 成 资 源 数 据 同 步1 0 0 8 6 前 置 故 障 台（ 新 增 ）D N S 及 网 管R a d i u s 数 据 库 / 命 令 行B R A S命 令 行 接 口8 通过系列化的测试手段，发现影响用户体验的 DNS 服务、网站、慢速节点，提出 DNS、路由等方面的优化建议。并能够通过主动测量，对优化效果进行验证。 5. 预警监控 对第三方电路进行持续性监测，当发现电路工作不正常时，产生实时告警，以短信方式通报管理人员。 对各项 QoE 指标进行监控，当质量劣化时，产生实时告警，并可以短信方式通报管理人员。 （二） 宽带业务端到端监控系统 对于宽带业务端到端监控系统，主要是监控宽带网络各个网元，应用场景较为简单。 2.3. 组网方案 （一）宽带业务主动拨测系统： 图表 1 端到端 QoE 主动拨测评价系统逻辑组网图 测试终端 完成用户上网仿真测试，支持部署在核心层、接入侧以及异网 IDC 第三方电 路监控服务器 对多条电路进行并发质量测试；实时监控第三方电路的通断状态并能够 策略及展现服务器 作为数据综合展现平台及测试终端策略、测试报告交互接口 宽带测速服务器 提供面向公众的测速平台，可用于检测异网访9 问 CMNET的网络速度 图表 2 端到端 QoE主动拨测评价系统核心机房组网图 （二） 宽带业务端到端监控系统 在省公司集中建设监控分析系统 向客服、监控中心、地市运营支撑部等不同部门前置相应功能视图 数 据 网 管 网W e b P o r t a l业 务 系 统 采 集 机R a d i u sD N S分 光 或 网 管分 光 或 网 管市 公 司 运营 支 撑 部1 0 0 8 6 前 置 故 障 台省 公 司 监 控 中 心G P O N 网 管 数 据 网 管B R A SP B O S S 系 统业 务 系 统 采 集 机业 务 处 理 机路 由 设 备10 2.4. 关键技术特征 2.4.1. 典型用户行为抽取 QoE 拨测，首先需界定具有代表性的用户网络行为。在用户网络行为中，一类是用户显示感知的操作，即用户主动手工发起的操作，如打开网页、点播视频；另一类则是隐含在用户网络行为中，或对用户体验有确定性影响的网络行为，如域名解析、首包时延、路由跟踪等。 通过用户行为分析，我们抽取如下了典型行为特征，作为主要的测量手段： DNS 域名解析操作 HTTP 首包时延 路由跳数 WEB 站点浏览 传统视频点播（单连接的视频下载、播放，主要为优酷、六间房、新浪、土豆等主流媒体站点的点播模式） P2P视频点播（ P2P连接的视频下 载、播放，主要为 PPStream、迅雷等主流媒体站点的点播模式） HTTP 资源下载 139 门户网站登录操作 139 邮箱 SMTP、 POP3操作 飞信门户登录操作 11 2.4.2. 热门互联网资源学习 借助省公司已经建设的流量清洗系统，本项目能够获得一批用户惯用的互联网资源数据。同时，通过对网址门户网站（如：、 ）的分析，本项目能够自动化的获得热门互联网资源： 2.4.3. 用户行为仿真 对于每一种用户典型行为，系 统采用完全与用户操作相同的方式，或近似的方式进行主动拨测，以期获得真实的用户体验数据。 例如： 网页测试 图表 3 网页浏览仿真测试 12 传统视频测试 图表 4 传统视频仿真测试 通过分析网络数据流，自动识别主流视频格式的标称码流速率。藉此，在下载过程中推算视频播放的平滑度： 图表 5 视频平滑度计算示意 PPS 视频测试 13 图表 6 PPS 视频仿真测试 139 邮箱 SMTP/POP3仿真 图表 7 139邮箱仿真测试 2.4.4. 量化质量管理 本项目涉及的量化管理对象包括：站点、视频资源、下载资源、数据业务资源、出口线路等多个目标。 14 对于每一种评分对象都具有多个测量指标，对于每一个测量指标，数值单位、取值区间都不相同。如果只是简单通过结果罗列，不易于判断评分对象的质量优劣。 因此，我们采用加权、分档的评分办法来归一化测量指标，在不同的测量条件下获得一致的评价结果。 基于上述原则，我们形成了一 整套 QoE 量化办法： 测量目标 测量方法 测量指标 指标归一化 目标量化评价 线路量化评价 一致的测量项目标识： 测试点 出口线路 测试类型 批次时间 测试时间 测试目标 IP 地址 目标区域 目标运营商 规划化的测量指标标识（部分）： WEB 站点： HTTP 首包时间 (ms) DNS 解析时延 (ms) PING 平均时延 (ms) 32 字节 网路抖动 (%) 32B PING平均延时 (ms) 1024B 网络抖动 (%) 1024B 路由跳数 (Hops) 网页完整打开时延 (s) 页面 下载速率 (Kbps) 视频： HTTP 首包时间 (ms) DNS 解析时延 (ms) PING 平均时延 (ms) 32B 网络抖动 (%) 32B 路由跳数 (Hops) 缓冲次数 (次数 ) 播放平滑度 (%) 视频下载速率 (Kbps) HTTP 下载： HTTP首包时间 (ms) DNS 解析时延 (ms) PING平均时延 (ms) 32B 网络抖动 (%) 32B 路由跳数 (Hops) 下载速率 (Kbps) 归一化评分办法： HTTP 下载评分细则 HTTP首包时间 (ms) DNS 解析时延 (ms) PING平均时延 (ms) 32B 网路抖动 (%) 32B 路由跳数 (Hops) HTTP下载速率 (Kbps) 得分级别 权重 20 10 10 5 15 30 得分区间 上限 下限 上限 下限 上限 下限 上限 下限 上限 下限 上限 下限 A 100, 90 0 1024 B (90, 80 1 512 C (80,60 5 256 D (60, 0 20 0 综合评分结果 = SUM(指标权重 * 指标单项得分 ) 以下限指标 (测试取值越大质量越好）为例： 指标单项得分 = 得分区间下限分数 + (测试结果 - 得分区间下限 ) / 得分区间上下限差 * 得分区间分数差 15 图表 8 综合评分结果示例 2.4.5. 多维度数据分析 本项目形成的规范的丰富的测量数据基，能够提供 多角度的数据比对分析能力。例如： 安徽移动网内用户访问全国各省互联网资源的量化 QoE 对比 安徽移动网内用户访问各大运营商互联网资源的量化 QoE对比 互联网资源在不同出口线路间的量化 QoE对比 相同出口线路的不同互联网资源的量化 QoE对比 2.4.6. 多通道预警 基于质量描述的系统的预警方式与传统告警监控不同，具备四种特征： 1. 故障 刚性指标，信号出现即表示需要进行网络维护操作。 2. 门限预警 16 劣化性指标，当测量结果突破一定门限时，表示测量目标可能存在着劣化。 3. 趋势预警 劣化性指标，对于难以规范统一门限的测量项目（如不 同站点的完整打开时间由站点自身的内容复杂度决定，相互间不具备可比性），可以通过自身趋势的变化来发现劣化。 4. 对比预警 柔性指标，以一个确定的测量目标为例，如果其在某一出口上的测量结果低于其它出口的平均水平，那么表示该出口对目标的访问水平可能需要优化。 预警名称 预警类型 门限类型 门限数值 含义 电路中断 故障 无 NA 拨测终端离线 故障 无 NA 拨测任务超负荷 故障 无 NA 当拨测终端不能及时完成测试任务，使得后期定时任务延后执行时，产生告警，下一次正常执行时解除 系统组件停止 故 障 无 NA 系统组件将按照具体实例细分，此部分故障在后期实现时细化 电路劣化 (HTTP) 门限预警 上门限 20% 当 HTTP 首包测试失败率达到 20%及以上时，产生预警，反之解除 电路拥塞 门限预警 上门限 600Mbps 当电路流量达到门限及以上数值时，产生预警，反之解除 电路流量异常 趋势预警 上门限 10% 当电路流量偏离 ma(5)的 10%及以上时，产生预警，反之解除 路由跳数异常 趋势预警 上门限 30% 当路由跟踪跳数结果高于 ma(5)的 30%以上时，产生预警，反之解除 HTTP 首包 测试成功率 门限预警 下门限 80% 当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除 DNS 解析成功率 门限预警 下门限 80% 当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除 DNS 解析超时 门限预警 上门限 10s 当 DNS 解析时间超过门限值时，产生预警，反之解除 PING 成功率 门限预警 下门限 80% 当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除 网页打开成功率 门限预警 下门限 80% 当同批次内所有该类测试成功率低于门限值及以 下时，产生预警，反之解除 HTTP 下载成功率 门限预警 下门限 80% 当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除 视频下载成功率 门限预警 下门限 80% 当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除 139 邮箱模拟登录成功率 门限预警 下门限 60% 当同批次内 139 邮箱模拟登录成功率低于门限值及以下时，产生预警，反之解除 17 139 SMTP 成功率 门限预警 下门限 60% 当同批次内 139 SMTP 成功率低于门限值及以下时，产生预警，反之解除 139 POP3 成功率 门限预警 下门限 60% 当同批次内 139 POP3 成功率低于门限值及以下时，产生预警，反之解除 飞信门户模拟登录成功率 门限预警 下门限 60% 当同批次内飞信门户模拟登录成功率低于门限值及以下时，产生预警，反之解除 页面下载速率低于平均水平 对比预警 下门限 80% 当同批次内该类测试结果低于平均值的 80%时，产生预警，反之解除 HTTP 下载速率低于平均水平 对比预警 下门限 80% 当同批次内该类测试结果低于平均值的 80%时，产生预警，反之解除 视频下 载速率低于平均水平 对比预警 下门限 80% 当同批次内该类测试结果低于平均值的 80%时，产生预警，反之解除 网页目标质量劣化 趋势预警 下门限 90% 当同一线路内，网页测试评分结果低于 ma(5)的 90%时，产生预警，反之解除 视频目标质量劣化 趋势预警 下门限 90% 当同一线路内，视频测试评分结果低于 ma(5)的 90%时，产生预警，反之解除 139 邮箱质量劣化 趋势预警 下门限 90% 当同一线路内， 139测试评分结果低于 ma(5)的 90%时，产生预警，反之解除 飞信门户 质量劣化 趋势预警 下门限 90% 当同一线路内，飞信测试评分结果低于 ma(5)的 90%时，产生预警，反之解除 电路服务质量劣化 趋势预警 下门限 90% 当线路测试评分结果低于 ma(5)的 90%时，产生预警，反之解除 区域访问质量劣化 趋势预警 下门限 90% 当区域测试评分结果低于 ma(5)的 90%时，产生预警，反之解除 2.4.7. 专家级网优建议 DNS 分析 自动发现 DNS解析的匹配性问题 监控 DNS解析性能 路由分析 监控路由跳数变化 横向对比不同电路的跳数差异，提供路由调整依据 自动发现时延突变点（ 慢速节点），辅助故障定位 定位路由故障节点所属网络层面 区域访问质量 凭借归一化的综合评分系统，能够对电路对不同区域的访问质量进行一致性评价，给出电路的区域访问排名 18 2.4.8. 全面拓扑管理 功能特性 功能描述 综合拓扑 全网统一拓扑图 拓扑图支持按照地市分层管理，地市维护人员可以浏览地市级拓扑信息 支持拓扑节点快速查找、定位。（网络设备名称、 IP 地址或地理位置等信息） 拓扑图中的设备 /业务节点应提供直观的告警统计信息，包括：紧急告警数、重要告警数 拓扑图节点关联信息查询 2.4.9. 各类网元性能管理 功能 特性 功能描述 DNS 性能分析 请求总包数、回包数、成功解析包数、平均响应时长（ ms）、响应成功率、解析成功率以及失败原因分类分析、各种失败类型发生的数量及失败比率等 NAT 日志 实时采集 NAT 设备的 NAT 日志信息进行分析 在线用户分析 一定时间范围内，不同 BRAS 下小区用户在线统计 (宽带用户、WLAN 用户 ) 某时间点内在线用户总数，可以曲线图展现在线用户走势 通过账号查询在线用户信息 RADIUS 性能分析 RADIUS 接通率 BRAS 接通率 认证响应时延 掉线原因查询 端口流 量分析 指标包括入均值、入峰值、出均值、出峰值 性能预警 针对性能分析参数，支持设置相应阀值，当超越阀值时产生性能预警 19 3. 效果 (解决了哪些问题 ) 3.1. 实现了端到端宽带 QoE测量 本项目已完成在省公司 IDC 机房部署，能够对现网 11 个第三方出口下发不同的