面向小微企业办公场景的宽带业务体验和网络性能评价指标体系

1面向小微企业办公场景的宽带业务体验和网络性能评价指标体系本文件规定了面向小微企业办公场景的宽带业务体验和网络性能指标评价体系，包括企业内宽带业务体验和网络性能指标、评分方法、分级分类方法本文件适用于对小微企业办公场景的宽带业务体验及网络性能进行评价。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件。仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。YD/T1071-2006IP电话网关设备技术要求YD/T2026-2009IP语音业务服务质量技术要求与评估方法YD/T2400-2018宽带速率测试方法固定宽带接入subjectiveassessmentofspeechandvideo3术语和定义本文件没有需要界定的术语和定义下列缩略语适用于本文件。B/S;浏览器/服务器模式(Browser/Servermode)C/S:服务器/客户机模式(Client/ServerMode)2DNS:域名系统(DomainNaHTTP:超文本传输协议(HyperTextHTTPS:超文本传输安全协议(HyperTextTransferProtocolSecure)ITU:国际电信联盟(InternationalKPI:关键性能指标(KeyPerfornanceIndicator)KQI:关键质量指标(KeyQualityIndicator)MOS:平均意见值(MeanOpNSS:空间流数量(NumberofSpatialStream)ONU:光网络单元(OpticalPOLQA:感知客观语音质量评估(PerceptualObjectiveListeningQualityAnalysis)QoE:客户感知体验(QualityofExperience)RTP:实时传输协议(Real-timeTranspSSL:安全传输协议(SecureSocketLayer)UDP:用户数据报协议(UserDatagranProtocol)URL:统一资源定位CUniformResourceLocator)VoIP:基于IP的语音传输(VoiceoverInternetProtool)5评价指标体系架构5.1网络结构面向小微企业办公场景的网络包括小微企业网络、接入网、城域网、骨干网和运营商互联部分，如图1所示，每部分定义如下：6首屏显示时间定义为用户访问页面(需要有DNS解析过程),从用户在终端上发起访问指令(桌面版浏览器输入URL地址并回车，移动版浏览器输入URL地址并触控访问),浏览器发出获取该网站数据请求消息直至收到该网站返回的数据首次占满用户终端屏幕的延迟时间，即页面在浏览器窗口的上部区域 (如桌面终端为1920*1080分辨率)充满时所需要的时间。完全加载时间完全加载时间定义为用户访问页面(需要有DNS解析过程),从用户在终端上发起访问指令(桌面版浏览器输入URL地址并回车，移动版浏览器输入URL地址并触控访问),到整个页面在浏览器上完全加载所需要的时间。6.1.4语音文本消息语音文本消息体验KOI指标概述在小微企业通信中语音文本类消息主要是即时通信，允许两人或多人使用网络即时地传递文字、图片、小文件、语音与视频等各种类型的消息。该方式比电子邮件所需时间更短，而且比拨电话更方便，受到小微企业的欢迎。用户对语音文本消息产品的体验集中体现在加载速度是否快，操作能否快速响应，消息收发是否实时(低延迟),对应的3个KQI指标为加载时延、操作响应时延和消息接收时延加载时延加载时延表示从执行会话列表或者消息界面加载操作开始，至会话列表或者消息界面加载完毕为止所花费的时间。加载时延的数值越小越好。对于相同的即时通信应用，加载时延由登录账号会话列表大小/会话消息内容、终端性能和网络性能三者共同影响。操作响应时延操作响应时延是用户点击鼠标或按键操作，页面跟随操作而进行响应的时间。操作响应时延越低。用户操作流畅度越高，体验越好消息接收时延消息接受时延是用户自发送端执行消息发送操作开始，至消息展示至接收端聊天区域为止所花费的时间。收到成功响应的请求数，无错误返回码(0)统计周期内，TCP建链网络侧方向syn握手的平均往返统计周期内，TCP建链用户阅方向synack握手的平均往返表7UDP类平均速率指标根据业务特征及业务体验KQI指标的定义，网页浏览、企业直播类业务在评价KQI体验指标时需要特别关注UDP类指标。RTP类指标包括平均速率、丢包率和抖动。其中平均速率是统计周期内收到的RTP净荷报文总比特数/统计时长，单位为kbps,详细指标见表8所示。表8RTP类平均速率指标RTP丢包率，是指RTP报文丢包数占总共发送RTP报文数的比例，单位为百分比，描述链路上的丢包情况。详细指标见表9所示。统计周期内，上行方向网络侧丢包总数/上行方统计周期内，上行方向用户侧丢包总数/(上行方向通过的总包数+上行方向用户统计周期内，下行方向网络侧丢包总数/(下行方向通过的总包数统计周期内，下行方向用户侧去包总数/下行方从HTTP首次GET请求发出，到收到服务器响应的统计周期内，SSL响应时延是用户倒发出ClientH侧收到其ServerHello的时间差。单位ms.统计周期内，ServerHello报文响应时延是网络倒发统计周期内，ClientHollo报文响应时延是用户侧发优良好差源宿固定用户固定用户固定用户54321653210图4呼叫接通率与MOS映射图得到呼叫接通率KQI值与MOS值的映射函数如公式(1):.2通话建立时间MOS映射于1s,被叫网关呼叫建立时间包括网关间建立连接的时间和被叫网关落地至用户终端的时间，固定网平均值应小于5s。即固定用户呼叫固定用户呼叫建立时间应在6s内。上述值作为及格分数，木标准设定典型值如表15:表15语音通话建立时间与MOS映射535463821根据表15典型值进行回归分析，可以得到映射关系如图5:图5呼叫建立时间与MOS映射图得到接通率KQI值与MOS值的映射函数如公式(2):.3语音质量MOSYD/T2006-2009定义了评估语音质量方法E模型(E-Wodel),E-Model模型考虑了传通话双方所处环境等因素而设计的一个方程式。E-Model方程式的特点是它能够将时延损伤、声码器特性、丢包和通话环境对语音质量的影响分割考虑，因此它同时也提供了一种可重复的对数据网络承载VoIP电话的质量评估方法。E-Model方程式为公式(3):Rfactor=0<(Ro-Ig-Ia-Ie-A)<100……(I₈——伴随语音信号传输的同时发生的所有损伤，主要由传输设备引起：I——语音信号的时延损伤，主要指声码器带来的损伤；A——主要考虑网络类型对通话者评价语音质量的影响。用E-Model方程计算得到名为R因子的评分，范围是0~100,得到R因子以后，可以将它关联为预测的WOS评分，方法如公式(4):MOS=1<1+(0.035=R)+(R=(R-60)=(100-R)*7.0e-6)<4.5依据上述方程，通过测量网络的基本参数可以间接取得预测的MOS评分，该分数的范围在1~4.5之ITU-TP.863POLQA是语音质量的另一种评估方法，针对语音中的参考信号和劣化信号，经过滤波、时间对齐、采样率估计、客观感知、评分得POLQA分值，最后映射到MOS-LQ0分值，参考信号成为语料，一般有8k/16k/48k三种采样速率。在窄带模式下，MOS-L00分值最大为4.5,在超宽带模式下，MOS-L00分值最大为4.75.依据YD/T2026-2009的要求，固定网的掉话率应小于万分之二。依据YD/T1071的规定和网络实际情况，固定终端至固定终端的长途IP电话业务的总掉话率应小于千分之五。上述值作为及格分数，本标准设定典型值如表16;054321根据表16典型值进行回归分析，可以得到映射如图6:图6掉话率与MOS映射图得到掉话率KQI值与MOS值的映射函数如公式(5):.5业务综合评分(6):网页浏览.1页面响应时间MOS值映射图7页面响应时间与MOS映射图页面响应时间的KQI值与MOS值的映射函数如公式(7):.2首屏显示时间MOS映射0分。首屏显示时间MOS映射关系图8所示。图8首屏显示时间与MOS映射图首屏显示时间的KQI值与MOS值的映射函数如公式(8):.3完全加载时间MS值映射完全加载时间MOS映射的关键参考点为：0.1s以内对应满分5分：10s对分0分。完全加载时间MOS映射关系如图9所示。图9完全加载时间与MOS映射图完全加载时间的KQI值与MOS值的映射函数如公式(9):.4业务综合评分语音文本消息语音文本消息的加载时延与MOS值映射关系如表17:854321加载时延的KQI值与MOS值的映射函数见公式(11):MOSm时庭-18.74*(exp37710KO时+0.09648)KQlm叶为语音文本工具启动的加载时延的KQI值，单位为s。.2操作响应时延MOS映射语音文本消息操作响应时延MOS值和操作响应时间的映射关系如表18:854321操作响应时延MOS值随着时延的增大而下降。映射关系如图11所示。操作响应时延的KQI值与MOS值的映射函数见公式(12):MOS作响空时道-4.293/(1+0.007035*exp⁴KO操作响临时)+0.925……(12)其中，KQI响应时为操作响应时延的KQI值，单位为s。.3消息接收时延MOS映射消息接收时延MOS随着时延的增大而下降。其中，消息接收时廷MOS映射的参数关键点为：63ms以内对应满分：120ms对应良好。映射关系如图12所示。操作响应时延的KQI值与MOS值的映射函数见公式(13):.1业务综合评分小文件传输.1传输请求响应时延MOS映射应最低分0分。传输请求响应时延MOS映射关系如图13所示。图13传输请求响应时延与MOS映射图传输请求响应时延的KQI值与MOS值的映射函数如公式(15):.2传输速率比MOS映射宽对应及格分3分：等于0%签约带宽对应最低分0分。传输速率比WOS映射关系如图1图14传输速率比与MOS映射图传输速率比的KQI值与MOS值的映射函数为公式(16):.3业务综合评分其中的a,b为对应指标的权重，权重越大，代表了对应指标对用户体.1操作响应时间MOS映射云桌面操作响应时间MOS值和操作响应时间的映射关系如表19:854321操作响应时间MOS随着时延的增大而下降。映射关系如图15所示。操作响应时间的KQI值与MOS值的映射函数见公式(18):MOS响出时间=4.293/(1+0.007035·exp374kO作时间)+0.9256……(18)KQI操市响应时间为云桌面业务操作响应时间的KQI值，单位为s。.2登录等待时间MOS映射云桌面登录等待时间MS值和登录等待时间的对应关系如表20:S54321图17卡顿时长占比与MOS映射图卡顿时长占比的KQI值与MOS值的映射关系如公式(20):.4业务综合评分.1观看质量MOS映射观看质量重点考虑卡顿因素对体验的影响，卡顿因素包括卡顿次数与卡顿时长。最低分0分。卡顿次数MOS映射关系如图18所示。卡顿次数为会议持续时间5min实际测试时间为其他时长，可按照实际测试时长将卡顿次数折算成5mip的卡顿次数。图18卡顿次数与MOS映射图65320.2交互时延MOS映射在视频会议业务中，将会议发言者到听众之间的语音及画面交互时延作为交互质分0分。交互时延与MOS映射关系如图20所示。图20交互时延与MOS映射图交互时延KQI与MOS值的映射关系如公式(27):.3业务综合评分占比以及交互时延三个指标的MOS来综合表示。单业务MOS计算方式见公式(28):企业直播在企业高清直播或者超高清直播业务中，画面延迟MOS映射的关键参考点为：小于等于0.1s对应满分5分：0.2s对应及格分3分：大于1.1s对应最低分0分。交互时延MOS映射关图21画面延迟与MOS映射图画面延迟KQI与MOS值的映射关系如公式(29):.2卡顿次数MOS映射卡顿次数MOS映射的关键参考点为：0次对应满分5分：2.5次卡顿次数MOS映射关系如图22所示。卡顿次数为观看时间5min内出现的卡顿次数，如实际测试时间为其他时长，可按照实际测试时长将卡顿次数折算成5分钟的卡顿次数图22卡顿次数与MOS映射图卡顿次数KQI值与MOS值的映射关系如公式(30):.3业务综合评分可用于反映企业直播业务的整体用户体验云化服务.1操作响应时间MOS映射云化服务业务包含云文档应用、浏览器/服务器模式(B/S)类应用和客户服务器模型(C/S)类应用。用户对于云文档的操作响应时间要求高于其他B/S类和C/S类应用。基于云文档应用操作的实时交互性较强，用户对操作响时间的期望值较高；基于除云文档外其他B/S类应用和C/S类应用用户对浏览器或应用程序的界面加载时延期望值类似于网页浏览的体验要求。.1.2云文档MOS分值和操作响应时间KQI的对应关系如表21:8543251 图23云文档类业务操作响应时间映射图操作响应时间的KOI值与MOS值的映射函数如公式(32):.1.3B/S类应用和C/S类应用MOS分值和操作响应时间KQI的对应关系如表22:S15244321映射函数曲线见图24.图24B/8类应用和C/S类应用操作响应时间映射图操作响应时间的KQI值与MOS值的映射函数如公式(33):.2业务综合评分单业务MOS值为各KOT的MOS值的加权值，0云设计和云渲染卡顿次数MOS映射的关键参考点为：卡顿次数为0次对应满分5分；2.5次对应及格分3分；25次对应最低分0分。卡顿次数MOS映射关系如图25所示。卡顿次数为观看时间5min内出现的卡顿次数，如实际测试时间为其他时长，可按照实际测试时长将卡顿次数折算成5min的卡顿次数。图25卡顿次数与MOS映射图观看卡顿次数的KQI值与MOS值的映射函数见公式(35):0.2卡顿时长占比MOS映射卡顿时长占比MOS映射的关键参考点为：卡顿时长占比为0%对应满分5分；1%对应最低分0分。卡顿时长占比MOS映射关系如图26所示。654B20图26卡顿时长占比与MOS映射图卡顿时长占比的KQI值与MOS值的映射关系如公式(36):其中，KQI时长占此为卡顿时长占比的KQI值。0.3交互质量MOS映射交互质量通过操作响应时间衡量，典型M0S分值和操作响应时间的对应关系如表23:854321KQI操作响应时间与MOS呈负指数下降趋势，MOS值随着时廷的增大而下降。映射关系如图27所示。操作响应时间的KQI值与MOS值的映射函数见公式(37):M0S交五4.293/(1+0007035·exp374-0作*应时间)+0.9256………37)0.4业务综合评分云油可用于反映云设计和云渲染业务的整体用户体验。6.3.3业务体验评价分级业务体验分级架构本文件根据小微企业办公场景下宽带业务对网络要求的高低，把小微企业办公场景下宽带网络业务进行分级，等级越高则表示小微企业网络支持的业务越丰富。确定分级后，依次运行等级内的单业务进行评测，最后对各业务体验感知进行综合评测，如图28所示。业务体验综合评测从以下四个层级---业务体验KQI指标从用户视角出发，对用户感知的指标进行分解和量化；----业务KQIMOS指标是对用户KQI指标进行主观评分，打分范围参考6.3.2.为0-5分；----单业务体验MOS值是对单个业务的感知进行综合评分；----小微企业业务综合体验是针对小微企业办公场景的宽带业务体验进行整体评分。1口 顾5相对加权值(10分)4997467463评测对应等级中的业务体验综合评分的方式如公式(39):高清直播以及云化服务4种业务，还包括L0等级中的固定电话语音、网页浏览、语音文本消息、小文件.3数据处理方法原始数据处理主要针对无效数据和失败数据进行识别。无效数据应被舍弃，失败---业务测试的关键指标错误，应判别为失效数据。如指标出现负值、或首屏显示时间出现0值等情况，都判别为无效测试----针对无效数据，应舍弃该无效数据，不纳入后续计算：针对失败数据，应标记为测入后续的失败率统计，在评分计算中也应该按照失败分(通常为0分)纳入计算。假设有k种(k≥1)不同业务，其中第i种业务(1≤i≤k)有m个，带宽要求为BW,则总带宽要求的理论模型如公式(40):为了保证各类业务的体验，各类业务总时延应满足表27,由于企业网络处于用户的末端接入侧，企业网络中产生网络时延主要是最终用户到企业网络PON口的时延。这部分时延的组成，主要分为用户设备与网关/路由器之间介质传输的时延和网关/路由器处理报文的时延。对于LAN口接入设备，由于是硬件介质，传输距离短，网关/路由器都能支持硬件转发，时延通常小于1ms,对用户的体验基本不感知。企业网络段时延的产生还是在于企业内部Wi-Fi连接以及网关/路由器设备处理Wi-Fi报文所产生时延。表27网络各段时延分段要求多业务并发是企业网络业务需求的核心典型特点，企业内的并发连接体现在多个维度，其指标为连接用户数和并发用户数。----连接用户数：可以接入的最大用户数。----并发用户数：同一时刻有业务的用户数。并发用户数越多，竞争冲突加剧，业务体验变差在小微企业场景，企业内部组网和云网架构、云服务侧应用关联整体更紧密。云网一体流进入上云通道：在业务进入上云通道后，提供企业网关因此云网一体需要提供架构性能力，支撑企业云网业务高质量融合发展，建议的能力指标如表28:表28云网一体性能指标要求企业内网要能够建立立体安全体系，承担企业多重角色、多重业务的安全责任。多员工、企业主、运营商、政府监管部门：多重业务包括公网Internet合规访问、内网业