面向小微企业办公场景的宽带业务体验和网络性能指标测试方法

1面向小微企业办公场景的宽带业务体验和网络性能指标测试方法本文件描述了面向小微企业办公场景的宽带业务体验和网络性能指标测试方法2规范性引用文件仅该日期对应的版本适用于本文件，不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。YD/T2026-2009IP语音业务服务质量技术要求与评估方法YD/T2400-2018宽带速率测试方法固定宽带接入YD/T2691-2014宽带速率测试方法用户上网体验YD/TxxXX-xxXX面向小微企业办公场景的宽带业务体验和网络性能评价指标体系IETFRFC1035域名-实现及标准(DomainImplementationandSpecification)IETFRFC2544网络互连设备的基准测试方法(BenchmarkingMethodologyforNetwork3术语和定义4缩略语下列缩略语适用于本文件。B/S:浏览器/服务器模式(Browser/Server)C/S:客户机/服务器模式(Client/Server)CDN:内容分发网络(ContentDeliveryNetwork)CP/SP:内容提供商/业务提供商(ContentProvider/ServiceProvider)DNS:域名系统(DomainNameSysten)HTTP:超文本传输协议(HyperTextTransforProtocol)ITU:国际电信联盟(InternationalTelecommunicationUnion)KPI:关键性能指标(KeyPerfornanceIndicator)KQI:关键质量指标(KeyQualityIndicator)MAC:媒质接入控制(MediaAccessControl)2MOS:平均意见值(MeanOOTT:基于开放互联网的服务(OverTheTop)QoE:客户感知体验(QualityofExperience)QoS:服务质量(QualityofService)RSSI:接收信号强度指示(ReceiveSignalStrengthIndicator)RTP:实时传输协议(Real-timeUDP:用户数据报协议(UserDatagURL:统一资源定位(UniformVLAN:虚拟局域网(VirtualLocalAreaNetVR:虚拟现实(VirtualWLAN:无线局城网(WirelessLocal5网络结构及基本测试方法本文件中的业务体验和网络性能层级如图1所示，网络结构分为终端拨测的网络结构、监测设备检测的网络结构以及网络性能专用工具测试的网络结构，分别如图2、图3、图4所示。:5.2.1业务体验KOI测试56.1.2其他要求测试时间段应至少涵盖小微企业一天内的忙时时段。如9:00~12:00。测试应在日常使用该业务最普遍的位置进行。6.1.3测试现场记录要求小微企业宽带用户感受到的业务体验跟终端、网络、服务器等端到端的网络和设备相关。其中，终端的个体差异性不在本文件关注范围内，应记录测试现场使用的终端作为业务体验问题判断的依据在用户每次发起业务请求时，应记录以下用户访问信息：—用户账号/MAC地址(在数据处理时需要做个人信息去敏处理);—用户接入网络方式(如Wi-Fi、网线等线缆接入):—Wi-Fi接入的协议模式(如802.1lac、802.1lax),频段(2.4GHz/5GHz),协商速率，接收信号功率值，干扰源数量，终端空间流个数，工作信道，干扰源的信号强度：—用户所属运营商：其他与具体业务相关的信息，可选包括以下内容：—用户终端类型：—用户终端型号：—用户终端操作系统及版本：—终端网卡驱动版本信息：传统PSTN网络语音业务测试应按照YD/T2026-2009的规定，通过专有工具对语音业务的KQI指标进行测量。本文件针对的是VoIP电话服务。预置条件预置条件如下：a)按照图5的要求搭建测试环境，测试工具模拟用户固定电话机，通过POTS接口连接到接入网b)需要在本地部署2台接入网关，部署一套测试工具。测试工具接入网关语音核心网测试工具接入网关图5电话业务服务质量评估环境测试方法.1呼叫接通率启动工具的自动呼叫功能，利用工具的自动统计功能得到接通率指标。每个号码每小时内发起的呼叫次数和收到呼叫次数都应不小于30次、不大于60次。.2通话建立时间启动工具的自动呼叫功能，利用工具的自动统计功能得到通话建立时间。通话建立时间应包括每次呼叫建立时间的算术平均值和呼叫建立时间的最大值。每个号码每小时内发起的呼叫次数和收到呼叫次数都应不小于30次、不大于60次。测试的主叫号码由测试人员随机抽取，利用仪表的自动语音质量评分功能得到评分结果。每个号码每小时内发起的呼叫次数和收到的呼叫次数都应不小于30次、不大于60次。每个呼叫得到的语音质量评分取算术平均值作为最终结果。测试可以采用E模型的MOS评分，也可以采用POLQA模型的评分。测试的主叫号码由测试人员随机抽取，利用仪表的自动统计功能得到掉话率指标。每个号码在正常呼叫建立情况下，保持20min以后拆除，未达到20min而由网络拆除的呼叫计为掉话。数据处理对于每个测试数据，记录如下内容：—呼叫成功次数yl:—用户拨完最后一位被叫号码时刻：t1:—网络内部原因中断的呼叫数：x2。各项指标计算方法如下：—呼叫接通率=yl/xl: —通话建立时间=t2-t1,计算多个测试样本算术平均值：—语音质量：MOS,计算多个测试样本算术平均值：—掉话率=x2/yl。测试工具记录第一个消息发送报文发送时刻为t1,记录对端返回的最后一个消息内容确认信息时刻为t2,消息接收时延=t2-t1。对于用户单个语音文本测试数据，各项指标计算方法如下：—加载时延=t2-t1:—操作响应时廷=t2-t1:—消息接收时延=t2-t1。用户单次测试的每个语音文本消息数据应包括：加载时延、操作响应时廷、消息接收时延的KQI值和MOS值，以及综合MOS值，记为一个样本。对于用户单次测试多个语音文本消息，测试样本数据进行合并，计算算术平均值。得到一个用户单次测试独立样本，包括平均加载时延、平均操作响应时延、平均消息接收时延的KQI值和MS值，以及综合MOS值最大值、最小值和平均值，用于反映用户测试时间段的语音文本消息体验。对于用户单次测试结果，终端至少要呈现平均加载时延、平均操作响应时延、平均消息接收时延的单业务单次测试MOS值按照YD/TXXXX-xXXX《面向小微企业办公场景的宽带业务体验和网络性能评价指标体系》中业务MOS的计算方法。6.2.4小文件传输在每次KQI指标测试启动前，被测用户应关闭可能产生背景流量的应用程序，如下载工具，各种OTT视频播放应用，利用各种即时通讯工具进行文件传输，以及操作系统和各种应用程序的更新及在线升级。对于小微企业宽带用户应同时避免环境中使用同一宽带接入服务的其他终端运行上述应用。.1传输请求响应时延该指标可通过以下两种测量方法之一获得：测试方法一：测试工具记录第一个DNS请求报文发送时刻为t1,记录文件服务器接收事件RenderStart完成的时刻为t2,传输请求响应时间=t2-t1。测试方法二：测试工具记录第一个DNS请求报文发送时刻为t1,记录服务器完成HTML文件头部解析的时刻为t2,传输请求响应时间=t2-t1.若测试工具等待超过超时时间(例如15s)后仍无法获取t2,则中断测量，记录传输请求响应时间为+∞。.2传输速率比用户终端设备发起下载请求后，与对端服务器建立N条(≥8)TCP连接，并在每一条TCP连接上通过HTTPGET协议发起下载请求进行一次测试过程。从收到第1个下载请求开始计时，客户端软件每隔1s统计已经传输的文件大小，并在客户端中实时计算每1s间隔内的实时数据传送速率。15s后对端服务器停止发送数据，计算第5s到第15s之间共计10s的平均速率作为传输速率比。_在型的品 图8业务体验KPI指标检测结构示意图这样从检测点位置来看，上行方向会区分为上行网络侧、上行用户侧的统计维度：下行方向也会有下行网络侧、下行用户侧的统计维度网络设备通过统计网络流量的数据，通过分析数据报文中携带的五元组(用户IP、用户端口号、网络侧IP、网络侧端口、TCP/UDP协议)来识别用户和报文类型网络设备检测网络流量，通过五元组区分出指定用户流，通过协议端口号识别出DNS报文，对指定的用户的业务流进行统计分析。测试方法检测点分析流量，识别出DNS报文，按照IETFRFC1035中的DNS报文结果，对字段进行分析。在统计周期内，统计DNS总请求数、无响应请求数、收到成功响应的请求数、收到错误响应的请求数及错误类型、以及成功响应平均时延，计算KPI值。TCP类指标包括RTT时延、RTT时延抖动、丢包率、平均速率、TCP建链成功率以及TCP建链时延。其中，TCP类应用报文的RTT时延指在统计周期内，从TCP帧发出。到收到对应的ACK帧回应的往返时间，单位为ms,含网络上的时延和终端、服务器处理时延。网络设备检测网络流量，通过五元组区分出指定用户的TCP类业务流，对指定的用户的业务流进行测试方法a)智能组网主设备与多个智能组网从设备(测试时建议从设备个数大于等于2)通过光纤、网线、或者无线方式组成小微企业网络；b)智能组网主设备与网络性能测试服务器互通；c)使用测试WLAN终端在不同小微企业组网无线接入点接入，或者在多个接入点并发接入；d)智能组网主设备和组网VLAN参数(模式、频宽、信道、认证加密方式等)保持一致：e)WLAN测试终端使用5G频段、默认频宽接入到智能组网主设备或者智能组网从设备：f)智能组网主设备与相邻智能组网从设备、从设备与相邻从设备间相互可探测到的信号强度约为测试步骤带宽测试的测试步骤如下：a)WLAN终端用户在智能组网主设备WLAN接口接入，接入距离1m;b)WLAN终端用户与网络性能测试服务器间建立10条TCP测试流，持续运行TCP下载业务60s;c)记录此场景下智能组网主设备的无线接入带宽指标：Throughput_Main;d)LAN终端用户在智能组网从设备TLAN接口接入，接入距离1m;e)LAN终端用户与网络性能测试服务器间建立10条TCP测试流，持续运行TCP下载业务60s;f)记录此场景下智能组网从设备的无线接入带宽指标：Throughput_Slave;g)多个WLAN终端分别在智能主设备和多个智能组网从设备WLAN接口接入，接入距离均为1m;h)每个WLAN终端均与网络性能测试服务器间建立10条TCP测试流，持续运行TCP并行下载业务)记录此场景下智能组网整网无线接入带宽指标：Throughput_Concurrency;0若测试对象存在组网，则需要记录主从设备间的组网介质类型网线、光纤、PLC或者无线Mesh预期结果基于步骤c)、f)、i)的测试结果，小微企业组网主设备(Throughput_Main)、小微企业组网从设备(Throushput_Slave)以及小微企业组网设备并发(Throughput_Concurreney)按照YD/TXXXX-xXXX《面向小微企业办公场景的宽带业务体验和网络性能评价指标体系》规定的对小微企业网络带宽指标进时延指标是指数据从网络(或链路)的一端到另一端所需要的时间，主要包括发送时延、传播时延、排队时延和处理时延。小微企业网络中产生网络时廷主要是最终用户到小微企业网络PON口的时延。这部分时延的组成，主要分为用户设备与网关/路由器之间介质传输的时延和网关/路由器处理报文的排队时延和处理时延。对于LAN口接入设备，由于是硬件介质，传输距离短，网关/路由器都能支持硬件转发，时延通常小于1ms,对用户的体验基本不感知。小微企业网络段时延来源主要为小微企业7LAN连接以及网关/路由器设备处理WLAN报文所产生时延。时延指标与网络带宽的利用率相关，当数据量远低于网络带宽时，时延指标非常小，依据RFC2544标准，在测量系统转发时延时，使用90%的吞吐量的数据流量，但WLAN接入时的业务时延不仅仅与数据包流量有关系，还与WLAN空口质量、干扰、并发用户数有直接的关系此处定义两种时延指标，一种指标是类似有线以太网性能测试时基于网络流量负载条件的极限时延另外一种指标是基于接入用户数和空口质量定义的业务时延。间模拟双向的时延，L0业务流量模型下网损模拟双向时延为65ms,L1业务流量模型下的网损模拟双向时延为30ns,L2业务流量模型下的网损模拟双向时延为10ms;c)使用测试终端在不同无线接入点接入，或者在多个接入点并发接入；d)智能组网主设备和组网WLAN参数(模式、频宽、信道、认证加密方式等)保持一致：e)WLAN测试终端使用50频段、默认频宽接入到智能组网主设备或者智能组网从设备：f)智能组网主设备与相邻智能组网从设备，从设备与相邻从设备间相互可探测到的信号强度约为.4测试步骤单用户时延测试的测试步骤如下：a)无线终端用户在智能组网主设备WLAN接口接入，接入距离1m;b)无线终端用户与网络性能测试服务器间建立TCP控制连接，用于控制测试、传递配置信息和计算时延测试结果：c)网络性能测试服务器与无线终端问构造上下行的UDP测试流，UDP流流量大小为90Mbps,持续测试60s,数据流以太帧长为1500Byte;d)记录此场景下智能组网主设备的无线接入时延Latency_main_up/Latency_main_down;e)无线终端用户在智能组网从设备WLAN接口接入，接入距离1m;f)无线终端用户与网络性能测试服务器间建立TCP连接，用于控制测试、传递配置信息和计算时延测试结果；g)网络性能测试服务器与无线终端间构造上下行的UDP测试流，UDP流流量大小为90Nbps中定义的LO等级的带宽定义),持续测试60s,数据流以太帧长为1500Byte;h)记录此场景下智能组网从设备的无线接入时延Latency_slave_up/Latency_slave_down;i)多个无线终端分别在智能主设备和多个智能组网从设备WLAN接口接入，接入距离均为1m;)无线终端用户与网络性能测试服务器间建立TCP连接，用于控制测试、传递配置信息和计算时延测试结果；k)网络性能测试服务器与无线终端间构造上下行的UDP测试流，UDP流流量大小为90Mbps/N+1,持续测试60s,数据流以太帧长为1500Byte;m)依据YD/TxXXX-xXXX《面向小微企业办公场景的宽带业务体验和网络性能评价指标体系》中定义的L1等级和L2的带宽定义，L1等级设置测试UDP流的大小为900Mbps,L2等级设置测试UDP流的大小为1800Mbps:基于步骤d)、h)、1)、n)的测试结果，依据小微企业组网主设备、小微企业组网从设备以及小微企业组网设备并发的上下行时延之和，按照YD/TXXXX-xxXX《面向小微企业办公场景的宽带业务体验和网络性能评价指标体系》的规定对小微企业网络时延指标进行分级。多用户并发时延测试多个LAN终端用户通过WLAN接入到小微企业智能组网主设备或者小微企业组网子设备时，在一定干扰场景下承载普通业务以及时延敏感型业务时的平均时延和分布情况。平速率(Mbps)级数1.4测试步骤多用户并发时延测试分别测试LO、L1以及L2三个等级的情况，具体的测试步骤如下：a)无线终端用户在智能组网主设备WLAN接口接入，接入距离1m:b)使用干扰仿真器构造干扰模型A的干扰：c)4个无线终端用户与网络性能测试服务器间建立TCP控制连接，用于控制测试、传递配置信息和计算时延测试结果：d)网络性能测试服务器与4个无线终端间构造下行的TCP测试流，LO等级每条TCP流的流量大小为5Mbps,L1等级每条TCP流的流量大小为70Mbps,L2等级每条TCP流的流量大小为e)在网络性能测试服务器上分析TCPRIT时延及时延占比情况，记录此场景下智能组网主设备的f)4个无线终端用户在智能组网从设备TLAN接口接入，接入距离In:g)4个无线终端用户与网络性能测试服务器间建立TCP连接，用于控制测试、传递配置信息和计算时延测试结果：h)网络性能测试服务器与4个无线终端间构造下行的TCP测试流，LO等级每条TCP流的流量大i)在网络性能测试服务器上分析TCPRIT时延及时廷占比情况，记录此场景下智能组网从设备的j)4个无线终端分别在多个智能组网主从设备(1+3)LAN接口接入，接入距离均为1m;k)4个无线终端用户与网络性能测试服务器间建立TCP连接，用于控制测试、传递配置信息和计算时延测试结果：1)网络性能测试服务器与4个无线终端间构造下行的TCP测试流，L0等级每条TCP流的流量大小为5Mbps,L1等级每条TCP流的流量大小为70Mbps,L2等级每条TCP流的流量大小为m)在网络性能测试服务器上分析TCPRTT时延及时延占比情况，记录此场景下智能组网主设备和从设备时并发的无线接入TP99时延。各测试指标应符合表2的具体要求：(4用户)(4用户)(4用户)(主从设备各挂一频会议要求)时延要求).1测试目的智能组网主设备与N(建议为3)个智能组网从设备通过光纤、网线、或者无线方式组成小微企业小微企业组网智能组网从设备1智能组网主设备智能组网从设备2智能组网主设备智能组网从设备n图12接入用户数测试组网图接入用户数测试的测试步骤如下：a)按测试配置图12进行连接：b)使用WLAN协议分析仪模拟32个用户与主设备及N个从设备的2.4GSSID和5GSSID关联，观察是否关联成功：c)使用WLAN协议分析仪的有线接口给每个WLAN用户发送UDP流量，速率均为IMbps,测试的包长序列为1518Byte,持续打流30s,观察是否丢包率不高于0.1%:d)如无丢包，按照主设备到从设备1、从设备2,一直到从设备N的顺序，增加关联1个2.4G用户和1个5G用户，观察是否关联成功：e)使用WLAN协议分析仪的有线接口给每个WLAN用户发送UDP流量，速率均为1Mbps,测试的包长序列为1518Byte,持续打流30s,观察是否丢包率不高于0.1%;f)重复步骤d)和步骤e),直至无法关联成功或者关联成功但丢包率高于0.1%,记录此时的接入用户数。.5预期结果步骤1)中，对实测的接入用户数按YD/TXxXX-xXXX《面向小微企业办公场景的宽带业务体验和网络性能评价指标体系》的规定进行分级。并发用户数.1测试目的测试小微企业网络能稳定承载一定业务的最大并发用户数。WLAN网络在多用户接入时，由于空口竞争的影响导致整网性能随着用户数的增加而劣化，可通过设置一定的SLA要求，如要求每个用户有10Mbps的吞吐，或者丢包率不高于0.1%等方法测试出LAN系统的实际并发用户数。.3测试配置并发用户数测试的测试配置要求如下：a)测试组网图如图13所示：b)智能组网主设备与多个智能组网从设备通过光纤、网线、或者无线方式组成小微企业网络。由于主要评估WLAN系统的接入用户数能力，此次视主从设备均为WLAN接入局端设备，不做区分c)智能组网主设备与网络性能测试服务器互联：d)WLAN终端使用5G频段、默认频宽接入到小微企业网络，默认使用WPA2/AES加密认证方式：e)陪测的WAN终端设备均为真实的WAN终端，要求WLAN终端间PHY+HMAC独立分离。a)待测试的智能组网主设备和子设备均恢复出厂配置，管理平台正常下发上网、VoIP等关键业务；b)网关开放Shell访问权限：c)具备端口扫描、漏洞扫描、固件解包工具和固件二进制程序分析工具：d)具备软件升级包V2版本。.5测试步骤硬件及系统安全能力测试的测试步骤如下：输入下载的签名文件和V1的软件版本(当前版本为V1),验证签名文件；b)将网关升级到版本V2,下载安全启动过程的数字签名文件，使用签名校验工具或签名验证网站，输入下载的签名文件和V2的软件版本，验证签名文件；c)使用签名校验工具或签名验证网站，输入步骤b)下载的签名文件和V1的软件版本，验证签名文件；d)使用固件分析工具对加密的软件版本V2进行分析，并尝试提取二进制程序，查看是否能提取f)通过测试工具(Nessus或OpenVas或RSAS等)对网关进行系统扫描，检测是否存在高危漏洞；g)若网关使用了开源软件包，在官网上下载对应的开源源码包，使用SecMissile对开源软源码进行扫描，检查扫描报告已知漏洞，检查中高风险漏洞是否都在产品提供的已修复漏洞列h)登录小微企业网关，进入LinuxShell,查看智能网关监听的端口，执行命令：netstat-nap,记录所有与外部有网络通信的进程号(PID),与外部有通信的进程的监听地址或建立连接的地址为非回环地址(),执行命令行：ps,查询与外部用网络通信的进程号对应的系统用户名，执行命令行cat/etc/passwd,查询与外部用网络通信的进程号对应的系统用户名的用户ID(uid)和组ID(gi)执行命令cat/proc/xxx/status/查询获取对外通信进程的CapEff配置值，使用capsh将CapEff值转换为Capability描述，检测系统对外提供服务的进程是否为使用非root用户运.6预期结果步骤a)～步骤c)中，网关应支持安全启动，签名文件可下载，并验证是否符合ITU-TX.509,步骤d)中，固件分析工具无法分析出有效的版本文件信息，无法从软件版本文件中提取二进制程步骤e)中，参考端口开放要求表，未开放除业务明确规定的端口之外的端口；步骤g)中，中高风险漏洞都在产品提供的已修复漏洞列表；步骤i)中，与外部通信的进程用户为非root(uid、gid非0)用户，且对外进程没有CAP_SYS_MODULE等高危特权。防网络攻击能力.1测试目的测试小微企业网络组网主设备和从设备针对网络攻击时的防护能力。.2测试方法通过使用网络协议分析仪构造常见DoS/DDoS攻击报文(例如Syneflood、Udpflood、Teardrop,Land攻击等攻击报文),从小微企业组网设备的WAN进行攻击，检测小微企业组网设备正常业务不受影响时攻击流量，在正常业务不受影响的情况下，攻击流量越大，说明智能组网设备的防护能力越高。上网客户端图15防网络攻击能力测试组网图防网络攻击能力的测试配置要求如下：a)测试组网如图15所示：b)小微企业组网设备上电启动正常，采用路由模式：c)小微企业组网设备预置管理WAN口和上网WAN口，能被网络测服务器管理，同时用户测终端能d)数据网络分析仪能模拟Syneflood、Udpflood、Teardrop、Land攻击等攻击报文。.4测试步骤防网络攻击能力测试的测试步骤要求如下：a)被测小微企业智能组网设备的防止DoS攻击功能启用，配置正常业务流量；b)通过DoS攻击软件或数据网络分析仪，对小微企业智能组网设备的WAN口IP发送源IP,源端口，目的端口持续变化的UDP报文：每个源IP作为1个攻击源，模拟100个DDoS攻击源，每个攻击源发送流量100PPS,包长为68Byte,持续攻击5min;c)逐渐增加攻击源的数量，记录上网业务不受影响的前提下最大攻击源数量d)通过DoS攻击软件或数据网络分析仪，对小微企业智能组网设备的WAN口TP发送源IP,源端口，目的端口持续变化的UDP报文；每个源IP作为1个攻击源，模拟1000个DDoS攻击源，每个攻击源发送流量100PPS,每个攻击源发送包长为68Byte的UDP报文，持续攻击5min;e)逐渐增加每个攻击源的流量，记录上网业务不受影响的前提下攻击最大攻击流量。步骤b)