面向家庭网络的宽带业务体验和网络性能数据采集技术要求

1面向家庭网络的宽带业务体验和网络性能数据采集技术要求本文件规定了面向家庭网络的宽带业务体验指标和网络性能指标相关数据的采集技术要求，包括软件接口要求、采集协议、数据格式、设备要求、采集周期要求和管理维护要求等本文件适用于宽带业务体验及网络性能采集设备的开发、生产和测试。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件。仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。YD/T2026-2009IP语音业务服务质量技术要求与评估方法YD/TXXXX-xxXX面向家庭网络的宽带业务体验和网络性能评价指标体系YD/TXXXX-XXXX面向家庭网络的宽带业务体验和网络性能指标测试方法IETFRFC4122通用唯一标识符(UUID)URN命名空间(AUniversallyUniqueIdentifier(UUID)URNNamespace)下列术语和定义适用于本文件。用户拨测数据管理平台与用户手机APP/用户智能终端/机顶盒等终端设备进行交互，完成宽带业务KQI体验数据和网络性能数据采集过程中相关数据的收集、存储、计算、展示等功能的软件平台。宽带业务8网络监测数据管理平台与家庭网关设备和业务体验KPI监测设备进行交互，完成业务体验KPI数据和网络性能数据采集过程中相关数据的收集、存储、计算、展示等功能，并与数据分析系统完成数据交互功能的软件平台数据分析系统与宽带业务&网络监测数据管理平台进行交互，获取业务体验KPI数据和网络性能数据，用于数据分析和处理的系统。下列缩略语适用于本文件。ACK:接受响应帧(Acknowledge)箱3业务体验KPI采集系统由接入网络内的0LT、宽带业务是网络监测数据管理平台和数据分析系统组成通过S接口采集业务体验KPI数据到宽带业务&网络监测数据管理平台，并通过N2接口将数据向数据分析系统进行上报网络性能数据采集系统由家庭网络设备、宽带业务，网络监测数据管理平台和数据分析系统组成，通过M接口以监测的方式采集网络性能部分数据，宽带业务&网络监测数据管理平台通过N2接口，以数据文件方式，向数据分析系统进行数据上报本文件规定A1接口、s接口和N2接口，N1接口由用户拨测数据管理平台归属者定义，不在本文件中规定，M接口由网络性能监测平台归属者定义，不在本文件中规定。5.2用户拔测系统用户拨测系统如图2所示，主要用于用户通过拨测方法获取家庭业务体验KQI和网络性能采集，业务包括网页浏览、上传/下载、互联网视频、IPTV、手机游戏、云游戏、在线教育/远程办公、云VR视频、云VR游戏；网络性能包括：带宽、时延、抖动、丢包率、浸游。A1A1接口5.2.2采集功能模型用户拨测系统的采集功能模型如图3所示，整个模型包括接口模块、业务体验采集模块、网络性能采集模块和基础信息采集模块。Wi-Fi信息图3用户拨测系统采集功能模型业务体验采集模块主要功能是终端从平台获取待测业务相关数据信息，完成业务KQI原始数据采集，对KQI数据和MOS值进行计算，并将所有数据上传至平台存储。平台完成所有用户数据综合处理，用户图7基于网络监测的网络性能数据采集系统6用户拨测系统技术要求用户拨测系统包含宽带业务体验KQI指标和网络性能指标的采集，对应于YD/TXXXX-XX《面向家庭网络的宽带业务体验和网络性能评价指标体系》中6.1节、6.3节以及7.2.2节，YD/TXXXX-XX《面向家庭网络的宽带业务体验和网络性能指标测试方法》中6.3节，以及7.2节中的用户拨测场景，其中语音业务由运营商或第三方测评机构使用专业测评工具完成，技术要求符合YD/T2026-2009中5.1节。6.2软件接口A1接口是终端设备与用户拨测数据管理平台之间的通信接口，该接口信息通过宽带互联网业务通道进行带内传输A1接口的主要功能包括以下两个方面：---信息上报：包括用户和网络基础信息、终端设备信息、业务采集信息、网络性能采集信息等。---信息查询：发送查询指令到管理平台，获取测试配置信息、业务处理结果信息等图8Al接口协设栈下面给出了接口发送的上报请求消息的格式示例：POST/[path]HTTP/1.1Accept:application/Content-Type:application/json;charsetHost:[管理平台host:port][上报请求参数]下面给出了平台发送的响应消息的示例7Content-Type:application/json;charset=(响应参数)消息定义为由一系列元素组成的JSON数组。消息承载在HTTP/1.1的消息体中。终端与平台方向的各消息主要用于测试配置信息查询、体验分析结果上报、体验分析结果查询、设备基本信息上报等功能。消息包含了多种方法，具体方法如表1所示：表1A1接口方法列表GetWebList/GetSpeedserverInfo/GetIPTVGetVideol.ist/GetVRVideoWebkesult/SpecdResult/IPTVBesulWobileGaneResult/CloudGameResulVideoResult/e-LearningANDfiemofficekesult/MRVideoResult/VRGane网络性能数据(时延/抖动/丢包)测试开始前，终端从平台获取部分业务测试配置，如测试网页名称和地址、测试视频的名称和地址、测速的服务器地址和名称等。由终端发起请求，平合向终端返回对应消息，详细参数见表2。对于手游、云游戏、在线教育、VR游戏由用户在本地选择并运行业务网页编号。从0开始平台汇总所有用户体验数据，定期计算出用户业务体验结果及排名。由终端发起请求，平台向终端返回对应消息，具体参数见表3。表30ueryMonthlyReport方法E-LeamingANDRenoteof终端完成各种单业务测试，将包括业务KQI体验指标的业务测试结果上报给平台，此消息由终端向平台发送，具体参数见表4。终端将单次测试多个业务的数据进行处理(如多个视频测试的结果),从而获得单次测试的KQI和M0S值。由终端向平台发送消息，上报平台，具体参数见表5。2:平均完全加载时间，3:平均M0S,4:最大M0S,2:平均M0S.3:平均下载速度.3:直播平均V05,4:直播最小W05,5:直播最大V0s,7:点播平均卡顿时长占比。8:点播平均V05,9:点播最小W05,1:平均操作响应时延。0:平均首次缓冲时间，1:平均卡顿次数，4:最小M0S,AvgE-LearningANDRero1:平均卡倾时长占比。1:平均卡顿时长占比，3:平均低清时长占比。5:最小M0s.0:平均黑边面积占比，4:平均N08,5:最小M0S,针对业务服务器地址，终端进行网络性能的监测，包括时延、抖动、丢包率。由终端向平台发送消息，上报平台，具体参数见表6。终端周期获取Wi-Fi重要信息数据，包括信号强度、协商速率、同频数量、邻频数量等，并将信息上报平台，具体参数见表76代表802.1lax,7代表802.1Wi-Fi漫游测试结束后，统计Wi-Fi漫游过程中信息，包括漫游切换时刻、丢包率以及切换时长，此消息由终端向平台发送，具体参数见表8。表8Wi-FiRoam方法上报参数表终端向平台上报家庭网络基本信息，包括运营商类型、签约下行速率、SSID、终端连接类型、位置等信息，具体参数见表9。表9CollectorInfo方法上签约下行速率(Mbps)终端获取终端设备基本软硬件信息，此消息由终端向平台发送，具体参数见表10。6.5设备要求6.5.1平台要求拨测平台服务器配置的选择应综合考虑业务使用量等因素，参考配置如下一运行内存：16G及以上：一数据盘200G及以上：一服务端应用应支持多节点部署，随着业务量增加实现应用扩容：一服务端应用满足安全访问要求，具备防病毒、拦截攻击等：一服务端应用具备主备机制，主服务器死机，备服务器提供服务，不影响业务使用：一服务端应提供数据的安全访问和存储功能。终端符合YD/TXX-XX《面向家庭网络的宽带业务体验和网络性能指标测试方法》中6.1.1节的要求。所有任务均通过终端请求、平台响应的方式完成。为保护用户的隐私及安全性，平台不会主动下发任何任务给终端。7业务体验KPI采集系统技术要求7.1软件接口业务体验KPI采集系统的软件接口包括S接口和N2接口。S接口为0LT业务监测点和宽带业务虚网络监测数据管理平台之间的通信接口，平台将传输模式、上报周期、指标等数据采集要求通过该接口订阅下发给OLT业务监测点，OLT业务监测点根据要求把业务数据流上报给宽带业务&网络监测数据管理平台进行处理N2接口为宽带业务麦网络监测数据管理平台和数据分析系统之间的接口，主要用于将宽带业务&网络监测数据管理平台采集和处理的数据上送到数据分析系统S接口采用Telemery协议实现，分为Telenetry网管侧和Telemetry设备侧。Telemetry网管侧实现订阅管理、数据采集功能，也即是宽带业务&网络监湖数据管理平台Telemetry设备侧实现数据监测和上报功能，也即是业务监测点：如图9所示。Telemetry网管侧(业务监测点图9基于Telemetry协议的采集流程说明对于订阅下发功能，Telemetry网管侧可选择静态订阅和动态订阅灵活方式，向Telenetry设备侧发起采集请求、订阅采集数据参数，包括编码格式、上送模式、采集周期等，如表11定义：这里静态订阅采用netconf协议实现，动态订阅采用gRPC会话方式实现。对于数据推动上报功能，考虑到数据量上报的性能和及时性，可选择使用gRPC方式或者UDP方式推送数据，并将数据上报给数据管理平台即性能超过阅值后，是否支持Telcretry事件上报(notification)对于数据上报的编码格式，有GPB、Json、XML.三种，为了各平台有更好的通用性和扩展性，这里建议选择GPB编码格式。GPB编码的格式说明如下a)GPB编码依赖于数据结构的信息。GPB使用的message数据结构由proto文件定义。proto文件中的message定义可以是从YANG文件转换而来，也可以是人工编写的。message数据结构定义中的每个字段都有一个唯一的编号。一且proto发布了，message数据结构中各字段的编号不应再更改b)GPB编码是通过一系列key-value来表示message数据结构中的各字段。其中key-value是每个mesage中每个字段编号(fieldindex)和字段的数据类型(wire_type)进行拼接得来的。key-value=(field_number《<3)|wire_type,也就是说key-value的最后三个位用来存储wire类型：其中，wire_type类型对应的值见表12。012string.bytes,cmbeddedressages.packedrepeate345c)GPB编码采用Base128Varints编码，也即是每个字节的低7bit用于存储数据，最高位的1bit表示是否有后续字节，如果为1,则表示后续的字节也是该数据的一部分，如果是0,则表示数据到这个字节就结束。d)由于key-value中wire_type占用了3bit,如果编号值比较大，就需要使用更多的字节来表示key-value。例如范围为1到15的字段只需要一个字节来进行GPB编码，包括字段号和字段的类型，范围16到2047之间的字段编号占用两个字节，更大的编号需要更多字节。GPB允许的编号范国是1`536870911(即29-1),其中19000~19999是GPB保留的编号不能使用。.基于gRPO传输协议推送数据Telemetry通过gRPC协议将经过编码格式封装的数据上报给采集器进行接收和存储，gRPC协议可以用于Telemetry静态订阅或动态订阅gRPC传输协议的编码封装格式如图10所示，在TCP报文上承载的还有TLS、HTTP2、gRPC等，在gRPC内部的消息结构中就是GPB编码的内容，包括定义的消息格式以及消息中封装的业务数据，业务数据格式见7.3节。TelemetryRowGPBrowbytescTelemetryRowGPBrowbytescTclemetryGPBTabledataTLS(可选)P图10中，各层含义如下：一TCP层：底层通信协议，基于TCP连接：一TLS层：该层是可选的，基于TLS1.2加密通道和双向证书认证等：一HTTP2层：gRPC承载在HTTP2协议上，利用HTTP2的双向流、流控、头部压缩、单连接上的多路复用请求等特性一gRPC层；远程过程调用，定义了远程过程调用的协议交互格式。.基于UDP传输协议推送数据UDP协议是一个简单的面向数据报的传输层协议，不为IP提供可靠性、流控或差错恢复功能，UDP适合可靠性要求低、传输经济的网络应用。如图11所示，Telemetry通过UDP协议将经过编码格式封装的数据上报给采集器进行接收和存储，UDP协议可以用于Telemetry静态订阅。在UDP报文内部有UPC消息头，在draft-ietf-netconf-udp-pub-channel-05有分片的情况下，只占用12bytes,不包括0ptions域。在UPC消息头外层的payload就是GPB编码的内容，包括定义的消息格式，以及消息中封装的业务数据，业务数据格式在7.3节定义。TelemetyGPBTabledataN2接口采用SFTP协议传输家庭网络性能数据文件。协议栈如图12所示。N2接口支持PUSH文件传输方式，即宽带业务&网络监测数据管理平台作为SFTP客户端，将业务体验KPI数据传送到数据分析系统指定的SFTP服务器上。图12N2接口使用的协议栈73数据格式0LT业务监测点针对每用户每业务的数据流进行采集、上报给宽带业务基网络监测数据管理平台，该平台对数据进行汇聚及有效处理后，通过N2接口上报到数据分析系统。N2接口上报的数据需要包含用户标识、业务类型标识、业务体验KPI数据这三类信息，格式如图13所示。图13业务体验KPI数据上报总体格式图13中，各字节含义如下：一用户标识：可通过用户逻辑位置信息(client-location)和用户物理nac信息(client-mac-address)组合或使用IETFRFC4122中规定的UUID来表征家庭网关，其中，用户逻辑位置信息可以是用户所在的接入设备标识+框/槽位/端口号/ID,用户物理MAC信息为用户进行业务请求及交互所使用的MAC.一业务类型标识：来区分不同的业务类型，可以通过应用主类application-main-type(比如视频类、游戏、在线会议类等)和应用子类application-sub-type(比如腾讯视频等)来区分。一业务体验KPI数据：具体要上报的数据内容，根据指标体系，上报的业务体验KPI的采集的指标有DNS,TCP、UDP、RTP、HTTP/HTTPS这几类，每类KPI指标采用统一的数据采集上报格式。7.3.2DNS类型上报数据格式DNS指标包括DNS请求成功率和DNS请求响应时延，上报格式需要记录DNS请求客户端IP、服务端IP等KPI指标，具体参数见表13。ONU格式为：v-ani.f.s.p.o.例如y-ani.,ETH端口格式为：ethernetCsmacd.f.s.请求次数一起计算DNS请求成功率(收到的请求数，无错误返回码(0)/DNS总请求数)7.3.3TCP类型上报数据格式TCPKPI指标主要包括RTT时延、RTT时延抖动、丢包率、速率、TCP建链成功率以及TCP建链时延。对于TCP类型业务体验KPI的采集，可以基于TCP连接的五元组(网络侧IP、用户侧IP、TCP协议类型、网络侧端口号、用户侧端口号)区分连接的类型，然后根据TCP面向连接的特点采集计算出各项的指标，并根据定义的采集周期上报，具体参数见表14。0NU格式为：v-ani.f.s.p.o。例如v-ani..ETH端口格式为：ethernetCsnacd.f.s.用户的MAC地址。格式为：HH:HH:HH:HHserver-IP/client-IP/protocol/serve//类型。例如钉钉办公，在一个UDP五元组内，还可server-IP/client-IP/protocol/server//udp/43最大值。单位：khos.单位：kbps.另外针对TCP的建链，指标包括TCP建链成功率、TCP网络侧建链时延和TCP用户侧建链时延，具体参表示0框8槽0端口的omul.ethernetCsmaod.0.1.2.表示0框1槽2端链成功次数/上行建链次数)返时间。单位：ns.7.3.4UDP类型上报数据格式基于UDP传输的业务，指标主要为平均这率。针对UDP类的业务体验KPI采集，首先要基于UDP连接的五元组(网络侧IP、用户侧IP、UDP协议类型、网络侧端口号、用户侧端口号)区分连接的类型，然后根据业务监测设备采集到的报文统计及时长，计算出相应的速率信息，具体参数见表16。0NU格式为v-ani.f.s.p.o,何如v-ani.,表示0框8槽0端口的omui.ETH端口格式为：ethernetCsmaed.f.s.用户MC标识用户的MAC地址。格式为：H;图；H;H:HH:HH。Y体现。server-IP/client-IP/protoool/server/类型。例如钉钉办公，在一个UDP五元组内。还可以区分出语音、视频类型。流描述的格式为：server-IP/client-IP/protocol/server单位：kbps.7.3.5RTP类型上报数据格式RTPKPI指标主要包括平均速率、丢包率和抖动，可应用于采用RTP协议承载的实时音视频等应用。基于RTP传输特点，可以采集统计到抖动类指标，具体参数见表17:v-ani.,表示0框8槽0端口的o数中体现。server-IP/client-IP/protocol/ser式为：server-IP/client-IP/protocol/serclient-port/service-//udp/4过的总包数一起用于计算周期内的上行用户侧丢包率-上行方向用户侧丢包总数/(上行方向通过的总包数+上行方向用户侧丢包总数)的总包数一起用于计算周期内的上行网络侧丢(下行方向通过的总包数+下行方向网络侧丢包总数)统计周期内，下行流量在用户侧的丢包总数。大值，单位：ms.7.3.6HTTP/HTTPS类型上报数据格式采用HTTP/HTTPS协议的业务，指标主要包括HTTP请求成功率、HTTP首次GET响应时延和HTTPS响应时延，主要适用于网页浏览这类应用。针对HTTP协议类型的，具体参数见表18。数=HTTPGET请求成功的次数HTTP发送G延HITP首次GET请求发出，到收到服务器表19HTTPS响应时延类KPI指标采ONU格式为：v-ani.f.s.p.ow-ani.,表示0框8槽0用户的MAC地址。格式为：单位is.单位rs.迁统计周期内，首个Application统计周期内。首个ApplicationData单位s.7.4周期要求系统上报周期支持可配置，建议最小周期为lmin。7.5设备要求由于监测模块在接入节点，因此接入节点需新增业务监测模块，且具备一定的数据处理能力，建议处理性能/吞吐量应不小于10Gbps。业务监测模块主要由CPU、内存、硬盘和以太网交换模块等组成，具备通用计算、存储以及联网功能，其中CPU主要完成一般计算功能，内存和硬盘完成存储和缓存，以太网交换模块用于板卡上应用程序之间以及和外部数据的转发和交换对于宽带业务最网络监测数据管理平台要求，由于需要实时处理大数据，建议能够具备大数据采集/处理系统的架构，具备Telemetry数据采集、大数据管理等能力，满足批量接入节点同时上报业务体验KPI数据的要求7.6管理维护平台应支持远程查询和配置业务监测点的信息，包括：a)..查询业务监测点的资源使用情况，包括当前的CPU和内存使用情况