YDT 4306.5-2023移动互联网客户体验管理技术要求 第5部分：网络数据采集

ICS33.040

CCSM21

YD

中华人民共和国通信行业标准

YD/TXXXX.5—XXXX

移动互联网客户体验管理

技术要求

第5部分：网络数据采集

TechnicalrequirementsforcustomerexperiencemanagementofmobileInternet—

Part5：Networkdatacollection

（报批稿）

XXXX-XX-XX发布XXXX-XX-XX实施

中华人民共和国工业和信息化部发布

XX/TXXXX.5—XXXX

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

本文件是YD/TXXXX《移动互联网客户体验管理技术要求》的第5部分。YD/TXXXX已经发布

了以下部分：

——第1部分：基本原则；

——第2部分：系统功能；

——第3部分：数据模型；

——第4部分：终端数据采集；

——第5部分：网络数据采集；

——第6部分：管理数据采集。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由中国通信标准化协会提出并归口。

本文件起草单位：中国电信集团有限公司、亿阳信通股份有限公司、华为技术有限公司、武汉绿色

网络信息服务有限责任公司。

本文件主要起草人：刘霖筠、姜松、王晴、张珂、刘丽、叶玉剑、李文云。

II

XX/TXXXX.5—XXXX

引言

为了不断为广大客户提供新的、高质量的业务，增强竞争能力，使网络和业务产生巨大的经济效

益，各大电信运营商一方面在不断扩大其网络规模，另一方面需要改进客户体验，推广和管理新的增

值业务。这就要求电信业务运营商不仅需要具备有效的管理网络设备和资源，更要关注用户端到端体

验评价，具备对移动互联网用户实际体验的采集、分析能力。本标准旨在从用户业务体验角度出发，

对4G用户使用移动互联网的端到端感知质量数据采集、分析进行规范，为业务感知评价及优化、精细

化运营等提供支持，对于实现移动互联网全业务端到端管理，提高面向客户的维护效率，提升客户服

务水平，降低移动用户感知分析系统与其他系统的接口开发成本，缩短开发周期，转变维护模式都将

具有重要的意义。《移动互联网客户体验管理技术要求》拟由六个部分构成。

——第1部分：基本原则。主要内容包括：移动互联网客户体验管理应用场景；移动互联网客户体

验评价方法；移动互联网客户体验管理功能结构；移动互联网客户体验管理物理结构。

——第2部分：系统功能。规定移动互联网客户体验管理数据预处理、分析呈现以及系统管理的各

项功能需求。

——第3部分：数据模型。规定基础数据的信息模型。

——第4部分：终端数据采集。规定从终端侧采集、存储移动互联网客户体验数据的功能需求。

——第5部分：网络数据采集。规定从网络侧采集、存储移动互联网客户体验数据的功能需求。

——第6部分：管理数据采集。规定移动互联网客户体验管理系统与专业网管、CRM系统、工单系

统、客服系统的接口功能需求。

III

XX/TXXXX.5—XXXX

移动互联网客户体验管理技术要求

第5部分：网络数据采集

1范围

本文件规定了移动互联网客户体验管理系统网络数据采集子系统相关功能要求，包括网络数据采

集子系统功能要求、网络数据采集子系统服务接口及网络数据采集子系统性能要求。

本文件适用于移动互联网客户体验管理系统的设计、开发与建设。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

YD/TXXXX.3-XXXX移动互联客户体验管理技术第3部分：数据模型

3术语和定义

本文件没有需要界定的术语和定义。

4缩略语

下列缩略语适用于本文件。

APN接入点名称AccessPointName

DNS域名解析服务DomainNameService

DPI深度报文检测DeepPacketInspection

DW数据仓库DataWarehouse

ECGI演进的通用移动通信系统地EvolvedUniversalMobile

面广播无线接入网络小区全TelecommunicationsSystemTerrestrial

局标识符RadioAccessNetworkCellGlobal

Identifier

FTP文件传输协议FileTransferProtocol

GTP通用无线分组业务隧道协议Generalpacketradio

serviceTunnelingProtocol

HSGW高速率分组数据服务网关HighRatePacketDataServingGateway

HSS高速交换机HighSpeedSwitching

IMEI国际移动设备识别码InternationalMobileEquipmentIdentity

IMSI国际移动用户识别码InternationalMobileSubscriberIdentity

IP互联网协议InternetProtocol

KPI关键性能指标KeyPerformanceIndicator

MME移动管理实体MobilityManagementEntity

1

XX/TXXXX.5—XXXX

MSISDN手机综合业务数字网号码MobileSubscriberIntegratedService

DigitalNetworknumber

MTBF平均无故障工作时间MeanTimeBetweenFailure

MTTR平均修复时间Meantimetorepair

ODS操作型数据库OperationalDataStore

OSI开放式系统互联OpenSystemInterconnection

PGW分组数据网网关PDNGateway

PMIPv6移动互联网协议第6版的代ProxyMobileIPv6

理协议

QoS服务质量QualityofService

SFTP安全文件传送协议SecretFileTransferProtocol

SGW服务网关ServingGateway

SQL结构化查询语言StructuredQueryLanguage

TAI跟踪区域身份TrackingAreaIdentity

TCP传输控制协议TransmissionControlProtocol

URL统一资源定位系统UniformResourceLocator

5网络数据采集范围

移动互联网客户体验管理系统的网络数据可通过数据接口、FTP等方式从DPI数据采集系统获取，

经汇聚整理、关联分析、统计计算后存储入库，最后为应用功能层提供数据服务。网络数据应包括信令

数据和业务数据。

a)信令数据（详细字段描述见YD/TXXXX.3-XXXX的6.4.2）

信令数据为移动互联网业务主要接口的信令信息，例如在4G核心网内，信令采集接口主要包括：

S6a、S1-MME、S10/S11、Sta、S5/S8、Gx、Gy接口等。同时应满足能够采集单个用户级别的相关数据

的能力。

信令数据还应包括从SGW、PGW、MME、HSS、HSGW等网元的相关接口的信令消息中获取的用

户信息，如：IMSI、MSISDN、IMEI等，也可以获取用户的位置和网络信息，如APN、用户IP、MME

IP、SGWIP、TAI等，以单接口流程为单位，生成的信令流程记录。信令流程记录包括公有信息和单接

口特有信息。公有信息是指各接口通用信息，如用户IMSI，MSISDN，IMEI等；单接口特有信息是指各

接口特殊信令流程必须记录的字段信息。公有信息和单接口特有信息两者共同组成一条完整的信令流

程记录。

b)业务数据（详细字段描述见YD/TXXXX.3-XXXX的6.4.3）

客户体验业务数据通过对业务访问记录解析获取。业务访问记录解析是指对用户上网过程中发生

的各类业务数据流的解析，提取并记录各业务的关键字段。业务访问记录包括公有信息和应用层信息。

公有信息是指用户访问任何互联业务都必须记录的字段信息；应用层信息是指用户使用某种特定协议

的业务必须记录的字段信息。例如在4G核心网内，客户业务体验数据采集接口主要包括S1-U、S5/S8、

S2a等接口。

应具备对网页浏览、视频业务、即时通信等业务关键指标的采集能力，包括DNS延时、DNS成功率、

TCP延时、网页首包延时、网页打开延时、网页首屏时延、网页下载速率、页面打开成功率、视频下载

速率、视频播放延时、视频卡顿次数、视频播放时长、即时通信消息发送/接收成功率、即时消息发送延

时、即时消息图片视频发送/接收速率、游戏交互时延等。

2

XX/TXXXX.5—XXXX

6网络数据采集子系统功能结构

客户体验管理系统的网络数据采集子系统主要包括数据采集和数据预处理两个主要模块，以及向

应用功能层提供服务的服务接口。具体功能结构如图1所示。

图1网络数据采集子系统功能结构图

7网络数据采集子系统功能要求

7.1数据采集

7.1.1数据采集流程

网络数据采集子系统从DPI数据采集系统采集核心网的客户体验网络数据，包括信令数据和业务数

据。通过前置文件服务器将DPI网络数据采集到网络数据采集子系统中，客户体验网络数据的采集可通

过数据接口、FTP等方式，然后存储在分布式文件系统的采集库中。采集流程如图2所示。

3

XX/TXXXX.5—XXXX

图2数据采集流程图

7.1.2数据获取

设置前置文件服务器，通过前置文件服务器将DPI数据采集系统中的信令数据和业务数据话单采集

到子系统内，采集方式可以是FTP、SFTP等。同时应满足以下要求：

a)提供采集频率的设置功能，可以根据数据源的更新频率而调整采集频率；

b)支持数据源的可配置，当数据源发生变更时，可根据数据源的变更做相应配置；

c)采集数据的时间戳可自动生成，并支持网络时间同步；

d)提供数据源有效性的监控功能，在数据源失效时能自动提供反馈信息。

7.1.3数据解析

移动互联网客户体验管理系统应支持按照不同协议、不同应用进行数据的解析，解析后的数据包括

用户信令流程记录、业务访问记录等，其中业务访问记录需要包含用户的MSISDN、IMSI、IP地址等相

关关联字段。同时应支持存储用户信令原始码流。

在数据解析的基础上基于信令及业务特征构建特征库。客户体验管理系统应可以基于特征库对报

文进行OSI七层模型中的第三到第七层的解析和识别，并支持协议栈、特征库的在线添加和修改，以提

供后续进一步的协议识别，协议栈、特征库的在线实时添加不能影响系统的正常运行，也不能引起版本

的升级。

系统在数据解析过程中如果无法找到业务访问记录和用户号码之间的关联关系，应生成缺少

MSISDN，IMSI，TAI等信息的异常记录。

当用户的GTP-C或PMIPv6用户承载释放消息丢失或者没有获取到时，将出现该用户的记录一直存

在的可能，导致该用户和某一IP地址的关联关系无法释放的问题，此时应在后续的GTP-C或PMIPv6消息

中如果获取到该IP地址与新的用户的关联关系或者该用户与新的IP地址的关联关系，则释放该用户与旧

IP地址的关联关系，关闭该用户的旧有的所有记录。

7.1.4数据存储

4

XX/TXXXX.5—XXXX

移动互联网客户体验管理技术是基于海量数据的大数据工程，需要对数量在百亿条甚至千亿条以

上的数据集进行汇总计算。所以，应采用分布式存储的方式，即把数据存放到多台服务器上，每台服务

器存储一部分数据。同时，考虑到分布式数据库存在着单点故障恢复和可管理性等问题，系统应采取一

个多副本存储的分布式数据库方式。该方式可在非人工干预下完成自动化副本复制和数据版本校验的

工作。同时应满足以下要求：

a)采用分布式存储，并提供副本备份，副本数量宜大于2；

b)具备高可扩展性，适当时，支持在线不停机扩展；

c)具备高可靠性和容错性，可提供数据自动复制、自我修复功能。

7.2数据预处理

7.2.1数据预处理流程

数据采集模块定时将数据采集至分布式采集库，即按照一定的时间粒度，如分钟或小时，建立目录

并上传到分布式文件系统中，以支持系统的实时或非实时采集场景的需求。汇聚整合模块读取维度表

（小区资源表、QoS保障表等）、信令数据及业务数据，关联汇总计算，宜按照采集时的时间粒度汇总

计算，生成的数据加载到Cache层。Cache层经过更高一层的时间粒度的汇总，如24小时，汇总生成完毕

后，触发ODS层数据汇总，生成天（可根据实际需求调整生成数据的时间粒度）数据到ODS。ODS层汇

总的数据实时加载进数据库，在数据库中进行业务维度和其他时间维度的汇总。汇总结果输出到DW层，

供应用功能层使用。网络数据预处理模块功能如图3所示。

图3网络数据预处理模块功能图

7.2.2关联处理

将通过前置文件服务器采集到的信令数据和业务数据加载到分布式数据库中，然后与数据维度表

（小区资源表、QoS保障表等）做关联，进而汇总计算出以一定时间（如小时）粒度的客户体验数据，

此数据存储至Cache层。

7.2.3汇总处理

在统计计算模块中，分别按照不同的时间粒度在三个层级中进行数据的汇总统计计算，本文件以小

时-天（可根据实际需求调整）为例，如在Cache层中，每24小时为一个节点，以小时为粒度的数据汇

5

XX/TXXXX.5—XXXX

总完毕后，触发ODS层数据汇总，生成以天为粒度的数据到ODS层。ODS层按天汇总的数据实时加

载到关系型数据库中，在数据库中进行业务维度和其他时间维度的汇总。汇总结果输出到DW层，供

应用功能层使用。

8网络数据采集子系统服务接口

网络数据采集服务接口是由DW层向应用功能层提供的数据库服务接口，用于上层应用功能查询

数据，获取相关指标数据。查询数据库的SQL宜保存在服务端，应用功能层根据每个SQL对应的key

值调用相关服务，保证了安全性，避免了SQL的注入。对于每一组指标，定义一个SQL，每个SQL有

对应的key值，应用功能层输入key值及参数，获取指标详情。

9网络数据采集子系统性能要求

9.1采集和解析性能指标

采集和解析性能要求如下：

a)前置文件服务器单端口处理性能应能保持流量线速处理，对于所有端口在满配时（包长64字

节）的输入数据都能够无丢失地处理，不对数据进行采样处理。

b)系统对数据解析的准确率不低于99.99%。

c)对本文件所列的业务数据识别准确率应达到85%以上。

d)用户号码、IMSI、IP地址、ECGI等关联准确率在99.99%以上。

e)应用解析率要求：URL类解析率在90%以上，非URL类解析率在80%以上。

f)与计费话单流量匹配率要求：综合匹配率在85%以上，大流量匹配率在95%以上。

g)根据采集设备采集字段计算出的关键KPI指标误差小于10%。

h)时间戳、ECGI、IMSI以及关键KPI设计的采集字段的准确率在95%以上。

9.2可靠性要求

网络数据采集子系统具体可靠性要求如下：

a)采集子系统应保证7×24小时不间断运行，采集子系统硬件构成应具有对原链路保护等安全措

施。

b)采集子系统的可靠度不低于99.99%，要求数据采集子系统的宕机不会影响原业务的运行。

c)采集子系统的硬件与软件相互配合，提供对系统故障的管理能力。

d)设备的MTBF≥2万小时以上，MTTR≤0.5小时。

e)硬件设备应有较高的可靠性和容错能力。

f)设备的可用性指标应为99.99%，支持双电源冗余。

g)设备应具有可靠、多种冗余、备份以及集群处理机制，关键部件、数据库应采用双备份，具有

冗余性和负载分担机制。当采集设备出现故障时，应能在尽可能短的时间内得以维护而恢复

功能，并且主备用部分进行倒换时，不影响对数据流的解析和记录生成。主备用进行倒换所

需的时间应小于10秒。

_________________________________

6

XX/TXXXX.5—XXXX

参考文献

[1]SJ/T11615.1网络数据采集分析软件规范第1部分：框架

7

XX/TXXXX.5—XXXX

目次

前言................................................................................II

引言...............................................................................III

1范围...............................................................................1

2规范性引用文件.....................................................................1

3术语和定义.........................................................................1

4缩略语.............................................................................1

5网络数据采集范围...................................................................2

6网络数据采集子系统功能结构.........................................................3

7网络数据采集子系统功能要求.........................................................3

7.1数据采集.......................................................................3

7.2数据预处理.....................................................................5

8网络数据采集子系统服务接口.........................................................6

9网络数据采集子系统性能要求.........................................................6

9.1采集和解析性能指标.............................................................6

9.2可靠性要求.....................................................................6

参考文献.............................................................................7

I

XX/TXXXX.5—XXXX

移动互联网客户体验管理技术要求

第5部分：网络数据采集

1范围

本文件规定了移动互联网客户体验管理系统网络数据采集子系统相关功能要求，包括网络数据采

集子系统功能要求、网络数据采集子系统服务接口及网络数据采集子系统性能要求。

本文件适用于移动互联网客户体验管理系统的设计、开发与建设。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

YD/TXXXX.3-XXXX移动互联客户体验管理技术第3部分：数据模型

3术语和定义

本文件没有需要界定的术语和定义。

4缩略语

下列缩略语适用于本文件。

APN接入点名称AccessPointName

DNS域名解析服务DomainNameService

DPI深度报文检测DeepPacketInspection

DW数据仓库DataWarehouse

ECGI演进的通用移动通信系统地EvolvedUniversalMobile

面广播无线接入网络小区全TelecommunicationsSystemTerrestrial

局标识符RadioAccessNetworkCellGlobal

Identifier

FTP文件传输协议FileTransferProtocol

GTP通用无线分组业务隧道协议Generalpacketradio

serviceTunnelingProtocol

HSGW高速率分组数据服务网关HighRatePacketDataServingGateway

HSS高速交换机HighSpeedSwitching

IMEI国际移动设备识别码InternationalMobileEquipmentIdentity

IMSI国际移动用户识别码InternationalMobileSubscriberIdentity

IP互联网协议InternetProtocol

KPI关键性能指标KeyPerformanceIndicator

MME移动管理实体MobilityManagementEntity

1

XX/TXXXX.5—XXXX

MSISDN手机综合业务数字网号码MobileSubscriberIntegratedService

DigitalNetworknumber

MTBF平均无故障工作时间MeanTimeBetweenFailure

MTTR平均修复时间Meantimetorepair

ODS操作型数据库OperationalDataStore

OSI开放式系统互联OpenSystemInterconnection

PGW分组数据网网关PDNGateway

PMIPv6移动互联网协议第6版的代ProxyMobileIPv6

理协议

QoS服务质量QualityofService

SFTP安全文件传送协议SecretFileTransferProtocol

SGW服务网关ServingGateway

SQL结构化查询语言StructuredQueryLanguage

TAI跟踪区域身份TrackingAr