电信运营商网络的自动化质量测量（Telemetry）技术要求

1电信运营商网络的自动化质量测量(Telemetry)技术要求本文件规定了电信运营商网络的自动化质量测量(Telemetry)的技术架构和应用场景以及Telemetry技术在管理平面、控制平面、数据平面的技术要求本文件适用于网络设备Telenetry研发、测试及应用。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。IETFRFC6020网络配置协议(NetworkConfigurationProtocol(NETOONF))IETFRFO6241一种用于网络配置协议的数据建模语言(YANG-ADataModelingLanguagefortheNetworkConfigurationProt3术语、定义和缩略语3.1术语和定义下列术语和定义适用于本文件。自动化质量测量telemetryTelemetry是一项远程从物理设备或虚拟设备上高速采集数据的技术。通过推模式(PushMode),Telemetry机制提供更实时更高速的数据采集功能。Google远程过程调用协议googleremoteprocedurecallprotocoGRPC是一个基于HTTp/2传输层协议承载的高性能、通用的RPC框架。Goolge协议缓冲存储器googleprotocolbufferGPB是一种与语言无关、平台无关、扩展性好的用于通信协议、数据存储的序列化结构数据格式模型路径指的是预配置的采集信息的模板集合中的URL,通过指定这些URL,就可以指定采集的对象以下缩略语适用于本文件。AS自治系统AutonomousSystemASG汇聚服务网关AggregationServiceGatewayBMPBGP监控协议BGPMonitoringProtocolBSC基站子系统BaseStationSubsystem2CSG基站网关CellSiteGatowaDNP动态网络探测器DynamicNetworkProbeeNodeB演进节点BEvolvedNodeBGPBGoolge协议缓冲存储器GoogleProtocolBufferGRPCGoogle远程过程调用协议GoogleRemoteProcedureCallProtocolIPFIXIP流信息导出IPFlowInformationExportMME移动性管理组件MobilityManagementEntity操作，管理和维护Operations,Administratio无线网络控制站无线业务侧网关服务网关简单网络管理协议SinpleNetworkManagenent4Telemetry架构和应用场景4.1Telemetry典型架构Telemetry技术支持远程从物理设备或虚拟设备上高速采集数据。设备通过推模式(PushMode)主动向采集器上送设备数据信息(也包括网络、业务情况),提供实时高速的数据采集功能。通过高速实时的推送网络设备的数据指标，Telemetry技术可以为网络问题定位、网络质量优化和网络调整提供基础的数据支持。相对于现有网络信息的采集和呈现方式，Telenetry能提供更详细、更细粒度、更实时的网络信息，可用于网络的微突发检测等场景。Telenetry技术的典型架构如图1所示，Telenetry的采样数据源自网络设备上数据转发面、控制面和管理面的数据，这些数据按照YANG模型描述，利用GPB/JSON格式编码，并通过GRPC协议将数据上送至采集器和分析器进行分析处理。Telemetry技术是模型驱动的。模型驱动是指用户或者网管可以通过指定模型路径的方式来通知设备，需要推送哪些数据，同时数据也按照此模型的描述进行上报。通过统一的模型对网络设备上的数据进行描述，有利于设备实现细颗粒度的数据采集。管面样3YANG是一种数据建模语言，用于设计可以为各种传输协议操作的配置数据模型、状态数据模型、远程调用模型和通知机制等。GPB(GoogleProtocolBuffer)编码格式，是一种与语言无关、平台无关、扩展性好的用于通信协议、数据存储的序列化结构数据格式。在设备和采集器之间传输数据时，采用GPB格式编码传输的数据比其他格式编码的数据具有更高的信息负载能力，保证了Telemetry业务的数据吞吐能力，同时降低了CPU占用和带宽。GRPC协议(GoogleRemoteProcedureCallProtocol)是一个基于HTTP/2传输层协议承载的高性能通用RPC框架。使用相同的proto(原型)文件后，设备和采集器之间可以建立GRPC连接。此时，设备和采集器可以在GRPC通道上使用不同的编码格式传输数据，例如通过采集器和分析器：采集器位于网管侧，用于接收和存储网络设备上报的监控数据：分析器位于网管侧，用于分析采集器接收和存储的网络设备上报的监控数据4.2Telemetry实现机制Telemetry技术采用订阅模式(推模式)上送数据，即设备以周期性推送的方式向采集器主动推送数据，而不是被动的等待采集器定时查询，避免查询请求在网络传输中的延迟和大量查询请求对网络和设备带来的压力，提升了监控性能。目前已经存在的网络监控方式多是以拉模式上送数据，例如SNMP。现以典型的网络监控场景周期性采样网络设备接口流量数据为例，对比传统的拉模式和Telemetry推模式：传统拉模式的查询与设备之间是一问一答的交互。假如1分钟内交互了1000次完成查询，即解析了1000次查询请求报文，第2分钟将再次解析1000次查询请求，如此持续下去，即使第1分钟和第2分钟下发的1000次查询请求是一样的，后续设备每分钟都重复解析1000次。Telemetry机制是推送机制，它是第一分钟解析1000次订阅请求，然后每分钟持续推送数据给网管。每分钟都节省了1000次查询请求报文的解析。传统拉模式查询一次只能获取一个接口的一个报文，而Telemetry机制则可一次获取多个接口的数据，然后将数据打包上送采集器，进一步减少交互报文数。Telemetry典型的工作过程如下用户或者网管可以通过命令行配置设备的Telenetry采样功能，配置完毕后，设备会与上送目标建立GRPC连接，并且推送数据至采集器。对Telemetry设备侧进行配置时，需要创建以下几个关键组件：一采样传感器：用于对指定采样路径的信息进行采集并上送： -—订阅：将采样传感器和上送目标组关联起来。Telemetry采集上报的数据首先需要采样传感器来完成采集过程。用户需要对采样传感器的名称、采样路径等信息进行配置，设备根据配置的采样路径和过滤条件对指定的数据进行采集和后续的上送过程。如果需要取消订阅，则需要对设备进行重新配置。如果设备和上送目标之间的连接断开了，设备会进行重新连接，连接成功后再次上送数据，但是重连期间的采样数据会丢失。在系统重启或主备倒换时，Telemotry业务的配置会保存重启或倒换完成后，Telemetry业务会重新加载配置，业务会继续运行。AcAow——各设备主动与智能运维系统建立GRPC通道。然后在设备上配置订阅： 各设备通过GRPC通道将订阅数据上报给采集器；——采集器接收、存储、加工处理各设备上报的数据；——控制器下发调优指令对网络进行调优——调优指令下发生效后，新的采样数据又会反馈到采集器；智能运维系统可以分析调优后的效果是否符合预期，持续优化。另一种利用Telemetry辅助流量调优的重要场景是运营商骨干网/城域网场景，其基本的流程与上面相同。网络设备的管理平面与网管系统(MS)交互，提供管理平面的相关信息，例如性能数据，网络登陆数据，网络告警和网络故障数据，以及网络相关的统计和状态数据[1]。Tclenetry管理面的协议应支持以下技术要求：一支持方便的数据订阅：用户应用应该能够方便地选择数据的导出方式，例如数据类型、导出频次等——支持结构化的数据：为了支持自动化的网络运维，未来需要机器代替人来执行网络数据的解析和操作。模式化的语言(例如YANG)能够很好的描述结构化的数据，同时支持标准化的数据编码和方便的格式转化；-—支持高速的数据传送：为了实现信息的实时交互，网络设备需要能够以很高的频次发送大量的数据，因此需要紧凑的编码格式来压缩数据，以提升传输的效率同时，推模式也能有效减少服务器和客户端的信息交互。NETCONF是一个常用的网络管理协议，主要用于设备的配置，也支持数据的收集。YANGPush[2]扩展了NETOONF,支持用户应用订阅某个YANG数据库。这种订阅是可定制的，它会触发持续的数据上送，向上层提供YANG的配置和操作对象的变化情况。这样就可以基于这些配置和操作状态的远程镜像，在网络中开发新的功能为了优化上送的效率，在分布式的数据采集场景中(例如直接从线卡“推”数据到采集器),可以通过基于UDP的通道上报数据[3],从而提高基于NETOONF的Telemetry的上报效率。GNMI[4][5]是一种基于GRPC[6][7]框架的网络管理协议。通过定义一个GRPC服务，既可以完成设备的配置，同时也可以完成Telmetry的配置GRPC是一种基于HTTP/2[8]的开源的微服务通信框架，能很好的满足Telenetry的需求，其相关特性如下：——GPRC使用全双工的流传输模型，同时支持二进制的编码模式，提供了更高的传输效率；--GPRC支持跨操作系统平台的特性：-—GPRC支持内嵌的负载均衡和错误恢复机制。6控制面的Telemetry指的是不同网络协议的运行状态的监控，可能涉及从Layer2到Layer7的各种控制协议。跟踪这些网络协议的运行状态，有助于实时、细粒度的探测，定位，甚至是预测各种网络问题，进一步的也有助于网络的优化。控制面的Telemetry的一个例子是BGP监控协议(BMP)[9].它目前被用来监控BGP的路由，以及支持其他应用，具体场景包括BGP的对端分析、AS分析、前级分析、安全分析等。BMP的用途主要是监控BGP会话，它支持通过一个方便的接口来获取路由视图。BMP监控设备通过事先建立的BMPTCP会话从被监控设备上收集BGP路由信息。BGP终结点的监控通过BMPPeerUp和PoerDown通告来执行。BGP路由信息被封装在BMP路由监控消息和BMP路由镜像消息中，具体内容包括最初导出的路由表项，也包括实时的路由更新。BGP的统计信息通过BMP的统计上报消息上报，具体上报的机制可以通过时间触发，或者事件触发。数据转发面的Telemetry指的是上报数据转发面的QoS、性能等相关信息，可能关系到某个流或是某个业务。网络设备提供数据的数量、质量和及时性，决定了数据转发面的Telenetry的实际能力。为了满足数据提供的严格要求，网络设备数据转发面作为监测数据的产生者，需要满足如下的技术需求：——设备数据转发面的主要功能是用户数据的处理和转发：尽管提供网络的可视性非常重要，但是Telemetry只是一个辅助性的功能，因此它不应该妨碍设备上正常流量的处理和转发(换言之，Telemetry的功能不应该降低设备转发性能或者改变设备的转发行为):-—涉及网络0AM的应用可能要求流量的端到端的可见性，如果同时监测不同源节点的多条这样的流量就会导致需要大量的数据上报。但是不论使用带内的通道传输，还是带外的通道传输，都需要保证这些监测数据流量不给网络带宽带来过于严重的压力，给正常的网络流量转发带来影响：—数据转发面设备应该尽量提供实时的数据，最小化传送时廷。长时间的处理、传输、存储或分析时延会损害控制回路的有效性，甚至导致监测数据失效；-—数据应该是结构化的和可标记的，以方便应用的解析和使用。同时，不同的应用可能有不同的数据类型的需求。数据平面设备需要能够提供足够的灵活性和可编程性，来支持准确的数据提供；——数据转发面的Telemetry应该支持增量的部署，并且支持网络中的某些设备不感可选的，数据转发面的Telemetry可以基于不同数据转发面的信息收集技术或者多种技术的组合，基于业务需求及实现机制可按不同的分类方式对数据转发面的Telenetry进行划主动/被动：主动和被动方式(以及混合方式)在[10]中有详细的介绍。被动方式包括7了TCPDUMP,IPFIX[11],sflow和流量镜像。这些方案通常只能覆盖较少量的数据。如果需要提升数据覆盖，带宽的耗费量将急剧增大。主动方式包括了Ping,Traceroute,OWAMP[12],和TWAMP[13]。这些方案是基于在网络中插入测试包来实现的，仅能提供非直接的网络测量结果。混合的方案包括In-situ0NM[14],IPFPM[15]和多点交替标记[16],它们能够提供相对折衷，同时更灵活的测量方式，但是通常这些方案实现起来更复杂。带内/带外：在导出到采集器之前，Telenetry的监测数据如果承载在用户的数据包中，这样的方案被认为是带内的(例如In-situOAM),如果是Telmetry数据直接导出到采集器，不需要修改用户包。这样的方案被认为是带外的。也存在着混合的方案，在这类方案中仅Telemetry的指示或者部分数据是在用户数据包中携带的，例如IPFPM。端到端的方案/网络内的方案：一些端到端的方案，能够提供从网络的终结点发起测量，例如Ping.其他的方案通常在网络内起作用，对于终端Host是透明的。但是如果有必要，网络内的方案也能够比较容易的被扩展到终端主机。流/路径/节点：依赖于Telenetry对象，方案可以是基于流的(例如In-situOAM),基于路径的(例如Traceroute),或者是基于节点的(例如IPFIX)。交替标记的方案包括IPFPM和多点交替标记，主要用于测量IP网络或者0verlay网络的丢包、延时和抖动，可以被用于点到点，以及多点到多点的流。交替标记的方案通过创建批量的标记数据包来实现。在该方案中，会修改数据包头的某一个Bit的值，或者是修改包头中某一个Lable值来作为标记。这些标记的数据包可以在网络中被准确的识别，通过比较相关的数据包计数器的统计数据的差异，可以对这些数据包所在的流进行丢包率的计算。类似的，通过选择一个特殊的数据包进行标记，可以对这个数据包所在的流进行时延的测算。每个标记周期，交替标记方案针对需要监测的每个流需要配置两个计数器，一个用于统计发送数据情况，一个用于统计接收到的数据情况。例如，如果需要n个测量点，需要监测m个流，那么每个标记周期，需要的数据包计数器的数量级应该是nm*2。通常网络需要提供丰富的网络性能测量数据(例如数据包计数等),因此传统的IPFPM方式存在着扩展性的问题。多点交替标记方法旨在解决这些问题，该方案可以应用在不需要分析细节的场景中，使性能监控更加灵活在多点交替标记方案中，应用可以首先配置一个入口节点到出口节点之间的端到端的监控。如果网络一切正常，这个只能反映大致情况的监控就足够了，同时可以节省网络资源。如果应用从端到端的监控中发现了问题，可以配置更加细化的监控方案来定位问题。基于硬件的动态网络探测器(DNP)[17]提供了一种可编程的方法来定制应