数据中心网络链路质量可观测体系技术报告 2024

[编号ODCC-2024-03004]开放数据中心标准推进委员会2024.09发布版权声明转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明I编写组 I 1 1 1 2 3 4 5 5 5 6 6 6 8 23 27 39 57 59 61 68分析的能力。随着云计算、大数据以及AI技术和应用的迅猛发展，设备探活通过周期性地发送探测数据包来检测网络设备的连通网络管理的行业标准协议，使用最为广泛。随着技术的发展，gRPC1通过Syslog提供集中记录和分析网络设备日志的机制，帮助网在业务端侧，针对网络质量的可观测性则主要通过Pingmesh探Pingmesh是一种网络探测技术，主要用于在网络中进行大规模周期性的ping数据包，来检测网络的连通性、延迟和丢包率等关键求数据包，早期数据包多使用ICMPPing，随着需求变化，越来越多机构开始采用TCP或者UDP数据包进行2景。在确保数据中心网络可靠性和性能方面发挥着监控。eBPF通过在内核中加载自定义代码来执行特定的任务，这些用、测量执行时间等。通过eBPF，可以在基本不影响系统性能的情况下，精确地观测和分析网络行为。eBPF作为一种新兴的网络监控技术，在提高网络质量可观测性方面具有巨大的潜力和价值。随着eBPF生态系统的不断成熟，它将在网络管理和运维中扮演越来越重3其路径组合更是几何级增加。原有常用的基于ICMP的Pingmesh探况，及时准确发现网络问题。越来越多机构开始使用TCP/UDP进行时间延长，影响业务的连续性和用户体验。目4参考图1，我们可以看到在Facebook数据中心仍有接近29%的事故5节点丢包根因：实现设备节点全部丢包检测，覆盖到Ingress和6基于逐跳收集的链路质量可观测技术是一种新兴的链路质量可络性能和定位问题。目前，这类技术包括INT（In-bandNetwork7基于逐跳收集的网络链路质量可观测技术为IFA是一个网络带内遥测技术的IETF规范。IFA的宗旨是设计8流转换为IFA流、把IFA流重新插入数据通道。起始节点可以指定一个模板ID，网络中后续节点则会按照模板ID插入对应的元数据。起始节点也可以要求元传送节点只负责识别IFA报文，并在IFA报文中插入本节点的终止节点的功能包括：在IFA报文中插入本节点的元数据；对/html/draft-lapukhov-dataplane-probe-01的变种。9C15E18络路径上的所有节点按照模板ID的要求插入元883用来让网络节点识别该报文为IFA报文2复制请求，识别报文复制情况。0：无复制请求下一跳级别的复制请求，适用于L3ECMP路径3：端口和下一跳级别的复制请求，适用于LAG接口的L3ECMP路径44定识别，比如UDP目的端口为31337且“ProbeMarker”字段值为4IFAv2通过新增一个IP协议类型的方式来识别IFA报文，既支IFAv2的IFA功能节点的划分方法和IFAv1相同，只是IFAv2数据生成IFA报告发送给采集器。在IP头上使用一个新的IP协议号来标识IFA数据包，把IP头8Bit3：MF–元数据分片。指示可选元数据Bit7：校验和-指示可选校验和头是否存48NextHdr84属性含义ActionVector80：丢包1：数据包着色CurrentLength8当前Metadata栈长度。须为4字节倍数。HopLimit8IFA域最大跳数RequestVector8可作为GNS的扩展4采用GNS的模式称为“统一模式”。优点元数据栈简单且统一，采集器需要解析的负载更少。缺点是IFA域中所支持的元数据字段型，缺点是采集器的解析更加复杂。应用INT指令。流是指在选定的头字段上具有相同值的一域中不同供应商的INT节点之间的互操作的行为和数据包头格式。相同域内的INT节点必须配置一致，以确保节点不排除有嵌套或分层的INT域）。INTSink可以决定将收包的信息获取和分析的技术有了进一步的创新。基于P图8不同的INT模式）：INT-MD是内嵌式随路网络遥测模式，也是经典的hop-by-hopINT-MD模式下的INTheader可以被插入到现有任何封装格式INT-MDINTheader）：随路metadata直接封装成INTreport，并且发则有三部分INTreport封装:TRGH(TelemetryReportGroupHIndividualReportMainConIndividualReportInnerCoINT-MX（eMbedinstruct(INT-MX模式只会在INTsou点，根据报文中包含的INTinstruction，将本节点的4Bit0置位表示如果没有足够的字节来记录节点封装后不需要转发；Bit3置位表示每个支持Namespace-IDNodeLen57在节点数据列表被认为溢出之前，此字段以4888Namespace-ID8IOAM域中含有三类主要功能节点：封装节点（Encap标准IOAM信息采用逐跳累加转发信息并以护照模式进行上报。在报文转发过程中，Encapsulati本节点的Metadata信息封装成IOAM报文上送数据检测平台IOAM-DEX采用非逐跳累加，以IOAMinstruction，将本节点的Metadata封装成IOAM报文直接上送Transit节点根据IOAMinstruction，将本节点的Metadata封装上送至数据检测平台，同时剥离掉IOA文信息封装在IPv4/IPv6的option字段，数据中心交换机芯片不对图14基于IPv6扩展头选项字段的IOAM格式示意图表8基于IPv6扩展头选项字段的IOAM各字段及含义表1业务流标识，设备内唯一18option数据长度（字节数）8解封装节点通过匹配FlowID，收集报文对息上报给数据检测平台，同时删除封装头信息，恢复原始报文进行时延染色，记录该报文的入口时戳t在入节点采用五元组为IP业务流分配FlowID，对特定报文进In-situFlowInformationTelemetry(IFIT)是一种务与新架构的高可靠性要求。现有的OAM技术多为带外测量技术，a)1:1丢包分析：能够对感兴趣流量进行IP头和传输层头部之间。IPv4Vxlan报文中IFIT报文头缘网络设备的Ingress方向接口进入网络的报文数记为Pi，经过中间设备的流量转发，从另一边缘网络设备的Egress方向接口离开该网开网络的流量之间的差，获得丢包数量和丢包率数据。以图D所示的网络为例，统计流从DeviceA进入，从DeviceC离开。如图E所示的是一段时间内报文从进入网络到离开网络时各个设备上的丢包理相同个统计周期+截至目前本周期（对应上图的T1+x*T2）内染色位置0本统计周期内报文时延为d(DevicePathTracing拥有非常低的额外开销，它仅通过从数据低开销的PT报头在每一跳收集MCD(Mid-P下面介绍PathTracing具体技PT-Source：启动PT会话并生成PT探PT-Midpoint：数据包路径中的节点。PT-Sink:接收Probe并在加上自身PT信息后，封装并发往区Analytics（分析节点）其中MCD会带的信息为：然而，这些方法并未减少总字节数或PPS开销，CSIG主要考CSIG支持隧道和加密，简化复杂部署），RS量化的信号值(compact版本记录索引，expand版本支持记T的TPID，以确保与现有网络的高度兼容性。CSIG如图所示，CSIG提供了简单、固定长度的路径瓶颈链路总结，据包路径的网络设备收集信息。然后，每个数据选项或有效载荷将收集的信息返回给数据发送者,使得发送者了解到数据流传输路径的瓶颈信息。CSIG在网络设备上使用简单的比较和设备传输过程中，保持第4层CSIG反射头不变发送者从传入数据包多种信号：传输层负责管理和利用CSIG信息，为流状态的一部分。发送端能够利用所有支持的CSIG信号，包括拥CSIG通过在数据包上添加和更新标记来收集网络路径信息。在监控端侧数据流状态，针对异常数据流可触发在该数据流插入图34结合端侧的IFA部署方案在进行网络质量探测时，有两种方案，一种是Pingmesh方式的在服务器主动构造发起IFA探测报文，模拟业务五元组，流经路径交换设备打上IFA信息，到达目的服务器后分析上报。在服务器/交换机随业务流添加IFA包头，流经路径交换设备打上IFA信息，每跳Postcard上报或最终到达目的端分析上报结果。1.实现简单，可按需构造指定数量和间隔的探测报文；2.报文长度较短，可容纳更多3.可实现无中断全网络覆盖，及时发现问题；1.完整跟踪真实业务流，2.针对真实业务流实现网络自证清白；3.无额外探测数据流4.模拟业务流探测，对真实业务流偶发问题不易发现；5.额外探测数据流；需额外芯片处理，性能存在瓶颈；应处理；测基于真实业务流实时自动化结合端侧的IFA部署方案需要考虑以下关键点：集成，当前网络链路IFA各厂商实现不同，甚至同一厂商的IFA协图35数据中心INT部署与组网拓扑设置采样策略：配置采样策略，确定哪些报文需要插入INT头下发配置：通过控制器将采样策略和Watchlist下发到使能INT图36数据中心INT节点与处理流程插入INT头部：根据数据采集的需要，在指定位置插封装元数据：将INT头部所指定的遥测信息封装成元数据），报文转发到带内网络遥测系统的Sink节点时：部署IFIT可以实现对用户业务流进行直接的丢包、时延统计。入口和出口分别统计，然后汇总得出要统计的性能指标。如图3.5-1统计流是实施IFIT统计的关键要素，每次统计必须首先指定统根据网络中报文的转发流向，IFIT的统计测量点分为Ingress、征识别业务流量，对业务报文进行统计并插入IFIT头，统计结果上统计系统由一个配置了IFIT功能的头节点设备，以及多台使能路径分析：在某一个统计周期内，网络节点记录报文入/出端口并上报控制器，控制器根据设备上报的入/出端口还原流量的转发路PathTracing（以下简称PT）是一种用于记录数据包传输路径的路径记录：PathTracing能够记录数据包在网络中传输时经过的延迟测量：PathTracing可以记录端到端延迟和每跳延迟，帮助负载测量：PathTracing还记录了每个出口接口的负载情况，提低开销：PathTracing使用仅40字节的IPv6逐跳扩展头即可追[I-D.song-opsawg-ifit-framework]和[I-D.kumar-ippm-if细粒度时间戳：PathTracing支持细粒度时间戳，能够提供高精硬件友好：PathTracing被设计为在基础流水线中实现线速硬件PathTracing技术适用于需要详细了解数据包传输路径和网络性析和审计、通过PathTracing，网络管理员可以获得详细的网络路径信息和性能数据，从而更好地管理和优化网AnalyticsAnalyticsRegionalCollectorEBMGACKFLJAnalyticsAnalyticsKBMGACEFLJ生成到PTSink节点的SRv6数据包AnalyticsAnalyticsRCMidpointBMMidpointGACKEFLJ路由器，会逐跳记录有效PT信息。PT-Midpoint节点需要在硬件PT-Midpoint压缩数据(MCD)信息，包括输出接口ID、接口负载和入本节点MCD数据。JAnalyticsJAnalyticsEKEKBFALBFALGCMGCMECMP的数据转发路径分析如图所示展示了CSIG部署和运行架构，CSIG部署的关键要点每跳最大延迟：通过使用CSIG，拥塞控制算法如Swift可以更），更好地根据实际的瓶颈链路利用率（如图中头结点TOR所示最小可用带宽：利用CSIG的最小（如图中尾结点TOR所示ABW=20G）信息，传输可以安全地从高带宽开始，避免启动速度不负载平衡与多路径：数据中心拓扑在任意源-目标对之间采用多种路径。传输采用诸如保护负载平衡【PL分大规模拥塞和核心网络拥塞，然后可用于调整负载均衡/多路径操流量工程：对数据中心网络互联层，流量工程为跨聚合源-目的对创建带宽合适的路径，CSIG可用于向TE系统提供精细的路径水聚合汇总CSIG信号，TE可以动态调整路径和带宽分配流量，以适在应用网络流程中，CSIG信息通过其瓶颈定位器可以快速准确总之，CSIG作为网络中关键的反馈信号，能够显著提升网络资多种类型新挑战：终端侧的接入设备链路质量监控，AI网络面临的监控新挑战，运用AI介入监控数据的处理过程等。行端节点数据处理的专用芯片DataProcessingUnit/Intelligentdata以IntelIPU为例，IPU拥有高性能P4可编程pack和上层应用的前提下，为上层协议，例如RDMA，NVMe提供可靠文的IFAheader,CSIGheader,INTheader，并提取拥塞控制信息。根据规则对接受的IFA/CSIG/INT流进行修改，转发或丢弃。对发送息或其他用户定义的拥塞信息对FALCON进行per-connection拥塞提供的拥塞状态实施端到端的拥塞控制。普通Fullmesh监控方式无法覆盖所有链路。发生在未被监控覆盖链流量经过的网络节点，如GPS一样绘制出每块区域的精确坐标，这应用流分析器探测流分析器采样Leaf2采样Leaf2Leaf1Leaf1服务器2服务器1服务器2服务器1勃发展，标准化组织（如3GPP,ITUSG13,IMT-2030(6G)推进组，伴随着人工智能(artificialintelligence,AI)三大驱动力——算力、标准化组织（如3GPP,ITU,IMT-2030(6G)推进组，6G-ANA等等）、学术届以及产业届已经在积极探索如何借助AI技术产业届也在不断推出集成了AI算力的各种芯片，尤其是数据中心交数据中心的链路质量可观测也可以借力于AI技术尤其是深度神经网络的非线性处理能力来实现。根据需要观测的网络链路指标(如链路负载、时延、丢包等等)建立AI模型(如神经元模型)，从生产环链路排队情况的指标包括：交换机端口转发时延、端口出方向ECN计数器、端口出方向PFC计数器。交换机的INT遥测能力换机上的INT遥测能力可采集以下不同类型的指标：（TimestampNanoSeconds/TimestampMicroSeconds）、报文出端口的报文转发量计数器（PortXmitByte文转发量计数器（QueueXmitBytes/QueueXmitPkts）、报文出端口的（QueueBufferCells）、报文出端口的丢包量（PortDi为了保证遥测信息的有效性，交换机需要允许对INT报文进行特定的配置，以保证根据普通业务报文转换出来的INT报文具有相同的文进行采样，并根据采样后的业务报文重新生成INT报文。重新生成的INT报文在产生节点进入与业务报文一致的报文流水线，以使色的交换机上对普通业务报文采用CloneMode或InlineM新报文，并对修改新报文头部字段使其成为INT报文；带内模式（InlineMode）为在原始报文上直接修改使其成为INT报文。INT报文截断功能（Cut-off）角色的交换机上对使用克隆模式生成的INT报文，采用报文截断技术。交换机将根据配置将INT报文尾部截断，仅保留报文头部字段针对INT报文在网络交换机内终结的需求，在配置成INT换出来的报文进行终结，将报文的INT头部删除并将其还原成普通业务报文，并继续转发至下一跳。终结节点可将INT报文的头部信网卡侧的INT遥测能力根据链路发现和链路质量遥测的需求，网卡上的INT