以太网端侧无拥塞乱序传输网络技术报告 2024

[编号ODCC-2024-0B001]开放数据中心标准推进委员会2024.09发布版权声明转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明I编写组 I 1 1 5 5 6 62．全调度架构（FullySche 73．全调度以太网（GSE，GlobalSche 10 技术迅速触发了AI大模型算力基础设施建设的军备竞赛，数据中心建设正式从“云化时代”转向“算力时代”，从以通用计算CPU为主的算力时代向以智能计算GPU为主的算力时代过渡。云计算时代数据和400G高速网络接入为主，所使用的通信协议RDMA采用硬件实网络建设成为影响算力基础设施整体计算能智算中心主要承载AI大模型训练业务，其业务特点要求智算中1另外，传统数据中心网络的ECMP等价路由逐流转发模式，会AI大模型训练涉及大量的数据传输，包括模型参数的同步、梯2于模型更快地完成一轮训练，加速收敛过程由于端侧设备智能网卡/DPU在支持多路径乱序传输能力时，通常会3用于智算中心网络互联的RDMA智能网卡产品，通常需要支持几千长时间的大模型训练过程不能容忍网络故障导致的训练中断或修改通信时的数据流信息实现网络转发过程中4单条流的数据包会在同一路径转发，而ECMP路由哈希选路的时候传统数据中心网络传统数据中心网络多路径传输网络随着智算中心网络的发展和对网络吞吐性能要求的提高，多路径5Processing）、NCF（Net交换机的位置，NCP从网卡侧接收到网络数据后，切分成多个长度6通过Credit授权的方式避免网络内部丢包，网卡侧和NCP之间通过ScheduledFabric该技术采用入口虚拟输出队列（IngressVirtual7并没有采用传统的ECMP路由哈希选路的方式选择一条路径，而是交换机的总带宽大于等于入口Leaf交换机与网卡之间的总带宽，则如上图所示，数据包从入口Leaf交换机经过的发送给所有Spine交换机，而不是选择一条路径转发给出口Leaf8一种基于报文容器（PKTC）的转发及负载分担机制。该机制根据最终设备或设备出端口，将数据包逻辑分组，并长”容器进行转发。属于同一个报文容器的数据包被标记为相同的容9在多路径乱序传输网络中，端侧设备智能网卡/DPU策略驱动由行为以及智能网卡/DPU在端侧与应用更近的优势，实现乱序数据直临时存储，实现方式更简单。不足是需要智能网卡/DPU和交换机设SuperNIC配合支持完整的自适应路由功能，Spetrum交换机上根据上不同路径转发到目的网卡时，会存在乱序情况，在SuperNIC上中包括了主要四大功能，分别是（GLB）GlobalLoadBalancing，博通在推出GLB技术之前，已经有一个能够感知本地出口负载情况力的GLB技术，如下图，在路由初次选路的时候，会根据全局路径知路由又增加了ReactivePathRebalancing能力，即在每一个包转发要能够支持乱序处理能力的智能网卡/DPU来配合完成多路径负载均如上图所示，在发送端智能网卡/DPU在发送数据包的时候，将），利用RDMA扩展头RETH（RDMAExtendedT能力的新协议包括UEC（UltraEthernetConsortium给OCP的Falcon，对应国内主要支持乱序传输网络的新协RDMA网络端侧设备通常具备高性能通信能力，RDM由网卡芯片硬件实现，在有限的硬件资源条件内，支持RDMA这样网络时延，在不同时延时网络的吞吐能力情况。可见Routing或SelectiveRepeat时，在大于70微秒网络时延时网络性能有明显下降趋势，在Go-Back-N重传模式，则可以达到300微秒网在乱序传输网络中，通过多路径传输方式可以降低在网络中Spine设备上的转发排队时间，对比传统的逐流转发模式，能够有效度则成为了另一个影响网络性能关键因素，传，重传的方式和过程会对网络性能产生影响。RDMA协议上支持不同丢包比例时，100G接口模式各种重传方式的吞吐列PSN（PacketSequenceNumber）来判断是否存在丢包，如果存在丢包则立即通过NAK（NegativeACK）报文触发重传，所以在网络低的网络中丢包率也较低时，选择性重传（重传的效率都比Go-Back-N重传低，随着丢包率的增加，选择性重没有接收到完整数据无法对之前的数据包进行ACK确认，此时发送端侧会出现发送窗口耗尽而未接