以太无损网络测试方法学

1、目录 HYPERLINK l _bookmark2 1. 概述 4 HYPERLINK l _bookmark3 以太无损网络解决的问题 4 HYPERLINK l _bookmark4 关于本方法学 4 HYPERLINK l _bookmark5 2. 以太无损网络测试简介 4 HYPERLINK l _bookmark6 2.1 测试需求 4 HYPERLINK l _bookmark7 2.2 适用范围 5 HYPERLINK l _bookmark8 3. 术语定义 5 HYPERLINK l _bookmark9 3.1 缩略语 5 HYPERLINK l _bookmark10

2、3.2 术语 6 HYPERLINK l _bookmark11 4. 测试拓扑 7 HYPERLINK l _bookmark12 4.1 直连拓扑 7 HYPERLINK l _bookmark13 4.2 性能拓扑 8 HYPERLINK l _bookmark14 5. 测试参数 8 HYPERLINK l _bookmark15 交换机配置参数 8 HYPERLINK l _bookmark16 接口类型 8 HYPERLINK l _bookmark17 网络连通性设置 8 HYPERLINK l _bookmark18 优先级队列 8 HYPERLINK l _bookmark1

3、9 流控方式 8 HYPERLINK l _bookmark20 流控配置 8 HYPERLINK l _bookmark21 测试流量参数 8 HYPERLINK l _bookmark22 基本性能测试帧长 8 HYPERLINK l _bookmark23 无状态 RDMA 流量测试帧长 9 HYPERLINK l _bookmark24 测试时长 9 HYPERLINK l _bookmark25 RDMA 无状态性能测试 QP 数量 9 HYPERLINK l _bookmark26 无损流量及有损流量比例要求 9 HYPERLINK l _bookmark27 发送端和接收端数量

4、9 HYPERLINK l _bookmark28 有状态流量 RDMA 消息长度 9 HYPERLINK l _bookmark29 RDMA 有状态性能测试 QP 数量 9 HYPERLINK l _bookmark30 DC-QCN 配置参数 9 HYPERLINK l _bookmark31 有状态性能测试其他 RDMA 配置参数 9 HYPERLINK l _bookmark32 RDMA ACTION 9 HYPERLINK l _bookmark33 RDMA JOB 9 HYPERLINK l _bookmark34 RoCE 性能测试指标 9 HYPERLINK l _boo

5、kmark35 无状态性能 9 HYPERLINK l _bookmark36 静态时延 9 HYPERLINK l _bookmark37 动态时延及抖动 10 HYPERLINK l _bookmark38 网络吞吐量 Throughput 10 HYPERLINK l _bookmark39 6.1.4 丢包率 10 HYPERLINK l _bookmark40 6.1.5 乱序包数量/速率/比例 11 HYPERLINK l _bookmark41 6.2 有状态性能 11 HYPERLINK l _bookmark42 业务吞吐量 Goodput 11 HYPERLINK l _b

6、ookmark43 业务速率(APS/JPS) 11 HYPERLINK l _bookmark44 动态时延及抖动 11 HYPERLINK l _bookmark45 Action/JOB 完成时间 12 HYPERLINK l _bookmark46 Action/JOB 的失败率 12 HYPERLINK l _bookmark47 乱序包数量/速率/比例 12 HYPERLINK l _bookmark48 6.3 其他评价指标 12 HYPERLINK l _bookmark49 6.3.1 均衡性 12 HYPERLINK l _bookmark50 6.3.2 收敛速率 13

7、HYPERLINK l _bookmark51 6.3.3 收敛性能比 13 HYPERLINK l _bookmark52 6.3.4 平稳性 13 HYPERLINK l _bookmark53 RoCE 性能测试方法 13 HYPERLINK l _bookmark54 基本以太性能测试 13 HYPERLINK l _bookmark55 转发吞吐量测试 13 HYPERLINK l _bookmark56 转发时延测试 14 HYPERLINK l _bookmark57 缓存容量测试 14 HYPERLINK l _bookmark58 RDMA 读写微突发测试 15 HYPERL

8、INK l _bookmark59 RoCE 转发性能测试 16 HYPERLINK l _bookmark60 无状态 RoCE 流量 M to N 转发性能测试 16 HYPERLINK l _bookmark61 有状态 RoCE 流量 M to N 转发性能测试 18 HYPERLINK l _bookmark62 有状态应用场景 ROCE 流量 M to N 转发性能测试 19 HYPERLINK l _bookmark63 混合流量性能测试 20 HYPERLINK l _bookmark64 无损业务和有损业务的典型比例下，无状态混合流量（无状态 RoCE 流量混合 HYPERL

9、INK l _bookmark64 UDP 流量）M to N 转发性能测试 20 HYPERLINK l _bookmark65 无损业务和有损业务的典型比例下，有状态混合流量（有状态 RoCE 流量混合 HYPERLINK l _bookmark65 TCP 流量）M to N 转发性能测试 23 HYPERLINK l _bookmark66 7.4. 可靠性测试 24 HYPERLINK l _bookmark67 链路故障收敛测试 24 HYPERLINK l _bookmark68 节点故障收敛时间 25 HYPERLINK l _bookmark69 PFC 死锁、风暴监测和预防

10、 26 HYPERLINK l _bookmark0 联合编写单位及作者 27 HYPERLINK l _bookmark1 感谢以下单位对文档提供宝贵建议 27概述 以太无损网络解决的问题 以太网经过数十年的发展已经广泛应用于广域网、数据中心内网络甚至高性能运算、存储内部网络等多种网络互联场景中。但近些年随着高性能运算、存储、人工智能等高性能应用需求的发展，以及 CPU、GPU 以及存储介质的硬件性能的提升，网络性能已经越来越成为制约系统性能发展的瓶颈。尤其是以太网“尽力而为”传输模型带来的拥塞和丢包会极大的影响系统性能的提升。因此催生了 InfiniBand 等以高带宽、低时延为特点的高性

11、能专用网络。 RDMA 技术是InfiniBand 技术高性能的基石，而RoCE（RDMA over Converged Ethernet）技术，尤其是RoCEv2 的发展则使得能够通过以太网支持RDMA 技术，同样可以做到高带宽、低时延和 CPU 卸载等高性能的特点。但 RDMA 技术在网络出现丢包时性能会极大的降低，因此需要中间网络尽量做到无丢包转发。目前为了实现网络的无损转发，需要在以太网络中使能 PFC、ECN 和 DC-QCN 等流控技术，并根据应用场景对整个网络进行端到端的合理配置才能保证系统的高性能。关于本方法学 由于以太无损网络的性能对其周围系统性能影响巨大，因此以太无损网络的

12、测试，尤其是对典型组网和应用场景的测试，对实际使用具有巨大的实际意义和价值。同时，以太无损网络植根于传统以太网络，因此其大部分功能和管理特性与传统以太网络相同，可参考以太网络相关测试方法。本测试方法学主要针对以太无损网络独特的性能和可靠性等方面的测试方法。对于 IT 系统和网络架构师来说，在选择和建设管理以太无损网络时应当关注以下几个方面： 基本转发性能 RoCE 转发性能 混合流量性能 可靠性 目前，业界针对以太无损网络的测试主要采用实际系统测试或服务器仿真测试，测试环境搭建复杂，测试成本高，且测试精度差且测试结果的可重复性较低。本测试方法学主要基于以太无损网络专用测试仪表进行设计，降低了测

13、试的成本和准备周期，同时具有较好的可重复性和测试精度，并为广泛关注的应用仿真问题提供了仿真方法和思路。以太无损网络测试简介 测试需求 由于以太无损网络在具体场景下的配置和网络性能对系统整体性能具有巨大的影响（高时可达到 5-10 倍的性能差距），因此对于相关网络设备及其配置在具体场景和典型组网下的性能测试具有巨大的现实意义和价值。同时基于 PFC、ECN 和DC-QCN 等流控技术所带来的网络可靠性和稳定性问题也非常重要。因此相关测试在技术研究、设备采购选型和网络设计部署前应从以下几个方面进行考虑： 组网拓扑：由于测试组网对于实际业务拥塞点的产生、网络配置、流控效率、业务系统的性能大小都有重要

14、的影响，因此应当根据典型场景需求来设计对应的测试组网。由于以太无损网络的流控特性，层次越多流控的性能越差、带来的可靠性问题越多，一般不建议网络层次多于两层。 相关参数：构建测试流量的各种参数会影响实际产生的测试流量模型，并对网络设备产生不同压力。当测试流量的参数设置不同时，所需的网络设备的流控参数设置可能也会不同，并因此反映出不同的性能表现。故需要根据测试压力需求和实际业务情况，配置典型的测试流量参数组合。 性能：不同场景、组网下的性能表现是以太无损网络测试最关键的指标，对于指导技术研究、设备选型和现网设计具有关键的指向作用。 管理特性：设备大部分管理要求和传统以太网络设备相同，可参考相关测试

15、方法和要求，本测试方法学不再进行赘述。同时需要对网络中丢包、流控计数及网络流量特征等进行统计及监控，以满足实际网络运维需求。 可靠性：由于以太无损网络在拥塞时具有动态平衡的特点，因此其可靠性和收敛性能与传统以太网络设备有较大的区别。同时由于 PFC 风暴、死锁所带来的网络瘫痪风险也应在测试中予以考量。 稳定性：检验设备及网络是否具备长时间稳定运行的能力，其对于防止网络长时间运行由于可靠性方面的缺陷导致网络故障或瘫痪等问题也具有重要意义。 适用范围 本测试方法学适用于基于 PFC、ECN 和 DC-QCN 等流控手段的以太无损网络测试。可指导对于 RoCEv2、TCP、UDP 或各种混合流量的测

16、试。同时，可使用商用仪表利用本测试方法学定义的 JOB 概念对于实际的各种分布式存储、人工智能、并行运算等实际应用场景进行仿真和测试。术语定义 缩略语 缩略语(按字母顺序) 英文全名 中文解释 ACK Acknowledge 应答报文 AI Artificial Intelligence 人工智能 CNP Congestion Notification Packet 拥塞通知数据包 CPU Central Processing Unit 中央处理器 DC Data Center 数据中心 DCN Dater Center Network 数据中心网络 DCQCN Data Center Qua

17、ntized 数据中心量化拥塞通知 Congestion Notification DCTCP Data Center Transmission Control Protocol 数据中心传输控制协议 ECMP Equal-Cost Multipath Routing 等价多路径路由 ECN Explicit Congestion Notification 显式拥塞通知 ETS Enhanced Transmission Selection 增强传输选择 FC Fibre Channel 光纤通道 GPU Graphics Processing Unit 图形处理器 HOL Head-Of-L

18、ine Block 队列头阻塞 IB InfiniBand “无限带宽”技术 IOPS Input/Output Operations Per Second 每秒输入/输出量 IP Internet Protocol 网际协议 MLAG Multi-device Link Aggregation Group 跨设备链路聚合组 PFC Priority-based Flow Control 基于优先级的流量控制 POD Point of Delivery 数据中心基本设计单元 QCN Quantized Congestion Notification 量化拥塞通知 QoS Quality of

19、Service 服务质量 QP Queue Pair 队列对 RDMA Remote Direct Memory Access 远程直接内存访问 RoCE RDMA over Converged Ethernet 基于融合以太网的 RDMA RoCEv2 RoCE version 2 RoCE（第二版） TCP Transmission Control Protocol 传输控制协议 TOR Top of Rack 机柜顶接入交换机 UDP User Datagram Protocol 用户数据报协议 VLAN Virtual Lane 虚拟局域网 术语 Action：本文中特指有状态 RDM

20、A 数据传输中所使用的某种单一数据操作方法，对特定两节点间的单次传输操作动作，包括连接类型。典型操作如 write，read，send，receive 等，单次传输操作所使用的 message size，QueuePair 数量，传输数据块大小等内容。JOB：本文中特指多节点间一系列 RDMA Action 的组合。通过定义不同 action 的组合，以及每组 action 的间隔，重复次数，能够通过仪表来仿真模拟真实业务（比如高性能计算以及存储等）。 Throughput：无状态 RoCE 流量下的网络吞吐量。 Goodput：有状态 RoCE 流量下的业务吞吐量。 静态时延: 无拥塞时单个

21、数据包处理时延，包括数据串行时延、设备转发时延和链路传输时延。 动态时延：拥塞情况下，无状态流量时延或有状态流量单一 RDMA Action 完成时延，除静态时延部分还包括内部排队和丢包重传导致的时延。 尾部时延：定义为所有动态时延中最差的 1%时延的最小值。 微突发: 连续短时间（微秒级）高流量带宽的数据帧组合。 抖动：时延的变化程度。 乱序：非顺序序列数据包。 缓存：设备用于临时存储数据的高速存储。 快速 ECN：指转发设备在出现流量拥塞时，在出队列进行 ECN-CE 的标记，而且非在入队列（普通 ECN）。这通常会加快 ECN-CE 报文的转发时间。 快速 CNP：指转发设备在出现流量拥

22、塞时，进行 ECN-CE 标记，转发给下游设备，同时向发送端直接发送 CNP 报文（而非传统行为的期望接收端发送 CNP 报文）。这通常会加快发送端接收到 CNP 报文的时间。 动态 ECN: 指转发设备能够实时感知网络流量模型，自动调节优化 ECN水线，实现网络拥塞控制，提升网络性能指标。 测试拓扑 直连拓扑 基本测试拓扑，用于基准测试，定义基准带宽、时延等，可对交换机基本性能或小规模单层网络架构的典型组网场景性能及可靠性进行测试和仿真。需要考虑实际应用时服务器端是否应用捆绑，以此决定测试仪端口和被测设备间是否使能端口捆绑。 性能拓扑 典型组网下 RoCE 性能测试拓扑，包括 1 打 1、M

23、 打 1、M 打N 等场景。 通常采用两级架构典型拓扑，可对两级架构下的典型组网场景进行测试和仿真。考虑实际组网需求，leaf 交换机需要按照实际需求确定收敛比（leaf-spine间的上行总带宽与 leaf-server 间的下行总带宽的比值），典型收敛比为 1：1（即无阻塞网络）、2：3、1：2 及 1：3。并考虑实际应用时服务器端是否应用捆绑，以此决定测试仪端口和被测设备间是否使能端口捆绑。如使能捆绑，则通常需在一对 leaf 节点间应使能 mlag，测试仪表端一对捆绑口双上行到一对 leaf 节点。 测试参数 网络配置参数 接口类型 在以太无损网络中，典型的接口类型通常为 25G、40

24、G、50G、100G、200G 和400G。网络连通性设置 包括端口 IP、路由、vlan 等保证网络基本连通性的相关配置。优先级队列 为 RoCE 流量，有损业务流量，CNP、PFC 协议流量或其他业务流量设置不同的 QOS 优先级，以便进行区分和调度。典型地，CNP、PFC 等协议信令报文的优先级为CS6，RoCE 业务流量的优先级为EF，有损业务及其他业务流量的优先级为BE。 流控方式 网络交换机使能的流控技术，如配置使用 PFC、ECN 功能或 Fast ECN、Fast CNP、动态 ECN 等技术。网络收发端使能 DCQCN 等技术。 流控配置 包括交换机共享缓存的大小，不同队列间

25、调度方式，PFC、ECN 拥塞标记上下水线设置(可为动态 ECN)等，对以太无损网络性能具有重要影响，一般需根据不同流量特征、业务需求及业务模型进行优化调整。 测试流量参数 基本性能测试帧长 基本性能测试所使用的数据包长度，范围通常从 64 字节到 9000 字节，典型包长如：64B、128B、256B、512B、1024B、1518B、2048B 和 9000B。 无状态 RDMA 流量测试帧长 无状态RDMA 流量测试所使用的数据包长度，范围通常从82 字节到9000 字节，典型包长如：82B、128B、256B、512B、1024B、1518B、2048B 和 9000B。 测试时长 测

26、试时间通常从 30 秒到 1800 秒，典型时长如 30 秒、60 秒、90 秒、300 秒、600 秒和 900 秒等。需要进行长时间及稳定性测试时，持续时长可由 24 小时到 724 小时。 RDMA 无状态性能测试 QP 数量 RDMA 无状态性能测试所使用的 QP 数量通常从 16 到 4096，典型 QP 数如 16、64、256、1024、2048 和 4096。 无损流量及有损流量比例要求 进行混合流量测试时，RDMA 无损流量与 TCP/UDP 有损流量的比例要求，典型比例要求如 1:9、3:7、1:1、7:3 和 9:1。 发送端和接收端数量 测试时所使用的发送端数量及接收端

27、数量，N:1 拥塞测试所使用的典型数量如 1:1、4:1、8:1、16:1 等，其他 M:N 测试类型典型比例如 14:2、12:4、8:8、 16:16 等。 有状态流量 RDMA 消息长度 有状态 RDMA 流量所使用的消息长度(message size)，通常从 8B 到 1MB，典型消息长度如 8B、64B、1024B、2048B、4096B、64KB、256KB 和 1MB。 5.2.8 RDMA 有状态性能测试 QP 数量 RDMA 有状态性能测试所使用的 QP 数量通常从 16 到 8192，典型 QP 数如 16、64、256、1024、2048、4096 和 8192。 DC

28、-QCN 配置参数 有状态性能测试可对 DC-QCN 的相关参数进行配置，典型参数如抑制恢复时间、速率调节步长、速率调节参数 alpha 等。一般可使用默认推荐参数。 有状态性能测试其他 RDMA 配置参数 有状态性能测试中其他可配置的 RDMA 配置参数，典型参数如重传时间、重传次数、并行数量、单组 QP 关联内存块数量等，一般推荐默认参数。 5.2.11 RDMA ACTION 有状态性能测试基本业务单元，包括定义业务操作类型（如 RDMA Read/Write 操作等），业务操作方向，RDMA 消息长度、RDMA QP 数量以及数据块大小。 5.2.12 RDMA JOB 有状态性能测试

29、业务仿真单元，包括定义并行的 RDMA Action 组合方式、每组 RDMA Action 时间间隔、重复次数等，用于仿真真实业务。 RoCE 性能测试指标 无状态性能 静态时延 定义：在无拥塞情况下，报文的单向时延，即无拥塞时发送数据帧的最后一个比特到接收到数据帧的第一个比特的时间间隔。 测试单位：纳秒、微秒、毫秒，足够分辨时延精度。 讨论： 测试通常使用一系列帧长，典型帧长：64、128、256、512、1024、128、 1518。在无损网络中应测试巨帧，典型帧长：2048、9000。接收端口尽可能对接收报文做校验，包括：以太网CRC、IP checksum 等。 测试建议在一定的负载

30、情况下进行，最大支持接口线速。 负载方向可为单方向、双方向。 测试场景为无拥塞场景。 动态时延及抖动 定义：动态时延为在多打一等典型有拥塞的情况下，报文的单向时延，即拥塞时发送数据帧的最后一个比特到接收到数据帧的第一个比特的时间间隔。抖动则代表时延变化程度。 测试单位：纳秒、微秒、毫秒，足够分辨时延精度。 讨论： 测试通常使用一系列帧长，典型帧长：64、128、256、512、1024、128、 1518。在无损网络中应测试巨帧，典型帧长：2048、9000。接收端口尽可能对接收报文做校验，包括：以太网CRC、IP checksum 等。 测试建议在流量拥塞情况下进行。 负载方向可为单方向、双

31、方向。 当网络发生拥塞时，排队延迟将影响端到端的延迟，并导致通过同一连接传输的分组延迟各不相同，而抖动，就是用来描述这样一延迟变化的程度。 网络吞吐量 Throughput 定义：网络或设备在测试条件下的最大流量转发速率。 测试单位：某帧长条件下输入帧数/秒、输入比特/秒。 讨论： 部分的丢包会造成时延增加，吞吐量测试一般测试不丢包情况下的吞吐量，也可以在一定容忍度情况下测试网络或设备最大的转发速率。 测试通常使用一系列帧长，典型帧长：64、128、256、512、1024、128、 1518。在无损网络中应测试巨帧，典型帧长：2048、9000。接收端口尽可能对接收报文做校验，包括：以太网C

32、RC、IP checksum 等。 对ECN 的吞吐量测试，需要测试仅使能 ECN 的情况下最大转发速率。 对PFC 的吞吐量测试，需要测试同时使能PFC 和 ECN 的情况下最大转发速率。 丢包率 定义：在恒定负载情况下的丢包比例。 测试单位：百分比。 讨论： 测试通常使用一系列帧长，典型帧长：64、128、256、512、1024、128、 1518。在无损网络中应测试巨帧，典型帧长：2048、9000。接收端口尽可能对接收报文做校验，包括：以太网CRC、IP checksum 等。 测试中负载恒定情况下进行。 负载方向可为单方向、双方向。 测试场景可为拥塞和不拥塞场景。在不拥塞场景中测试

33、需要测试最大接口线速情况下的丢包率。在拥塞场景需要构造不同组网和拥塞场景下的丢包率。 乱序包数量/速率/比例 定义：在一定负载情况下乱序数据包的数量、乱序数据包接收速率及乱序数据包占所有数据包的比例。 测试单位：个/个每秒/百分比。 讨论： 测试通常使用一系列帧长，典型帧长：64、128、256、512、1024、128、 1518。在无损网络中应测试巨帧，典型帧长：2048、9000。接收端口尽可能对接收报文做校验，包括：以太网CRC、IP checksum 等。 测试中负载恒定情况下进行。 负载方向可为单方向、双方向。 测试组网场景涉及 mlag 或者 ECMP 时特别需要关注。 有状态性

34、能 业务吞吐量 Goodput 定义：拥塞情况下，有状态 RoCE 流量经过网络动态平衡时获得的稳定流量速率，但是不包括承载 RoCE 的报文头，可以被认为是真正业务流量的承载能力。 测试单位：比特/秒。 讨论： 测试场景为，N：1 或者 M:N 的测试拓扑，使用典型 QP 数量和消息长度（基本单位按照 Action 定义）。RoCE 流量会尽量占用带宽，产生拥塞。取流量稳定后的 Goodput 值。 可以使用单个 RDMA action，或者 RDMA Job（多个 action 的组合）。 业务速率(APS/JPS) 定义：拥塞情况下，有状态 RoCE 流量经过网络动态平衡时获得的稳定的A

35、ction/Job 业务处理速率。 测试单位：Action per Second/Job per Second。 讨论： 测试场景为，N：1 或者 M:N 的测试拓扑，使用典型 QP 数量和消息长度（基本单位按照 Action 或 JOB 定义）。RoCE 流量会尽量占用带宽，产生拥塞。取流量稳定后的业务处理速率。 可以使用单个 RDMA action，或者 RDMA Job（多个 action 的组合）。 动态时延及抖动 定义：动态时延为拥塞情况下，业务 Action 从发送端发出，到接收端收到的业务单向时延。抖动则代表Action 时延变化程度。 测试单位：纳秒、微秒、毫秒，足够分辨时延精

36、度。 讨论： 测试场景为，N：1 或者 M:N 的测试拓扑，使用典型 QP 数量和消息长度。RoCE 流量会尽量占用带宽，产生拥塞。 时延包括整个拥塞，及稳定后的多个采样点曲线。包含不同时延数据所占比例，并可依此计算尾部时延等。 较大的时延抖动可能影响终端及应用对业务的处理，降低网络性能和业务质量。 Action/JOB 完成时间 定义：单独 Action 或者 JOB 从第一个请求发起到最后一个 ACTION 完成的时间。 测试单位：秒/毫秒/微秒。 讨论： Action 完成时间测试场景可为常用N：1 或者M:N 的测试拓扑，使用典型 QP 数量和消息长度（或者 Job）。RoCE 流量会

37、尽量占用带宽，产生拥塞，并测试此时流量的动态时延。 JOB 完成时间测试场景则根据组成 JOB 的 Action 组合和时间间隔等配置可以灵活仿真不同应用场景业务和流量模型。此时 JOB 完成时间越小代表网络对指定模型的业务流量处理性能越高，是典型场景业务性能评价体系中最主要的指标。 Action/JOB 的失败率 定义： Action/Job 的传输失败数占业务总数的比例。 测试单位：百分比。 讨论： Action 失败率测试场景表示测试中传输操作的失败率，该数值越高代表传输操作失败的可能性越大，通常表示网络中存在丢包或是配置错误。 JOB 失败率测试场景表示测试中业务操作的失败率，该数值越

38、高代表一系列传输操作无法全部完成的可能性越大，通常会导致业务性能快速下降。 乱序包数量/速率/比例 定义：在一定负载情况下乱序数据包的数量、乱序数据包接收速率及乱序数据包占所有数据包的比例。 测试单位：个/个每秒/百分比。 讨论： 测试通常使用一系列信息长度，典型信息长度：64B、1024B、2048B、 4096B、64KB、256KB、1MB。接收端口需要对业务流量中的乱序包进行重新排序和重组，并对乱序包进行统计。 测试中负载恒定情况下进行。 负载方向可为单方向、双方向。 测试组网场景涉及 mlag 或者 ECMP 时特别需要关注。 其他评价指标 均衡性 定义：针对 N:1 或者 M:N

39、的场景，网络中同类行为的各节点间动态吞吐量的同步程度。计算方式为:同类行为各节点动态吞吐量/同类行为各节点平均吞吐量100%。 测试单位：百分比。 讨论： 以N：1 场景为例，理论上 N 个发送端的吞吐量应尽量一致。这样才能保证在并行系统或类并行系统中取得整体较优的性能，防止由于“木桶效应”导致整体性能受吞吐量较低的节点拖累而下降。 收敛速率 定义：针对 N:1 或者 M:N 的场景，发生故障或网络扰动后，流量恢复平稳的快慢。Vn 代表收敛后的稳定动态吞吐量，Vo 代表初始动态吞吐量，t 为收敛开始到确保所有测试场景能收敛完成的较小时间，Pa 代表开始收敛后的实际总接收数据量。(Vnt-Pa)

40、表示开始收敛后理想数据接受量与实际数据接收量的差，该值越小代表实际收敛性能越接近理想值。(Vnt-Pa)/t 即可代表收敛速率，该值越小则代表收敛速率越高。 测试单位：比特/秒。 讨论： 该数值实际表示实际收敛速率与理想收敛速率的偏离程度，因此该值越小表示实际收敛性能越接近理想收敛性能。 收敛性能比 定义：针对 N:1 或者 M:N 的场景，发生故障或网络扰动后，流量恢复后性能的好坏。Vn 代表收敛后的稳定动态吞吐量，Vo 代表初始动态吞吐量，|Vn-V0|/V0即为收敛性能比 测试单位：1。 讨论： 该数值表示收敛后性能的变化程度，当 VnV0 时，该值越大越好。 平稳性 定义：在测试中间平

41、稳阶段，带宽最大值与最小值的差值与平均带宽的比值。也可以PFC、ECN 的流控报文计数统计作为比较参考。如针对N:1 或者M:N 的场景，定义为稳定后发送端收到的 CNP 速率或在测试中间平稳阶段，CNP 速率最大值与最小值的差值与平均 CNP 速率的比值。 测试单位：百分比。 讨论： 由于以太无损网络测试往往存在拥塞和流控，是一种动态平衡过程，当流控配置不恰当或设备处理能力有所欠缺时会导致流量和流控计数大范围震荡，这种震荡一方面会影响带宽的平均表现；另一方面也可能对应用产生冲击，影响应用的实际性能。 发送端接收CNP 速率表示网络中由于拥塞产生的相关流控报文的速率。能从一个侧面反应网络拥塞程

42、度并指导我们对于网络的调优和问题的判断。具体需结合实际场景和需求进行分析。 RoCE 性能测试方法 基本以太性能测试 转发吞吐量测试 测试目的：测试被测设备的吞吐量（Throughput），作为设备静态转发吞吐量性能衡量指标。 测试拓扑：4.1 中定义的服务器/测试仪直连拓扑。如果被测设备是盒式交换机， 所有端口都和测试仪表相连； 如果被测设备是框式交换机， 选择两块同型号线卡，所有端口都和测试仪表相连。 测试步骤： 所有测试端口和被测设备建立 BGPv4 邻居。 在每个 BGP 邻居上，测试仪表向被测设备通告 1000 条 IPv4 路由。 在端口地址和路由之间建立 backbone 测试流

43、量。 如果是盒式交换机， backbone 流量在奇数端口和偶数端口之间建立， 如果是框式交换机， backbone 流量在两块线卡之间建立。 运行 RFC 2544 吞吐量测试， 测试帧长采用 5.2.1 定义配置， 每一轮测试时间采用 5.2.3 定义配置。 测试结果： 吞吐量结果为表格，吞吐量数值与测试帧长对应。 吞吐量数值包含端口速率百分比，包转发速率 pps 和比特转发速率 Gbps。 转发时延测试 测试目的：测试被测设备的时延(Latency)和抖动（Jitter），作为设备静态时延性能基准。 测试拓扑：4.1 中定义的服务器/测试仪直连拓扑。如果被测设备是盒式交换机， 所有端口都

44、和测试仪表相连； 如果被测设备是框式交换机， 选择两块同型号线卡，所有端口都和测试仪表相连。 测试步骤： 所有测试端口和被测设备建立 BGPv4 邻居。 在每个 BGP 邻居上，测试仪表向被测设备通告 1000 条 IPv4 路由。 在端口地址和路由之间建立 backbone 测试流量。 如果是盒式交换机， backbone 流量在奇数端口和偶数端口之间建立， 如果是框式交换机， backbone 流量在两块线卡之间建立。 运行 RFC 2544 吞吐量测试， 测试帧长采用 5.2.1 定义配置， 每一轮 测试时间采用 5.2.2 定义配置，测试负载采用 7.1.1 测试出来的吞吐量。 测试结

45、果： 时延结果为表格，时延结果，抖动结果，测试负载与测试帧长对应。 时延结果包括：最大时延、平均时延。 抖动结果包括：最大抖动、平均抖动。 7.1.3 缓存容量测试 测试目的：测试被测设备的缓存容量。不同交换机会有不同的动态缓存机制。 本测试例选择典型的 1-to-1 和N-to-1 流量模型，来测试交换机的缓存容量。 测试拓扑：4.1 中定义的服务器/测试仪直连拓扑。如果被测设备是盒式交换机，所有端口都和测试仪表相连；如果被测设备是框式交换机，选择两块同型号线卡，所有端口都和测试仪表相连。 测试步骤： 在交换机上选择 2 个端口标记为 N,和 N-1，其他端口标记为 1,2,， N-2。 建

46、立 1-to-1 测试流量， 端口 1 发送到端口 2，端口 3 发送到端口 4， 端口N-3 发送到端口N-2。 流量负载为7.1.1 测试出的吞吐量。 选择两个出端口，分别标记为 M1 和 M2， 创建过载流量N-1 到 M1， N-2 到 M2，流量负载为 1%。 启动 1-to-1 测试流量，然后启动过载测试流量，一段时间后停止流量。 通过在 M1 和 M2 端口上获取比其他端口收到的额外的测试帧数量，乘以帧长，作为 buffer 容量测试结果。 建立N-to-1 测试流量，测试端口 1，2，3, N-1 发送流量到端口 N。 每个端口发送的流量负载为(1/N-1)*99.98+1/N

47、-1。 在端口上获取收到的线速流量之外的测试帧数量，乘以帧长，作为 buffer 容量测试结果。 重复上述测试 3 遍。 测试结果： 测试结果应该包含下列内容： 缓存容量值。 对应的流量拓扑：1-to-1 还是 N-to-1；Ingress 端口数量，egress端口数量，过载流量端口数量。 测试帧长。 测试流量的 QoS 值。 7.1.4 RDMA 读写微突发测试 测试目的：测试设备应对周期性快速突发报文的能力。 测试拓扑：4.1 中定义的交换机和测试仪直连拓扑。如果被测设备是盒式交换机， 所有端口都和测试仪表相连；如果被测设备是框式交换机，选择两块同型号线卡，所有端口都和测试仪表相连。 测

48、试步骤： 建议测试场景：2-to-1, 4-to-1, 8-to-1, 15-to-1，12-to-4, 14-to-2。在该场景性能测试的参数配置基础上进行后续微突发测试。 流量测试工具和被测设备所有的端口互联，为了制造拥塞场景，在固定百分比的无拥塞恒定 RoCE 流量背景业务情况下，构造额外的快速、周期性突发流量。突发流量可以采用单个端口进行构造，也可以采用多个端口共同构造。突发流量采用更高优先级，拥塞时进行绝对保障。 突发流量初始为最大可用端口速率，也就是以最小可用帧间隙来发送流量。每次微突发流量在100us 内达到峰值，达到峰值后持续时间100us，然后突发停止 200us，周期性反复

49、 n 次。 测试工具每端口按突发模型发送一定数量的报文，仿真 RoCE 连续读写等操作。不断修改发送报文数量，直到找到被测设备不丢包情况下最大的发送报文数量。此报文数量为设备该场景下能应对的最大微突发报文的能力。 通过变化流量的入和出端口，来测试不同情况下设备最大微突发的能力。 测试结果： 背景业务帧长和吞吐率。 在无丢包情况下，接收端口最大的接收微突发报文总和。 微突发报文帧长。 流量入出端口数量和被测设备的位置。 通过重复多次测试得到最大、最小、平均的微突发结果数值。 RoCE 转发性能测试 无状态 RoCE 流量 M to N 转发性能测试 涉及时延，吞吐，丢包，均衡性，微突发等，需要覆

50、盖不同经典包长。 测试项目： 被测设备不使能 PFC 和 ECN 时的转发性能测试。 被测设备使能 ECN 不使能 PFC 时的转发性能测试。 被测设备使能 PFC 和 ECN 时的转发性能测试。 被测设备不使能 PFC 和 ECN 时的转发性能测试 测试目的：被测设备不使能 PFC 和 ECN，测试转发性能。 测试拓扑：4.2 性能测试拓扑， 测试拓扑包含 16 个测试端口，端口选择分下列场景： 拓扑A：同一 Leaf 交换机下(1:1)场景， 8 个发送端口， 8 个接收端口。 拓扑 B: 同一 Spine 交换机下(1:1)场景，8 个发送端口，在 Spine 1 交换机下 Leaf 1

51、 交换机， 8 个接收端口，在 Spine 1 交换机下 Leaf 2 交换机。 拓扑 C: 跨 Spine 交换机(1:1) 场景 1，4 个发送端口，在 Spine 1 交换机下 Leaf 1 交换机，4 个发送端口，在 Spine 1 交换机下 Leaf 2 交换机，8 个接收端口，在 Spine 2 交换机下 Leaf 1 交换机。 拓扑 D: 跨 Spine 交换机(1:1) 场景 2， 4 个发送端口，在 Spine 1 交换机下 Leaf 1 交换机，4 个发送端口，在 Spine 1 交换机下 Leaf 2 交换机， 4 个接收端口，在 Spine 2 交换机下Leaf 1 交

52、换机，4 个接收端口，在 Spine 2 交换机下 Leaf 2 交换机。 拓扑 E: 同一 Leaf 交换机下(N:1)场景，16 个发送端口， 1 个接收端口。 拓扑 F: 同一 Spine 交换机下(N:1)场景，16 个发送端口，在 Spine 1 交换机下 Leaf 1 交换机，1 个接收端口，在 Spine 1 交换机下 Leaf 2 交换机。 拓扑 G: 跨 Spine 交换机(N:1) 场景， 8 个发送端口，在 Spine 1 交换机下 Leaf 1 交换机，8 个发送端口，在 Spine 1 交换机下 Leaf 2 交换机，1 个接收端口，在 Spine 2 交换机下 Le

53、af 1 交换机。 拓扑 H: 同一 Leaf 交换机下(M:N)场景，12 个发送端口， 4 个接收端口。 拓扑 I: 同一 Spine 交换机下(M:N)场景，12 个发送端口，在 Spine 1 交换机下 Leaf 1 交换机， 4 个接收端口，在 Spine 1 交换机下 Leaf 2 交换机。 拓扑 J: 跨 Spine 交换机(M:N) 场景 1， 6 个发送端口，在 Spine 1 交换机下 Leaf 1 交换机，6 个发送端口，在 Spine 1 交换机下 Leaf 2 交换机， 4 个接收端口，在 Spine 2 交换机下Leaf 1 交换机。 拓扑 K: 跨 Spine 交

54、换机(M:N) 场景 2， 6 个发送端口，在 Spine 1 交换机下 Leaf 1 交换机，6 个发送端口，在 Spine 1 交换机下 Leaf 2 交换机， 2 个接收端口，在 Spine 2 交换机下Leaf 1 交换机， 2 个接收端口，在 Spine 2 交换机下 Leaf 2 交换机。 注： 端口选择要覆盖所有交换机共享缓存。 当测试仪使能端口捆绑时，每个发送端或接收端端口捆绑后双上行到同一 Spine 下的两台 Leaf 交换机。 被测系统上的其余端口和测试仪相连，发送full mesh 背景流量，帧长256 字节， 速率为线速率 90%（如无法达到，取设备最大静态转发能力的

55、 90%）。 测试步骤： 被测设备和测试工具端口均不使能 PFC、ECN、DC-QCN 功能。 被测设备按照 5.1 内容进行设备其他配置。 流量拓扑如上所述进行选择， 测试帧长选择 5.2.2 配置， 测试流量配置 RoCEv2，测试时长按照 5.2.3 配置,RoCEv2 QP 数量按照 5.2.4 配置。 发送 RoCE 流量进行动态吞吐量测试。 记录无丢包情况下的 Throughput，及此时的均衡性，平稳性指标。 在吞吐量速率基础上，进行时延测试，记录平均、最大和尾部时延。 以接收端口容量之和为总带宽，进行丢包率测试，记录丢包率。 测试结果： 吞吐量测试结果以表格呈现，包含如下信息：

56、 拓扑，帧长，QP 数量，吞吐率，均衡性，平稳性指标。 时延测试结果以表格呈现， 包含如下信息：拓扑，帧长，QP 数量，测试带宽，最大时延，平均时延，尾部时延及时延抖动。 丢包率结果以表格呈现，包含如下信息：拓扑，帧长，QP 数量，测试带宽，丢包率及乱序包数量/速率/比例。 被测设备使能 ECN 不使能 PFC 时的转发性能测试 测试目的：被测设备使能 PFC，不使能 ECN 情况下，测试转发性能。 测试拓扑：同 .。 测试步骤： 被测设备和测试工具端口使能 ECN、DC-QCN, 不使能 PFC 功能。 被测设备按照 5.1 内容进行设备其他配置。 流量拓扑按 所述进行选择，测试帧长选择 5

57、.2.2 配置，测试流量配置 RoCEv2，测试时长按照 5.2.3 配置,RoCEv2 QP 数量按照 5.2.4 配置。 发送 RoCE 测试流量进行动态吞吐量测试。 记录无丢包情况下的 Throughput，及此时的均衡性，平稳性指标。 在吞吐量速率上，进行时延测试，记录平均、最大和尾部时延。 在设备配置不变的基础上，分别在 20%、50%的背景 RoCE 流量基础上按照 7.1.4，进行微突发测试。 测试结果： 吞吐量测试结果以表格呈现，包含如下信息： 拓扑，帧长，QP 数量，吞吐率，均衡性，平稳性指标和乱序包数量/速率/比例。 时延测试结果以表格呈现， 包含如下信息：拓扑，帧长，QP

58、 数量，测试带宽，最大时延，平均时延，尾部时延及时延抖动。 微突发测试结果以表格呈现，包含如下信息：拓扑，背景业务帧长，背景业务吞吐率，微突发测试帧长，QP 数量，微突发报文总量。 被测设备使能 PFC 和 ECN 时的转发性能测试 测试目的：被测设备使能 PFC 和 ECN 情况下,测试转发性能。 测试拓扑：同 .。 测试步骤： 被测设备和测试工具端口都使能 PFC , 被测设备使能 ECN，测试仪表使能 CNP 响应和 DC-QCN 调速功能。 被测设备按照 5.1 内容进行设备其他配置。 流量拓扑按 所述进行选择， 测试帧长选择 5.2.2 配置，测试流量配置 RoCEv2，测试时长按照

59、 5.2.3 配置,RoCEv2 QP 数量按照 5.2.4 配置。 发送 RoCE 测试流量进行动态吞吐量测试。 记录无丢包情况下的 Throughput，及此时的均衡性，平稳性指标。 在吞吐量速率上，进行时延测试，记录平均、最大和尾部时延。 在设备配置不变的基础上，分别在 20%、50%的背景 RoCE 流量基础上按照 7.1.4，进行微突发测试。 测试结果： 吞吐量测试结果以表格呈现，包含如下信息： 拓扑，帧长，QP 数量，吞吐率，均衡性，平稳性指标及乱序包数量/速率/比例。 时延测试结果以表格呈现， 包含如下信息：拓扑，帧长，QP 数量，测试带宽，最大时延，平均时延，尾部时延及时延抖动

60、。 微突发测试结果以表格呈现，包含如下信息：拓扑，背景业务帧长，背景业务吞吐率，微突发测试帧长，QP 数量，微突发报文总量。 有状态 RoCE 流量 M to N 转发性能测试 测试目的：使用有状态 RoCE 流量，进行 M:N 拥塞测试，获取设备动态时延、Goodput、Action 完成时间，Action 成功/失败率等指标。 测试拓扑：同 .。 测试步骤： 使用有状态 RoCE 流量，测试仪表使能 PFC，ECN 以及 DC-QCN 等功能。 使用 5.2.7 的 RDMA 消息长度，5.2.8 的 QP 数量配置测试所用 Action进行测试。测试中，测试仪表始按照 5.2.9 进行