2024OpenCC测试规范手册

OpenCC测试规范1OpenCCOpenCC测试规范II目录网卡端开放式拥塞控制算法性能对比测试 1网卡传统拥塞控制算法性能测试 1静态算法参数业务时延测试 1静态算法混合业务时延测试 1网卡开放式拥塞控制算法性能测试 2组合算法参数业务时延测试 2组合算法混合业务时延测试 3端到端开放式拥塞控制性能对比测试 4TCP+RoCE流量混跑测试 4混跑4打1测试 4混跑8打1测试 9拥塞隔离性能测试 11拥塞隔离Benchmark时延测试 11拥塞隔离存储业务性能测试 13长短距拥塞隔离性能测试 15长短距流量混跑调度准确性测试 15长短距流量混跑HOLB影响测试 17OpenCC测试规范OpenCC测试规范11OpenCC测试规范网卡端开放式拥塞控制算法性能对比测试网卡传统拥塞控制算法性能测试静态算法参数-业务时延测试测试项目（同CC算法参数）测试目的对比测试CC算法参数对业务性能的影响。测试环境测试组网：图1前置条件：部署4台服务器，按照以上拓扑进行互联。PFC/ECNPFC/ECN置保持固定。测试步骤2，1CC参数。背景流消息长度64KB，采用不同流数，要求流数不少于5条。时延流消息长度4KB。perftestFCT指标。分别测试读操作和写操作两种流量下的时延。预期结果网络可能出现拥塞，导致大流阻塞小流通过。时延流完成时间较高。测试结果备注静态算法-混合业务时延测试测试项目（OpenCC测试规范OpenCC测试规范PAGEPAGE2CC算法）测试目的对比测试不同CC算法对业务性能的影响。测试环境测试组网：图2前置条件：部署4台服务器，按照以上拓扑进行互联。PFC/ECNPFC/ECN置保持固定。测试步骤选择3台服务器作为客户端，最后一台服务器作为服务端，形成多对一流量，将该流量作为背景流。背景流消息长度64KB，采用不同流数，要求流数不少于5条。任选一台客户端向服务端打一条时延流，消息长度4KB。perftestFCT指标。分别测试读操作和写操作两种流量下的时延。预期结果网络中有一定概率出现拥塞，原因是大流阻塞小流通过。时延流完成时间较高。测试结果备注网卡开放式拥塞控制算法性能测试组合算法参数-业务时延测试测试项目（同CC算法参数）测试目的对比测试CC算法参数对业务性能的影响。测试环境测试组网：图3前置条件：部署4台服务器，按照以上拓扑进行互联。PFC/ECNPFC/ECN置保持固定。测试步骤选择2台服务器作为背景流客户端，1台服务器作为时延流客户端，最后一台服务器作为服务端。CCCC背景流消息长度64KB，采用不同流数，要求流数不少于5条。时延流消息长度4KB。perftestFCT指标。分别测试读操作和写操作两种流量下的时延。预期结果由于背景流和时延流分别配置不同参数，两类流量获得不同控速特性。有所降低。测试结果备注组合算法-混合业务时延测试测试项目（CC算法）测试目的对比测试不同CC算法对业务性能的影响。测试环境测试组网：图4前置条件：部署4台服务器，按照以上拓扑进行互联。PFC/ECNPFC/ECN置保持固定。测试步骤选择3台服务器作为客户端，最后一台服务器作为服务端，形成多对一流量，将该流量作为背景流。背景流消息长度64KB，采用不同流数，要求流数不少于5条。任选一台客户端向服务端打一条时延流，消息长度4KB。perftestFCT指标。分别测试读操作和写操作两种流量下的时延。预期结果OpenCC相比较静态算法测试，时延流完成时间较有大幅降低。测试结果备注端到端开放式拥塞控制性能对比测试TCP+RoCE41测试项目同一交换机下混跑RoCE和TCP流量4打1测试目的TCP，RoCEv2(1:1)RoCEv2RoCE背景流量影响，保持低延迟。测试环境测试组网：图5测试步骤设置sever1-5在同一网段IP地址，设置交换机连接5端口在同一VLAN；交换机侧针对Priority3和5配置PFC和ECN；priority3跑RoCE业务流量，priority5跑RoCElatency流量，priority跑TCP业务流量，priority6为最高优先级跑CNP流量；MNVIDIAMellanox交换机参考配置：trafficpooltesttypelosslesstrafficpooltestmemorypercent50.00trafficpooltestmapswitch-priority35interfaceethernet1/1-1/5qostrustL3interface ethernet 1/1-1/5 traffic-class 3congestion-controlecnminimum-absolute150maximum-absolute1500interfaceethernet1/1-1/5traffic-classcongestion-controlecnminimum-absolute150maximum-absolute1500interfaceethernet1/1-1/5traffic-class6dcbetsstrict交换机侧配置WRR,让priority3上的RoCE流量和priority上的TCP流量带宽比例为50:50；以下为NVIDIAMellanox机参考配置：interfaceethernet1/1-1/5traffic-class0dcbetswrr1interfaceethernet1/1-1/5traffic-class1dcbetswrr1interfaceethernet1/1-1/5traffic-class2dcbetswrr1interfaceethernet1/1-1/5traffic-class3dcbetswrr47interfaceethernet1/1-1/5traffic-class4dcbetswrr47interfaceethernet1/1-1/5traffic-class5dcbetswrr1interfaceethernet1/1-1/5traffic-class6dcbetsstrictinterfaceethernet1/1-1/5traffic-class7dcbetswrr1网卡侧配置RoCE,以下为NVIDIAMellanox网卡参考配置：cma_roce_mode-dmlx5_0-p1-m2cma_roce_tos-dmlx5_0-t106mlnx_qos -i enp216s0f0 --trust=dscp --pfc0,0,0,1,0,1,0,0mlxconfig -d /dev/mst/mt4117_pciconf0 -y ROCE_CC_PRIO_MASK_P1=40mlxconfig -d /dev/mst/mt4117_pciconf0 -y ROCE_CC_PRIO_MASK_P2=40mlxconfig -d /dev/mst/mt4117_pciconf0 -y CNP_DSCP_P1=48mlxconfig -d /dev/mst/mt4117_pciconf0 -y CNP_DSCP_P2=48网卡侧配置相同WRR比例，以下为NVIDIAMellanox配置：mlnx_qos-ienp175s0f0--tcbw=1,1,1,47,47,1,1,1--prio_tc=0,0,0,3,4,0,0,0--tsa=ets,ets,ets,ets,ets,ets,ets,ets--pfc=0,0,0,1,0,1,0,0以server1-4为客户端，server5为服务端，在priority3起RoCE流，字节大小1024B，QP总数量为64：Sever1:taskset-c0ib_write_bw--margin=2--port=20001-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96192.168.1.5--report_gbits--run_infinitelyServer2:taskset-c0ib_write_bw--margin=2--port=20002-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96192.168.1.5--report_gbits--run_infinitelyOpenCC测试规范OpenCC测试规范77Server3：taskset-c0ib_write_bw--margin=2--port=20003-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96192.168.1.5--report_gbits--run_infinitelyServer4：taskset-c0ib_write_bw--margin=2--port=20004-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96192.168.1.5--report_gbits--run_infinitelyServer5:taskset-c0ib_write_bw--margin=2--port=20001-dmlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96 report_gbits&taskset-c0ib_write_bw--margin=2--port=20002mlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96 report_gbits&taskset-c0ib_write_bw--margin=2--port=20003mlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96 report_gbits&taskset-c0ib_write_bw--margin=2--port=20004mlx5_1--gid-index=3--size=1024--qp=16--CPU-freq--connection=RC--tclass=96 report_gbits&7)在步骤6发RoCE流过程中，用iperf3发送TCP流量，以server1-4为客户端，server5为服务端，在priority4上发起TCP流，字节大小1024B，session总数量为64,此时有预期结果1：Server1:iperf3-c192.168.1.5-p21001--time1000000l1024-P16--interval1 S128Server2:iperf3-c192.168.1.5-p21002--time1000000l1024-P16--interval1 S128Server3:iperf3-c192.168.1.5-p21003--time1000000l1024-P16--interval1 S128Server4:iperf3-c192.168.1.5-p21004--time1000000l1024-P16--interval1 S128Server5:iperf3-s p21001&OpenCC测试规范OpenCC测试规范88iperf3-s-p21002&iperf3-s-p21003&iperf3-s-p21004&8)在步骤6和7共同打TCP和RoCE混合背景流的情况下，以server1-4为客户端，server5为服务端，在prioriy5上测试RoCE延迟，有预期结果2：Server1:ib_write_lat-dmlx5_0-x3-a-F--port=22001--tclass=160192.168.1.5Server2:ib_write_lat-dmlx5_0-x3-a-F--port=22002--tclass=160192.168.1.5Server3:ib_write_lat-dmlx5_0-x3-a-F--port=22003--tclass=160192.168.1.5Server4:ib_write_lat-dmlx5_0-x3-a-F--port=22004--tclass=160192.168.1.5Server5:ib_write_lat-dmlx5_0-x3-a-F--port=22001tclass=160&ib_write_lat-dmlx5_0-x3-a-F--port=22002tclass=160&ib_write_lat-dmlx5_0-x3-a-F--port=22003tclass=160&ib_write_lat-dmlx5_0-x3-a-F--port=22004tclass=160&保持现有测试拓扑及Priority3464B、1024B4096B，发端QP数遍历14、163264128，DRR调度比重覆盖1:9，3:7，7:3，9:1。将上述流量作为背景流，选取2台服务器进行时延测试，时延流与RoCE业务流使用同一队宽比例，有预期结果3。预期结果1）Priority3上的RoCEv2总流量和Priority4上的TCP总流量均为端口总带宽的47%左右，吞吐比例控制在5%误差范围内。在priority5上server1-4可测试出RoCETCP:RoCE=1:1比例下控制在1ms内。3）吞吐比例误差在各测试环境下均可控制在5%以内。RoCE流量可以保持低时延。OpenCC测试规范OpenCC测试规范PAGEPAGE10测试结果备注81测试项目混跑RoCE和TCP流量8打1测试目的TCPROCERoCE时延不受TCP影响保持低时延。测试环境测试组网：图6前置条件：根据以上拓扑设备正常工作。网卡配置PFC、DCQCN。PFC/ECNPFC/ECNTCP03DRR。测试步骤设置server1-9在不同交换机下，保证网络能互通；Priority3PFCECN；priority3RoCERoCElatency，priority4TCPCNP；Huaweiportdefaultvlan20trustdscpdcbpfcenablemodemanualdcbpfcbuffer3xoffdynamic5hdrm250cellsaienableWRR,priority3RoCEpriority4TCPHuaweiqosdrr34qosqueue3drrweight50qosqueue4drrweight50网卡侧配置RoCE,以下为NVIDIAMellanox网卡参考配置：mlnx_qos-i$e_name-f0,0,0,0,0,1,0,0echo1>/sys/class/net/$e_name/ecn/roce_np/enable/3echo1>/sys/class/net/$e_name/ecn/roce_rp/enable/3echo48>/sys/class/net/$e_name/ecn/roce_np/cnp_dscpecho6>/sys/class/net/$e_name/ecn/roce_np/cnp_802p_priocma_roce_mode-d$m_name-p1-m2echo 96 /sys/class/infiniband/$m_name/tc/1/traffic_classcma_roce_tos-d$m_name-t96WRRNVIDIAMellanox置：mlnx_qos-i$e_name-f0,0,0,1,0,0,0,0-p2,2,2,0,1,2,2,2-s ets,ets,ets,ets,ets,ets,strict,strict -t50,50,0,0,0,0,0,0--trustdscpserver2-8priority3RoCE流，字节大小1024B，QP总数量为64：服务端：ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p11000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p12000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p13000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p14000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p15000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p16000-s$size--report_gbits&ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p17000-s$size--report_gbits&客户端：ib_write_bw-d$m_name-x$gids-R-T96-q$qpnum-F-D1--run_infinitely-p14000-s$size--report_gbits$ip.40.120&6RoCEnetperfTCPserver2-8server9priority4TCP1024B,1：服务端：netserver-p21000&netserver-p22000&netserver-p23000&netserver-p24000&netserver-p25000&netserver-p26000&netserver-p27000&客户端：netperf-tTCP_STREAM-fg-p24000-H$ip.40.120-l100000-Y128,128 m$size-M$size&67TCPRoCEserver1prioriy3RoCE2：服务端：ib_write_lat-d$m_name-x$gids-R-T96-F s$size&客户端：ib_write_lat-d$m_name-x$gids-R-T96-Fs$size$ip.40.120&64B512B1024B、QP1481632641:9，3:7，7:3，9:1，记录带宽利用率、带宽比例和时延。预期结果交换机上RoCEv2流量无丢包，除64B外交换机出接口带宽达到95%以上。吞吐比例控制在5%误差范围内。RoCE保持低时延。测试结果备注拥塞隔离性能测试Benchmark测试项目普通读写操作时延测试测试目的对alltoall流量模型下传统时延进行测试。测试环境测试组网：图7前置条件：根据以上拓扑设备正常工作。16TOR测试步骤16alltoall为背景流。消息长度16KB，消息队列深度8，采用不同流数。背景流整网吞吐限制为30%、50%和80%。跨TOR任意两节点打一条时延流，消息长度8KB。perftestFCT指标。分别测试读操作和写操作两种流量下的时延。预期结果网络中有一定概率出现拥塞，原因是大流阻塞小流通过。时延流完成时间较高。测试结果备注测试项目启动拥塞隔离时延测试测试目的alltoall试。测试环境测试组网：图8前置条件：根据以上拓扑设备正常工作。16TOR测试步骤16alltoall为背景流。消息长度16KB，消息队列深度8，采用不同流数。背景流整网吞吐限制为30%、50%和80%。跨TOR任意两节点打一条时延流，消息长度8KB。启动拥塞隔离机制。perftestFCT指标。分别测试读操作和写操作两种流量下的时延。预期结果因为启动拥塞隔离机制，大流小流相互间传输不受影响。相比较无拥塞隔离测试，时延流完成时间较有大幅降低。测试结果备注拥塞隔离存储业务性能测试测试项目传统分布式存储磁盘读写时延测试测试目的未启动拥塞隔离情况下，对分布式存储业务磁盘读写时延进行测试。测试环境测试组网：图9前置条件：根据以上拓扑设备正常工作。16TOR使用FIO+分布式存储作为测试工具。测试步骤164OSDTOR12client，TOR612clientQoSclient30%/50%/80%几个级别。client上运行FIO测试程序，测试磁盘读写，块大小分别为/写等。clientFIO8KB，1。预期结果消息块时延较高，网络负载越重，消息块时延越大。测试结果备注测试项目分布式存储拥塞隔离时延测试测试目的验证启动拥塞隔离机制后，分布式存储时延性能效果。测试环境测试