2022超融合数据中心网络无损以太场景等级测评规范

超融合数据中心网络无损以太场景等级测评规范超融合数据中心网络无损以太场景等级测评规范超融合数据中心网络无损以太场景等级测评规范PAGE\*romanPAGE\*romanii目录超融合据中络无损太场级测评范 1背景 1无损网等级测综述 1分布式储以网络场景 5测环境 5测试组网 5设备配置 5等评价 6功能指评价 6性能指评价 9运维指评价 可靠性标价 12兼容性标价 13集中式储以网络场景 13测环境 13测试组网 13设备配置 15等评价 15功能指评价 15性能指评价 18运维指标评价 20可靠性标价 20兼容性标价 21HPC以太网景 22测环境 22测试组网 22设备配置 22设备版本 23等评价 24功能指评价 24性能指评价 25运维指评价 29可靠性标价 29兼容性标价 29超融合数据中心网络无损以太场景等级测评规范超融合数据中心网络无损以太场景等级测评规范PAGEPAGE29超融合数据中心网络无损以太场景等级测评规范背景智能工控、HPCAIIS（nfrstruturesaSrvie，基础设施即服务）等各类技术创新与变革异常活跃。的变革。在云化加速、存储全闪存化、计算单元去PCIe（PeripheralComponentInterconnect络的无损。当前数据中心无损网络的标准日趋成熟，但尚无相关的性能分级测评规范，亟需统一的性能分级测评规范来规范网络的部署和使用。本规范将定义数据中心无损网络应支持的功能、性能、可靠性、兼容性、运维的分级测评规范。无损网络等级评测综述0-5义无损网络的五个等级，计算方法如下。L1:无损能力尚不成熟，性能低；L2:具备基本无损能力，性能略低或性能持平；L3:0%-10%；L4:L5:20%-30%表1无损网络等级评定L1L2L3L4L5功能通用静态ECN静态ECNAIECN持续优化持续优化PFC流控PFC死锁监控PFC死锁预防持续优化持续优化大流和小流不区分大流和小流区分调度大流和小流公平调度持续优化持续优化TCP流调度ROCE流调度TCP/ROCE混合流调度持续优化持续优化路负载带宽差异超过30%路负载带宽差异超过20%负载均衡：链路负载带宽差异超过10%路负载带宽5%负载均衡：所有链路均衡负载集中式存储无Zone,主机和存储手工建立链接支持全网域手工存储自动建立链接支持Zone及隔离，全网域配置同步，主机和存储自动建立链接持续优化持续优化短距零丢包短距零丢包长距零丢包持续优化持续优化HPC网络计算无联动网络计算无联动网算一体持续优化持续优化性能分布式存储TCP性能低20%以内TCP性能持平相对于性 优10%以上TCP性能优20%以上相对于TCP（IOPS）高30%以上集中式存储相对于FC20%相对于FC平相对于性 优10%以上相对于FC20%相对于FC30%HPC相对于IB性能低20%以内相对于IB性能低20%以内相对于IB性能持平相对于IB性能优10%以上相对于IB性能优20%以上运维通用控制面可视无损网络增益可视无损网络增益可视转发面可视和业务管理软件联动可靠性存储DC内故障切换时间16S以内DC内故障切换时间8S以内DC内故障切换时间2S以内DC内故障切换时间1S以内DC内故障切换时间100mS以内DC间故障切换时间16S以内DC间故障切换时间8S以内DC间故障切换时间2S以内DC间故障切换时间1S以内DC间故障切换时间100mS以内兼容性存储至少支持和1家存储设备对接至少支持和2家存储设备对接至少支持和3家存储设备对接至少支持和4-6家存储设备对接至少支持和6家以上存储设备对接集中式存储主流厂家：华为、Netapp，DellEMC、HPE、Purestorage，宏杉，日立HPC至少支持1个至少支持3个至少支持5至少支持7个至少支持8能至少达到和IB网络持平能至少达到和IB网络持平用，性能至少达到和IB网络持平能至少达到和IB网络持平用，性能至少达到和IB网络持平HPC行业应用：汽车制造：流体力学Nastran&、碰撞模拟Star-CCM+等能源勘探：能源贮藏模拟GeoEast、地震油层分析模拟Landmark等生命科学：药物研发GATK、基因研究BWA等气象环境：海洋环境分析WRF、空气污染扩散Grapes等物理化学：分子计算VASP、设计LAMMPS、高能物理Gaussian等表2无损网络评分标准场景评价分数等级类别权重维度权重分布式存储以太网络30%功能30%0-5L1-L5性能40%0-5L1-L5运维10%0-5L1-L5可靠性10%0-5L1-L5兼容性10%0-5L1-L5集中式存储以太网络40%功能30%0-5L1-L5性能40%0-5L1-L5运维10%0-5L1-L5可靠性10%0-5L1-L5兼容性10%0-5L1-L5高性能计算以太网络30%功能30%0-5L1-L5性能50%0-5L1-L5运维10%0-5L1-L5可靠性0%0-5L1-L5兼容性10%0-5L1-L5无损网络等级𝑛𝐿=∑场景等级∗场景权重𝑖=1备注：所有测评项中，5分为最高分。性能测试中，性能每提高1%，得分加0.1分。分布式存储以太网络场景测试环境测试组网设备配置网络设备配置角色款型版本数量核心交换机32口以上100GE交换机XX2接入交换机48*25+8*100GE交换机XX4计算节点&存储节点配置类别型号/配置服务器内存16*32G2933MHzDDR4/16*32G2666MHzDDR4操作系统CentOS7.6等网卡25GEROCE网卡等级评价功能指标评价拥塞控制拥塞现象是指到达\h通信链路\h死锁creditPFCECNAIECNECN(ExplicitCongestionECNECN速，不会影响其他未标记的流量。ECNECNECNECN水线，或者根据客户及运维人员的经验值进行配置。AIAIECNECN持较低的队列时延，让网络的吞吐和时延达到最佳平衡。PFC流控PFC流控：Priority-basedFlowControl，基于优先级的流量控制是对Pause机PFCPausePFC8服务，使其能够与同一接口上的其他流量类型共存。PFCPFCHOLB(HeadofLineBlocking)（等待PFCPFC死锁情况。PFCdeadlock并采取相关措施防止死锁的发生。队列分离FCT（FlowCompletionTime）大大增加。更混合流调度TCPROCEROCETCP流量的带宽，避免相互影响。负载均衡静态负载分担：仅根据报文的特征字段来哈希选路，不考虑流量带宽大小和链路的负载利用率，可能会引起哈希极化导致链路负载拥塞过重甚至丢包，影响RoCE业务流的吞吐和时延。FlowLetFlowLet两种，FlowLetFlowletflowlet-gap-timeFlow进Flowlet分割。评价标准PFC离、混合流调度、负载均衡等功能，各个指标权重和量化打分标准如下：分类权重30%L1（1分）L2（2分）L3（3分）L4（4分）L5（5分）拥塞控制拥塞控制10%静态ECN静态ECNAIECN持续优化持续优化PFC流控5%PFC流控基本功能PFC死锁检测PFC死锁预防持续优化持续优化队列调度队列分离5%大流和小流区分调度大流和小流公平调度持续优化持续优化混合流调度5%TCP流调度ROCE流调度TCP/ROCE混合流调度持续优化持续优化负载均衡负载均衡5%链路负载带宽差异超过20%链路负载带宽差异超过10%链路负载带宽差异超过5%所有链路均衡负载分布式存储以太网络功能等级功能等级=拥塞控制*10%+PFC流控*5%+队列分离*5%+混合流调度*5%+负载均衡*5%性能指标评价评价标准OLTPOLAPVDIWebfileserver、ExchangeServer化打分标准如下：分类权重40%L1（1分）L2（2分）L3（3分）L4（4分）L5（5分）分布式存储业务OLTP模型10%OLTP-TCP网络低20%以内OLTP-TCP网络持平OLTP-DATA读写性能比TCP网络优10%以上OLTP-DATA读写性能比TCP网络优20%以上OLTP-TCP网络优30%以上计算节点使用vdbench测试构造OLTP-DATA流量模型，读写方式randrw=7:3，IO大小覆盖8k-64k随机，并发数覆盖32/64，查看IO性能。OLAP模型10%OLAP读写性能比TCP网络低20%以内OLAP读写性能和TCP网络持平OLAP读写性能比TCP网络优10%以上OLAP读写性能比TCP网络优20%以上OLAP读写性能比TCP网络优30%以上计算节点使用vdbench测试构造OLAP流量模型，读写方式覆盖rw=9:1，IO大小覆盖随机256K~4M，并发数覆盖2/4/8，查看IO性能。VDI模型5%VDI读写VDI读写VDI读写VDI读写VDI读写性能比性能和性能比TCP性能比TCP性能比TCP网络TCP网络网络优10%网络优20%TCP网络低20%以持平以上以上优30%以内上计算节点使用vdbench测试构造VDI流量模型，读写方式为randrw=2:8，IO大小覆盖16k-64k随机，并发数覆盖8/16/32，查看IO性能。视频发布5%视频发布视频发布视频发布流视频发布流视频发布流量模型流量模型流量模型量模型读写量模型读写流量模型读写读写性能比TCP性能比TCP读写性能比性能和网络优10%网络优20%性能比TCP网络TCP网络以上以上TCP网络低20%以持平优30%以内上计算节点使用vdbench测试构造视频发布流量模型，读写方式为rw=2:8，IO大小64k固定，并发数覆盖4/8/16，查看IO性能互联网流5%OLAP读OLAP读OLAP读写OLAP读写OLAP读量模型写写性能比TCP性能比TCP写性能比性能和网络优10%网络优20%性能比TCP网络TCP网络以上以上TCP网络低20%以持平优30%以内上计算节点使用vdbench测试构造互联网流量模型，读写方式覆盖rw=2:8和rw=4:6，IO大小覆盖16k-64k随机，并发数覆盖16/32，查看IO性能Exchange5%ExchangeExchangeExchangeExchangeExchangeServerServer流Server流Server流量Server流量Server流量模型读量模型读模型读写性模型读写性量模型读写性能比写性能和能比TCP网能比TCP网写性能比TCP网络低20%以内TCP网络持平络优10%以上络优20%以上TCP网络优30%以上计算节点使用vdbench测试构造ExchangeServer流量模型，读写方式覆盖randrw=6:4和randrw=3:7，IO大小覆盖32K-512K随机，并发数覆盖8/16分布式存储以太网络性能等级性能等级=OLTP模型*10%+OLAP模型*10%+VDI模型*5%+视频发布流量模型*5%+互联网流量模型*5%+ExchangeServer*5%备注：性能指标是IOPS值运维指标评价GRPCTelemetryMetricsROCE括以下功能。ROCE运维ROCEECN用信息。PFCPFCECN报RoCEROCE路径等信息。评价标准ROCE络收益对比、ROCE流可视化等功能，各个指标权重和量化打分标准如下：分类权重L1（1分）L2（2L3（3L4（4L5（5分）10%分）分）分）ROCE运维10%控制面可视转发面可视和业务管理软件联动分布式存储以太网络运维等级运维等级=ROCE网络运维*10%可靠性指标评价故障切换用户侧故障：包括主机或者存储阵列节点故障，主机或者存储阵列与上。影响业务正常访问。评价标准分布式存储以太网络可靠性场景的评价指标及各个指标权重和量化打分标准如下：分类权重10%L1（1分）L2（2分）L3（3分）L4（4分）L5（5分）可靠性10%DC内故障切换时间16S以内DC内故障切换时间8S以内DC内故障切换时间2S以内DC内故障切换时间1S以内DC内故障切换时间100mS以内分布式存储以太网络可靠性等级可靠性等级=可靠性*10%兼容性指标评价评价标准分布式存储以太网络兼容性的评价指标及各个指标权重和量化打分标准如下：分类权重10%L1（1分）L2（2分）L3（3分）L4（4分）L5（5分）兼容性10%至少支持和1家存储设备对接至少支持和2家存储设备对接至少支持和3家存储设备对接至少支持和4-6家存储设备对接至少支持和6家存储设备对接分布式存储以太网络兼容等级兼容性等级=兼容性*10%集中式存储以太网络场景测试环境测试组网Topology1Topology2设备配置网络设备配置款型版本关键配置说明以太无损交换机48*25+8*100GE交换机XX配置pfc配置配置ECNFC交换机32G接口FC交换机XX配置zone计算节点配置类别型号/配置服务器型号X86服务器网卡支持ROCE的25GE网卡操作系统CentOS8.0等存储节点类别型号/配置集中式存储双控1TB缓存等级评价功能指标评价Zone配置Zone：SANZone，ZoneZoneZonezone内的终端zoneHardzone：zonezone防止不同zonezoneIP是可见的，也是可以互访的，因此当zone1zone的业务。Hardzone实现不同zone之间的隔离，HardzoneReflector上开启即可，通过Reflector同步到所有的Client，如果存在多个Reflector，需要所有的Reflector全部开启。即插即用全网的域配置信息，是通过同步机制完成同步。故障切换机制也是依靠NVMeoverFabricClientClinetClient节点根据本地域信息进行域内通NVMeoverFabricReflectorinofzone配zoneReflectorReflectorClient之间建立链接。短距离零丢包网络短距离零丢包网络在集中式存储场景下的评价标准，参考第3.2.1章节。长距离零丢包网络ROCE城复制，需要网络支持这种中等距离的网络不丢包。长距缓存空间优化：Priority-basedFlowControlPFCDCIPFCIncast流量N带宽*75km200GRoCEv2ECNDC1DCIECNDC2ECNDC1DCIDC1DCICNP列，这样可以实现及时降速，避免拥塞加剧，缓解拥塞。评价标准集中式存储以太网络功能场景的评价指标包括Zone配置、即插即用、故障切换等功能，各个指标权重和量化打分标准如下：分类权重30%L1（1分）L2（2分）L3（3分）L4（4分）L5（5分）易用性即插即用10%无Zone,支持Zone及隔离全网域配置持续优化持续优化立链接主机和存储自动建立链接同步，主机和存储自动建立链接短距零丢包网络10%参考第3.2.1章节“评价标准”长距零丢包网络功能优化10%长距缓存空间优化长距缓存空间配置长距主动拥塞控制持续优化持续优化集中式存储以太网络功能等级功能等级=即插即用*10%+短距零丢包网络*10%+长距零丢包网络功能优化*10%性能指标评价评价标准FIO化打分标准如下：分类权重40%L1（1分）L2（2分）L3（3分）L4（4分）L5（5分）短距离零丢包网络随机读写性能8%512K读写场景比FC交换机性能低20%以内512K读写场景和FC交换机性能持平512K读写场景比FC交换机性能优10%以上512K读写场景比FC交换机性能优20%以上512K读写场景比FC交换机性能优30%以上在主机上观察性能指标（IOPS/带宽/响应时间）、CPU使用率；在存储上观察业务端口时延、CPU使用率。拥塞场景测试512MB突发场8%4打1拥塞场景4打1拥塞场景4打1拥塞场景4打1拥塞场景4打1拥塞场景景比FC交换机性能低20%以内和FC交换机性能持平比FC交换机性能优10%以上比FC交换机性能优20%以上比FC交换机性能优30%以上在主机上使用FIO工具，构造真实业务4MB突发拥塞场景，负载OLTP8KB数据块随机写，OLAP256KB数据块顺序写，观察性能指标（IOPS/带宽/时延）4MB突发场景8%4打1拥塞场景比FC交换机性能低20%以内4打1场景和FC交持平4打1拥塞场景比FC交换机性能优10%以上4打1拥塞场景比FC交换机性能优20%以上4打1拥塞场景比FC交换机性能优30%以上在主机上使用FIO工具，构造真实业务4MB突发拥塞场景，负载OLTP8KB数据块随机写，OLAP256KB数据块顺序写，观察性能指标（IOPS/带宽/时延）背压死锁场景8%4打1背压死锁场景，比FC交换机性能低20%以内4打1背压死锁场景和FC交换机性能持平4打1背压死锁场景比FC交换机性能优10%以上4打1背压死锁场景比FC交换机性能优20%以上4打1背压死锁场景比FC交换机性能优30%以上在主机上使用FIO工具，构造背压死锁流量负载，OLAP256KB数据块顺序写，观察性能指标（IOPS/带宽/时延），尤其是背压死锁主机流量长距零丢包网络（70KM）随机读写性能8%交随机读写性能和FC交随机读写性能比FC交随机读写性能比FC交换随机读写性能比FC交换换机性能低20%以内换机性能持平换机性能优10%以上全闪存存储系统在跨DC组网下相同IO模型，不同压力下随机混合读写（读写比7:3），在主机上观察性能指标（IOPS/带宽/响应时间）；在存储上观察CPU使用率等集中式存储以太网络性能等级性能级=随读性*8% + 512MB发景*8%+4MB突场景*8% +压死场*8%+长机读性*8%运维指标评价3.2.3可靠性指标评价可靠性指标包括DC内和DC之间的故障，故障类型又分为用户侧故障和网络侧故障故障切换用户侧故障：包括主机或者存储阵列节点故障，主机或者存储阵列与上。影响业务正常访问。评价标准集中式存储以太网络可靠性场景的评价指标及各个指标权重和量化打分标准如下：分类权重L1（1L2（2L3（3分）L4（4L5（5分）10%分）分）分）可靠性DC内5%DC内故障切换时间16S以内DC内故障切换时间8S以内DC内故障切换时间2S以内DC内故障切换时间1S以内DC内故障切换时间100mS以内DC间5%DC间故障切换时间16S以内DC间故障切换时间8S以内DC间故障切换时间2S以内DC间故障切换时间1S以内DC间故障切换时间100mS以内集中式存储以太网络可靠性等级可靠性等级=DC内可靠性*5%+DC间可靠性*5%兼容性指标评价评价标准集中式存储以太网络兼容性的评价指标及各个指标权重和量化打分标准如下：分类权重10%L1（1分）L2（2分）L3（3分）L4（4分）L5（分）兼容性10%至少支持和1家存储设备对接至少支持和2家存储设备对接至少支持和3家存储设备对接至少支持和4-6家存储设备对接至少支持和6家存储设备对接集中式存储以太网络兼容性等级兼容性等级=兼容性*10%HPC以太网络场景测试环境测试组网设备配置网络设备配置厂商款型版本数量关键配置说明以太交换机32口以上100GE交换机XX4PFC/AI-ECN/INC接口下pfc水线配置dcbpfcbuffer3xoffdynamic6hdrm330cells开启AI-ECN或类似功能MellanoxMellanox100GE交换机XX4默认配置计算节点配置类别型号/配置服务器型号ARM服务器，例如TaiShan200(Model2280)/TaiShan2280V2X86服务器网卡支持100GEROCE网卡操作系统CentOS7.6等设备版本BISO版本及配置BIOS选项类别BIOS选项设置值PerformancePowerPolicyPerformance（默认配置：Efficiency）PerformanceStreamWriteModeAllocateshareLLCMISCCPUPrefetchingConfigurationEnabledMemoryCustomRefreshRate64ms（默认配置：32ms）MemoryDieInterleavingDisabledMemoryNUMAEnableMPI版本软件版本GCC9.3.0OPENMPI4.0.3HWMPI1.0.1测试软件版本软件版本备注PerfTest4.7-驱动自带功能OSUBenchmark5.6.2IMBBenchmar3.1GPCNet1.2HPCLinpack2.3HPCG3.1NBP3.4.1用例：NPB-FT，规模：ClassEWRF4.1.2用例：conus2.5OpenFOAMv1912用例：miracarCHROAM3.43用例：自带算例配置文件hadspec.ini.xmlVASP5.4.4用例：nsc；测试8节点QuantumEspresso6.6用例：AUSURF112LAMMPS30Nov20用例：bench_ljGromacs2020.4用例：water_GMX50_bareCESM2.1.1测试模型X等级评价功能指标评价网络和计算联动HPC算效率。评价标准HPC以太网络功能场景的评价指标分类权重30%L1（1分）L2（2分）L3（3分）L4（4分）L5（5分）无损网络通用功能10%参考第3.2.1章节“评价标准”网络和计算联动20%网络计算无联动网络计算无联动网算一体持续优化持续优化以太网络功能等级功能等级=无损网络通用功能*10%+网络和计算联动*20%性能指标评价评价标准HPCRoCE多打一带宽时延测试、BenchmarkHPCBenchmarkHPC打分标准如下：分类权重50%L1（1分）L2（2分）L3（3分）L4（4分）L5（5分）拥塞场景基础性能带宽测试2%同Leaf和跨Leaf条件下的8打1测试比IB交换机性能（带宽）低20%以内同Leaf和跨Leaf条件下的8打1测试比IB交换机性能（带宽）低10%以内同Leaf和跨Leaf条件下的8打1测试和IB交换机性能（带宽）持平同Leaf和跨Leaf条件下的8打1测试比IB交换机性能（带宽）优10%以上同Leaf和跨Leaf条件下的8打1测试比IB交换机性能（带宽）优20%以上时延测试2%同Leaf和跨Leaf条件下的8打1测试比IB交换机性能（时延）同Leaf和跨Leaf条件下的8打1测试和IB交换机性能（时延）同Leaf和跨Leaf条件下的8打1测试和IB交换机性能（时延）同Leaf和跨Leaf条件下的8打1测试比IB交换机性能（带宽）同Leaf和跨Leaf条件下的8打1测试比IB交换机性能（带宽）低20%以内低10%以内持平优10%以上优20%以上MPIarkOSUBenchmark2%同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试比IB同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试比IB同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试和IB交换机性能持平同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试比IB同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试比IBIMBBenchmark2%同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试比IB同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试比IB同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试和IB交换机性能持平同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试比IB同Leaf8节点、跨Leaf8节点和跨Leaf16节点测试比IBGPCNet2%跨Leaf跨Leaf16节点测试比IB交换机性能低10%以内跨Leaf16节点测试和IB交换机性能持平跨Leaf跨LeafHwMPI2%同Leaf8IB同Leaf8比IB同Leaf8IB同Leaf8IB同Leaf8IB20%以内10%以内平10%以上20%以上备注Allreduce、alltoall模型进行测试，messagesize遍历遍历全字节，平均时延作为指标HPCBenchmarkHPCLinkpack2%跨Leaf跨Leaf16节点测试比IB交换机性能低10%以内跨Leaf16节点测试和IB交换机性能持平跨Leaf跨Leaf分别进行Ns=56000和280000规模的线性方程求解。其中NBs=192，Ps*Qs=计算集群CPU总核数；最终选取线性方程组的求解时间JCT与计算机群运算能力Gflops作为衡量指标。HPCG2%跨Leaf