中国移动研究院王瑞雪在创新驱动智能未来的Spirent Day 2024峰会上的演讲：大模型时代智算网络性能评测挑战

中国移动研究院2024.0320101智算中心网络技术概况02全调度以太网技术创新03智算网络技术评测面临的挑战智算中心是以智算中心是以GPU芯片为核心的计算基础设施和以高速以太网交换芯片为核心的网络基础设施的综合体，智能算力需求激增推动计算与网络基础设施建设不断布局中国移动NICC技术架构注：NewInteligentComputingCenter（NICC新型智算中心算和网基础设施倍受关注来源：Frost来源：Frost&Sulivan，中商产业研究院...34网络成为AI算力瓶颈，以网强算对我国更加重要AIAI大模型以算力集群分布式训练为基础，带来大量节点间通信消耗，组网规模、网络性能和可靠性决定集群有效算力，网络成为AI算力“瓶颈”，以网强算成为提升大模型训练效率的关键集群有效算力∝｛GPU单卡算力*总卡数*线性加速比*有效运行时｝业务面…IPMIIPMI…IPMIIPMI智算中心网络概况业务面…IPMIIPMI…IPMIIPMIAsAsIs–DataCenter…IPMIIPMI…IPMIIPMI…ToToBe–ClusterComputing………网络提供CPU、GPU、存储之间高速连接5347265347265347265AI训练依赖典型集合通信原语347265347265347265ALLReduce：在主节点上进行Reduce（如sum、min）操作，通过Garther分发给所有节点，所有节点得到相同数据，Allreduce：可以通过算法转化为对分通信HDHDallreduceRingallreduce2log2N1+2+3+41+2+3+41+2+3+41+2+3+43+43+441+21+234231一个典型的32卡HDallreduce过程：000000特征：ü点到点通信，对分流量，无多打一ü网络同轨通信67通算中心与智算中心流量模型差异性通用算力以通用算力以CPU芯片为主，业务种类多流量小，业务间相互独立；智能算力以GPU、Al芯片等人工智能芯片为主，通信关系固定，流数量少流量大，分布式训练带来大量节点的同步突发，木桶效应明显通算中心流量模型智算中心大模型（All-to-all）流量模型•单个流量：数量多、带宽小、突发异步•累积流量：抖动幅度较小，具有随机性•单个流量：数量少、带宽大、突发同步•累积流量：波峰、波谷效应明显，具有周期性8通算中心与智算中心网络差异性通算中心组网方案智算中心组网方案100GE演进•服务器网卡数量：一机双卡•设备关系：交换机设备之间部署MC-LAG•设备关系：交换机设备之间独立901智算中心网络技术概况0202全调度以太网技术创新03智算网络技术评测面临的挑战当前智算中心网络技术问题和挑战问题一：基于流的负载均衡存在哈希极化问题switchswitch switchswitch 100─___ 问题二：被动拥塞控制导致GPU闲置InIn-cast流量21312313213221331221321213GSE链路层三大核心技术21312313213221331221321213当前：逐流负载，链路利用率低、发生拥塞被动降速未来：逐报文容器转发，链路负载均衡，全局调度，避免拥塞管理与运维体系网络可视化变更自动化运维自动化测试验收自动化物理层全调度以太网（GSE）技术体系框架管理与运维体系网络可视化变更自动化运维自动化测试验收自动化物理层传输层网络层 链路层链路级安全及容错机制部署自动化部署自动化Spine网卡网卡网卡网卡网卡计算卡计算卡计算卡计算卡计算卡Spine网卡网卡GSPGSPGSP计算卡场景二：部分功能下沉网卡，实现端网协同全调度以太网（GSE）部署场景Spine网卡网卡网卡网卡网卡计算卡计算卡计算卡计算卡计算卡Spine网卡网卡GSPGSPGSP计算卡场景二：部分功能下沉网卡，实现端网协同场景一场景一：仅网侧运行GSE，网卡不感知网卡计算卡计算卡网卡计算卡计算卡计算卡计算卡计算卡计算卡计算卡•网卡承担部分GSP角色，负责G•适用于英伟达及其他国产GPU生态系统8.Leaf（128*100G）Leaf（64*100G+16*400G）118282882211......训练网口8训练网口88.Leaf（128*100G）Leaf（64*100G+16*400G）118282882211......训练网口8训练网口8...•包均衡能力：每Leaf上行有16条负载分担链路Spine（128*100G）321321......Spine（128*100G）321321......（32*400G）Leaf上行400G组网情况•包均衡能力：每Leaf上行有64条负载分担链路同等芯片容量下，leaf上行端口速率为100G的组网规模较400G提升4倍，包均衡能力提升4倍全调度以太网（GSE）推进计划进展概况2023.52023.82023.92023.112024.02ODCC冬季全会GSE特设组成立GSE设备A厂商&B厂商对标UEC，建议在CCSA成立国家层面的全调度以太网（GSE）推进委员会，工作范畴建议如下：技术标准技术标准系联合仪表厂家开展合作，制定普适统一评估方法产业推动推动上下游产业支持，满足后续部署需求，推动技术成产业推动601智算中心网络技术概况02全调度以太网技术创新0303智算网络技术评测面临的挑战智算网络技术评测面临的挑战•模拟GPU实际的计算、周期性通信，测试结果是否可以客观反映实际结果•仪表是否能支持千卡级、甚至万卡即模拟能力•基本的通信原语&通信原语不同的实现方式•支持大模型的种类、测