在网计算（NACA）技术白皮书

技术白皮书中移智库中国移动研究院Kutscher、徐宏力、王伟锋、陈艳庆、张玺、前言人工智能和大数据等新兴科技产业正深刻影响我国经济社会发用，系统打造以5G、算力网络、智慧中台为重点的新型信息基施，创新构建“连接+算力+能力”新型信息服务体系。2021年，中国确了核心理念、场景展望、发展路径以及技术体系，提出了“泛在协同”、“融合统一”和“一体共生”的三个发展阶段，随后发布《算力网1 2 4 4 6 9 9 11 15 18 18 19 19 20 23 24 252高性能计算（HPC）和人工智能（AI）等技术的发展正不断推动生物医药、到千亿级别，高性能计算也已经迈向百亿亿级计算时代。同时，5G、工业互联构，对CPU/GPU/ASIC/FPGA/NPU规模分布式系统接收端面临的incast多打一问题，造成任务完成时间过长；三是点到点的通信实现不匹配，网络中存在大量冗现分布式机器学习模型训练加速[4]以及基于Infiniband技术提出的Sharp技术[5]可好等挑战。基于以上考量，本白皮书提出了在网计算新架构NACA（NetworkAssistedComputingAcceleration），系统化推进在网计算设计和实现。在网计算34算TOP500[13]性能上升速率明显变缓，依靠硬件堆叠单个超算中心计算能力面临服务器的方式实现数据并行时，多个工作节点在自己的数据集上进行参数训练，数聚合过程，可以有效地提高聚合通信的效率，降以典型的MPI聚合算子AllReduce为例，其通信交互复杂度为O(logN)（N表示服务器节点规模）。如图1（a）所示，传统聚合通信方式，8个节点（N=8）进行AllReduce计算总共需要3个批次的通信，复杂度为O(logN)；图1（b）为采用了在网计算加速的聚合通信方式，8个节点进行AllReduce计算，由接入leaf进行第一次汇聚，由spine交换机进行第二次汇聚，总的通信批次只与网络的层次56中对数据进行重新分区的过程，ShuffleManager是S约操作。例如，词频统计应用WordCount需要对分散在多机的单词计数进行汇7过这个更新的设置，能够从新到达的流量中是当前产业应用关注的热点。随着XR技术不断演化升级，数据流更多源异构、XR业务使用基于图像组编码时，网络设备的计算增8并行分布式计算能力和聚合通信能力，随路卸载边缘云的计算任务，大幅提升9处理，缩短数据传输路径，是解决分布式应用通信瓶颈问题的重要技术。然而，针对现有问题，本白皮书提出在网计算新架构NACA（NetworkAssisted全新的在网计算通信库，围绕拓扑映射、编程范式、计算实现、资源管理形成”中心交换机以及用于加速的端侧适配器，如XPU等；以及在网络边缘具备在网保障，可以基于现有成熟协议栈实现，如RoCE、InfiniBand[8]、Omni-Path[9]和在网计算通信库作为NACA架构体系的核心层，为分布式应用提供了通用算和存储集群，在网计算可以加速包括HPC、高性能存储以及分布式机器学习速处理和数据汇聚功能，实现业务数据的压缩，以及Sub-RTT的快速响应，缩），），在NACA架构下，不同的应用可以调用统一的在网计算速。如图6所示，通信算子层面，NACA为多种分布式应用统一定义了几类高CXL（ComputeExpressLink）是一种开放的行业互连标下面2层是在网计算系统功能的关键层次，对应于NACA架构的在网计算数据通过MPI报文发送到叶子交换机。叶子节点对报文信息进行提取后，由内事务管理器是保证分布式事务一致性的集中式解决方案.然而，作为一个集分布式系统，通常有一个专用的锁管理器，节点可以联系它以获得资源的读和/算子分类通用算子OpCode算子说明聚合通信算子（通过函数将一组数据聚合为一个较小的集合）MAXMaximum，最大值MINMinimum，最小值SUMSum，求和PRODProduct，乘积LANDLogicaland，逻辑与BANDBit-wiseand，按位与LORLogicalor，逻辑或BORBit-wiseor，按位或LXORLogicalxor，逻辑异或BXORBit-wisexor，按位异或算子分类通用算子OpCode算子说明一致性算子（通过增删改查加速分布式系统端到端性能）WRITE写入READ读取DELETE删除CASCompareandswap，比较并替换CAADDCompareandaddCASUBCompareandsubFAAFetchandadd，取原值，并进行加法FASUBFetchandsubtractionFAORFetchandorFAANDFetchandandFANANDFetchandnandFAXORFetchandxor实现方式显式连接方式透明连接方式网络设备是否实现完全协议栈需要实现完整或部分协议栈不需要端侧与网络设备是否建立传输层连接不需要，但需要感知传输层连接可能的方法包括在网络设备记录应用消息的出现次数以及是否完成计算等作业，从而形成池化的网内资源。如图13所理器首先根据网络节点上报的资源信息将物理网络设备存储器组织为虚拟存储服务器访问网络设备计算资源的一致性，实现识，共同推进在网计算NACA技术成熟，繁荣产业生源组织布局在网计算开源项目，共同构筑开放共享的在网开展在网计算联合试验验证。中国移动正加快步伐构建算力网络试验网[4]ChonLamLao,YanfangLe,KshiteejMahajanAkella,MichaelM.Swift,"ATP:In-networkAggregationforMuNSDI2021:741-761.[5]RichardL.Graham,DevendGilBloch,DrorGoldenberg,MikeDubman,SashKoushnir,LionLevi,AlexMargolin,TamirRonen,AlexaWertheim,EitanZahavi,"ScalableHierarchicalAggregatioHardwareArchitectureforEfficient[6]MingyuanZang,ChanggangZhengZilberman,"P4Pir:In-NeProceedingsoftheSIGCOMM'22PosterandDemoSessions.August2022.[7]CXL.puteexpre[8]InfiniBand.https://www.infinib