在网计算(NACA)技术白皮书

在网计算（NACA在网计算（NACA）技术白皮书（2023年）PAGEPAGE10目录TOC\o"1-2"\h\z\u需求 2景 4算算心 4算物联 6算构 9架构 9NACA征 图 15术战 18射 18确障 19序排 19池化 20望 23献 24列表 25高性能计算（HPC）和人工智能（AI）等技术的发展正不断推动生物医药、模型参数总量已经达到千亿级别，高性能计算也已经迈向百亿亿级计算时代。同时，5G、工业互联算力能力方面，一是HPC二是大规模分布式系统接收端面临的incast多打一问题，造成任务完成时间过长；三是现分布式机器学习模型训练加速[4]以及基于Infiniband技术提出的Sharp技术[5]可以加速HPC等大规模计算密集型任务。好等挑战。基于以上考量，本白皮书提出了在网计算新架构NACA（NetworkAssistedComputingAcceleration），系统化推进在网计算设计和实现。在网计算NACA是一种与应用深度融合，实现网络辅助计算加速的新模式，通过重塑应用处理和开发模式，实现系统加速，提升算网资源利用率。NACA出倡议，希望联合产学研持续攻关，推进在网计算技术应用和发展。高性能计算2013以典型的MPI聚合算子AllReduce为例，其通信交互复杂度为O(logN)（N表示服务器节点规模）。如图1（a）所示，传统聚合通信方式，8个节点（N=8）进行AllReduce计算总共需要3个批次的通信，复杂度为O(logN)；图1（b）为采用了在网计算加速的聚合通信方式，8个节点进行AllReduce计算，由接入leaf进行第一次汇聚，由spine交换机进行第二次汇聚，总的通信批次只与网络的层次O(C)，CHPC下的网络时延，提升了计算效率。图1(a)端侧实现AllReduce 1(b)在网计算实现AllReduce应用处理效率。高性能存储从而保证所有的服务器产生一致的结果。文件内容的修改也可以保证全局唯一性。sub-RTT的响应时间，并有效提高端侧的吞吐量。大数据流式处理Manager（ShuffleSpark[11]作业中对数据进行重新分区的过程，ShuffleManagerSparkShuffle过程的组件。）MapReduce[12]ReducerMapper中拉取数据，进行规WordCount需要对分散在多机的单词计数进行汇总；SQL应用中，先分类（groupby）再汇总（sum、count）也是常见的计算模车联网以协助压缩数据流量，缩短通信时延，提高处理的实时性。大减少需要回传云端数据量。图2在网计算车联网用例文献[6]XR扩展现实（ExtendedReality，XR）VR、ARMR等多种技术的统称，XR技术不断演化升级，数据流更多源异构、确定性时延和可靠性均提出全新要求。在网计算技术通过网络感知业务的方式，XR终端设备提供高性能计算支撑。XRXR的服务保障。AR/VR5G并行分布式计算能力和聚合通信能力，随路卸载边缘云的计算任务，大幅提升AR/VR渲染能力，提供更实时的用户体验。图3基于在网计算的XR业务加速Sharp[5]在网计算Infiniband编程范式不友好方面，目前应用程序开发和网络设备开发模式有差异，对于应用开发者门槛较高，不利于在网计算的设计和实现。针对现有问题，本白皮书提出在网计算新架构NACA（NetworkAssistedComputingAcceleration）。在网计算NACA以提升在网计算通用性为目标，重构应用处理模式，构建全新的在网计算通信库，围绕拓扑映射、编程范式、计算实现、资源管理形成”四个统一”，实现网络辅助计算加速，提升分布式系统算能算效。图4在网计算（NACA）技术架构NACA在网计算通信库层向上对接多种分NACA管理5个核心功能层。异构网元XPUNACA在网计算性能。高性能互联保障，可以基于现有成熟协议栈实现，如RoCE、InfiniBand[8]、Omni-Path[9]Slingshot[10]源寻址等功能。在网计算通信库NACA架构体系的核心层，为分布式应用提供了通用BroadcastReduce、AllReduce等；AllGather、ReduceScatterBarrier）。分布式应用NACAHPC、高性能存储以及分布式机器学习5G/6GSub-RTT的快速响应，缩短数据传输路径，优化分布式应用的处理流程。编排管理（如计算图真正做到在网计算即服务。NACA架构为分布式应用提供网络辅助计算加速，其核心特征体现在拓扑映射、计算实现、编程范式和资源管理四个方面，形成“四个统一”。逻辑物理统一：NACA以亲和度更高的方式将应用逻辑拓扑映射到实际物理资源；通信原语统一：NACA构建了统一的在网计算通信库，为多样化应用提供通用在网计算能力；编程范式统一：NACA提供了统一的应用设计和部署方案，简化开发复杂度；网内资源统一：NACA优化了网络资源管理，构建一体化计算资源池，提升在网计算性能。特征一：逻辑物理统一NACAIO器的计算资源，可以更高效地共同完成计算任务。5spine交换机。这种映射机制下图5逻辑拓扑与物理拓扑间的映射特征二：通信原语统一NACAHPC、智能计算以及大数据等多样化应用提供一致的在网计对应的数据结构不同。模型训练数据类型通常为值流（ValueStream），而大数据应用则承载键值流（Key-ValueStream），两者在索引机制、排列方式以及计算上限等方面存在不同。NACA架构下，不同的应用可以调用统一的在网计算通信库实现计算加6所示，通信算子层面，NACA为多种分布式应用统一定义了几类高需灵活调用。在网计算原语层面，NACA规范了设备支持的在网计算原语。在高设备易用性，降低应用开发、运维成本。图6统一的在网计算原语实现在网计算通信库特征三：编程范式统一NACA7P4NPLMicro-C不同的网络编程语言对于应用开发人员构成了较大的使用门槛。图7在网计算编程范式统一示意图能扩展维护。特征四：网内资源统一NACARDMACXL[7]等高性能互联协议实现跨网络设备资源一致访RDMAInfinibandRoCE网络架构下核心的远距离内存直接访问协议，CXL（ComputeExpressLink）是一种开放的行业互连标准，为主机内部处理器I/ORDMA、CXLoverEthernet等方式实现图8在网计算网内资源统一图9在网计算整体功能视图NACA架构的应用层。2NACA架构的在网计算性等功能方面主要有以下常用在网计算引擎：在网计算引擎在网规约：AllReduceMPI报文发送到叶子交换机。叶子节点对报文信息进行提取后，由内通过MPISUM(求和)算子。在网序列器：事务管理器是保证分布式事务一致性的集中式解决方案.然而，作为一个集列号。在网序列器可以释放服务器的算力来执行其他计算任务。在网锁：分布式系统，通常有一个专用的锁管理器，节点可以联系它以获得资源的读和/CAS(compare-and-swap,较和交换)FA(fetch-and-Add添加)。锁管理器通常运行在服务器上，从而导致I/O迟，性能更差。在网锁可以有效加速系统并发控制原子粒度通用算子“简单”并且“通用”类别，比较常见的是聚合通信算子和一致性算子。表1聚合通信算子名称和功能说明算子分类通用算子OpCode算子说明聚合通信算子（通过函数将一组数据聚合为一个较小的集合）MAXMaximum，最大值MINMinimum，最小值SUMSum，求和PRODProduct，乘积LANDLogicaland，逻辑与BANDBit-wiseand，按位与LORLogicalor，逻辑或BORBit-wiseor，按位或LXORLogicalxor，逻辑异或BXORBit-wisexor，按位异或表2一致性算子名称和功能说明算子分类通用算子OpCode算子说明一致性算子（通过增删改查加速分布式系统端到端性能）WRITE写入READ读取DELETE删除CASCompareandswap，比较并替换CAADDCompareandaddCASUBCompareandsubFAAFetchandadd，取原值，并进行加法FASUBFetchandsubtractionFAORFetchandorFAANDFetchandandFANANDFetchandnandFAXORFetchandxor10了在网计算设备解析消息的过程。图10面向消息的在网计算数据处理，定义协议栈可能引入更多的系统开发和操作的复杂性；数据处理。表3面向消息的在网计算实现方式实现方式显式连接方式透明连接方式网络设备是否实现完全协议栈需要实现完整或部分协议栈不需要端侧与网络设备是否建立传输层连接需要不需要，但需要感知传输层连接RDMA“Go-Back-N”可能的方法包括在网络设备记录应用消息的出现次数以及是否完成计算等并依靠端侧重传机制从错误中恢复。图11在网计算程序编译与部署架构11显示了在网计算程序统一编译和部署的架构及流程。前端程序需首先最大的可行解，并通过相应求解器寻求最优编排方案。源池。12图12网络设备内部多任务动态抢占共享计算资源13理器首先根据网络节点上报的资源信息将物理网络设备存储器组织为虚拟存储服务器访问网络设备计算资源的一致性，实现无中断的资源重新分配。图13在网计算统一资源管理NACA技术成熟，繁荣产业生态，提出以下几点倡议：深化在网计算技术攻关用提供高性能、高可靠的网内加速。联合推动在网计算技术开源及标准化IETF、ITU、CCSAOCP、Apache等开源组织布局在网计算开源项目，共同构筑开放共享的在网计算生态格局。开展在网计算联合试验验证。中国移动正加快步伐构建算力网络试验网“1+9+9”CFITI方案，不断推进在网计算赋能千行百业，促进产业生态繁荣。参考文献算力网络白皮书ComputingForceNetworkWhitepaper.中国移动.2021.算力网络技术白皮书ComputingForceNetworkTechnologyWhitepaper.中国移动.2022.算网一体网络架构及技术体系展望白皮书中国移动研究院.2022ChonLamLao,YanfangLe,KshiteejMahajan,YixiChen,WenfeiWu,AdityaAkella,MichaelM.Swift,"ATP:In-networkAggregationforMulti-tenantLearning."NSDI2021:741-761.RichardL.Graham,DevendarBureddy,PakLui,HalRosenstock,GiladShainer,GilBloch,DrorGoldenberg,MikeDubman,SashaKotchubievsky,VladimirKoushnir,LionLevi,AlexMargolin,TamirRonen,AlexanderShpiner,OdedWertheim,EitanZahavi,"ScalableHierarchicalAggregationProtocol(SHArP):AHardwareArchitectureforEfficientDataReduction."COMHPC@SC2016:1-10MingyuanZang,ChanggangZheng,RadostinStoyanov,LarsDittmannandNoaZilberman,"P4Pir:In-NetworkAnalysisforSmartIoTGateways."SIGCOMM'22:ProceedingsoftheSIGCOMM'22PosterandDemoSessions.August2022.Pages46–48./10.1145/3546037.3546060.CXL./.InfiniBand./.Omni-Path./content/www/us/en/products/network-io/high-performance-fabrics.html.Slingshot./en-us/.[11]Spark./oop-mapreduce-client-core/MapReduceTutorial.htmlTop500.https:///缩略语列表缩略语英文全名中文解释5G5thGenerationMobileCommunicationTechnology第五代移动通信技术AIArtificialIntelligence人工智能ARAugmentedReality增强现实ASICApplicationSpecificIntegratedCircuit应用型专用集成电路CCSAChinaCommunicationsStandardsAssociation中国通信标准化协会CFITICFNInnovativeTestInfrastructure中国移动算力网络试验示范网CPUCentralProcessingUnit中央处理器CXLComputeExpressLink计算快速链接DRAMDynamicRandomAccessMemory动态随机存取存储器GTMGlobalTrafficManager全局流量管理HPCHighPerformanceComputing高性能计算I/OInput/Output输入/输出IETFInternetEngineeringTask