《在网计算（NACA）技术白皮书》解读

2023年8月中国移动提出“算力网络”新理念2023.32023.32022.72022.122022.72022.12022.62022.12021.112021.82021.112021.8“算网一体”是中国移动算力网络发展的深化算力网络的发展经过三个阶段的发展，逐渐深化起步阶段：泛在协同发展阶段：融合统一跨越阶段：一体内生一站服务：一站开通算网服务协同运营：云网运营双入口拉通协同编排一体服务：多层次智简无感服务一站服务：一站开通算网服务协同运营：云网运营双入口拉通协同编排一体服务：多层次智简无感服务智慧内生运营服务编排管理智能编排编排管理基础设施网随算动算网融合算网一体20252025 3算网一体架构及总体设计算网一体通过“联合感知”“混合控制”“极致互联”构建面向智能化时代的数架构关键技术联合感知联合感知混合控制混合控制网络信息拓扑信息拥塞状态SLA网络信息拓扑信息拥塞状态SLA指标CPU利用率异构算力算力规模前提集中式控制任务分解与调配节点1节点2分布式控制节点3消费侧节点4支撑作用极致互联极致互联CSP4CSP1CSP4CSP1 CSP CSP3CSP2算力路由在网计算广域RDMA算网数字孪生4分布式系统面临通信开销瓶颈问题模型训练时长分布[1]分布式训练管道中模型训练时间分解[1]不同模型在进行分布式训练时，各阶段的时间分布不同•采用8个workers和8个PSs的网络训练AlexNet模型，网络通信时间占比可高达80%以上•面向AI场景的网络优化需要更细粒度的通信算子优化方案需要尽可能压缩通信的时延占比，同时结合不同类型的通信过程优化分布式系统通信性能[1]ParameterHub:aRack-ScaleParameterServerforDistributedDeepNeuralNetworkTraining，htps://doi/10.1145/3267809.32678405问题主要来源发送接收发送接收网络负载严重不均衡发送接收发送接收发送↓发送交换机接收发送发送发送↓发送交换机接收发送发送通信模式不匹配交换机交换机③①②接收接收接收发送发送通过网络与分布式应用各通信阶段紧耦合的设计方式优化分布式处理是重要发展方向6在网计算有望攻克分布式系统通信瓶颈问题性能跃升主要优势处理模式性能跃升主要优势单次聚合时延流量压缩单次聚合时延在网计算设备在网聚合，数据在网计算设备在网聚合，数据消冗与求和缩短传输路径与传统软件实现聚合操作相比，缩短传输路径与传统软件实现聚合操作相比，IBSHARP方案性能提升近5倍单次同步时延网内处理单次同步时延网内处理，实现Sub-RTT通信线速处理线速处理与传统软件实现消息同步与传统软件实现消息同步相比，IBSHARP方案性能提升近9倍交换机Tbps处理能力7在网计算发展现状产业与学术进展中国移动CFITI试验网创新验证架构AlexNetVGG架构AlexNetVGG19VGG16VGG11ResNet152ResNet101ResNet50在网组播在网聚合SIGCOMM22IPDPS04在网聚合在网聚合COMHPC16COMHPC16ASPLOS23NSDI21在网计算发展挑战在网计算发展面临应用场景竖井式、协议实现封闭化、以及编程范式竖井式封闭化编程不友好竖井式封闭化编程不友好在网计算NACA在网计算NACANetworkAssistedComputingAcceleration逻辑物理统一通信原语统一逻辑物理统一编程范式统一NACA以编程范式统一NACA以提升在网计算通用性为目标，重构应用处理模式，构建全新的在网计算通信库，围绕拓扑映射、编程范式、计算实现、资源管理形成”四个统一”，实现网络辅助计算加速，提升分布式系统算能算效网内资源统一在网计算NACA技术架构编程范式统一分布式应用分布式应用 通信原语统一编排管理在网计算通信库编排管理在网计算通信库高性能互联高性能互联网内资源统一网内资源统一异构网元异构网元核心特征1：逻辑物理统一逻辑拓扑逻辑拓扑在网计算相较传统计算与逻辑拓扑映射更亲和统一.——逻辑链路 物理链路传统计算在网计算物理拓扑核心特征2：通信原语统一参数向量聚合（数据类型：数值）大数据处理键值聚合（数据类型：键值对）参数向量聚合（数据类型：数值）大数据处理键值聚合（数据类型：键值对）123579456调用相同的聚合算子在网计算通信库广播 同步聚合散播……在网计算通信库广播聚合算子物理实现统一聚合算子物理实现统一核心特征3：编程范式统一软件软件框架分布式应用应用开发统一在网计算编程框架运言Lyra领域专用语言Micro-C领域专用语言网络设备开发 应用1应用2多种在网计算程序统一编译 前端编译中间转译及中间转译及程序综合异构在网计算网元转译至异构在网计算网元网络设备1网络设备2网络设备1网络设备2核心特征4：网内资源统一在网计算节点在网计算节点 CPUGPU DDRDDRDDRDDRDDRDDR在网计算节点 CPUDDRDDRDDRDDRDDRDDR在网计算节点 CPUGPU 在网计算节点 CPUGPU 高性能互联协议（RDMA、CXL等...）高性能互联协议关键技术1：计算语义映射主机传统网络设备在网计算设备主机传输层Message传输层Message两种封装机制①自定义协议栈优势：设计灵活、高效劣势：开发复杂度高，技术封闭②基于现有协议栈（如RDMA）优势：兼容性高，可复用现有成熟加速技术劣势：方案不灵活，传输效率相对较低关键技术2：计算正确性保障问题：丢包、重复包影响计算正确性发送端接收端接收端聚合时发生丢包发送端 聚合时收到重复数据包方案：方案：依靠拥塞控制和可靠性传输降低丢包•利用bitmap高效记录已收到和已处理包的序号；•基于现有可靠性传输协议如Go-Back-N、选择性重传等，针 •优化网络负载均衡方案，避免负载不均导致的拥堵；•基于现有PFC、ECN、DCQCN等流量控制机制针对在网计算进行改进关键技术3：计算程序网内编排在网计算多级编译编排部署架构实现程序、元素、执构造IR块，解耦硬件、拓扑和指令依赖动态规划算法，实现程序段高效放置程序段构造IR块，解耦硬件、拓扑和指令依赖动态规划算法，实现程序段高效放置程序段DAG表示法，合并DAG指令除冗异构适配程序段连接和加载方案在网计算程序2硬件、拓扑、指令、能力多级依赖多任务共享设备，程序段集成困难分布式分段部署，编译加载难异构设备多、组合多、指令冗余题INC程序1在网计算程序1INC程序1在网计算程序1INC程序2IR程序1IR程序2INC程序M......INC设备1指令块4指令块1指令块2指令块3可执行文件2多级编译编排部署INC程序2IR程序1IR程序2INC程序M......INC设备1指令块4指令块1指令块2指令块3可执行文件2多级编译编排部署INC设备2......可执行文件1......可执行文件1INC设备N可编程交换机可编程可编程交换机可编程交换机网卡关键技术4：网内资源池化问问题方案计算、传输周期交替，内存利用率待提高设备内存虚拟化多租户、多实例、细粒度、动态分配............网络设备...网络设备..................