2023算网操作系统白皮书-

本白皮书版权属于网络通信与安全紫金山实验室及其合作单位网络通信与安全紫金山实验室、北京邮电大学江苏省未来网络创新研究院张晨、黄韬、周俊、谢人超、汪硕、霍如、刘韵洁）：罗曙晖、汪年、张玉军、夏令明、潘凤薇、孙蝉娟、高新平、肖玉明、高松、李伟、赵芷晴、吴海乔I用的实际运行和应用间通信的流量传输，因此也 I 1 1 3 7 7 1本，并凭借这一优势在互联网、金融等行业得2支付服务器的费用，无法实现真正的按实际用量付费。而Serverless速地进行函数发布与在线运行，并首次提出了FaaS（Functionasa34商将自身核心云上的技术体系以新的产品形态和全局统一的管理架上以单个公有云服务为主流目标。在第二阶段，Gartner提出了明确一问题：1）从算力视角出发，将分布在不同地理位置和网络位置的源调度，使这些集群形成了一个逻辑上的算力网；2）在第一种基础算力互连的实现路径。算力互连可以分为不同的实5通过光通道连接直接连接算力集群，将网络看作算力间的透明连接；2）通过在路由器上引入确定性传输能力，以保证算力间方问题，同时还能够满足应用服务/任务间灵活的流量传输需求；3）北向的算网协同关注终端用户与应用/任务之间的交互质量，侧重于纯的网络上下行传输时间短或云端渲染时间短都可能无法满足用户业务需求；2）在东西向的人工智能训练场景中，工作节点需要强大6础设施的理想形态就是算力资源在全网任意分布并为用户统一呈现户无需感知应用/内容在广域网中的具体分布位置，同时应用/内容可7需求到资源侧的算力/网络资源的调度。算网操作系统在设计之初就上述概念体现了两个方面的含义：1）从硬件角度来看，这些独立的计算机是彼此自主的，即每台计算机都有自身专属的内存；2） 8统，并尽可能地在最大程度上实现分布式系统的透明性：1）位置透行拷贝而无需通知用户；4）并发透明，多个用户可以安全地共享程在分布式操作系统的技术发展史上，Google公司做出了巨大的9用同时运行时对带宽资源进行灵活、细致的调配，3）网络资源的无功能：1）协同调度负责实现对于算力和网感知、算网协同、分级跨域、接口适配等主要能力；2）闭环监控负发、调度反馈、日志追踪等主要能力；3）资源管理负责实现对于算限、算网拓扑等主要能力；4）标识治理负责实现服务标识的全生命4.2）闭环监控判断当前应用程序/应用间连接的运行操作系统的核心功能在于管理底层硬件资源以便上层应用使用。节点描述方法，实现了对于核心云、边缘云、零散节点、边缘网关、 “资源数量”维度从网络资源所能提供的“带宽、时延、抖动”蔽底层网络层复杂逻辑把网络资源抽象为一组可量化服务能力的虚 业务建模旨在通过构建一种通用的模型来描绘业务系统的自身三大要素构成：1）负载描述用以表征应用本身的属性信息，包括运与定性资源需求的不同点在于不需要对资源的剩余量进行扣减；3）如图3-5所示，业务流量建模描述了应用访问/被访问的流量的成：1）负载描述用于描述流量本身的属性信息，与应用的载描述的2）部署要求则是描述承载该流量的网络资源需求。这些描述信息旨在量化访问路径上流量的需求特征，同样分为定量需求与定性需求。访问路径对网络资源供应商、地理位置的限定；3）预期状态则是描并进一步描述了应用与流量的关系，以此构成业务系统的拓扑结构。定量调度模型则是根据应用的定量资源需求匹配合适的算力资量资源需求的算力资源的同时，需要扣减该算力资源的可用资源量。空属性”三个方面进行定性和定量的描述。根据流量建模，流量以<源标识，目的标识>为单元描述该流量传输中对网络资源需求与预期上述应用调度建模与流量调度建模仅能实现应用和流量各自独首先，资源供应方需要对算力资源和网络资源进行信息的录用间服务访问的网络时延/带宽需求。协同调度引擎会根据用户蓝图算网协同调度的核心任务是实现业务蓝图与算网拓扑之间的匹送最新业务数据到APP1，无明确的网络服协同调度将对业务蓝图的需求进行分解并与相应的资源进行匹在核心云，以满足数据分析的算力资源需求为实现应用/流量在初始部署时的分发/转发，以及在运行状态下度功能模块分别从算网拓扑中筛选出符合部署要求的算力资源与网此小节将重点描述算网协同调度中三种典型的算网协同调度联仅当算力和网络资源能够同时满足应用和流量需求时才视为一次成对等式结构常见于多个业务关系紧密但运营耦合程度较低的主以作为其子集群的父集群，如此迭代即可形成一个树状的分层形态，持这种父子关系在各个层次之间的可传递性以及调用接口的幂等性。同时，级联式结构天然具备对多个广域网进行拼接的流量调度能力，定后，再在相应的算力资源和网络资源上完成整个业务蓝图的部署。（5）区域2协同调度接收到子业务蓝图，得出APP2可部署在核度引擎将蓝图进行拆分，根据业务蓝图描述的负载类型与预期状态，局协同调度进行指标分拆，如蓝图中声明的应用总副本数约束需求。（5）区域2协同调度接收到子业务蓝图，得出APP2可部署在核并触发区域2协同调度，对应步骤4；算网操作系统在设计之初就旨在解决东数西算将面临的挑战和资源就近地接入到主板上面；2）需要有一个“新型桌面”为用户提跨集群的情况需要分配相应的路由器队列/光通道等广域网资源，以一抽象，并进行“计算+网络”的协同调度，同要用户提前在有意向的公有云或其他资源供应方分别进行账号与权虽然它们能够通过容器/扩缩容的形式将应用自动地跑在物理机或者系统可以根据应用在测试环境中的运行效果来判断其在实际部署运传统只能在终端侧实现的实时处理能力与云端的并发处理能力相结充分鼓励区域和地方间的点对点或者多方合作，允许各大算力集群、A100GPU约71296片。天气预报、气候模拟、基因组学研究、药物研发等科学计算领域需要进行复杂的数值模拟和大规模数据处理，《Nature》一篇研究化合物筛选的文章表明1慧园区场景要求跨域协作来实现跨多个地理位置的设备互联和数据用户进行超低延迟的实时交互，多种感官信号需要高精度同步传输。更快的并行计算，但并不擅长逻辑控制，CPU和GPU如何高效协作力集群内部也可能发生在核心云和边缘云的算力集群之间并对网络胀以及高端算力芯片的零散分布，分布式训练有必要从“多机多卡”任务/模型部署、任务/模型间通信的结构显得更加固定。以数据并行超算业务场通常依赖于专用的超级计算或高性能计算进群来处计算进行数据文件和任务程序的切割并调度到空闲集群上实现协同式因而更加固定，相比于智算业务（以数据并行为例超算业务的行，任务程序间需要通过专用的集合通信来实现高性能的并方之间的桥梁，平台自身并不以任何形式直接提供算力与网络资源。术上能够实现责任判定是算网调度中心在该模式下面临的一个挑某种形式的入口，因此在平台的渠道垄断也受到了一定程度的制约。建议：1）制定“逻辑并网”标准，减轻算网平台与算力集群间“一集群一议”的API对接负担；2）加强推动“物理并网”进在此进行单点的账号登录即可由入口在后台自动打通用户在多区域、建议：1）制定用户身份认证与授权标准，以实现跨算力集群间的业务互操作能力；2）加强对于算网平台的政策宣贯与市场引导，建议：1）探索汇聚多主体的算力联盟生态，打通算网平台生态的商业闭环；2）加强对于数字人民币、开放许可链等技术路线在算力交易中的试验示范，实现算力交易从“下单、计费、分账、付费”识、权限、性能等方面的设计中都隐式地植入了这种假设，而在其TCP/IP的设计中则显式地区分了本地与网络，这些都与分布式操作图7-2从“存算耦合”到“存算分离”应用/任务间通信的时延不必准时但需要及时，带宽则需要随应用弹上述光电融合的广域网将传统路由器和光的松散结合变为紧密等不同的算力芯片均有不同的使用接口，应用程序编码时需按特异构算力驱动的目标是解决不同算力芯片使用接口的多样性和（1）制定算力驱动程序的接口标准。制定一套统一程序编译成中间指令集或WASM，并由驱动程序将其翻译成特定硬 传统的通用编译器无法适应异构算力并生成高效的跨平台代码。（1）静态推断式优化。通过对源代码进行静态分析，识别潜在 \\\ApplicationprogrammInformationandCommun\UserNetworkInterfaceNNINetworktoNetworkInterfaceBroadcastMultipleAcNBMANon-BroadcastMultipleAccessMultiprotocolLabelSwitPeertoPeerParameterServerFloatingPointOperationsHorizontalPodAutoscaIntermediateRepresNaaS[2]GoogleBlog.https://cloudplatfor[3]AWSEC2Post.ann