分布式异构智能算力的管理和调度技术研究报告 2023

1分布式异构智能算力的管理和调度技术研究报告2 3 4 4 7 9 10 13 16 17 18 19 22 24 263承载信息数据的重要基础设施，已成为全社会数字化转型的重要基4池化和非池化异构算力并存等各种场景下，算力协同的需求及可行二、异构算力的发展和应用场景需求5代GPU架构GeForce256，标志着GPU时代的开始。随后GPU架构也不断升级，以适应日益增长的计算需求，GPU架构也不近年来，英伟达还发布了多款强大的GPU芯片，如Turing、Ampere等，这些芯片都具有高性能的计算能力，为各种应用提供了可达18432个FP32（单精度）和9216个FP64（双精度）的C架构、RDNA3架构、CDNA架构和CDNA2架构。最新一代面向高性能计算和人工智能CDNA2架构于架构采用增强型MatrixCore技6MI250XGPUFP64双精度运算算经网络专用芯片，是google为了为优化自身的TensorFlow机器于实现神经网络加速器、高性能计算单元等，为计算密集型的AI任AI张量块，包含密集的低精度乘法器阵列，针对矩阵和向量乘法进与更通用的芯片（如CPU和GPU）相比，ASIC芯片的定制化7DPU服务于云计算，主要作用是提升数据中心等算力基础设施宽和数据量急剧增长，由于CPU性能增长速度放缓，为了寻求效率更高的计算芯片，DPU由此产生。例如，英伟达将Mellanox的式推出了两款DPU产品BlueField-2DP8求。异构计算可以利用CPU和GPU联合的方式，实现更高的计和管理。通过异构计算，可以实现物联网设备的智能化管理和数据处理，提高物联网应用的效率和可靠性。异构计算可以利用CPU+GPU或者CPU+FPGA+GPU等异构算力联合的方式，实现处理大量的交易数据。异构计算可以利用FPGA进行加密计算，除了上述典型的应用场景外，不同行业对异构智能算力的整体需9三、分布式异构算力管理和调度的关键技术能力入，算力拓扑信息，算力实时状态信息，实现对算力资源的虚拟体技术栈的适配支持，以保证应用在不同算力节点上能弹性迁移分布式异构算力的管理和调度是分布式异构算力平台的核心功异构算力虚拟化和池化是指在计算环境中利用不同类型的计算MIG（Multi-InstanceGPU）作为Ampere以及之后的Hopper架构推出的新特性，解决了像Ampere、Hopper这种大GPU在集群服务应用时一类需求GPU切分与虚拟化。MIG分割的每个GPU实例等，这样的切分方式也同时以利于容错和吞吐率以及延迟的预测。物理资源进行切分，包括系统通道、控制总线、算力单元（TPC）、全局显存、L2缓存、数据总线等；然后将分块后的资源重新组合，划分CI资源，这样通过排列组合，增加了配置的多样性。但是这些能力进行切片，分成多个逻辑上虚拟的GPU，以vGPU为单位分配同时为了丰富GPU虚拟化的能力，vGPU也可以支持多种不同的调超分等奠定了技术基础，为持续优化智算资源利用率创造了无限可算力的池化技术，它通过劫持对RuntimeAPI（如CUDAAPI）调用实现资源调度。当AI应用访问池化运行时的API远程调用资源等。API劫持技术的关键在于池化运行时仿真GPU/AI芯片的原生运行时，由于GPU/AI芯片种类、型号繁多，其原生运行二是应用程序监视器技术：这是一种完全与GPU/AI芯片无关的Hypervisor管理虚拟机的方式类似，分为前端、后端，前端监视指于不同GPU等异构硬件在支撑智算应用时，依赖不同的技术栈，包上的应用并不能调度到国产化的GPU上无缝运行，也更无法将一个运行在GPU上的程序不经过适配改动直接运行在FPGA上，技术栈的竖井问题导致一个智算应用目前仍然很难在不同的异构算力节点别和管理，算力设备厂商按照deviceplugin的接口规范实现自己的例如在Kubeflow平台中，GPU资源的管理和调度是通过GPU分配一定数量的GPU资源。GPU插件会根据任务的需求和系统中Kubernetes集群中，并提供API接口实现对资源的管理。当应的Pod，如果要实现任务的细粒度管理，可以使用GPU-Share的在的网络状态，以支撑策略对不同的集群网-基于实时资源状态调度：根据异构节点实时资源状态，包括之外FPGA、NPU、ASIC等形态的算力也被广泛应用于不同的使用场景。在混合异构系统的调度中，由于CPU负责对计算机的硬件资缺的，GPU、FPGA等芯片都是作为CPU的加速器而存在。主流的型训练在CPU上耗时长的问题，提升深度学习模型的训练效率，同多CPU核心可用于处理应用程序，从而大大提高数据中心的效率，辑控制。度量单位一般的可以用TOPS来衡量其运算能力；并行计算能力是指专门为了处理如图形图像等数据类型统一的一种高效计计算能力主要针对近年来AI神经网络、机器学习类密集计算型业务交易的基础，产业界也已经开始对算力标识的整体架构开展相关研大的计算效力，为多样化AI应用场景提供高性能、高可靠的算力支中国移动智算中心基于移动云底座的IaaS能力，管理算力基础推理池。中国移动将在小模型训练池中，采用自研的容器基础设施与调度，实现对智能算力的几大关键能力。包括算力的（二）浪潮AIStation平台实现异构资源管理调度浪潮人工智能平台提供统一的主流深度学习框架（Tensorflow、控，实现基础资源服务管理,快速开展人工智能相关业务的开发和部关于异构算力的接入和管理，AIStation人工智能开发平台实现AIStation人工智能开发平台可为用户分配使用AIStation提供了插件化设计，能够实现包括GPU、寒武纪、昇关于异构算力的调度，AIStation人工智能开发平台调度系统提络，同时支持按照接入交换机进行调度，尽量将任务调度在一个卡的使用率。提交任务时指定需要几个GPU卡，每个GPU卡需急任务队列属性时，会将该紧急任务放到该紧急队列，在紧急任务队列的任务有最高的调度优先级，调度器在处理完全部的紧急不同的用户组，调度器会为每个用户组创建对应的调度队列，相同用户组的用户提交的训练任务会进入同一队列，调度器循环选），息，根据节点缓存数据集和作业所需数据集信息执行作业调度，如果计数达到阈值后该等待任务仍然未得到足够资源，则在同一资源组中，优先调度这个等待任务。该特性保证在资源紧张的情（三）新华三傲飞平台实现异构资源管理调度H3C傲飞高性能计算管理平台（AdvancedManagementPlatform用户习惯的前提下，实现AI和HPC资源的灵活调配管理。实现了件\文件夹管理、统一计费、统一监控告警，实现了AI和HPC业务傲飞平台支持精细化的GPU管理，支持GPUMIG切分，支持vGPU和显存分割。支持多种调度策略，包括FIFO、Gang、抢占、傲飞平台基于兼容Kubernetes的基础自研容器服务平台为底集群环境和API，以运行各核心组件，实现资源调度和弹性伸缩、工作流编排、AI作业生命周期管理、各种AI制主要环节，支持AI数据集管理，AI模型开发、训练、评测，以及管理。支持对于不同形态的算力资源进行约束限制，对用户使用的用于供专门应用的集成ArtificialIntelligence用于创建机器学习和人工智能解决方案并提高[1]中国算力发展指数白皮书（2023年），/kxyj/qwfb/bps/202309/P020230914584614752938.pdf[2]中国综合算力评价白皮书（2023年），/kxyj/qwfb/bps/202309/t20230906_461185.htm[3]浪潮AIStation人工智能开发平台，/eportal/ui?pageId=2528603[4]新华三傲飞算力平台，/cn/d_202308/1905504_473262_0.htm[5]中国移动NICC新型智算中心算力池化技术白皮书，/insight/insight_category/t