OrionX AI算力资源池化解决方案技术白皮书

OrionXAI算力资源池化解决方案技术白皮书OrionXAI算力资源池化解决方案技术白皮书版权所有©北京趋动科技有限公司2023。保留 1 2 3 4 5 5 6 6 6 7 7 7 8 8 10 10 11 11 12 14 14 14 15 16 16 17 187.3.1通过“随需应变”功能支持训练/推理 187.3.2通过“任务队列”功能支持训练/推理任务自动排队 197.3.3通过“抢占”功能支持任务抢占资源 207.3.4通过“显存超分”功能支持多任务叠加常驻 217.3.5通过“双类资源池”功能支持物理/虚拟切换 227.3.6通过“热迁移”功能支持AI任务平滑迁移 237.3.7通过“多Arch”架构可同时支持AI计算与图形渲染 25 28 30 30 31 33图表目录图表1-1全球人工智能市场规模走势图 1图表2-1GPU资源池化技术演进图 2图表3-1ORIONX架构图 3图表5-1ORIONX逻辑架构图 5图表5-2管理平面逻辑结构图 8图表5-3数据平面逻辑结构图 9图表6-1ORIONX与容器云平台集成 10图表6-2ORIONX和KUBERNETES集成 11图表6-3ORIONX和KVM集成 12图表6-5ORIONX和VMWARE集成 13图表7-1通过化零为整功能支持训练 15图表7-2通过隔空取物功能支持训练 16图表7-3通过化整为零功能支持推理 17图表7-4通过隔空取物功能支持推理 18图表7-5通过随需应变功能支持训练/推理 19图表8-1模型推理测试结果 31图表8-2模型训练测试结果 32OrionXAI算力资源池化解决方案技术白皮书1图表1-1全球人工智能市场规模走势图OrionXAI算力资源池化解决方案技术白皮书22GPU资源池化技术的演进•任意虚拟化。将物理GPU按照算力和显存两个维度，自定义切分，获得满足AI应OrionXAI算力资源池化解决方案技术白皮书33OrionX产品概述图表3-1OrionX架构图44OrionX产品优势•提高利用率•高性能•轻松弹性扩展•灵活调度•全局管理oGPU全局资源池性能监控，为运维人•对AI开发人员友好o一键解决AI开发人员面临的训练模型中GPU/CPU配比和多机多卡模型拆55OrionX软件架构5.1OrionX的逻辑架构图表5-1OrionX逻辑架构图CUDA(ComputeUnifiedDevOrionXAI算力资源池化解决方案技术白皮书65.2OrionX的功能组件•各个分布式功能组件的服务注册、服务发现功能。•多副本高可用的元数据存储和管理。•提供运维所需要的各种RestAPI。•发现和管理物理GPU资源。OrionXAI算力资源池化解决方案技术白皮书7•把物理GPU资源抽象成弹性•兼容CUDA接口。•支持虚拟机、容器和宿主机的网络隔离。•分级的运维账号登录与管理。•查看各组件的部署拓扑以及详情。•多维度、多角度查看资源池的资源使用情况。•细粒度管理资源池内的资源。5.3OrionX组件间通信OrionXAI算力资源池化解决方案技术白皮书8•OrionXController支持多副本、高可用的部署模式。•各个功能组件启动的次序无要求。•当某一个功能组件从错误中恢复之后，可以自动同步到正确的状态。•高带宽、低延迟。9图表5-3数据平面逻辑结构图6部署形态6.1OrionX与容器云平台集成OrionX支持原生容器，各个组件都可以通过容器镜像方式用，大大简化了客户算法工程师运维、管理AI图表6-1OrionX与容器云平台集成OrionXAI算力资源池化解决方案技术白皮书6.2OrionX与Kubernetes集成•OrionXKubernetesDeo通过Kubernetes定义的DevicePlugin标准向Kub•OrionXKubernetesSchedulerExtender图表6-2OrionX和Kubernetes集成6.3OrionX与KVM集成OrionXAI算力资源池化解决方案技术白皮书6.4OrionX与VMware集成OrionXAI算力资源池化解决方案技术白皮书7OrionX应用场景7.1OrionX支持大模型场景的典型应用通过Ring-Reduce的数据交换方法提高了通讯效率，并通过启动多个进程的方式减轻OrionXAI算力资源池化解决方案技术白皮书图表7-1通过化零为整功能支持训练OrionXAI算力资源池化解决方案技术白皮书图表7-2通过隔空取物功能支持训练7.2OrionX支持小模型场景的典型应用OrionXAI算力资源池化解决方案技术白皮书图表7-3通过化整为零功能支持推理“隔空取物”支持推理、开发、教学实训等小模型场景，可7.3OrionX支持大/小模型场景的典型应用OrionXAI算力资源池化解决方案技术白皮书图表7-5通过随需应变功能支持训练/推理OrionXAI算力资源池化解决方案技术白皮书图表7-6通过任务队列功能支持训练/推理任务自动排队上述“任务队列”中，OrionX允许对某OrionXAI算力资源池化解决方案技术白皮书图表7-7通过抢占功能支持任务抢占资源快响应速度。但是这类常驻任务一般算力利用极低，而且潮汐OrionXAI算力资源池化解决方案技术白皮书图表7-8通过显存超分功能支持多任务叠加常驻OrionXGPU两类不同资源，以应对不同任务OrionXAI算力资源池化解决方案技术白皮书图表7-9通过双类资源池功能支持物理/虚拟切换成维护工作。迁移的源端和目的端需要采用相同硬件设备、driver/成功后，按照任务迁移时的原有进度继续执行，不需要重新模型加载图表7-10算力池资源负载均衡图表7-11算力资源碎片整理图表7-12GPU服务器下线维护业务模型计算和渲染同时需要需求。在多Arch架构下，单个容器或虚拟机可运行多协议图表7-13通过多Arch架构可同时支持AI计算与图形渲染容器和虚机申请的多ArchvGPU算力资源可以支持AI图表7-14虚拟数字人推理场景图表7-15研究科学计算场景OrionXAI算力资源池化解决方案技术白皮书7.4OrionX支持多元异构算力芯片利用软件定义异构算力技术构建异构算力资源池，一方面可以实现资源高效管理和弹性供OrionXAI算力资源池化解决方案技术白皮书图表7-16OrionX支持多元异构算力芯片使用国产中国海光、中国寒武纪、美国英伟达等异构算力加速属算力资源提供给上层应用使用。异构算力池化解决方案可在OrionXAI算力资源池化解决方案技术白皮书8性能测试8.1测试环境•硬件配置•软件配置•测试用例OrionXAI算力资源池化解决方案技术白皮书8.2测试结果•NativeGPU：表示将测试用例运行在物理GPU之上，不使用虚拟机或者容器•OrionLocalCo图表8-1模型推理测试结果图表8-2模型训练测试结果OrionXAI算力资源池化解决方案技术白皮书9兼容性列表•网络•寒武纪Neuware