天翼云-大规模智算集群的管理与性能调优实践2024

天翼云云网产品事业部研发专家黄坚重点关注：•AI智算平台研发工作•大规模智算集群的性能诊断和调优•大规模智算集群的痛点问题•运维及管理实战思路和方案•云骁智算平台及落地实践•大规模智算集群的痛点问题•运维及管理实战思路和方案•云骁智算平台及落地实践大模型分布式训练模型并行模型并行大模型分布式训练模型并行模型并行算力标准化程度非常高智算集群工程化交付1.1设计文档获取1.2IP1.1设计文档获取1.2IP资源获取1.4集成规范解读1.5集成方案输出1.4集成规范解读1.5集成方案输出1.6LLD输出1.3初始化要求获取22安装与初始化2.2保压测试2.32.2保压测试2.3设备上电2.4配置项梳理2.5固件升级2.6BIOS配置2.7BMC配置2.8BIOS配置项检查2.9BIOS密码配置★2.10厂商名检查★2.11设备型号名检查★2.12序列号收集2.13压测环境搭建2.14硬件压测2.15压测报告解读2.1设备安装与上架33部署调测3.1管理交换机配置3.163.1管理交换机配置3.16线缆检查★3.2NPUOS安装3.3网卡驱动安装3.4Raid卡驱动升级3.5业务交换机配置3.6ROCE交换机配置3.7交换机配置校验3.8普通网卡配置3.9NPU软件栈安装3.10NPU网络配置3.11DPUrshim安装3.12DPU网络配置3.13HPFSOS安装3.14磁盘阵列配置3.15OS配置项检查4集群验证★4.1配置检查★4.2单机综合测试4.3综合测试项整改4.4单机模型训练测试4.5集合通信测试4.6集群模型训练测试5集群优化5.1物理链路检查5.2性能瓶颈分析5.3网络参数调整优化66验收整改6.1表格准备6.126.1表格准备6.12软集完成6.2测试报告准备★6.3表格导入云调系统6.4自动化预验收6.5自动验收项整改6.6自动验收通过6.7专业组验收6.8专业组验收项整改6.9云调结单6.10软集验收组验收6.11软集问题整改★★★★需特别关注点关键节点难点大集群等于大算力？万卡集群万卡集群智算中心运行时长低AI算力3000P+万光纤万光模块台存储服务器根个万光纤万光模块台存储服务器根个AI加速卡AI服务器网络交换机最大程度发挥算力的挑战•大规模智算集群的痛点问题•运维及管理实战思路和方案•云骁智算平台及落地实践集群性能-单机配置正确性检查•transformer版本集群性能-集群软硬件一致性集群性能-健康检查解决硬件解决硬件异常问题•业务网口状态检查集群稳定性-算力网络拓扑展示训练任务的告警拓扑展示随时了解训练任务的健康状态服务器、交换机的告警染色的拓扑形态呈现随时随地了解智算集群健康状态裸金属训中观测-核心指标解析丈量开源大模型不同算力的性能表现模型训练基线模型训练基线•大规模智算集群的痛点问题•运维及管理实战思路和方案•云骁智算平台及落地实践集“异构计算+高速存储+无损网络+算力加速+高效运营”五大能云骁-计算加速平台集群管理算力加速故障诊断 高性能存储高性能网络高性能算力底座 高性能存储高性能网络异构计算异构计算云骁智算平台-集群稳定性保障覆盖算力、存储、网络、平台各层次，可支撑大模型训练推理的全国产智算基础设施平台，国内最早提供大•自研TeleCloudOS完全替代openStack•具备一云多芯超大规模信创资源池管理和智能调度能力•基于国产GPU实现智算训练、推理服务能力和超算能力•自研RDMA网络和存储技术，打造高性能的信创算力底座•性能深度优化，SPECCloud性能测试中多项指标测评分数全球领先•自研分布式存储引擎LAVA，替代开源Ceph存储；推出新一代云硬盘XSSD，提供百万IOPS、小于100微秒时延•大规模智算集群的痛点问题•