黄坚：大规模智算集群的管理与性能调优实践

中国电信CHINATELECOM天翼云云网产品事业部研发专家黄坚CHINATELECOM演讲嘉宾介绍天翼云StateCloud黄坚天翼云研发专家·大规模智算集群的性能诊断和调优·国产算力生态适配天翼云StateCloud天翼云StateCloudCHINATELECOM天翼云StateCloud天翼云StateCloudCHINATELECOM天翼云StateCloud天翼云StateCloudxAddDropout模型并行模型并行GeLUOutputOutputAddParallelPosition+WordEmbeddingsandDropout中国电信CHINATELECOMStateCloud1.1设计文档获取1.4集成规范解读1.5集成方案输出1.6LLD输出2.2保压测试2.3设备上电2.4配置项梳理2.5固件升级2.6BIOS配置2.7BMC配置2.10厂商名检查2.12序列号收集2.13压测环境搭建2.14硬件压测2.15压测报告解读部署调测3.2NPUOS安装3.3网卡驱动安装3.8普通网卡配置3.11DPUrshim安装3.12DPU网络配置3.13HPFSOS安装3.14磁盘阵列配置3.16线缆检查集群验证4.1配置检查4.2单机综合测试4.5集合通信测试5.1物理链路检查5.2性能瓶颈分析6.1表格准备6.9云调结单6.12软集完成CHINATELECOM天翼云Al算力3000P+运行时长低3.6万十根2.5万十个约1万张约1200台500十台260+台CHINATELECOM天翼云StateCloud·挑战3:百万器件管理复杂度高天翼云StateCloud天翼云StateCloudCHINATELECOM集群性能一单机配置正确性检查天翼云StateCloud··加速卡驱动GPU驱动NPU驱动交换机交换机中国电信CHINATELECOM中国电信CHINATELECOM集群性能一集群软硬件一致性集群性能-健康检查·加速卡健康检查·加速卡残留进程天翼云State天翼云StateCloudCHINATELECOM·容器空间容量·防火墙状态·内存容量检测·业务网口状态检查StateCloud天翼云StateCloud集群稳定性一算力网络拓扑展示GPU显存GPU显存GPU占用传输速率传输速率Pod内存节点节点节点内存节点节点节点CPU节点网络传输服务器、交换机的告警染色的拓扑形态呈现交换机交换机裸金属天翼云StateStateCloud·gpuulitization:有任务占用，粗粒度多维度性能基线·集合通讯基线模型训练基线加速卡-IB网卡-切分方式-集群规模天翼云StateCloud天翼云StateCloudCHINATELECOM云骁智算平台集“异构计算+高速存储+无损网络+算力加速+高效运营”五大能力一体的计算加速平台，提供高性能算力底座、计算加速、故障诊断等服务集群管理多样化算力纳管集群一体化开通和管理集群级运维能力细粒度多租策略云骁-计算加速平台算力加速集合通讯加速故障诊断智算全流程可观测多维度健康检查立体化综合测速性能评测高性能算力底座高性能网络VPC网高性能网络VPC网络大带宽远程数据传输IB网络ROCE网络异构计算弹性裸金属国产GPU云主机GPU云主机弹性裸金属国产GPU云主机GPU云主机裸金属FPGA云主机原生对象存储ZOS极速云硬盘/裸金属智算数据中心AIDC云骁智算平-集群稳定性保障通用网络检测通讯库检测云骁智算平台概览训练CANN安装情况检查：ECC检查：HCCS检查：诊断结果：hccs_health_num:8NPU建链检查：诊断状态：成功诊断结果：lnksta_speed:16GT/slnksta_width:x16NPU数量检查：诊断结果：npu_num:8NPU芯片详细检查：诊断结果：npu_num:8覆盖算力、存储、网络、平台各层次，可支撑大模型训练推理的全国产智算基础设施平台，国内最早提供大模型训练用异腾算力的云服务商全栈自研全栈自研性能突破性能突破指令集国产化整机指令集国产化整机盘XSSD,提供百万IOPS、天翼云St