AI云服务指南报告

HUAWE020511昇腾云服务开放兼容支持百模千态22客户案例26AI技术AI产业AI重点事GANGANAIAI4SChatGPTChatGPTGPT4GPT4GeminiGemini……1956年2015年1956年2015年2020年蛋白质2022年ChatGPT……带入新的AI产业浪潮之中。大模型是人工智能历史的分水岭，此前，人们更多关注和讨论的是机器如何感知世2012年至2023年 101e+4101e+31e+31e+2101e+21e+110101e+01e+01e-11e-1 101e-21e-21e-310AI1e-3101e-4201220132014201520162017201820192020202120222023SORA所消耗的算力相比LLM类模型要大数个量级 Sora(1minvideo) GPT-4(1000texttokens) LLama-270B(1000texttokens) DiT-XL/2ImageGeneration(512x512pximages)0.00.20.40.60.8Source:FactorialFu大模型的爆发引发全球算力需求的指数级增长。2024年基于扩散的视频生成模型Sora的出现，其革命性的视频生成能力，不仅展示了AI在视觉内容创造上的突破，更预示着全球算力需求的新一轮激增。数据显示，过去业务规划业务规划转剪转剪蒸量换枝馏化模型层模型层/应用发布应用发布》……》……》……》……》……昇腾AI云服务官网昇腾AI云服务官网AIAIGallery模型统一注册管理模型统一训练微调模型统一应用服务模型统一注册管理模型统一训练微调模型统一应用服务AIAI平台ModelArtsAI框架AI框架AI计算硬件通用计算硬件公有云混合云通用AI技术offeringofferingofferingofferingModelArtsStandard一站式AI开发平台ModelArtsLiteModelArtsLite资资源调度Kubernetes虚拟机/(原生接口)(原生算力)AIAI加速AIAI算力AModelArtsModelArtsStandard服务的介绍AI工程化能力，支持AI全流程生命周期》故障检测覆盖度95%，故障30分钟内恢复，恢复成功率大于95%，保障千卡作业稳定训练数周以上，训练有效卡时大于ModelArtsModelArtsLite服务的介绍》集群模式，开箱即提供好Kubernetes集》节点模式，客户可采用开源或自研框架，》加速套件，训练、推理、数据访问多维度（客户机房）ModelArtsEdge（华为机房）CloudPond（华为机房）80M↓18MAIServer80M↓18M............NPUNPU......NPU网络传输10S→2S云上昇腾云服务打造6A打造6AFAMILY算力沃土昇腾云服务打造6A…………CloudPondCloudPondCloudLakeCloudLake6AFAMILY（Advantage（Advantage）大模型时代的AI算力对数据中心的基础设施要求极高。以散热为例，AI服务昇腾云服务打造6A故障恢复快FaultrecoveryAcceleration在云上，可以获得更快速的运维保障，集群故障可以做到1分钟发现，5分钟诊断，故障3故障3个单词，需要33天。实际训练了90昇腾AI云服务主动诊断故障，避免训练中断，确保集群长稳运行Ioss7.5Ioss7.55.02.5PanGu-∑0100000200000300000400000500000600000,资源获取快AccessAcceleration在云上，模型训练可一键接入贵安、乌兰察布、芜湖，香港AI算力中心，支撑万亿AI算力中心AI算力中心AI算力中心AI算力中心AI算力中心AI算力中心AI算力中心支持6+主流AI框架，90%+算子澎湃算力：超昇腾云服务打造6A模型迁移快MigrationAcceleration昇腾云服务支持业界各类框架、加速库及三方社区生态，可快速、无损实现模型和AscendAscendC22GPUMMClassificationMMSegmentationGPUMMClassificationMMSegmentationMMcvMMdetectionHuggingFaceTransformersNVMegatronLMTransformer加速库NVTriton第三方AI框架支持“0代码”昇腾云服务打造6AGPUvsNPU比对CPUvsNPU比对NPUvsNPU比对 优化建议优化建议模型20倍级压缩，精度损失<0.5%通用AI开发工具prompt评测NotebookNotebook(SDK|CLI|IDE插件)70%3X效率提升2X1400+5min快速构建60%维护成本昇腾云服务打造6A云上推理投资优InvestmentAdvantageTimeto100MillionUsers2133942213394249回TikTokSnapchatChatGPTFacebookTikTokSnapchatChatGPTFacebookWhatsApp700600500400300200100007/3100:0008/0100:0008/0200:0008/0300:0008/0400:00AAAA成本昇腾云服务打造6A自建数据中心1.5月左右1.5月~2月1月左右0.5月0.25月0.50.5月0.25月1000卡（自建需3个月可随时弹性扩容，TCO节省M客户：购买贵安机房内1000卡，符合金融监管要2昇腾云服务打造6A就近服务时延优LatencyAdvantage100-200ms推理时延（与应用场景强相关）100-200ms>200ms<30ms>200ms<30ms30-100ms 5ms5ms（推理+业务：近140ms）5ms昇腾云服务打造6A哈尔滨沈阳哈尔滨沈阳哈尔滨12.哈尔滨12.哈长长春乌鲁木齐沈阳18.天山北坡乌鲁木齐沈阳18.天山北坡13.呼包鄂榆10.辽中南北京大连○13.呼包鄂榆10.辽中南北京大连○北京青岛3.京津冀16.兰西19.宁夏沿黄兰州银川天津青岛3.京津冀16.兰西19.宁夏沿黄兰州银川15.晋中太原青岛济南西宁5.山东半岛西安15.晋中太原青岛济南西宁5.山东半岛西安7.中原郑州17.关中平原郑州西安7.中原郑州17.关中平原郑州西安10ms南京上海成都武汉。上海南京上海成都武汉。上海1.长三角宁波苏州杭州合肥成都4.长江中游武汉6.成渝芜湖1.长三角宁波苏州杭州合肥成都4.长江中游武汉6.成渝芜湖重庆南昌长沙重庆南昌长沙长沙福州福州厦门贵安长沙福州福州厦门贵安11.黔中贵阳9.滇中11.黔中贵阳9.滇中广州●南宁8.海峡西岸广州深圳澳门●南宁8.海峡西岸广州深圳澳门香港深圳南宁香港南宁香港2.粤港澳102.粤港澳10ms14.北部湾海口14.北部湾海口柜金融基础设施，最大金融》大规模集群支持千亿、万亿参数大模型训昇腾云服务打造6A云上性能优YieldAdvantage在云上，通过持续的算子优化，显存优化，通讯优化可以显著提升集群性能，线性度>90%。√MFU=（1-AllReduce占比-All2AIl占比-Bubble占比-无法掩盖的内存转移占比）×Mac利用率Spine1Spine2Spine1Spine2Spine3Spine121234876512348765节点11234876512348765ToRM............AttentionLnQKVOnlineSoftmax+BMMMatmulBiasAddLayernormMatmulBiasGeLUMatmulBiasAddCPUNPUCPUMemoryNPUMemoryCPUNPUCPUMemoryNPUMemoryHundredsofHundredsofGBTensofGBZeRO-OffloadAIGallery：一站式A