中国联通新一代AI计算基础设施白皮书

2023年6月中国联通新一代AI计算基础设施白皮书版权声明本报告版权属于中国联合网络通信有限公司研究院，并受法应注明“来源：中国联通研究院”。违反上述声明者，本院将追究其相关法律责任。中国联通新一代AI计算基础设施白皮书 (一)AI计算基础设施是人工智能快速发展的实现基础 3(二)人工智能产业对AI计算基础设施的算力需求激增 4极鼓励发展新型AI计算基础设施 5 (一)运营商建设新型AI计算基础设施的需求 5(二)新一代AI计算基础设施的功能架构简介 6 (一)高性能计算能力 91.处理器性能 92.并行协同策略 103.分布式通信 11(二)异构并行计算能力 13(三)安全可信能力 14(四)资源弹性调度能力 16(五)绿色低碳计算能力 18 参考文献 21缩略语 23中国联通新一代AI计算基础设施白皮书-1-前言人工智能是当今世界发展的重要领域之一，对推动人类科技经济发展起着加速作用。人工智能产业化落地也是推动我国战略新兴产业实现融合集成、促进我国科技高水平自立自强、提振数字经济高质量发展的重要推动力。随着新技术的不断演进，人工智能发展呈现出应用场景多元化拓展、数据体量爆发式增长、算法模型参数量指数级增加的发展态势，这对支持大规模AI计算的基础设施提出更高的性能要求。高性能的AI计算基础设施应、多任务的算法模型训练与推理部署，满足高并发、高弹性、高精度的计算需求；具备兼容异构底层硬件的生态对接能力以实现上层应用和底层硬件的解耦；还需提供安全可信的计算环境以保障数据隐私；并且能够合理地分配计算资源以实现绿中国联通作为数字信息基础设施运营服务国家队，携手产业链凝聚共识，突破AI计算基础设施的发展瓶颈，为AI服务于千行百业提供灵活高效的计算基座发布此《中国联通新一代AI计算基础设施白皮书》。白皮书分析了当前AI计算基础设施的发展趋势以及规模化部署面临的挑战，系统性地介绍了AI计算基呼吁产业链携手共建标准化的、开放的AI算力生态，加快输出具有中国经验的标准化体系。中国联通新一代AI计算基础设施白皮书-2-编写组成员(排名不分先后)：中国联通新一代AI计算基础设施白皮书-3-AI算基础设施的发展简介 (一)AI计算基础设施是人工智能快速发展的实现基础算力是生产力，体现为数据处理与算法训练的速度与规模[1]。作为人工智能三大基础要素之一，算力是决定AI产业变革的关算能力不足而无法突破技术瓶颈的案例，例如深度学习早在上世纪现阶段AI基础设施的概念已不仅仅是承载计算的硬件设备，其中国联通新一代AI计算基础设施白皮书-4- (二)人工智能产业对AI计算基础设施的算力需求激增化激增，具体表现在以下三个方面：一是AI场景的复杂多样化提升(IDC)测算，我国人工智能行业应用不断深入，已有58%的企业I中国联通新一代AI计算基础设施白皮书-5-力的需求迫切增长。 (三)国家产业政策积极鼓励发展新型AI计算基础设施中共中央、国务院印发了《扩大内需战略规划纲要(2022－2035础技术供给。由此可见，数字经济时代，作为产业智能化底座的AI我国算力总规模达到180EFlops[5]，全球占比约33%，保持50%以年的45%[6]，预计未来新增算二、运营商应积极布局新一代AI计算基础设施 (一)运营商建设新型AI计算基础设施的需求OpenAIGPT和自中国联通新一代AI计算基础设施白皮书-6-算，GPT-3训练一次的成本约为140万美元，对于一些更大的大型LLM元之间。面对大模型发展带来的算力需求，建设面向AI的新一代计算基础设施成为关键的一环。 (二)新一代AI计算基础设施的功能架构简介中国联通新一代AI计算基础设施白皮书-7-以及AI-SaaS层，总体架构如图1所示。图1新一代AI计算基础设施功能架构AI-IaaS层主要包括异构AI算力资源、云化管理和网络互联功中国联通新一代AI计算基础设施白皮书-8-HPCC大带宽、超低时延和高稳定性的底层AI芯片、向上承载算法模型，是执行计算任务的关键部分，等多种计算框架，实现计算统一的标准接口和工具包,集成算法的封各类应用的开发和管理界面等，用户在AI-SaaS层也可以对底层AIIaaS还包括面向人工智能应用的在线开行训练功能的基础上引入自动机器学习和迁移学习等技术解决模型中国联通新一代AI计算基础设施白皮书-9-三、新一代AI计算基础设施发展的关键技术突破点ng (HeterogeneousComputing)、安全可信能力(SecuredandTrusted)、资源弹性调度能力(ElasticResourceScheduling)以及低碳绿色计算能力(GreenComputing)。 1.处理器性能现阶段主流方案都采用AI加速芯片来处理深度学习的模型训练更高的FLOPS(每秒浮点数运算次数)，从而提升深度学习模型的度和精度[8]。NPU采用“数据驱动并行计算”的架构，专中国联通新一代AI计算基础设施白皮书-10-制约，大力推动国内高性能AI2.并行协同策略传统的ParameterServer架构到更高效的All-Reduce和中国联通新一代AI计算基础设施白皮书-11-分为多个微批次，并在模型并行的每一层中再进行数据并行。。3.分布式通信 据通讯由单独的参数面交换设备组网互联，数据不需要经服务器中国联通新一代AI计算基础设施白皮书-12-颈，大大提升了训练过程中的通讯效率。图2新一代AI计算基础设施通信架构中国联通新一代AI计算基础设施白皮书-13- 占据95%以上市场份额[9]。在智能算力市场几乎被英伟达垄断的宏异构并行能力指的是AI-PaaS平台可以兼容不同品牌和型号的I资源池内创建任务，跨品牌的资源无法实现并行计算。AI算子库、aS中国联通新一代AI计算基础设施白皮书-14-步调等，使得模型参数与计算框架指令可在异构AI芯片之间进行传关键技术环节的标准体系，使AI芯片生态各层级之间相互解耦并遵 I中国联通新一代AI计算基础设施白皮书-15-情况下训练一个全局模型。图3联邦学习架构图然如获取方能通过交互数据中包含的梯度信息反向计算还原样本数据： 中国联通新一代AI计算基础设施白皮书-16- 到IAI全与可信。 (四)资源弹性调度能力。中国联通新一代AI计算基础设施白皮书-17-资源(如图4所示)，这样可以有效的避免算力与任务不匹配而导致图4不同计算任务匹配差异化的虚拟资源IGPU的共享，此类场景适用于计算量在虚拟化能力的基础上，对AI芯片计算资源的合理编排也是新一代AI计算基础设施中必不可少的能力，例如根据任务规模自动评中国联通新一代AI计算基础设施白皮书-18-设计任务排队机制等都是运营商在面向用户提供公共AI基础设施服务时需要进行精细化管理的内容。 心的绿色低碳节能方案主要采用液冷或风冷配套设施来对服务器进心的能源消耗，从根本上来讲还是需要降低IT系统本身的单位任务AI计算基础设施SaaS层需要集成绿色低碳管理系统，该系统的能耗优化算法和任务排队机制，提升AI基础设施的整体利用率，B中国联通新一代AI计算基础设施白皮书-19-基础设施产业体系。电信运营商在构建新一代AI计算基础设施商业平台时，一是可以发电信运营商也可以以“搭台唱戏”的角色汇聚其他的AI计算服务商中国联通新一代AI计算基础设施白皮书-20-AI应用。新算法赋能服务的模式，基于新型AI计算基础设施提供弹性的智能中国联通新一代AI计算基础设施白皮书-21-运营商需要在构建新一代AI计算基础设施方面找到着力点，联合产才带来创新力量，培育规模化的AI应用市场，推动我国成为人工智参考文献[1]令才科技.算力升级为企业数字化转型提供新动能[EB/OL].[2022-10-27]./p/577727395.[2]中经产业信息研究网.《中国人工智能市场深度调研及投资策略分析报告》[EB/OL].[2022-09-02]./cyzx/365.htm[3]崔爽.智算为人工智能夯实“算力底座”[N].科技日报,2022-09-19.[4]AIandcompute[EB/OL].[2018-05-16]./resear中国联通新一代AI计算基础设施白皮书-22-ch/ai-and-compute.[5]国家互联网信息办公室.《数字中国发展报告(2022年)》[EB/OL].[2023-04-27]./2023-05/2_2/c1686402318492248.htm._[6]中国信息通信研究院.《中国算力发展指数白皮书(2021)》[EB/OL].[2021-09]./kxyj/qwfb/bps/202109/P020210918521091309950.pdf.[7]刘高畅,杨然.ChatGPT需要多少算力[EB/OL].[2023-02-13]./a/660436264_100224.李嘉伟,等.人工智能芯片测评研究现状及未来研究趋势[J].新型工业化,2021,11(10):82-84,87.[9]中国算力大会.中国算力白皮书(2022年)[R/OL].[2022-07].httpswwwzsdhorgcndctechachievementshtml.[10]吴彦霖,邱硕,柳亚男等.基于联邦学习的安全与隐私保护技术研究[J].电脑知识与技术,2022,18(36):71-74.中国联通新一代AI计算基础设施白皮书-23-缩略语ALUineLearningCPUCentralProcessingUnitECNFLOPSSecondGPUGraphicsProcessingUnitGPTGenerativePre-trainedTransformerHEHPCCnIaaSInfrastructureasaServiceIPvn-24-LLMLargeLanguageModelNCCL库TPUTensor