人工智能2.0时代的公共智算服务发展指南

国家信息中心人工智能2.0时代的公共智算服务发展指南2023年10月 01 02 03二、发展形势 三、现状和问题 07 四、服务框架 (一)需求导向，强化产业赋能应用 20 20 20 22 22 22 23 233.复旦大学智算平台(CFFF):国内高校最大规模异构智算平台 23 24 25智能计算(简称智算)是指面向算法模型驱高效计算是指公共智算服务提供的是大规实现高效计算需要重点关注四个方面的性到万卡的并行计算弹性拓展能力，还要保证大规模并行计算的线性加速比，避免因算力节点规模化造成使用效率的过度衰减。二是模型计成本的效果。三是网络性能，大模型训练所需的(超)大规模算力主要通过GPU并行计算实现，网络性能的优劣将直接影响分布式并行计控制等手段能有效拓展带宽、优化通信、减少拥塞和延迟，提供高带宽、低延时、稳定可靠的网络连接支持。四是存储性能，大模型训练过程中存在海量小文件的读写操作，采用并行能够有效提供海量数据高并发处理、高吞吐并行存储、向量数据库快速检索、高安全高可靠缩短检查点(CheckPoint)保存时间，提高模提供存储容量和吞吐性能的线性扩展能力，能进Al生态和Al产业的繁荣发展。面向人工智能技术和应用趋势，开放兼容集群进行统一管理，实现混合云管理和跨集群如常见的机器学习框架PyTorch、TensorFlow、Caffe和主流开源分布式训练框架Megatron-按需服务是指公共智算服务能够快速响应多样化的人工智能应用需要，通过组合标准化封装的服务资源提供定制化服务的能力，直接也是公共智算服务普适性的重要体现。按需服务不仅能够更好地满足多场景、多样化的人工智能应用需求，还能够使公共智算服务被更多用户接受，从而通过更多用户的共享提高资源稳定安全是指公共智能算服务供给的持续能运维方式，降低数据中心的PUE;通过提供以用户可以承担的服务价格获得持续的服务收(一)人工智能发展进入2.0时代，智算发展迎来高速增长机遇期人工智能技术创新成果不断涌现。以ChatGPT代表的多模态大模型横空出世，引爆新一轮Al协同、群智开放等技术特征。“预训练+精调”来更大的智能算力需求。以CPU架构为核心的工智能技术发展，特别是Al大模型训练和推理一步加大。郑纬民院士预计，到2025年我国智能算力总量将超过1800EFlops、占总算力比重超过85%'。(二)智算资源准公共品特质凸显，公共智算服务需求快速增长随着我国数字化转型的加速推进和人工智规律波动变化、算力资源消耗差异化分布等情(ModelasaService,MaaS)作为面向人工智化、定制化的人工智能应用开发，有效解决人低碳成为智算服务必然要求2021年11月13日《联合国气候变化框架引发经济社会巨大变革的同时，也因为其高能GPT-3消耗了1287MWh(兆瓦时)的电，相当于排放了552吨碳，该值相当于126个丹麦家庭外消耗电力，所以ChatGPT在模型训练阶段所在ChatGPT运行阶段，虽然单一用户操作带来加超过100万倍²,由此而带来的碳排放也将成JinFengLinetal.Inte 从数据看，中共中央、国务院发布的《关在政策引导下，我国数据资源供给能力持续提升，《数字中国发展报告(2022年)》显示，2022年底我国数据产量达8.1ZB,同比增截至2023年5月，已发布的10亿参数规模以上大模型达79个1,自然语言处理、机器视觉、人工智能2.0时代的公共智算服务发展指南时间1工信部、中央网信办、国务院国资委2023年10月结合人工智能产业发展和业务需求，重点在西部算力枢纽及人工智算力占比。推动不同计算架构的智能算力与通用2中央网信办、发改委、总局2023年7月鼓励生成式人工智能算法、框架、芯片及配套软3国务院办公厅2022年9月合理利用全国一体化大数据中心协同创新体系，力管理措施，整合建设全国一体化政务大数施，优化全国政务云建设布局，提升政务云资源管4信部、交通运输部、《关于加快场景创新以人工智能高水平应用2022年7月鼓励算力平台、共性技术平台、行业训练数据集人工智能基础设施资源开放共享，为人工智能企5国务院2021年12月推动智能计算中心有序发展，打造智能算力、通用算法和开发平台6年行动计划(2021一2021年7月推进新型数据中心满足政务服务和民生需求，完善给，优化算力服务体系，提升算力服务调度能力。务等方式提供公共算力资源，降低算力使用成本7国家发展改革委、中央网信办、工信部、国家能源局《全国一体化大数据中心协同创新体系算力2021年5月支持建设一体化准入集成验证环境，进一步打通跨层级的算力资源，构建算力服务资源池。聚焦大求，鼓励构建集成自然语言处理、视频图像解析音智能问答、多语言机器翻译、数据挖掘分析等功能的大数据通用算法模型和控件库，提供规范统一的大数据8国家发展改革委、中央网信办、工信部、国家能源局2020年12月支持建设高水平云服务平台，进一步提升资源调合作，打造集成基础算力资源和公共数据开发利9国务院2017年7月新一代人工智能关键共性技术的研发部署要以算和硬件为基础，以提升感知识别、知识计算、认知推理、运动执行、人机交互能力为重点，形成开放兼容、稳定成 北京人工智能公共算力中心、北京数字经济算力中心等项目建设，提升算力资源统筹供给能人工智能芯片实现突破，加强自主开源深度学习框架研发攻关。上海市注重引导民间资本投资智算服务，并推动“补需方”改革，鼓励高校、科研机构、国有企业、政府部门等使用民间投资算力。杭州市依托数据优势，设立浙江算力科技有限公司、推广算力券、创新模型服成都市侧重推进算力产业自主可控，围绕“算服务器整机、液冷设备等高端硬件。深圳市立鼓励和支持人工智能算力基础设施建设；发布高达1000亿元的人工智能基金群。山东省强化一体统筹，在全国率先出台省级新型数据中心创建标准，提出建立“现代优势产业集群+人工智能”机制，大力推进济南一青岛人工智能创新应用先导区建设，力争布局进入人工智能时间12响力的人工智能创新策源地2023年5月2023年5月动新增算力基础设施建设，建设统一的多云算力调度平台。系，积极争取成为国家人工智能开放生态技术创新中心。3《上海市进一步提高产品。2023年7月网等新型基础设施。42023年5月支持民营企业广泛参与数据、算力等人工智能基础设施建设。52023年4月统一编排。62023年7月加快部署适应模型训练所需的软硬件环境，提升人工智能2.0时代的公共智算服务发展指南时间72023年8月82021年9月加速垂直行业人工智能技术的产业化落地。92023年5月网联汽车等领域，实施人工智能科技重大专项扶持计2022年9月山东省大数据中心协同创新体系的2021年10月2022年5月设施。贵州省2023年3月用创新样板。我国算力规模位居全球第二，算力布局和算力结构持续优化，智能算力占比快速提升，智算中心建设加速推进，服务模式创新风起云涌，有力支撑了人工智能、区块链、元宇宙等新业态新(1)多元主体共建智算设施，推动智能算力规模达到302EFlops,连续两年增速超过50%,72%,算力占比达到59%',成为算力市场最亮 从区域分布看，综合考虑潜在市场区域、建设成本、人才分布等因素，目前我国已建成的和粤港澳大湾区、成渝双城经济圈等区域，与人工浙江、上海、江苏在Al服务器市场中继续保持领先，市场份额占比高达90%'。东北、中西部结合当地产业升级需要，也吸引了部分智能计算中心落户，据统计，我国中部地区拥有智能计算中心6个、西部和东北地区的智能计算中心数量分别为3个和2个²。大致可分为政府、科研院所和企业三类主体。政府主导建设的智算中心旨在提供普惠的人工智能算力服务，服务目标包括助力行业数字化转型、服务人工智能行业企业发展、支持科研工作等。科研院所主导建设的智算中心主要面向科研项目计算需求，如复旦大学联合阿里云和中国电信打造了云上科研智算平台CFFF,接入了四个校区的所有实验设备，可以满足不同应用场景下的科学智能研究与应用需求。企业主体包括运营商、云服务商、行业龙头企业等，企业主导建设的智能计算中心建设目标与面向行业领域较为多样，云服务商更具备提供通用Al计算与大模型服务的能力，也有部分行业龙头企业联合相关厂商面向特定行业领域Al应用需求共主导建设的一方)中心、北京人工智能公共算力平台服务科研项目复旦大学云上科研智企业云服务商提供数据存储、通用Al计算与大模型应用部分智算中心面向智阿里云乌兰察布智算中心中国电信京津冀大数吉利星睿智算中心元素，随着Al产业化和产业Al化的发展，模型够降低用户使用门槛的MaaS(模型即服务)理方面面。与此同时，面向Al大模型训练的算力构芯片成为Al计算的关键计算资产，通过集成够更加高效地支撑Al大模型进行各类复杂任务中国整体服务器市场占全球市场比重达25%,2017年至2022年的复合增长率达48.8%'。与还需要更多算法(模型)和数据服务支持。由于 二是重建设轻服务，供需匹配效果不佳。2022年2月，以8大国家算力枢纽节点、10个前，全国已有超过30个城市提出或正在建设智算中心',但总体智算中心发展仍处于起步建设市场上出现了GPU高端芯片一芯难求的现象，人工智能2.0时代的公共智算服务发展指南服务供给多元化服务调度智能化人工智能2.0时代的公共智算服务发展指南服务供给多元化服务调度智能化服务资源构件化签应用生态企业政府个人*设备软件设施技术生态操作系统芯片面向城市智能应用算力资源服务算力调度Al训面向科学智能应用服务调度弹性供应计算机多模态面向行业智能应用按量收费會主题式数据服务数据分析数据采集数据存储数据建模数据集成数据清洗研发大模型，不仅需要智能算力，还需要Al工务资源，提供单一种类或跨类组合的资源供给内容/能力多元计算服务吞吐、高IOPS、低时延等特性。的特点，支持随机读写，满足大部分通用业务场景下的数据存储需求。高性能通信框架层深度业务优化，结合弹性、调度、加速原子能力提升计算效能。基于云原生技术体系，实现异构算力资源池化。实时监控并管理Al训练性能和故障，提供面向Al集群训练场景的物理异构硬件、池化算力资源、调度使用效率的全流程监控和分析。关心运行过程中的容量规划，只需要提供打包好的Docker镜像，即可使用云服动的应用程序，也适合业务量稳定的应用程署全生命周期，支持不同的Al开发框架，提供模型开发、模型存储/检索、模型调优/训练、数据资源是人工智能应用的基石，人工智能算法模型从技术理论、开发迭代到应用落地的全过程皆依赖海量的数据资源，数据质量和数量决定了人工智能算法模型的效果和性能。公共智算数据资源供给开放生态。通过打造开放的数据共享平台，推动各行业领域多种模态的数据集的汇聚，为用户提供免费的或增值的数据服务。二是提供数据资源治理全流程工具。面向Al算法模数据资源服务示例见表6。内客/能力提供覆盖机器学习、深度学习、大数据等领域的算法，供用户调用。提供通用的Al算法更新迭代工具，降低用户生成专属算法的技术门提供模型开发所需的可视化、交互式的建模工具和开发环境，帮助用户便捷开发。为模型的快速查找、样例演示、共享和存储提供便提供模型训练工具及环境，支持分布式训练、单机训练。支持云端、本地、设备端等多种部署方式，打开网页即可开发模型。模型调用提供灵活、易用的算法模型API接口与SDK,具备自适应推理优化、基于云性伸缩能力，使得开发者可以快速实现模型的调用和二次开内容/能力汇聚各行业领域多种模态的数据集，为用户提供免费的或增值的数据服务。提供在线数据仓库服务，实现经济且高效地分析处理海量数据。提供智能代码开发、多引擎混编工作流、规范化任务发布等能力。从数仓规划、数据标准、维度建模、数据指标等方面，以业务视角对数据进行诠提供容灾、备份、恢复、监控、迁移等方面的全套PostgreSQL和OSQL多种存储引擎。量套呻图3公共智算服务生态术能力和组织管理能力，围绕公共智算服务供给，推动公共智算服务高质量发展的关键在于“应用”,围绕Al产业化和产业Al化发展需求，赋能的人工智能应用典型案例，通过示范带动，智算服务的人工智能产业发展新业务、新模式、发展，未来80%的场景都将基于人工智能开展，约化开展智算中心建设，到2025年，智能算力共享和治理服务，通过打造开放的数据共享平(四)强化运营，培育长效服务生态(一)面向城市智能应用的公共智算服务 策源地实施方案(2023-2025年)》提出到20252023年5月23日，北京市发布《北京市促发〔2023〕15号),提出“提升算力资源统筹供京电信和京能集团共同承建，预计2024年一季(3)打造算力调度服务平台提升一体化调度多源异构、多算一体、安全可信、生态融合的算力调度服务平台。该平台由北京亦庄智能城完成大模型、生物医药、科学计算等场景应用的实例验证。未来计划开展通算、智算、超算案》,凡符合条件的企业，2023年9月1日及以以内),均可享受智能算力合同额一定比例的算2023年7月，杭州市发布《杭州市人民政府办公厅关于加快推进人工智能产业创新发(2023〕55号)提出，杭州作为国家新一代人工《意见》提出打造多元融合算力支撑体系，(2)多措并举强化算力普惠供给保障企业应用(二)面向科学智能应用的公共智算服务的智能计算服务，复旦大学CFFF(ComputingfortheFutureatFudan)智算平台在2023年6上科研智算平台，也是国内高校首个Al与大数CFFF智算平台由面向多学科融合创新的Al到28PFlops,可提供超千卡并行智能计算，千卡并行的有效算力达92%,万卡并行有效算力达90%,可有效持千亿参数的大模型训练。以复旦大学人工智能创新与产业研究院发布的45亿参业界公认的ECMWF(欧洲中期天气预报中心)集合平均水平，并将模型训练速度缩短到1天，槛更高，成本是通用算力的10倍以上，非公共