2024数字中国万里行暨算力经济中国行考察报告

•确保“东数西算”工程高质量发展P003•高校开启新一轮技术创新实践P011•自动驾驶进入数据驱动的3.0时代P027•车能路云网融合发展加速落地P035•北京理工大学：提升大模型价值，“墨子”全新升级P0562综上所述，在围绕算力本身产生的算力服务产业镇数字化这种提供各种基础设施，提供各种支撑•资源化：计算能力被视作一种资源，可以像电•市场化：算力可以在市场上进行买卖，形成供•价值化：算力的使用可以带来经济价值，续地提供和使用算力，减少能源消耗和环境影2023年，经过一年的考察和调研，“东数西算”起步区位于上海西面，而上海西北部的嘉定、太数西算”工程国家枢纽节点的项目数量、投资数4（如起步区），壮大国家数据中心集群规模，有序引导数据中心和算力中心产业向规划区域内转批准、授予能评；对于确实不适合纳入规划范围序推进大模型训练和推理服务产业的发展。降低算力成本、提高利用效率，真正促进大模型的落建立起“东数西算”工程的动态调整机制，发扬立起完善的准入和退出机制，健全问责和扶持体系，在保持总体稳定的基础上，根据区域经济发现资源的优化配置和高效利用，护航算力经济更采购35万片英伟达GPU发展自己的大模型；软OpenAI更是计划筹集七万亿美金研制生产新AI型工作组”，英国希望能拥有自己国家的“主权”近日，英伟达提出“主权AI”的概念，并将其定一个国家AI水平的最高点，是基础大模型的基竞争力，涉及军事、经济、政治等多方面能力。没有“主权级基础大模型”，就像是国家没有了国防重器，国家就会被打压，国家安全也会受到我建议，利用我国在超算研发建设中的丰富积累，设立能够支持“主权级”多模态大模型训练的专用超算攻关专项。过去的15年，我国超算的研制已经达到世界领先水平，形成了神威、天河和曙光三大世界级超算研制团队，夺得了十一通过该专项计划的支持，可以充分利用超算领域多年积累的人才和技术优势，快速形成突破，尽快缩小我国在“主权级基础大模型”训练领域与美国的差距，为研制更先进适用的大模型专用训目前，国内一些企业往往倾向于使用国外的开源模大战使得算力资源过于分散，延误了“主权级需要国家出面协调资源，以当年“两弹一星”的形式组建队伍，以取得快速突破。留给我们的时项组，通过多轮竞争，确定最优的训练芯片研发技术路线和国家标准，择优集中投入资金和优秀人才资源，整合芯片产能，尽快研制出能够满足国产“主权级基础大模型”训练的十万卡、百万能的快速发展，预示着全球新一轮科技革命和产和能够熟练掌握新质生产资料的应用型人才。因6四是师资力量不足。人工智能是一个高度专业化的领域，需要有专业知识和实践经验的教师。目前，合格的生成式人工智能教师相对稀缺，影响建议可以在现有教育部政策框架内进行探索和实内外学校（或企业）合作创新课程内容和教学方境，学校和产业界应加强合作，通过实习、项目合作等方式帮助学生了解实际工作中的需求和挑全栈数据中心纵贯IT基等IT设备传导到网络架82023年是大模型蓬勃发展的一年，从文字对话交互开始，“百模大战”爆发。2024年Sora的发布标志着人工智能（AI）在视频技术多模态大模型可实现文本、语音、图像及音视频等多模态数据的复杂处理和交互。超大规模AI大模型的训练需要相应的算力支撑，在生成式AI引燃算力需求，算力技术架构持续升级。作为服务器的关ann能交通国家战略渐趋明确,行业共识逐步形成,产业化工作正在稳步中国高校在数字化教大学为代表的高校通过分发挥了算力资源的价值，为国家的“东数西ann△北大未名二号算力集群那么上海交通大学则是南方乃至全国地区算力应用的先行者。2013“交我算”平台服务了上海交通大学1200多个课题组，“交我算”平台还开发了全国校级服务平台中可能是唯一的“工单”系统。从最健康”“大海洋”“大信息”的发展战略，“交我算”团队从支持科我算”平台支撑了上海交通大学计算服务的不断革新升级，赋能科研原始创新与前沿突破。“思源一号”、π2.0集群、Arm超算平台等共同构成了“交我算”的算力基座，提供了多元化、多维度的算力服务与应用环境。以AI芯片为主的高效率、大规模的智能算力基础设施将成为训练AI大模型的前提。在应用层面，随着“百模千态”走向每一个行业，在加速千行万业智能化转型时，承载大模型的新型算力中心也在悄然发生变化——算力规模快速增长、计算技术多元创ann案，通过曙光ParaStor分布式液冷存储系统将可存储容量扩展至近出发，按照基础建设、服务能力和中台应用能力三个方面将不同部门的业务进行划分，通过“一网通办”将其串联起来，打造统一部多模态数据正成为大模型训练的主要数据，对算力来说需求倍增，相同参数下，更深的模型拥有更好的性能，超千亿参数的大模型研发就不仅仅是算法问题，而是囊括了底层庞大算力、网络等诸多领域的复杂系统性工程，需要有超大规模数据中心的AI算力来支撑。以AI芯片为主的高效率、大规模的智能算力基础设施将成为训练在加速千行万业智能化转型时，承载大模型的新型算力中心也在悄然发生变化——算力规模快速增长、计算技术多元创新、产业格局中心的两倍以上，生成式AI技术和服务的影响已成为超大规模数据中心发展的动力。在中国，服务AI的智算中心是发展最快的一种算力供给形式，2024年我国有超过30个城市正在建设智算中心，整大装置的重要载体，是上海新一代AI计算与赋能平台，是服务上海临港AIDC项目位于临港新片区，一期投资台管理系统与大模型应用等多方向研发。项目占地87亩，建筑面积13万平方米，一期已建成7万平方米。目前，临港AIDCann0000000000未来，随着算力底座技模型比拼的更多是集群系统能力。从软件到硬件，随着智算中心数量增长，国产算力产业需要加快智算中心软硬件适配生态建设，需要通过标准等手段适度收敛，建立统一、高效的生态，集中有限的产业和社会资源，规范算力产业的高质量发展，最总算力规模高达12000PFlops，已有超4.5万块GPU，其中临港署。强大算力可支撑超过20个千亿超大模型同时训练，并支持万亿ann当AI的应用场景呈现多样化时，数据中心侧单一的计算架构就难以满足业务需求了，多样性计算加速了算力格局的变化，多元化的算Arm等架构方案。当生成式AI应用不断发展，异构计算Arm提供了丰富的内核授权，供不同性能、功耗、成本需求的产品选用。在Cortex-A系列之后，Arm面向云计算和数据中心领域推出了Neoverse平台。该平台分为三大系列NeoverseV系列、数字中国万里行团队曾参观过阿里云、腾讯云、京东云、抖音、UCloud（优刻得）等国内多个超大规模数据中心，它们都上线了包同样进行了异构应用探索的还有UCloud乌兰察布数据中心。早在云服务器解决方案；2023年UCloud还与此芯科技达成弹性扩容项ann生成式AI带来的挑战不在于增加数据中心的数量，而是大幅增加运Q全球范围内共售出约70万张，这就耗费了约22023年，“液冷”已成为热词，当然这并不代表液冷技术解决方案早在十几年前，液冷技术已是高性能计算领域的主流解决方案。随着算力需求的暴增和随之带来的功耗指标居高不到液冷技术解决方案的用和绿色低碳的共同推解决方案，通过曙光ParaStor分布式液冷存储系统将可存储容量扩annAI需要庞大的算力，AI也需要大量的能源。要保证算力能够高效地个个ann2018年，“数字中国万里行”活动启动时，“草原云谷”乌兰察布签约服务器规模447万台，阿里巴巴、中心15栋单体建筑全部封顶。和林格尔新区作为全国一体化算力网特别是以颠覆性技术和前沿技术催生新产业、新模式、新动能，发展新质生产力所发挥的动力支持作用上，更体现在算力本身具有的广泛应用自动驾驶是驾驶辅助功能的最终形态，同时作为AI技术在汽车行业来自Canalys的数据显示，中国市场L2+渗透率连续三个季度达到2020年2月国家颁布了《智能汽车创新发展战略》，希望在2025由硬件与软件驱动的自近尾声。由数据驱动的过算法模型训练、验证后，将有效数据成果部署上车，各环节相互连ann模型和少数据的模式提供自动驾驶方案。挖掘算力潜能，让AI真正发挥价值。在AI算力升级后，很多自动驾驶企业加大了对算法模型据的生成量也呈现指数级增长，从GB到TB、PB，传统数据存管模当智能驾驶行业进入了下半场，就需要更深更广的挖掘数据应用场景及价值，让数据发挥价栈全价值链的数据闭环运营车辆资源，目前吉利一辆车每个月的合规数据采集量是几个GB），大模型的技术架构涵盖AI技术群和大模型的融合创新，通过真实数据语义挖掘和合成数据仿真能力解决智驾功能开发所需的大量随机/性。以GPT为代表的大模型为智能驾驶带来了新思路，与早期用于车机系统和智能座实现更高智能的人车交互，还可摆脱座舱的同质化，因算法不同而具而形成车企自身独特的的应用通过强大的数据强了自动驾驶系统的安全性、效率和用户体ann驾驶、更个性化的服务和更高效的运营。如吉利汽车推出的星睿AI大模型，是吉利全栈自研的全球首个汽车行业全场景AI大模型；一在数字中国万里行团队考察期间，我们看到吉利发布的星睿AI大模型拥有超千亿参数量，具备海量常识和情感模块。星睿AI大模型以•星睿NPDS研发大模型是吉利星睿语言大模型在研发端的创新应ann3D生成技术和数字人AI驱动技术。它能够快速生成各种逼真的智能体验是消费者评价算力资源是直接影响开发速度的硬性因素，智能驾驶算法的训练需要在有限的时间内完成大量的运算，因而对算力形成极高的要求。随着智能驾驶车辆渗透率的提升，车端算力、城市NOA（NavigateOn航驾驶或领航辅助驾驶）系统需要的云侧训练大△雨中的吉利星睿智算中心大的自动驾驶智算中心“扶摇”，专用于自动驾驶模型训练，算60000+ann•长城汽车旗下毫末智行“雪湖·绿洲”智算中心。其算力达到6△吉利星睿智算中心机房△吉利星睿智算中心机房据计算开发、大数据应用支持、AI研发等业务领域提供技术服务。IaaS层由通用计算资源、GPU计算资源、存储资源、网络资源、数服务组成，用于调用IaaS层资源，对吉利常规车联业务提供大数据型的技术架构能力，涵盖AI技术群和大•边缘研发区则是支撑吉利研究院本地数据业务、智能化业务的研就是一个基于数据驱动天产生、接收、传递大量的数据。AI大模型技术的应用将为智能网联汽车带来革命性的变革。台等多个领域实现深度也为自动驾驶技术的发ann交通、城市融合发展的新路径，进一步促进智能驾驶的落地。2016年以来，“车路协同智能交通”的国家战略渐趋明确,行业共识逐步我国正在探索车路云一体化，即智能网联汽车通和城市的融合发展。在推动车路云一体化生态的规模化落地和常态化运营进程中，面向车路云一体化的基础设施体系提供了坚实的底部•2020年11月，住房和城乡建设部、工业和信作的通知》，进一步明确L3级和L4级自动驾驶准入规范，推动•2023年12月，交通运输部印发ann2024年1月，数字中国万里行团队走进了苏州市智能实现L4级别自动驾驶所需的单车多维度感知转由路端传感器分担，目前，天翼交通在苏州市打造了相城三期（51公里全息感知道路、111公里智能网联道路）、S17高速（6.5公里全息服务平台。在面向交通管理的应用实践中，利用AI识别能力，可以对于自动驾驶汽车来说，通过道路感知体系感知的数据显然要比车身上的传感器所能获得的数据更为全面。但在关键的是道路与车辆之间的通信问题。天翼交通自诞生之日起就兼顾了云网、数据安全等技ann3系统分别是激光/毫米波雷达与摄像头的场基于5G切片的超稳态智驾专网系统。1平台目前车路协同主要采用路端开展多点位融合感知计算并把相应结果传输到边缘云进行融合的方式，开展覆盖范围内的环境感知计算。但由于目前AI算法对于算力的要求较高，这种方式使得路端算力的投资比较大，随着算法升级，算力平台无法有效扩展，同时接入对应的边缘云还需要相应的光纤部署等一系列工程量大的工作。而天基站、路侧的分级部署和协同，能带来部署便捷、减少投资、统一），ann识逐步形成,产业化工作正在稳步推进。从技术演进来看，AI大模型技术的应用将为智能驾驶带来革命性的变革，智算集群可以提升数据处理与模型训练的效率。因此，承载算力基础设施的智算中心成为车企快速占领智能汽车市场的基础条件。国内车企或自建或联合云厂商共建智算中国高校在数字化教索与实践早已卓有成效。的演进进程中，多元算解决方案正在高校加速2024年的政府工作报告明确提出，要“坚持教育强国、科技强国、地的数据中心外，2023年的数字中国万里行暨算力经济中国行还先ann提供高性能科学与工程计算服务。目前平台资源包括755个节点和△△在线shell平台极大降低了用户使用门槛，即使是Linux相对于目前不少高校使用的外国平台，北京大了盈利，也不是为了出台让更多中国高校用上是证明中国软件并不比功能和更全面的系统服ann在单机上测试系统的话，可以用Vagrant实现一键部署，也可以用量在不到半年的时间内已经超过12000次。正如计算中心系统管理更多功能和更全面的系统服务更多的高校。”云计算、AI计算、高性能计算、Arm超算、杨元庆科学计算中心五△“思源一号”高性能计算集群65PB△π2.0集群Arm超算平台以及科学大数据平台等多个算力集群，聚合存储容量达到65PB，未来将扩展到100PB。其中，“思源一号”高性能计算集群总算力为6PFlops，暂列国内高校第一；Arm超算平台共有100个计算节点，是国内高校首个基于Arm处理器的高性能计算集ann前沿突破。上述提到的“思源一号”、π2.0集群、Arm超算平台等或许不少老师是某个领域的教授乃至权威，比如生物、化学、物理等等学科，但是如何将这些学科的专业需求转化为计算机能“听懂”的语言，如何实现有效的代码编程与调优，这就是计算专员们需要解决的问题。尤其近些年，随着数字化、智能化的发展，几乎所有的理工学科实验都可以通过计算机进行模拟，而不断升级变化、层出不穷的计算机软件工具也必需要专业的人才来操作，这也是学科当然，这种“翻译”服务也不可能是一对一的，毕竟目前“交我算”平台已经服务于上海交通大学1300多个课题组，如此庞大的数量也让整个服务团队异常忙碌。为了实现有序管理、避免重复问题提交，这样一来，通过对于不同工单系统需求的分析，服务团队就可以为需求一致或者接近的课题组提供标准化的服务，同时也可以保障不同课题组的作业能够有序运行，让算力资源与服务团队运行实现效率最大化。这也是“交我算”推出的全新服务模式。ann决PB量级（千万亿字节）的健康大数据“随存随算”和数据构建过优化程序代码，提升计算性能，保障科研工作高效推进。“交我算”10余门课程，注重各专业所需的计算知识讲授和技能培养，强化计区一流的理工类大学。目前该校建有29个国家级科研平台、231个该校数据中心广泛承载了科研平台和智慧校园等业务，为在校超10△华南理工机房华南理工大学称得上是曙光存储在华南地区的经典案例，一方面基于本”之间的“不可能三角”，通过液冷存储系统与液冷服务器的技术液冷方案；另一方面也让数据中心基础设施得以统一规划、设计和通用，在助力数据中心提高运维效率的同时，率先在行业内补全了全栈ann4.5理工大学数据中心整体能耗降低了30%。按照服务器、存储等IT基础设施5年的生命周期计算，整体TCO有所节省的同时也为后续的有着太多的光环，“双一流”“985”“211”等称号都彰显出这是据“星球数据派”统计，2023到2024思路，即实现低成本、高价值的优质服务。在有了一定经验之后，截至2023年11月，中国农业大学校级算力平台总计具备1178助力在《自然》《细胞》《科学》等影响因子大于20的期刊发表论ann△农大校级网络建设华中农业大学作为全国直以来依托传统优势农科，理农结合培植发展生命科学，通过交叉培植、整合集成、发展巩固、带动提升等几个阶段，用现代生物科学技术提升传统农科，加快推进学科交叉融合，提升农科和生命科学国际架构的NPU加速卡处理特定场景的计算任务，实现计算资源的灵活家治理大数据人工智能创新平台”就是算力应用的很好载体，也能够为学校层面提供优秀的平台支持，推动学科间的交流与合作，进一步强化高校科研水平与人为促进跨学科合作，中国人民大学还定期组织了名为“数智工作坊”北京理工大学的“墨子”大模型已经广泛应用于科研与教学中，并在逐步提升“墨子”大模型的应用特性，以应对未来更加高端、多元化和复杂化的挑战，从而彻底、全方位解决数据碎片化、分析力度粗、知卡间互联不够、数据清洗难度增加等等，但在应用技能上也较为熟练。然而，像中国人民大学这样的文科高校其实更需要关注到数字化创新的应用，因为这能补全综就是算力应用的很好载体，也能够为学校层面提供优秀的平台支持，这是由北京理工大学自主研发的，专注于科型。该模型旨在通过大规模语言和证据检索模型SciDPR成针对用户关于特定论文的问题，进行简洁准确的回答，并为学术研识图谱、科技论文阅读器和科技对话系统等学术产品，在科技学术领在大模型应用如火如荼的今天，“墨子”的迭代非常迅速。为了进一步提升在科技论文领域的作用，尤其是针对多模态应用、科技论文领域推荐应用、科技论文续写应用三方面所发挥的重要作用，北京理工为此，北京理工大学评估了来自行业内第三方ann部具备的8个昇腾AI处理器，能够最大限度地提高多线程应用的并高校算力需求的快速增长，这种增长不仅推动了算力基础设施的建设，也促进了高校在科研、教学、管理等方面的数字化转型。同时，这也带来了诸如运营管理、用户使用难度、算力融合等一系列挑战，而为了克服这些挑战，各大高校又组织网络中心、信息中心等团队进行攻关，从针对应用拓展，北京大学和上海交通大学做出了很好的榜样。这两所高校都从自身的日常教学与科研需求出发，通过多年的积累和拓展，形成了符合自身需求、有着明确应用场景的平台级解决方案。其中，北京大上海交通大学的“交我算”平台则肩负起全面支撑学校教学、科研和管华南理工大学等高校都使用了液冷解决方案，事实证明无论是从效率角度还是从低碳角度，液冷解决方案对于高校应用来说都是未来发展的必然趋势。值得一提的是，这些高校都采用了不止一家的解决方案，甚至在算力层面这些高校也有包括主流x86、Arm在内，乃至国产信创平台等多维度的需求，这也有助于未来科研应用的多元化发展，甚至有助于为主，这些高校有着相对更充裕的教学资金和师资力量，在科研水平上考察团队计划深入更多高校，助力高校的智慧教学场景，让更多高校有机会接触并了解最新的数字化、智能化咨询与应用，推动中国的数字教简称“2021版报告”和“2023版报告”），报告的中心篇幅都留作为通用算力的代表，CPU分出“大、小”核本身也是一种多元化的体现。大核为了性能，小核不仅为了能效，也为了在同样的硅片面积上提供更多的CPU核心。随着小核越做越多，大核又大又多，ann大核即性能核（PerformanceCore强调单核性能，属于纵向扩展（Scale-up）路线，与之相对应的横向扩展（Scale-out）要在同处理器架构精简也是能效核的主流操作方式，而减小CPU核心面积annArm的数据显示，经过V1到V2的努力，在SQL数据库、企业级ann随着半导体制造工艺的进步，相对逻辑电的SRAM电路的微缩效面积成本愈发显得昂贵。缓存的面积接近一半。因此，Zen4c大幅度地缩减缓存容量肯定是但是，即使假设Zen4的三级缓存面积占50%，容量减半后只是缩减25%的面积，其余的面积优化如何实现呢？答案是：除了已经是的操作会限制频率的提升——尽管AMD宣称经过优化设计，与8T准频率为2.4GHz，最高加速频率为3.7GHz。基于Zen4的EPYC），经过重新设计之后，包含二级缓存在内的单个Zen4c核心在减少核心面积和三级缓存容量后，Zen4c单个CCD内包含两组ann前五代英特尔至强可扩展（XeonScalable）处理器都只有性能核，第五代至强6的性能核版本延续了这一风格，代号为Granite），CPU作为服务器里的“大管家”，提供算力只是其诸多工作之一，），），核心数就从64个升至96个；Zen4c单个CCD内的核ann2023年第四季度，微软也借力Arm公布了自有品牌的CPU，其随着矩阵的规模越来越大，也势必要切分成多块（tile），即不同的ann即对等拆分。进一步降低CPU的开发周期和成本。以其首款方案A两颗Die互连后封装为一颗CPU，也可以用于连接其他高性能加速ann△四等分的第四代英特尔至强可扩展处理器（上）和二等分的第五代英特annDDR5内存控制器的规格从4800小幅提升到5600。最显著的规格不过，从架构层面上，对等拆分的模块化程度不如按功能拆分，如PCIe控制器、（SPR开始加入的）DSA/IAA/QAT/DL），ann但是至强6的E核版支持的内存规格最高为DDR5-6400，而P核），官方数据显示，双路配置下，与64核的第五代英特个UPI2.0，P核版支持四路和八路配置；6900系列增加到96个但是某些厂商、ISV客户或无法对自身软件进行修改优化的然希望能够用一个对软件透明，在硬件层面上管理CXL和系统原生延迟略有区别，但整体对系统的吞吐影响并不大。这种模式仅在单GPU已经可以达到千瓦级，相应的散热要求也更为严苛，英伟达），封装面积的增加也得益于中介层面积扩大，相应的可封装多达8颗量作为参考指标，那就是H100的2倍多一些（4500GFLOPs的连接，相比上一代是256个。配套的第四代NVSwitch芯片提供），annAmpereBlackwell4.8TB/s------4----），B200并非完全规格。性能打折扣的情况在H100/200SXM、H100与B200这些产品采用两颗较大的芯片（Die）组合不同，2023版ann础层加持”部分。英特尔在BaseTile中提e），80GB、3.3TB/s。英伟达的H200主要也是提升了HBM，容量达到），单节点内可安装4颗MI300A。节点外部扩展可使用4组Infinity务器不再安装其他的CPU，也不提供DDR内存扩展。整个节点的ann为450GB/s。即便如此，这样的带宽依旧可以超过PCIe6.0x16联，可以构建的“单”GPU的内存容量就会远远超过上一代产品。CPU的整合思路与英伟完全不同。后者的CPU除了提供一定的通用算力之外，最大的卖点就供更大容量的直接内存异构整合是Chiplet的价值点之一。MI300A对CPU的整合思路与英伟达的GH200SuperChip完全不同。后者的CPU除了提供一定接入整个NVLink域，为GPU提供更大容量的直接内存访问。英类似的为CPU提供高带宽内存的思路包括英特尔的XeonMax，以及更早的富士通的A64FX，在科学计算方面性能突出。英特尔的Shores已经被推迟到2025年上市，并取消了异构设计，改为纯annSmartNIC（智能网卡）崛起于云计算的黄金时代，用意包括但不限于为CPU减负，或者说从CPU那里抢点儿工作出来。于是，一些有运行任何业务，这个消耗也是实际存在的。早期的“数据中心税”考虑到CPU相对昂贵，且功耗偏高，将这些工作尽可能地卸载到其卸载的任务是一个循序渐进的过程。早期的产品，被称为智能网卡如果查找命中，则会下发到内核态进行缓存，以便后续在内核态直接智能网卡可以优化转发性能，当流缓存到网卡后，后续的报文解析、数据中心网络数据传输层面的算力消耗，如虚进行处理不够划算，那就可以交给专用的加速器处理。这种加速器早期均基于FPGA进行开ann随着数据流量的增加，安全方面的开销同样也急剧增大。IP数据包在公用网络中传输可能会面临被伪造、窃取或篡改的风险，而IPsec拟路由、IPsec等，使用通用CPU核心进行处理不够划算，那就可最早将FPGA引入数据中心进行加速的探索者是微软，项目代号业界所了解，被视为第一个在大型数据中心中应用FPGA的实例。了6颗XilinxVirtex-6做搜索排序，将这类运算从CPU卸载下来——这就是妥妥的“异构到2016年，微软发表了Catapult第三阶段的成果，直接将FPGA接口。FPGA加速卡位于服务器和数据中心网络之间，一个网口也可以加速器的形式回到CPU内部，譬如英特尔第四代至强可扩展基于FPGA的智能网卡存在一些明显的缺点。通软件工程师进行二次开发的门槛较高。更主辑资源有限，或者说逻辑资源对应的芯片成本ann普通软件工程师进行二次开发的门槛较高。更主要的问题是，FPGA的逻辑资源有限，或者说逻辑资源对应的芯片成本较高，主流的FPGA无法容纳复杂的逻辑，因此，通中，限制了智能网卡的功能进一步发展。基于ASIC的智能网卡也存量都极其有限。相应的，控制面的功能还保留在CPU上处理，如虚（弹性块存储）卡、安全芯片等。虚拟机的业务管理安排在“额外”署神龙架构，2017年天猫双十一大促部署了1000台服务器进行验这种组合可以是分立的，典型的如英特尔2021年推出的代号Oakann英伟达的BlueField-3DPU是AI时代的明星产品。除了支持PCIe接口。CPU核的增加在芯片面积上也产生了明显差异，已经占据了annMarvell将其DPU家族的历史上溯到2005年，当时主要用于防大语言模型的成功让数据中心的算力和网络带宽都进入的高速发展的阶段，如果要更好地适应这种形势，DPU的迭并且集成了机器学习引擎。OCTEON10的2OCTEON10除了固化密码处理、虚拟化等功能外，还有向量数Processor）。向量数据包处理引擎与前一代的标量处理引擎相比，FP16数据，主要用于推理应用，如威胁检测、波束成形优化、情境点都是整合了不同程度的AI算力。支撑这种算力需求的现实应用是大语言模型的成功让数据中心的算力和网络带宽都进入到高速发展的阶段，如果要更好地适应这种形势，DPU的迭代速度必须相应加典型的就是在GTC2024上，英伟达发布了面向高性能AI基础设施高性能、高灵活性的需总线协议也需要为此做好相应的准备。以ArmArm推出的高级微控制的历程中不断演进，并ann不同规模的嵌入式CPU可以定义不同卸载能力，如BlueField-3高性能、高灵活性的需求一定会促使DPU也开始考虑Chiplet的思CPU与各种加速器通过高级封装组合起来。这些加速器可能用于AI），到了下半年，英伟达引入了BlueField-3SuperNIC，并将其定义为一种新型网络加速器，旨在为基于以太网的AI云上运行的超大规模ann以上属性强化了高性能网络的数据处理能力，而不再像DPU那样强点可以参见下表。简单说，BlueField-3SuperNIC主要是围绕提升先是Arm核心数量，从16个减半为8个，DDR5内存容量也从SuperNIC取消了该辅助供电。BlueField-3全部是全高卡设计，均ann以自由采购，进入门槛较低。考虑到DPU是与具体的应用Arm提供了丰富的IP授权，供不同性能、功耗、成本需求的产品选而Cortex-A72属于v8.0A体系。Neoverseann8也有不小的提升，譬如前者每个核心的私有L2缓架构多处理器（4个核心为一簇），也可以选择直接互联，以构成目前服务器多CPU中比较主流的网格（Mesh）架构。换句话说，升。N2是Neoverse家族首个支持Armv9指令集架构的核心，支持SVE2（可伸缩矢量扩展，ScalableVectorExtension）、增强有了40%的提升。譬如前端方面，分支预测宽度翻倍，分支目标缓相对核心数以百计的服务器系统，拥有36个N2核心的Marvell适合DPU使用，更小的核心规模可用于网关等。符合UCIe规范的），家DPU的介绍也一直犹抱琵琶半遮面。为了应对数据中心网络的高早期数据中心的算力来AI对大规模并行算力的发展为异构算力的第三极。DPU内部的算力来自于异构，除了嵌入式CPU，还有日趋多样的加速器资源。这些加速ann），或者是存储子系统的虚拟化，高性能存储节点也需要配置DPU降本并行算力的需求让GPU崛起为两强并立，而DPU正逐步发展为异英伟达在2016年推出的DGX-1系统，不仅首个实体（服务器）捐△△）；ann），在集群层面，基于8个Gaudi3加速器的服务器通过3个800GbEann置，从带宽的角度，与DGXH100似无不同，主要变化是对接南北向网络的两块ConnectX-7双端口网卡被两块功能更丰富强大的但限制了英伟达新一代网卡的性能，其实也会限制第四代NV芯片的性能。目前的DGXB200并非“完全体”，随着英特尔或 服务器OEM基于HGX模组提供的GPU服务器在内部拓扑上会有英特尔和AMD的x86CPU只能通过相对低速的PCIe总线与英伟达GPU通信，这限制了GPU访问CPU内存的速度。英伟达基于Chip与其GPU之间建立900GB/s的高速通道，显著提升访问2个GH200超级芯片组成ann•9台NVLink交换机通过铜缆形成机柜级的“背板”，将32个GH200NVL32是一种机柜级方案，使用带冷板式液冷的集中供电机柜，设备空间为31U。每台NVLink交换机（NVSwitchTray）端口50Gbps。NVLink交换节点，机柜上下再各3U空间安排电源。每颗GPU外联900GB/sann互联方案也与半年前的发布不同，GH200NVL32不打算通过NVLinkSwitch级联扩展更多GPU，所有NVLink集中在一个机柜口，每个100GB/s。从英伟达发布的信息来看，DGXGH200发布还可以释放更多的供电能力给计算节点。英伟达CEO黄仁勋表示，相应的，网络配置也来到了72个单口400Gb在数据采集、数据准备、训练和推理等AI工作流的各个环节，对存（Restore）数据的操作，大量数据的持续写入和读取，需要网络和ann），许多甚至大多数数据集都可以放在数据集太大，无法放入缓存，大量不论如何评论“摩尔定律”，芯片算力提升的不论如何评论“摩尔定律”，芯片算力提升的贡献越来越来自于先进封装而非制造工艺的改进。于是，在算力密度提升的同时，芯片功耗的上涨也引人关注——置已嫌不足，整机柜级别的“超级节点”正在涌现。集群内的跨节点通信要求，不断攀升，带动网络端口总量及带宽需求剧增，网络基础设施投资变得前所未有对算力密度的追求，促使单芯片功耗和单位空间内的芯片数量同时增长，这种叠加效应对服务器的散热能力提出巨大挑战，成为液冷技术应用迈上新台阶的主要ann无论从政策角度、市场需求，还是技术的成熟度来讲，我们都可以认为数据中心已经来到了“液冷时代”。液冷正成为未来AI服务器散热的主流解决方案，其强大的散热能力和经济效率将推动数据中心的持不仅是国产算力加速发展的黄金期，也是液冷是主流解决方案了。我国最早登上TOP500冠军宝座的“天河二号”用户是抱着试水的心态在“体验”。直到AI的爆发式增长、算力需求的指数级提升，再加上迅猛发展的生成式AI不再单纯增加数据中为数据中心已经来到了“液冷时代”。液冷正成为未来AI服务器散持续发展和创新。2024年不仅是国产算力加速发展的黄金期，也是据国际能源署（IEA）估算，由于需要靠大量计算才能运行的生成式斯坦福大学AI研究所发布的《2023年人工智能指数报告》显示，GPU的表现更加“恐怖”。英伟达最新一代的H100GPU峰值功耗高达700瓦，按照61%的年利用率，每张H100每年将消耗约目标。为实现“双碳”目标，也为解决数据中心的能源利用率低、技术水平不足等问题，各级政府先后出台了相关圳等七省市在内启动了地方碳排放权交易市场试点工作并陆续开始上ann的政策与措施。比如，北京市地方标准《数据中心能源效率限额》以及国家对数据中心从包含PUE、WUE、CUE的更多维度、更严苛宁畅的解决方案最大亮点在于PCIe区域的首创解耦设计，以及ann刀片服务器的代表产品就是联想海神Neptune温水水冷服务器。作代，已升级到第6代。相比过往，新技术增加了对服务器电源部件水冷散热的支持。新一代联想温水水冷系统已经完全实现对CPU、温度在58摄氏度左右，有效提升了整个系统的性能。即使在海南等超聚变的FusionPoD系列商用数据中心整机柜液冷服务器，具有高ann曙光数创的C8000是针对超高密度刀片服务器散热问题推出的浸没传统风冷数据中心节能超过30%。服务器采用DC400V直流供电，ann更符合互联网快速迭代的实际业务情况。得益于模块化设计，J360发成本同时降低60%。DC48V供ann存储在数据中心系统35%，比例仅次于计算能耗。也就是说，如果低，那整个数据中心的PUE值都会明显降低。在这种情况下，存算一体化已经不可避免，而使用液冷解决方案的存储系统也将成为行业的保存时间自患者最后一次就诊之日起不少于15年；住院电子病历保存时间自患者最后一次出院之日起不少于30年。换句话说，医院对市南山区人民医院，简称“南山医院”）年总诊疗量高达227万人次，这对后端数据中心的算力与存力都提出了严苛的挑战。为响应正如报告前面所提，生成式AI应用的崛起造成了数据中心性能与散同，因此类似手机这样的产品线也需要强大后端数据