数据中心AI芯片市场有多大

2024年很有可能成为AI芯片的元年。有预测称，今年AI芯片可能会迎来强劲甚至迅猛的增长。然而，一个令人关注的问题是，这种上升趋势能够持续多久呢？2023年底，AMD大胆地宣称，到2027年，数据中心AI芯片的总潜在市场（TAM）将达到4000亿美元，复合年增长率（CAGR）超过70%。这一预测引起了不同的反应，但也从侧面说明了大型语言模型（LLM）作为处理生成式人工智能（GenAI）应用核心的驱动力。作为图形处理单元（GPU）市场的领导者，英伟达的成功证明了这些芯片的潜在市场规模。英伟达过去一年的股价上涨了217%，在过去三年增长了140%。在最新的11月财报中，英伟达公布的营收为181.2亿美元，其中数据中心营收为145.1亿美元。整体销售额同比增长206%，而数据中心销售额同期增长了279%。所有这些都证实了数据中心芯片的销售正经历急剧上升的趋势。然而，关键问题是，这个增长趋势是否能够达到4000亿美元的高度。英伟达在数据中心AIGPU市场至少占据80%的份额，未来三年预计将迎来巨大增长。然而，要实现高达4000亿美元的市场规模，英伟达的表现需要比目前更出色，同时其他厂商也需要超出预期。竞争者不甘示弱AMDAMD认为其将在未来三年内实现大幅增长。2023年12月，AMD发布了MI300系列芯片，旨在在推理方面超越英伟达的GPU。同时发布的另一款产品AMDInstinctMI300A加速处理单元(APU)，将CPU和GPU核心与内存集成在一个平台中。MI300X专为云提供商和企业设计，专为生成式AI应用而打造，MI300XGPU拥有超过1500亿个晶体管，以2.4倍的内存超越了英伟达的H100。峰值内存带宽达到5.3TB/s，是H1003.3TB/s的1.6倍。AMDInstinctMI300AAPU配备128GBHBM3内存。据称，与之前的M250X处理器相比，MI300A在HPC和AI工作负载上的每瓦性能提高了1.9倍。

AMD总裁兼首席执行官苏姿丰(LisaSu)在去年10月的公司第三季度电话会议上表示：“随着2024年的到来，我们预计收入将持续增长，而且主要来源将是AI。”“在AI领域，我们的客户覆盖面很广，包括从超大规模企业到原始设备制造商、企业客户以及一些新的人工智能初创企业。从工作负载的角度来看，我们希望MI300能够同时处理训练和推理工作负载。”英特尔英特尔上个月推出了AI芯片Gaudi3以及第五代Xeon处理器，作为进一步进军数据中心AI市场的一部分。

英特尔表示，Gaudi3是专为深度学习和创建大规模生成人工智能模型而设计的下一代人工智能加速器，将与英伟达的H100和AMD的MI300X展开竞争。英特尔声称Xeon是唯一内置AI加速的主流数据中心处理器，全新第五代Xeon在多达200亿个参数的模型上提供高达42%的推理和微调能力。它也是唯一一款具有一致且不断改进的MLPerf训练和推理基准测试结果的CPU。Xeon的内置人工智能加速器，加上优化的软件和增强的遥测功能，可以为通信服务提供商、内容交付网络和包括零售、医疗保健和制造在内的广泛垂直市场实现更易于管理、更高效的高要求网络和边缘工作负载部署。云厂商各显神通AWS、谷歌等云厂商一直在为自己的大型数据中心打造定制芯片。一方面是不想过度依赖英伟达，另外针对自身需求定制芯片也有助于提高性能和降低成本。AWS亚马逊的AI芯片Trainium和Inferentia专为训练和运行大型人工智能模型而设计。AWSTrainium2是AWS专门为超过1000亿个参数模型的深度学习训练打造的第二代机器学习(ML)加速器。AWSCEOAdamSelipsky表示，近期推出的Trainium2的速度是其前身的4倍，能源效率是其之前的2倍。Tranium2将在AWS云中由16个芯片组成的集群中的ECTrn2实例中使用，在AWS的EC2UltraCluster产品中可扩展到多达10万个芯片。AWS表示，10万个Trainium芯片可提供65exaflops的计算能力，相当于每个芯片可提供650teraflops的计算能力。AWSInferentia2加速器与第一代相比在性能和功能方面实现了重大飞跃。Inferentia2的吞吐量提高了4倍，延迟低至1/10。AWSInferentia2支持多种数据类型，包括FP32、TF32、BF16、FP16和UINT8，还支持新的可配置FP8(cFP8)数据类型，因为它减少了模型的内存占用和I/O要求。AWSInferentia2具有嵌入式通用数字信号处理器(DSP)，可实现动态执行，因此无需在主机上展开或执行控制流运算符。AWSInferentia2还支持动态输入形状，这对于输入张量大小未知的模型（例如处理文本的模型）至关重要。AWSInferentia2支持用C++编写的自定义运算符。谷歌2023年12月，谷歌发布最新的CloudTPUv5p，并号称是迄今最强大的TPU。每个TPUv5pPod由8,960个芯片组成，采用3D环面拓扑，互连速度达4,800Gbps。与TPUv4相比，TPUv5p的FLOPS提高了2倍以上，高带宽内存(HBM)提高了3倍以上。TPUv5p专为性能、灵活性和规模而设计，训练大型LLM模型的速度比上一代TPUv4快2.8倍。此外，借助第二代SparseCores，TPUv5p训练嵌入密集模型的速度比TPUv42快1.9倍。除了性能改进之外，TPUv5p在每个pod的总可用FLOP方面的可扩展性也比TPUv4高4倍。与TPUv4相比，每秒浮点运算次数(FLOPS)加倍，并且单个Pod中的芯片数量加倍，可显著提高训练速度的相对性能。微软2023年11月，微软推出了AI芯片AzureMaia100。Maia100是MaiaAI加速器系列中的首款产品。Maia采用5nm台积电工艺制造，拥有1050亿个晶体管，比AMDMI300XAIGPU的1530亿个晶体管少约30%。微软表示，“Maia支持我们首次实现低于8位数据类型（MX数据类型），以便共同设计硬件和软件，这有助于我们支持更快的模型训练和推理时间。”Maia100目前正在GPT3.5Turbo上进行测试，该模型也为ChatGPT、BingAI工作负载和GitHubCopilot提供支持。微软正处于部署的早期阶段，还不愿意发布确