2024年AI大算力芯片技术发展与产业趋势

AI

大算力芯片技术发展与产业趋势22024全球半导体与数字经济总量（预估）资料来源：亚太芯谷科技研究院AI

时代财富密码1、2024年全球半导体产业链产值占全球经济总量约

1%，但其资本市场市值占全球比近

10%。2024年AI芯片（GPU）产业营收占全球半导体市场

20%。2024年AI芯片产业两大核心企业NT联盟（英伟达与台积电）营收合计占半导体全产业链营收约21%，净利润约占

50%，市值约占半导体总市值

50%，占全球资本市场约

5%。注：2024年NT联盟预计总营收将达到约2000亿美元，总净利润1000亿美元，总市值约5万亿美元。3台积电技术路线规划

2030资料来源：TSMC英伟达GPU产品规划

2027资料来源：英伟达2024年6月2日，英伟达CEO黄仁勋在台湾大学发表主题为“开启产业革命的全新时代”的现场演讲，演讲中梳理并介绍了英伟达的最新产品和成果，以及对未来产品的规划。黄仁勋宣布Blackwell芯片已经投产，

预计将于

2

0

2

5

年推出Blackwell

UltraAI芯片，2026年推出下一代AI平台“Rubin”，2027年推出ubinUltra，更新节奏将变为“一年一次”。黄仁勋称，8年内，英伟达GPU产品运算能力增长了1000倍，几乎超越了摩尔定律在最佳时期的增长。45资料来源：“数据存储2030”白皮书，中国算力发展指数白皮书（2022），DIGITIMES研究中心，亚太芯谷科技研究院全球数据量与

GPU

市场规模2015-2024：数据量增加

122

ZB全球GPU市场规模增加约

1120

亿美元2024年，全球GPU市场规模约1200亿美元2015年，全球GPU市场规模约80

亿美元2024-2030：数据量增加

870

ZB全球GPU市场规模增加约？

亿美元2024年，全球算力规模预计可达到：2380

EFlops2030年，全球算力规模预计可达到：56000

EFlops根据IDC和华为GIV团队预测，全球每年新产生的数据总量随着数字化的发展快速增长，从2020年每年产生

2

ZB到2025年每年产生

175ZB，2030年将达到1003

ZB，即将进入YB（1

Yotta

Bytes

=

1000

Zetta

Bytes

=

1024

Bytes）时代。另外，根据DIGITIMES研究中心，2024年全球服务器用GPU（包括存储芯片在内的板卡与子系统）产值将首次突破1000亿美元，达1219亿美元。其中，高端服务器GPU产值比重将超过80%，达

1022亿美元，出货量可达

482万颗，英伟达将占比

92.5%，AMD占比可达

7.3%。全球数据量与算力规模发展联动预估620162018202020222024CoWoS(HI)MOSFET(摩尔定律)N7N5N32016~2024：GPU

算力：

1000

倍逻辑芯片算力：40~60

倍GPU/算力HBM算力光刻机N12资料来源：英伟达，台积电，亚太芯谷科技研究院AI

芯片算力提升的“三驾马车”③①②N2大 纲7一．AI

芯片：从MOSFET到CoWoS（HI）二．CoWoS

/

HBM

技术与发展三．AI

大算力芯片产业市场与投资四．AI

大算力芯片产业发展趋势1947电晶体-点接触形式的双极性晶体管结型构造双极型晶体管-BJT（BipolarJunction

Transistor）1948金属—氧化物半导体场效应晶体管-MOSFETMetalOxideSemiconductorFieldEffect

Transistor19602012CoWoS（ChiponWafer

onSubstrate

）蒋尚义、余振华Mohamed

M.

Atalla、Dawon

KahngWilliam

Shockley、John

Bardeen、WalterBrattainWilliam

Shockley全球半导体技术发展关键节点8资料来源：亚太芯谷科技研究院010020030040050060070019471977197919811983198519871989199119931995199719992001200320052007200920112013201520172019202120232032CoWoS(HI)2020~AI

：CoWoS(HI)

崛起之路全球半导体市场规模，单位：10亿美元2032年约1.2

万亿美元91200MOSFETSi

/

2D封装HomostructureCoWoSSi

/

2.5&3D封装Hetrostructure信息/制程驱动数据/封测驱动BJTGe

/

2D封装Homostructure信息/功能驱动19701970年市场规模约

100

亿美元1970-1990领先企业NEC/东芝MOSFET1970~20201990-2010领先企业英特尔/德仪2010-2020领先企业英特尔/三星2020- 领先企业台积电/英伟达/三星BJT1950~19701950-1970领先企业德仪/仙童2020年市场规模约

4400

亿美元2023年约0.6

万亿美元资料来源：亚太芯谷科技研究院CoWoS

本质上是一种异质异构集成技术异构异质集成（HI，Heterogeneous

Integration）分为异构(HeteroStructure)集成和异质(HeteroMaterial)集成两大类。HeteroStructureIntegration（异构集成）主要指将多个不同工艺节点单独制造的芯片封装到一个封装内部，以增强功能性和提高性能，可以对采用不同工艺、不同功能、不同制造商制造的组件进行封装。HeteroMaterial

Integration（异质集成）是指将不同材料的半导体器件集成到一个封装内，可产生尺寸小、经济性好、灵活性高、系统性能更佳的产品。异构集成 异质集成资料来源：亚太芯谷科技研究院英特尔的

EMIB

与三星的

I-Cube11资料来源：英特尔，三星英特尔也于2017年推出EMIB（EmbeddedMulti-Die

Interconnect

Bridge）先进封装技术，即“嵌入式多芯片互连桥接”，该技术使用传统覆晶芯片方式连接晶粒和基板，通过一个很小的硅片实现晶粒直接的桥接，可将芯片互连的凸点间距缩小到45微米。三星于2021年发布2.5D

封装技术Interposer-Cube4

(I-Cube4)，I-CubeTM是一种异构集成技术，在一个硅中介层上水平放置一个或多个逻辑裸片（CPU、GPU等）和多个高带宽存储器(HBM)

裸片，使一个封装中的多个裸片像单个芯片一样运行。EMIB I-Cube大 纲12一．AI

芯片：从MOSFET到CoWoS（HI）二．CoWoS

/

HBM

技术与发展三．AI

大算力芯片产业市场与投资四．AI

大算力芯片产业发展趋势CoWoS

架构

AI

芯片13资料来源：TSMCCoWoS

：S、R、LS即为硅（Si）衬底作为中介层、R为RDL（重布线）、L为LSI（嵌入式）。其主要区别在于芯片与芯片之间的连接、芯片和基板之间的连接方式不同。CoWoS-S为最早开发的系列，芯片通过Chip

on

Wafer（CoW）的封装制程连接至硅晶圆，再把CoW芯片与基板（Substrate）连接，整合成CoWoS。CoWoS-R为扇出型晶圆级封装，使用重布层连接。CoWoS-L也是扇出型晶圆级，它结合了CoWoS-S和InFO技术的优点，使用局部硅互连嵌入在重布层进行整合。CoWoS为台积电历史最悠久的技术，适用于高速运算产品。14资料来源：TSMC，亚太芯谷科技研究院先进封装底层技术BumpingTSVInterposerCoWoS

关键底层技术BumpingInterposerBumpingRDLTSVbumpingRDLDTCDTCInterposerTSVRDLDTCDTC15资料来源：亚太芯谷科技研究院1、散热Al

算力芯片体积小、集成度高、速度快，导致热量集中，不易散出，致使IC

功能下降。目前用于

Al

高速运算的服务器是泡在液体里来解决散热问题，而有Al芯片的携带式产品，散热问题更严重，散热不良导致芯片无法运行，或是使芯片损坏。16资料来源：芯沣科技，亚太芯谷科技研究院2、Interposer

及TSV

应力破裂TSV是先进封装的关键结构单元。在TSV转接板上，由于铜和硅的热膨胀系数差别较大，这种热不匹配所产生的热应力会造成接口的脱层或材料的开裂而直接影响TSV的可靠性。CoWoS

技术的技术难点2023年2026年2027年技术名称CoWoS(SolC)CoWoS(SolC)CoWoS(SolC)SoW系统级晶圆载板面积80x80

mm>100x100

mm>120x120mm--HBM数量8X12x12x60x算力提升1X3.5x7x40x17资料来源：TSMC目前CoWos-S可支持的最大尺寸约为2500平方毫米即三倍掩膜版尺寸，也就是Blackwell

GPU上的两颗die+8xHBM的设计，再想增大面积恐怕不易。因此，CoWos-L将成为下一阶段的主要封装类型。台积电系统级晶圆技术将迎来大突破，采用CoWoS技术的芯片堆栈版本，预计于2027年准备就绪，即CoWoS技术整合SoIC、HBM及其他元件，进而打造一个强大且运算能力媲美资料中心服务器机架，或甚至整台服务器的晶圆级系统。2027年后，3D版的CoWoS技术：SoW，有望登上历史舞台。CoWos-L

将成为主要封装类型 台积电CoWos封装规划路线CoWoS

技术发展趋势HBM

应用的关键：AI

芯片存储墙算力的增速远超存储与互连带宽的增速大模型体积的增速远高于算力芯片存储容量的增速算力的增速远大于存储的增长速度。目前绝大部分的计算系统基于冯诺依曼计算机体系，而该体系下存储与计算单元分离，需要通过总线不断在存储与处理器之间传输数据，因此存储的带宽制约了算力的利用效率。此外，从外部处理器到内存之间不断进行数据的搬运，搬运时间往往是运算时间的成百上千倍，产生的无用能耗过多。模型体量的增速远大于算力卡存储容量的增速。随着

Transformer

模型的大规模发展和应用，模型大小每两年平均增长了240倍，而单个GPU内存容量仅以2年2倍的速度扩大。为了摆脱单一算力芯片内存有限的问题，可以将模型部署于多颗GPU上运行，但在算力芯片之间移动数据，仍然比单一芯片内部移动数据低效，因此算力芯片内存容量的缓慢增速制约了更大规模的模型应用。18资料来源：riselabHBM

基本涵义HBM（High

Bandwidth

Memory，

高带宽存储）是一种新型的CPU/GPU内存芯片

。

从结构上看其特点有：（1）3D堆叠结构并由TSV互连：

HBM由多颗DRAM

die堆叠成3D结构，使用TSV技术实现信号的共享与分配；（2）

高I/O数量带来高位宽：

HBM的每颗DRAM

Die包含多个通道，

可独立访问

。

每个通道又包含多个I/O

口

，位宽64/128bit，

使

HBM的总位宽高达1024bit。HBM1

堆叠

DRAM

架构图19资料来源：《高带宽存储器的技术演进和测试挑战》（陈煜海等人）

，华金证券研究所不同类型的存储芯片带宽与单引脚最大I/O速度对比HBM2与传统DDR存储器的单引脚I/O带宽功耗比对比20资料来源：华金证券研究所HBM

与其他存储芯片参数对比HBM2E和HBM3的单引脚最大输入/输出（I/O）速度分别达3.2Gbit/s和6.4Gbit/s，低于GDDR5存储器的7Gbit/s，但HBM的堆栈方式可通过更多的I/O数量使总带宽远高于GDDR5；例如HBM2带宽可以达到307

GB/s；以DDR3存储器单引脚I/O带宽功耗为基准，HBM2的I/O功耗比明显低于DDR3/DDR4和GDDR5，相比于GDDR5存储器，HBM2的单引脚I/O带宽功耗比数值降低42%。HBM

采用的主要封装技术HBM

结构及相关技术图示21资料来源：SK海力士HBM

的逻辑芯片的功能区先进封装技术在HBM

制造中大放异彩，包括

TSV（硅通孔）、Bumping（凸点制造）、堆叠键合等技术，在与逻辑芯片共封时又另外使用中介层、系统级封装SIP等技术。HBM

技术将追求更高带宽目前，三大存储厂商已将HBM4已经列入研发计划：1、堆叠层数：HBM4在堆叠层数上，除了现有的8/12层外，将再往16层发展，更高层数也将带动新堆叠方式Hybrid

bonding的需求。HBM4

12层将于2026年推出，而16层则预计于2027年问世。2、逻辑die：受到GPU/HBM规格更往高速发展带动，Trendforce预计HBM最底层的Logic

die（Basedie）将采用12nm制程，该部分将由晶圆代工厂提供，使得单颗HBM需要结合晶圆代工厂与存储器厂的合作。3、客制化：根据韩国中央日报报道，SK海力士正在招募CPU、GPU等逻辑芯片的设计人员，目标是将未来的HBM4以3D堆叠的形式堆叠在英伟达、AMD等公司的逻辑芯片上，预计该HBM4内存堆栈将采用2048位接口。该方案未定，只是在讨论中。三大存储厂商

HBM

技术路线图22资料来源：Yole，Techspace，，各公司官网大 纲23一．AI

芯片：从MOSFET到CoWoS（HI）二．CoWoS/

HBM

技术与发展三．AI

大算力芯片产业市场与投资四．AI

大算力芯片产业发展趋势70012502250330040000500100015002000250030003500400045002023(E)2024(E)2025(E)2026(E)2027(E)根据亚太芯谷科技研究院分析预测，2023年，全球GPU市场规模为700亿美元，随着人工智能科技的发展，全球GPU市场需求不断增长，预计2027年全球GPU市场规模将达到

4000亿美元，2023-2027年复合增长率54%，2032年达到5500亿美元，2023-2032年复合增长率为25.7%。24资料来源：亚太芯谷科技研究院全球

GPU

市场为三足鼎立的寡头竞争格局，英伟达在独显领域一家独大，市场份额占80%以上，AMD占比约10%，英特尔占比约5%。中国大陆厂商华为正快速崛起，市场需求量呈现出爆发式增长。根据华为内部和采购方渠道透露的信息，

2023

年华为算力GPU出货量约十万片，

而2024年产能增加到几十万片，下单需求已经达到上百万片。2023-2027

全球GPU市场规模预估（单位：亿美元）2023-2027年CAGR：54%全球

GPU

市场规模预估12243648608010012001.5481525385002040608010012014020232024(E)2025(E)2026(F)2027(F)2028(F)2029(F)2030(F)台积电 其他全球

CoWoS

产能预估

2030单位：万片2023年10月预估1236609012016021027001.561530406010005010015020025030020232024(E)2025(E)2026(F)2027(F)2028(F)2029(F)2030(F)台积电 其他单位：万片备注：图中数量为CoWoS的12吋Wafer数量，平均每片12吋Wafer可以切出25个Interposer，每个Interposer对应一个GPU。25资料来源：亚太芯谷科技研究院2024年5月预估2023~2030年

CoWoS总产能年复合增长率修正为

CAGR：63.2%2023~2030年

CoWoS

总产能年复合增长率

CAGR：46%26HBM

市场规模预估

2026资料来源：SK海力士，亚太芯谷科技研究院由于更强的生成式人工智能（Gen

AI）需求推动了更高的AI服务器出货量和每个GPU中更高的高带宽内存（HBM）密度，亚太芯谷科技研究院预计HBM市场规模将从2022年到2026年前增长15.64倍（4年复合年增长率77%），从2022年的

23

亿美元增长至2026年的

230亿美元。2022-2026

全球HBM市场规模预估（

单位：亿美元）2339168280360050150100250200300350400202220232024（E）2025（E）2026（E）272024：AI

芯片NT联盟的三个千亿里程碑2024年，台积电，英伟达营收预估分别达到

1000

亿美元，净利润预估合计

1000

亿美元。公司名称2024

Q1营收2024

Q1净利润2024（预估）营收同比

2023营收增长2024（预估）净利润同比2023净利润增长市值（2024.06.30）台积电188.51

亿美元71.72

亿美元1000

亿美元44.2

%450

亿美元67.29

%0.90

万亿美元英伟达260.44

亿美元148.81

亿美元1000

亿美元64.15

%550

亿美元84.81

%3.04

万亿美元合计448.95

亿美元220.53

亿美元2000

亿美元53.61

%1000

亿美元76.49

%3.94

万亿美元资料来源：WInd，亚太芯谷科技研究院28NT

联盟市值合计超过

4

万亿美元2024年7月9日，台积电盘中市值首次超过万亿美元，收盘回落至

9570

亿美元。2024年7月9日，英伟达市值达到

3.23

万亿美元。NT

联盟市值合计

4.19

万亿美元，占费城半导体指数总市值的

57

%。备注：英伟达、台积电均为前复权后的周K线走势图。资料来源：东方财富，Wind大 纲29一．AI

芯片：从MOSFET到CoWoS（HI）二．CoWoS/

HBM

技术与发展三．AI

大算力芯片产业市场与投资四．AI

大算力芯片产业发展趋势零部件2xIntelSapphireRapids

Server(标准CPU服务器)NvidiaDGX

H100(AlGPU服务器)倍数BOM占

比单机ASPBOM占

比单机ASPCPU17.7%$1,8501.9%$5,2002.8

GPU板组：8*GPU+4*NVSwitchBaseboard0.0%$-72.5%$195,000一内存DRA

M37.5%$3,9302.9%$7,8602.0

硬盘NAN

D14.7%$1,5361.3%$3,4562.3

网络接口卡SmartNIC6.2%$6544.1%$10,90816.7

机箱(机盒、背板、布线)3.8%$3950.2%$5631.4

主板3.3%$3500.3%$8752.5

散热(散热片+风扇)2.6%$2750.2%$4631.7

电源2.9%$3000.4%$1,2004.0

组装和测试4.7%$4950.6%$1,4853.0

设备制造商利润6.6%$68915.6%$42,00061.0

总成本100%$10.474100%$269,01025.7

30资料来源：semianalysis;Al

Server

Cost

Analysis2023.05.29，万和证券研究所英伟达

AI

服务器成本分析Fan-in与

Fan-out31几种载板材料32新架构GPU01面板级封装

PLP02PCB与新材料06NVLink&

UALink05BONDING07热导与散热03光模块/CPO04测试08资料来源：亚太芯谷科技研究院AI

大算力芯片产业发展趋势33产业发展趋势

01：新架构

GPU可重构计算（CGRA）是指利用系统中的可编程计算资源（处理单元和互连网络），根据应用的需要和计算任务的数据流特点，动态构造出最适配的计算架构，达到逼近专用集成电路的高性能。可重构架构的抽象模型资料来源：清微智能扇出型板级封装FOPLP，所谓的扇出（fan-out）是相对于扇入（fan-in）来说的，其封装的RDL线路和引脚不仅在芯片所处的投影面积之内，而且在投影面积的外围也有分布。面板级封装（PLP，panel

level

package），则是相对于晶圆级封装（WLP，wafer

level

package）来说的，就是之前采用晶圆作为载板的封装改为采用面板作为封装的载板。这些载板的材质可以选择金属、玻璃和高分子聚合物材料。近日，有消息传出，AI芯片龙头英伟达最快将于2026年导入扇出型面板级封装，借此缓解CoWoS先进封装产能吃紧，导致AI芯片供应不足的问题，英特尔、AMD等半导体大厂后续也将逐步加入扇出型面板级封装的阵营。Fan-in与

Fan-out几种载板材料资料来源：亚太芯谷科技研究院产业发展趋势

02：FOPLP

技术FOPLP

技术的产业合作项目进展资料来源：TrendForce，亚太芯谷科技研究院厂

商客户应用封装尺寸状

态力

成MTKPMIC,RF515*510mm现

有AMDPC

CPU515*510mm小量规划日月光QualcommPMIC,RF300*300mm暂

缓QualcommPMIC,RF600*600mm小量规划AMDPC

CPU600*600mm小量规划硅

品NVIDIAAI

GPU515*510mm评估

中台积电NVIDIAAI

GPU515*510mm评估

中AMDAI

GPU515*510mm评估

中群

创NXPPMIC620*750mm量产2H24STMicroPMIC620*750mm评估

中Nepes600*600mmSEMCOSamsungPMIC,AP510*415mm现

有FOPLP

模式的封装业务合作项目及进展概要1．FOPLP技术目前有三种主要应用模式：① OSAT（封装测试）业者将消费性IC封装从传统方式转换至FOPLP；② 晶圆代工厂和OSAT业者将AI

GPU的2.5D封装从晶圆级转换至面板级；③ 面板业者跨足消费性IC封装领域。2、产业合作案例：① 以AMD与力成、日月光洽谈PC

CPU产品及高通与日月光洽谈PMIC产品进展较大；② 在AI

GPU封装方面，AMD及NVIDIA大厂最为积极，与台积电、硅品洽谈相关产品，双方将2.5D封装模式自晶圆级转换至面板级合作，进一步放大芯片封装尺寸、使单位成本更低，但由于技术的挑战，相关业者对此转换尚处评估阶段。35产业发展趋势

03：热导与散