2024年AI大算力芯片技术发展与产业趋势-亚太芯谷科技研究院

AI大算力芯片技术发展与产业趋势2024.07.12.AAI时代财富密码2024全球半导体与数字经济总量（预估）资料来源：亚太芯谷科技研究院u1、2024年全球半导体产业链产值占全球经济总量约1%，但其资本市场市值占全球比近10%。u2024年AI芯片（GPU）产业营收占全球半导体市场20%。u2024年AI芯片产业两大核心企业NT联盟（英伟达与台积电）营收合计占半导体全产业链营收约21%，净利润约占50%，市值约占半导体总市值50%，占全球资本市场约5%。2台积电技术路线规划20303资料来源：TSMC英伟达英伟达GPU产品规划2027资料来源：英伟达2024年6月2日，英伟达CEO黄仁勋在台湾大学发表主题为“开启产业革命的全新时代”的现场演讲，演讲中梳理并介绍了英伟达的最新产品和成果，以及对未来产品的规划。黄仁勋宣布Blackwell芯片已经BlackwellUltraAI芯片，2026年推出下一代AI平台“Rubin”，2027年推出ubinUltra，更新节奏将变为“一年一次”。黄仁勋称，8年内，英伟达GPU产品运算能力增长了1000倍，几乎超越了摩尔定律在最佳时期的增长。4全球数据量与全球数据量与GPU市场规模根据IDC和华为GIV团队预测，全球每年新产生的数据总量随着数字化的发展快速增长，从2020年每年产生2ZB到2025年每年产生1752024年全球服务器用GPU（包括存储芯片在内的板卡与子系统）产值将首次突破1000亿美元，达1219亿美元。其中，高端服务器GPU产5资料来源：“数据存储2030”白皮书，中国算力发展指数白皮书（2022DIGITIMES研究中心，亚太芯谷科技研究院AAI芯片算力提升的“三驾马车”算力GPU/算力GPU/算力GPU算力：1000倍逻辑芯片算力：40~60倍③②① CoWoS(HI③②①MOSFET(MOSFET(摩尔定律)光刻机光刻机资料来源：英伟达，台积电，亚太芯谷科技研究院7大纲大纲二．CoWoS/HBM技术与发展三．AI大算力芯片产业市场与投资四．AI大算力芯片产业发展趋势全球半导体技术发展关键节点全球半导体技术发展关键节点电晶体-点接触形式的双极性晶体管结型构造双极型晶体管-BJT金属—氧化物半导体场效应晶体管-MOSFETCoWoS8资料来源：亚太芯谷科技研究院AAI：CoWoS(HI)崛起之路全球半导体市场规模，单位：10亿美元全球半导体市场规模，单位：10亿美元0.6CoWoS(HI)2020~MOSFET1970~20201950~1970CoWoS(HI)2020~MOSFET1970~20201950~1970BJTMOSFETC\数据/封测驱动CoWoS700信息/功能驱动信息/制程驱动700信息/功能驱动信息/制程驱动500Ge/2D封装Si/2D封装JSi0一——一400HomostructureHomostructure/20019702001970年市场规模//100约100亿美元cc-s2001200320052007200920112013201520172019202120232001200320052007200920112013201520172019202120239资料来源：亚太芯谷科技研究院CoWoSCoWoS本质上是一种异质异构集成技术艺、不同功能、不同制造商制造的组件进行封装异构集成资料来源：亚太芯谷科技研究院英特尔的英特尔的EMIB与三星的I-Cube英特尔也于2017年推出EMIB（EmbeddedMulti-DieInterconnectBridge）先进封装技术，即“嵌入式多芯片互连桥接”，该技术使用传统三星于2021年发布2.5D封装技术Interposer-Cube4(I-Cube4)，I-CubeTM是一种异构集成技术，在一个硅中介层上水平放置一个或多个逻资料来源：英特尔，三星大纲大纲一．AI芯片：从MOSFET到CoWoS（HI）二．CoWoS/HBM技术与发展三．AI大算力芯片产业市场与投资四．AI大算力芯片产业发展趋势CoWoSCoWoS架构AI芯片资料来源：TSMC资料来源：TSMC，亚太芯谷科技研究院CoWoSCoWoS关键底层技术BumpingBumpingTSVTSV底层技术RDLRDLDTCDTC资料来源：亚太芯谷科技研究院CoWoSCoWoS技术的技术难点Al算力芯片体积小、集成度高、速度快，导致热量集TSV是先进封装的关键结构单元。在TSV转接板上，由于铜和硅的热膨胀系数差别较大，这种热不匹配所产生的热应力会造成接口的脱层或材料的开裂而直接影目前用于TSV是先进封装的关键结构单元。在TSV转接板上，由于铜和硅的热膨胀系数差别较大，这种热不匹配所产生的热应力会造成接口的脱层或材料的开裂而直接影资料来源：芯沣科技，亚太芯谷科技研究院CoWoSCoWoS技术发展趋势目前CoWos-S可支持的最大尺寸约为2500平方毫米即三倍掩膜版尺寸，也就是BlackwellGPU上的两颗die+8xHBM的设计，再想增大面积恐台积电系统级晶圆技术将迎来大突破，采用CoWoS技术的芯片堆栈版本，预计于2027年准备就绪，即CoWoS技术整合SoIC、HCoWos-L将成为主要封装类型资料来源：TSMCHBMHBM应用的关键：AI芯片存储墙u模型体量的增速远大于算力卡存储容量的增速。随着Transformer模型的大规模发展和应用，模型大小每两年平均增长了240倍，而单个GPU内存容量仅以2年2倍的速度扩大。为了摆脱单一算力芯片内存有限的问题，可以将模型部署于多颗GPU上运行，但在算力芯片之间移算力的增速远超存储与互连带宽的增速大模型体积的增速远高于算力芯片存储容量的增速资料来源：riselabHBMHBM基本涵义HBM（HighBandwidthMemory，高带宽存储）是一种新型的CPU/GPU内存芯片。从结构上看其TSV互连：HBM由多颗DRAMdie堆叠成3D结构，使用TSV技术实现信号的共享与分配2）高I/O数量带来高位宽：HBM的每颗DRAMDie包含多个通道，可独立访问。每个通道又包含多个I/资料来源：《高带宽存储器的技术演进和测试挑战》（陈煜海等人华金证券研究所HBMHBM与其他存储芯片参数对比更多的I/O数量使总带宽远高于GDDR5；例如HBM2带宽可以达到307G不同类型的存储芯片带宽与单引脚最大I/O速度对比HBM2与传统DDR存储器的单20资料来源：华金证券研究所HBMHBM采用的主要封装技术HBM结构及相关技术图示21资料来源：SK海力士HBMHBM技术将追求更高带宽资料来源：Yole，Techspace各公司官网1、堆叠层数：HBM4在堆叠层数上，除了现有的8/12层外，将再往16层发展，更高层数也将带动新堆叠方式Hybridbonding的需求。HBM412层将于2、逻辑die：受到GPU/HBM规格更往高速发展带动，Trendforce预计HBM最底层的Logicdie（Basedie）将采用12nm制程，该部分将由晶圆代工厂提供，使得单颗HBM需要结合晶圆代工厂与存储器厂3、客制化：根据韩国中央日报报道，SK海力士正在招募CPU、GPU等逻辑芯片的设计人员，目标是将未来的HBM4以3D堆叠的形式堆叠在英伟达、AMD等公司的逻辑芯片上，预计该HBM4内存堆栈2223大纲大纲二．CoWoS/HBM技术与发展四．AI大算力芯片产业发展趋势全球全球GPU市场规模预估2023-2027年CAGR：54%40003300330022507002023(E)2024(E)2025(E资料来源：亚太芯谷科技研究院根据亚太芯谷科技研究院分析预测，2023年，全球GPU市场规模为700亿美元，随着人工智能科技的发展，全球GPU市场需求不断增长，预计20球GPU市场规模将达到4000亿美元，2023-2027年复合增长率54%，2032年达到5500亿美元，2023-2032年复合增长率为25.7%。全球GPU市场为三足鼎立的寡头竞争格局在独显领域一家独大，市场份额占80%以上，AMD中国大陆厂商华为正快速崛起，市场需求量呈现出爆发式增长。根据华为内部和采购方渠道透露的信息，2023年华为算力GPU出货量约十万片，而2024年产能增加到几十万片，下单需求已经达到上百万片。24全球全球CoWoS产能预估20300单位：万片20232023~2030年CoWoS总产能年复合增长率CAGR：46%6050485038363825242584084020232024(E)2025(E)2026(F)0单位：万片2024年5月预估2102023~2030年CoWoS总产能年复合增长率修正为CAGR：90906060603630403630660020232024(E)2025(E)2026(F)25备注：图中数量为CoWoS的12吋Wafer数量，平均每片12吋Wafer可以切出25个Interposer，每个Interposer对应一个GPU。资料来源：亚太芯谷科技研究院25HBMHBM市场规模预估2026由于更强的生成式人工智能（GenAI）需求推动了更高的AI服务器出货量和每个GPU中更高的高带宽内存（HBM）密度，亚太芯谷科技研究院预计HBM市场规模将从2022年到2026年前增长15.64倍（4年复合年增长率77%从2022年的23亿美元增长至2026年的230亿2022-2026全球HBM市场规模预估（单位：亿美元）36030028026资料来源：SK海力士，亚太芯谷科技研究院2024：2024：AI芯片NT联盟的三个千亿里程碑公司名称2024Q1营收2024Q1净利润2024（预估）营收同比2023营收增长2024（预估）净利润同比2023净利润增长市值台积电188.51亿美元71.72亿美元1000亿美元44.2%450亿美元67.29%0.90万亿美元英伟达260.44亿美元148.81亿美元1000亿美元64.15%550亿美元84.81%3.04万亿美元合计448.95亿美元220.53亿美元2000亿美元1000亿美元76.49%3.94万亿美元27资料来源：WInd，亚太芯谷科技研究院NTNT联盟市值合计超过4万亿美元2024年7月9日，英伟达市值达到3.23万亿美元。半导体指数总市值的57%。备注：英伟达、台积电均为前复权后的周K线走势图。资料来源：东方财富，Wind2024年7月9日，台积电盘中市值首次超过万亿美元，收盘回落至9570亿美元。2829大纲大纲二．CoWoS/HBM技术与发展三．AI大算力芯片产业市场与投资英伟达英伟达AI服务器成本分析GPU板组：8*GPU+4*NVSwitch一30资料来源：semianalysis;AlServerCostAnalysis2023.05.29，万和证券研究所31AAI大算力芯片产业发展趋势3232资料来源：亚太芯谷科技研究院产业发展趋势01：新架构产业发展趋势01：新架构GPU33资料来源：清微智能产业发展趋势02：产业发展趋势02：FOPLP技术扇出型板级封装FOPLP，所谓的扇出（fan-out）是相对于扇入（fan-in）来说的，其封装的RDL线路和引脚不仅在芯片所处的投影面积之近日，有消息