版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
内容目录TOC\o"1-2"\h\z\uHBM:高带宽DRAM,GPU理想存储解决方案 4AI大模型催动DRAM需求 43DDRAM解决“内存墙”问题 6关键技术助力HBM发展 8相关企业 14风险提示 16图表目录图HBM主要以TSV技术垂直堆叠芯片,达到缩减体积、降低能耗的目的 4图AI模型计算量增长迅猛 4图HBM提供更快的数据处理速度 4图大模型语言计算对应内存需求 5图静态内存参数、优化器状态较为固定 5图动态内存通常是静态内存的数倍 5图AI服务器提升存储器需求 6图模型越大需要设备内存越大 6图存储带宽落后于算力成长速度形成“内存墙” 6图3DDRAM几种实现方式 7图HBM每个DRAM单元间引线最短 7图HBM3带宽进一步提升 7图Chiplet搭载HBM作为存储单元解决方案 8图硅通孔技术流程 9图TSV当前深宽比约在10:1 9图TSV目前开孔约在10um 9图英伟达A100GPUCoWoS封装 10图基于TSV技术实现堆叠HBM 10图IMECTSV工艺示意图 10图ALD形成扩散阻挡层 10图先进DRAM需要更高介电常数材料 11图ALD形成High-KMetalGate 11图2.5D+3D先进封装集成 11图AMDRadeonVegaGPU&HBM2横截面 12图台积电“3DFabric”平台使用8个HBM2e堆栈 12图NVIDIAGH200GraceHopper芯片中使用96GBHBM3堆栈 12图AMD/UMC2.5D+3D集成示意图 13图NVIDIA/TSMC2.5D+3D集成示意图 13图2019-2025全球封装基板行业产值及增速 13图全球IC载板市场格局 13HBM:高带宽DRAM,GPU理想存储解决方案HBM(高带宽存储器,HighBandwidthMemory)CPU/GPUAMDSKHynix3DDRAM,适用于高存储器带宽需求的应用场合。HBMDDRHBMDRAM1.5,为新型高性能存储产品。图1:HBM主要以TSV技术垂直堆叠芯片,达到缩减体积、降低能耗的目的资料来源:Micron,整理AI大模型催动DRAM需求AIHBMAIGPUGPUGPUGPUGPU图模型计算量增长迅猛 图提供更快的数据处理速度 资料来源:OurWorldinData,整理 资料来源:TSMC,整理动态内存能力对大模型训练至关重要。内存方面,大模型训练的内存可以大致理解为参数、优化器状态、激活、梯度四部分的和。它们大致分为两类:静态内存和动态内存。参数、优化器状态较为固定,属于静态内存,激活和梯度等中间变量属于动态内存,是最主要的内存占用原因,动态内存通常是静态内存的数倍。图4:大模型语言计算对应内存需求资料来源:Eleutheral,整理图静态内存参数、优化器状态较为固定 图动态内存通常是静态内存的数倍资料来源:知乎,整理 资料来源:知乎,整理1750GPT33.2TB静态内存方面,大多TransformerFP16+FP32,以减少训练模型内存,21635G。而动态内存,根据不同的批量大小、并行技术等结果相差较大,通常是静态内存的数倍。更简LLM20NN1750GPT33.2TBFP16175BGPT3327G480GA100FP3210图服务器提升存储器需求 图模型越大需要设备内存越大资料来源:闪存市场,整理 资料来源:NVIDIA,整理3DDRAM解决“内存墙”问题“内存墙”是处理器算力超过存储芯片存取能力,内存墙的存在导致综合算力被3.1(DRAM1.41.7倍。由于处理器处理数据过程同样需要动态存储器的支持,“内存墙”的存在制约了处理器的算力提升速度。图9:存储带宽落后于算力成长速度形成“内存墙”资料来源:曹立强、侯峰泽,《先进封装技术的发展与机遇》,前瞻科技杂志,2022年第3期"集成电路科学与工程专刊”,前瞻科技杂志,整理DRAM3DDRAM2D3D,借助TSV3D缩小芯片表面积,契合半导体行业小型化、集成化的发展趋势。3DDRAMHBM3DDRAMDRAMHBM3DDRAMHBMDRAMDRAM图DRAM几种实现方式 图每个DRAM单元间引线最短 资料来源:Lau.J,《ChipDesignandHeterogeneousIntegrationPackaging》,2023版,140-145页,整理
资料来源:Lau.J,《ChipDesignandHeterogeneousIntegrationPackaging》,2023版,140-145页,整理据集邦咨询数据存储巨头SK海力士是目前HBM最大的供应商占据50的市场SK2013HBM4DRAMHBM2HBM2eI/OHBMHBMGPUTSV3DSKHBM3NVIDIAGPUH100之中,其带宽在HBM2460GB/s的基础上提升了78,达到了819GB/s,随GPU图12:HBM3带宽进一步提升资料来源:SK海力士,整理当前高端GPUHBMNVIDIAGPUH100、A100HBM2e、HBM3,H100GPUHBM3AMDMI20MI30以及Goole自研TU等均将搭载高带宽的HMTrndForce集邦咨询预估2023年HBM需求量将年增58,2024年有望再增长30。图HBM资料来源:电子发烧友网,整理关键技术助力HBM发展HBM关键技术#1:硅通孔技术(TSV)硅通孔技术(TSV,ThroughSiliconVia)为连接硅晶圆两面并与硅衬底和其他通孔绝缘的电互连结构,可以穿过硅基板实现硅片内部垂直电互联,这项技术是2.5D3DTSV10μm×100μm30μm×200μm,开口率介于0.1-1。相比平面互连,TSV可减小互连长度和信号延迟,降低寄生电容和电感,实现芯片间的低功耗和高速通信,增加宽带和封装小型化。TSV10um10:1,微凸点互联40-50umTSV5um10图14:硅通孔技术流程资料来源:《新时代先进封装》,于大全,2021版,8-10页,整理图当前深宽比约在10:1 图目前开孔约在10um资料来源:《新时代先进封装》,于大全,2021版,8-10页,整理
资料来源:《新时代先进封装》,于大全,2021版,8-10页,整理HBMTSVDRAMTSVHBM3D4CoWoSA100GPUA100GPU6HBM2多颗芯片键合至硅基转接板晶圆上(SiInterposerSoCHBMRDLTSVFoverosFacetoFaceChipStackforheterogeneousintegration)3DTSV3D图英伟达A100GPUCoWoS封装 图基于TSV技术实现堆叠HBM资料来源:曹立强、侯峰泽,《先进封装技术的发展与机遇》,前瞻科技杂志,2022年第3期"集成电路科学与工程专刊”,前瞻科技杂志,整理
资料来源:AMD,整理关键技术#2:ALD沉积ALDHBM先进DRM加工工艺和TSVALDALDTSVTSVALDWN阻挡层,防止铜的电化学迁移导致物理失效。IMECviamiddleTSVALD氧化层绝缘,厚度为125nm,获得了100覆盖WN375℃,覆盖率大于90。图TSV工艺示意图 图形成扩散阻挡层资料来源:ElectrochimicaActa,整理 资料来源:ElectrochimicaActa,整理ALD沉积DRAMHigh-KMetalGate。Si2栅极电45nmHig-KSi210图先进DRAM需要更高介电常数材料 图形成High-KMetalGate资料来源:CNKI,整理 资料来源:微导纳米路演资料,整理关键技术#3:2.5D+3D集成TSV2.5D+3DTSVDRAM201310JEDECHBM220161NVIDIATeslaTeslaP100AMDRadeonVega、IntelKnightlandingHBM2。AMDRadeonVegaGPU88GbTSV5000TSVHBM240000TSV图23:2.5D+3D先进封装集成资料来源:电子发烧友网,整理图24:AMDRadeonVegaGPU&HBM2横截面资料来源:AMD,整理2.5D+3D3DFabric2.5D3DFabric2.5DCoWoSInFO3D3DSoIC3D(SoICInFO-3D),2D/2.5D(InFO)2.5DCoWoSCoWoS-S3HBM2e(128GB)、全新的硅通孔(TSV)解决方案320GH200GraceHopper2.5D+3D20235GH200GraceHopperNVIDIANVLinkSwitchSystem256GH200NVIDIADGXGH200算机。GraceHopperNVIDIANVLink®-C2CDGXGH200ArmNVIDIAGraceCPUHopperGPUChipletGraceCPU、HopperGPU、96GBHBM3512GBLPDDR5X图台积电“3DFabric”平台使用8个HBM2e堆栈 图GH200GraceHopper芯片中使用96GBHBM3堆栈 资料来源:芯智讯,整理 资料来源:NVIDIA,整理ICICICICPCBPCB,IC2.5D+3DICAMD2015RadeonR9FuryXGPU64nmTSVICubumpGPUHBMC4bumpPCBNVIDIAPascal100GPU16nmubumpHBMubump64nmCoWoS-2PCB板上完成搭建。图2.5D+3D集成示意图 图2.5D+3D集成示意图资料来源:Lau.J,《ChipDesignandHeterogeneousIntegrationPackaging》,2023版,152-157页,整理
资料来源:Lau.J,《ChipDesignandHeterogeneousIntegrationPackaging》,2023版,152-157页,整理ICPCBICIC1022025162亿美元的产值,2021-2026年年均复合增长率为9.7高于PCB行业5.8PCBIC值量最大的材料,在传统封装中约占40-50,在先进封装中约占70-80。据Yole20192902025420亿美元,占封装市场整体份额的49.4,复合增速达6.6。图全球封装基板行业产值及增速 图全球IC载板市场格局 资料来源:Prismark,整理 资料来源:Yole,整理相关企业ALD也是全球领先的前驱体供应商之一,公司前驱体产品供应HBMSK1bDRAM2003DNAND3nmAIHBM3中堆叠8至12个DRAMAIHBMALDHBM(688012.SH):TSV2010TSVPrimoTSV®,每台系统可配置多达三个双反应台的反应腔。每个反应腔可同时加工两片晶圆。中微8121(例如垂直、圆锥形和锥形等)。PrimoTSVTSVALDPEALD产品用于沉积Si2、SiN等介质薄膜,用于填孔、侧墙、衬垫层等工艺,其PF-300TAstraNF-300HAstraThermal-ALD(PF-300TAltairTS-300Altair)Al3ALD长点。兴森科技(002436.SZ):IC20122018ICCSP3.5/2/月的产能满产满销,盈利能力4.5/20221.5w/20226012FCBGA2000FCBGA8
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 限位片课程设计
- 虹吸课程设计
- 面源污染课程设计
- 链条输送机构课程设计
- 阀块课程设计
- 齿轮啮合课程设计
- 心理教育课程设计研究-洞察分析
- 透视表系列课程设计
- 险滩整治课程设计
- 自动挡挂挡教学课程设计
- 供销合同(完整版)
- 二零二五年企业存单质押担保贷款合同样本3篇
- 锅炉安装、改造、维修质量保证手册
- 油气行业人才需求预测-洞察分析
- (2024)河南省公务员考试《行测》真题及答案解析
- 1000只肉羊养殖基地建设项目可行性研究报告
- 《劳保用品安全培训》课件
- 2024版房屋市政工程生产安全重大事故隐患判定标准内容解读
- 2024院感年终总结报告
- 高一化学《活泼的金属单质-钠》分层练习含答案解析
- 04S206自动喷水与水喷雾灭火设施安装图集
评论
0/150
提交评论