通信-AI深度洞察系列报告(三)：Scale up与Scale out组网变化趋势如何看

tittit重点公司相关报告l本篇报告是AI洞察系列深度第三篇，研究视角聚焦在组网结构，更多从集群组网变化来分析硬件架构的技术演进趋势以及对算力产业链投资机会影响。lAI组网走向更大规模集群，单节点和节点间网络性能要求持续提升。AI网络由服务器—交换机——光/铜连接硬件构成，ScalingLaws驱动算力集群规模在网络整体规模上追求更大承载力，即Scaleout，成为确定性趋势。lScaleup：满足分布式训练通信要求，提升节点带宽，带动节点内部互联需求提升。大模型训练主要采用分布式训练架构，对应张量并行、流水线并行及数据并行的混合并行策略，其中张量并行对通信的要求最高，常常发生在服务器（超节点）内部，做大超节点规模，内部互联带宽提升优先级更高，升级压力更大。英伟达目前通过GB200形态+NVLINK协议进行超节点规模迭代并采用铜互连方案，推动铜互联新市场需求爆发。短期铜有望主导Scaleup互连，长期来看伴随带宽升级，铜互连传输距离限制或推动光互联方案替代。lScaleout：做大AI集群规模，l1）交换机环节：单卡容量升级，模块化设计增加交换机端口数，快速提升网络承载能力。单交换机芯片容量升级加快（当前主流方案为51.2T，博通预计下一代102.4T容量交换芯片有望在2025年发布），为满足更快速的带宽提升要求，交换机厂商开始布局模块化方案，通过提高交换机端口数来快速满足组网需要，有望提升交换机的价值量。l2）光模块环节：总需求高增长，硅光有望加速。总需求增长仍跟AI算力增长成正比关系，产品快速迭代巩固当前竞争格局；在技术迭代上，硅光有望在国内光模块龙头推动下，大幅提升1.6T阶段渗透率，并有望逐步推动CPO形态产品的量产。l投资建议：ScalingLaws驱动AI算力集群规模快速提升，超节点内部带宽升级优先级更高，机柜内部硬件核心受益，节点间互联带宽亦快速增长，交换机模块化，光模块硅光渗透率提升趋势确定。光模块、铜互连、以太网交换机核心受益。重点推荐：新易盛、中际旭创、天孚通信、鼎通科技等；建议关注：光迅科技、华工科技、盛科通信、紫光股份、锐捷网络、源杰科技等。l风险提示：以太网交换机在AI市场进展不及预期，AI应用进度不及预期，竞争加剧。行业深度研究报告1、Scaleup：带宽升级压力更大，铜连接等核心受益 1.1、超节点内部：ScaleUp带动带宽持续提升 1.2、超节点规模：由GPU或者云厂商设计决定 1.3、带宽提升驱动内部互联密度提升 2、Scaleout：集群规模升级，以太网和硅光化加速 2.1、AI集群规模走向10万卡阶段 2.2、以太网组网落地加速 2.3、博通和英伟达方案提供互联技术基础 2.4、交换机模块化，推动Scaleout规模提升 2.5、光模块：总需求保持向上，硅光是趋势 3、投资逻辑及标的推荐 4、风险提示 -4-图2、AI大模型依赖分布式并行训练架构 图3、分布式训练中的并行策略 图4、大模型混合并行举例 图5、英伟达GH200超节点互联 图6、谷歌跨pod的Multislice技术 图7、超节点规模扩大可以降低DCN带宽 图8、UALink推动集群实现scaleup 图9、英伟达NVL72采用铜互连形式 图10、英伟达NVLINK协议支持带宽不断提升 图11、模型规模越大，大模型性能越好 图12、AI集群规模不断扩大 图13、基于博通方案搭建的以太网集群 图14、Meta的32KGPU训练集群 图15、博通以太网交换芯片不断升级 图16、博通此前AI相关收入指引 图17、英伟达拆分网络部分收入 图18、英伟达以太网交换机迭代规划 图22、AI军备竞赛下全球算力增长显著 图24、硅光有望带动光模块更大规模量产 图25、硅光技术迭代路线 图26、2022-2028硅光子PIC市场规模及预测 表1、OIF对于铜连接标准（距离不断缩短） 表2、交换机及光模块产业链受益标的 报告正文超节点指的是多个GPU互联的节点，例如英伟达的DGXPOD。在云计算阶段，服务器主要为CPU服务器，每台服务器配置1-2颗CPU芯片，单服务器配置几乎没有发生过变化。AI时代，AI大模型的训练需要更大规模的并行计算，单颗GPU无法满足模型训练或者推理需求，因此不仅单服务器内部部署GPU数量提升至4颗、8颗甚至更多，并通过ScaleUp的方式实现更多GPU互联，最终对这样一个靠ScaleUp方式互联的形态定义为一个超节点。以英伟达为例，超节点定义为DGXPod，A和H普通系列每台服务器内部配有8颗GPU芯片，到B系列，该节点下单台服务GPU规模从8颗升至最多72颗，ScaleUp互联的极限则升至576颗GPU。图1、英伟达H100示意图（内部）AI训练模型特质决定ScaleUP内部带宽要求更高。随着AI模型规模不断增加，在训练角度上，单GPU显存很难满足模型需求，同时随着训练量提升，本身对于GPU的总数需求也需要快速提升，因此大规模分布式并行训练成为更好的选择。图2、AI大模型依赖分布式并行训练架构分布式训练常见有三种策略，分别是数据并行（DataParallelism，DP）、流水线并行（PipelineParallelism，PP）和张量并行（TensorParallelism，TP），大模型训练时，会混合采用三种并行策略。1）数据并行：每个GPU拥有同样的模型副本，数据集拆分成多份给到不同的GPU进行训练，每一次迭代训练完成，各个GPU需要把计算得到的梯度进行全局同步，并计算出下一轮迭代需要用到的参数。数据并行中，网络上需要对各个GPU的梯度做一次AllReduce（AllReduce是一种特殊的通信协议，要将所有节点上的数据进行规约操作，并将结果返回到根节点，通过AllReduce算法，可以实现节点间的数据同步，从而加速模型的收敛速度）。2）流水线并行：将模型按照神经元的层次进行拆分，不同层放在不同的GPU上，这种并行不需要不同GPU之间做层间点到点数据传递，只是传输正向计算的激活值和反向计算的梯度值，这种通信量较小，对网络性能要求较低。3）张量并行：联合多个GPU同时做张量计算，这种策略需要多个GPU对局部的张量计算结果做全局的AllReduce同步。张量并行通常计算规模较大且在一次迭代里会发生多次AllReduce，因此张量计算对网络带宽需求最大。图3、分布式训练中的并行策略实际训练过程，机柜内部进行张量并行，如果采用英伟达GPU方带宽，机柜间进行流水线并行，同时为了加速模型训练，加入数据并行，一般来说一个数据并行单元成为一个DP组，每个DP组内张量并行和流水线并行共存。以百度智能云提供的案例为例，如果存在8路张量并行，4路流水线并行，以及3路数据并行，则每次迭代，张量并行需要100GB级别的AllReduce，流水线并行需要100MB级别的点到点传输，数据并行需要10GB级别AllReduce。因此对于带宽的需求更多停留在服务器内部，服务器之外的带宽需求相对较低。随着模型的规模不断增加，对于服务器内带宽的需求会呈现快速提升，为了适应更大的模型训练，建立更大带宽的超节点成为趋势。图4、大模型混合并行举例66（一）英伟达：超节点规模从GH200的256升级至576张卡2024年3月英伟达发布了发布新一代AI超级计算机——搭载NVIDIAGB200GraceBlackwell超级芯片的NVIDIADGXSuperPOD。和之前的8卡方案不同，每个DGXGB200系统共包含36个CPU和72个GPU。如果完全采用NVLINK互联生成超级点，在GH200阶段，互联的上限是256张卡，到GB200部分，可升级到576张卡。内部互联的带宽部分，单卡拥有18个NVLink100GB/s连接,总带宽可达1.8TB/s，相较于H系列，带宽翻倍，若采用NVL72版本，互联总带宽可达到130TB/s。图5、英伟达GH200超节点互联（二）谷歌：超结点规模为8096张卡2023年1月谷歌发表了文章《HowtoscaleAItrainingtouptotensofthousandsofCloudTPUchipswithMultislice》，此前大模型训练如果采用谷歌TPU的方案，只能局限在单个切片中，该报告提出Multislice技术，可通过芯片间互联及多个TPUpod互联，使得将训练集群工作扩展到万颗芯片以上互联规模。图6、谷歌跨pod的Multislice技术在该文中谷歌提出观点为：通过做大超节点Pod的规模，可降低对于DCN互联带宽的要求。具体表现为：如果我们增加pod内部算力卡个数，对于pod之间DCN带宽就可以降低，同样可以达到理想的训练效果，并不会受制于通信带宽迭代的限制。（本质原因在于如果将TP留在超节点内部完成，PP和DP本身对通信要求较低，通过机柜外互联带宽完成，对应DCN带宽要求也可以降低）关于Pod规模：TPUv4p为4096颗,，TPUv5p为8960颗。图7、超节点规模扩大可以降低DCN带宽（三）UALink：1.0阶段超节点规模为10242024年5月AMD、英特尔、谷歌、微软、博通、思科、Meta和惠普企业等八家AcceleratorLink（UALink），对标英伟达的NVLINK。UALink联盟预计会在2024年第三季度成立，并提供UALink1.0规范给加入到联盟内的公司。UALink1.0规范支持连接多达1024个AI芯片，并允许在一个计算集群（Pod）内，让接入的GPU等加速器附带的内存之间实现直接加载和存储。图8、UALink推动集群实现scaleup结合上述分析，Scaleup后续升级的趋势为做大超节点规模，其中谷歌采用TPU为定制化方案，当前市场仍是使用英伟达方案为为主流。英伟达的方案是通过NVLGB200方案设计，叠加使用NVLINK协议，明显提升机柜内部互联带宽提升，并采用铜互联方式，打开铜互连市场需求。英伟达基于GB200的NVL72架构为：单机柜互联72颗72GPU，其中l18个计算托盘，每个托盘内部2个GB200，单个GB200拥有2颗GPUl9个交换托盘，每个托盘内部2个NVSWITCH交换芯片l采用NVLINK协议完成72颗GPU互联，NVLINK协议带宽升级到5.0，交换带宽为14.4TB/s，采用合计约5000根铜缆连接。图9、英伟达NVL72采用铜互连形式展望：英伟达公布下一代Rubin系列规划，NVLINK带宽持续升级，推动铜互连带宽升级。目前英伟达公布将在2026年推出第一代Rubin产品，2027年将推出RubinUltra。Rubin平台将搭载新一代NVLink6Switch，提供高达3600GB/s的连接速度，以及高达1600GB/s的CX9SuperNIC组件，确保数据传输的高效性。如果在Rubin系列，英伟达继续采用类似机柜方案设计扩大节点内带宽，NVLINK6.0支持柜内带宽翻倍提升，有望铜互带宽和互联密度提升。图10、英伟达NVLINK协议支持带宽不断提升长期视角：长期来看伴随带宽升级，铜互联传输距离限制或推动光互联方案替代。铜缆在传输电信号过程中存在信号衰减问题，且传输距离越远损耗越大，因此铜缆能实现稳定传输的距离较短。此外随着网络带宽升级，铜缆传输的单链路信号速率也从56Gbps升级到112Gbps，并继续向224Gbps方向升级，而信号速率的升行业深度研究报告级将直接导致链路损耗加速增加，从而进一步缩短铜缆连接距离。基于现实的物理限制条件，IEEE制定112G规范的802.3CK小组在56G速率最长3米的铜缆IO基础上，将铜缆链路的最大长度缩减为2米。如果不做任何更改，2米的距离可能不足以将未来架顶式（TOR）交换机与机柜内部较低位置服务器连接起来。因此在当下112G甚至224G信号速率阶段，通过更改交换机位置，紧凑服务器结构设计减少对于铜缆距离的要求，同时设计上将铜缆从无源铜缆DAC向有源铜缆（AEC、ACC）变化增加铜缆互联距离适应当下需求。但考虑到本身铜缆的物理限制，以及后续带宽持续升级的背景下，铜缆做优化的难度会持续增加，在此背景下，光互联（高带宽高速率长传输距离优势）有望替代铜互联方案。表1、OIF对于铜连接标准（距离不断缩短）OIFCEIprojectsCEI-25G-LRCEI-56G-LRCEI-112G-LRCEI-224G-LRTimline2011-20142014-20182018-20222022-2024Ethernetrate50/100/200G100/200/400G200/400/800/1600GSwitchcapacity3.2T25T/50T50T/100TPer-lanedatarate25Gbps56Gbps112Gbps224GbpsModulationNRZPAM4PAM4TBDReachobjective5mcoppercable3mcoppercable2mcoppercable1mcoppercableSerDesarchitectureAnalogAnalog/DSPAnalog/DSPTBDScalingLaws法则驱动大模型硬件部署走向更大集群。ScalingLaws（缩放法则主要用于探索在大模型训练过程中，模型参数量、数据集和计算量之间规律，最早由OpenAI在2020年提出。ScalingLaws的出现为当下AI大模型的训练提供了重要指导。对于基于transformer的大模型而言，在训练过程中存在以下重要结论——ScalingLaws：1）模型规模要大：即增加模型参数量、数据集和计算量，就可以得到性能更优的模型效果。2）模型参数量、数据集以及计算量之间存在幂律关系，可以通过建模拟合参数，在较小的模型投入情况下，对实际要训练的模型效果提前预测，达到指导作3）随着模型规模增加，模型会出现涌现特质——未预期到的新能力，推动模型性能提升。行业深度研究报告图11、模型规模越大，大模型性能越好资料来源：《ScalingLawsforNeuralLanguageModels》，兴业证券经济与金融研究院整理实际技术落地：AI网络互联规模持续扩大，带动互联规模提升。早期AI训练网络互联规模均在千卡左右体量，后随着AI大语言模型的参数、训练量指数级提升，对于算力卡互联规模的也得到持续提升。从千卡到万卡，目前行业已经正在部署目前马斯克旗下xAI平台正在部署基于英伟达H100的10万卡AI大集群，再次刷新当前AI集群规模。该10万卡在服务器层面由Dell和Supermicro提供。图12、AI集群规模不断扩大此前大部分AI集群组网均采用IB协议，在以太网技术的推动下，基于以太网的AI集群方案有望进入加速落地阶段。目前采用以太网组网的云厂商不断增加，如亚马逊、甲骨文、Meta以及字节跳动，且已经落地的AI集群规模上均超过1万张卡。在GPU配套组网方案上，英伟达在2024年5月的财报电话会上也在强调要推动以太网组网方案的快速落地。（一）字节：Megascale实现万卡互联2024年3月字节跳动联合清华大学发表论文《MegaScale:ScalingLargeLanguageModelTrainingtoMoreThan10,000GPUs》，该论文阐述了如何将大语言模型训练扩展到1万卡互联的系统。针对大模型训练的效率，通常采用模型浮点运算利用率（MFU）指标进行衡量。在进行大模型训练时，通信的处理、数据预处理以及GPU内存消耗等方面均对MFU会产生影响。在数据中心网络部分，字节采用了博通Tomahawk4芯片构建交换机，每颗芯片交换容量为25.6Tbps，对应64*400G端口。在组网拓扑结构上，采用无收敛三层CLOS架构，每层交换机实现1：1下行和上行（即每个交换机32个端口向上，32个端口向下）。该网络整体较为紧凑、带宽高，可以确保每个节点在极端的跳数内和其他节点畅通链接，确保了数据高效传输。MegaScale实现了更高模型训练效率。经过网络结构设计以及软件算法等各种优化，在12288个GPU上训练175BLLM模型时，MegaScale实现了高达55.2%的MFU，相比Megatron-LM，性能提升达1.34倍。图13、基于博通方案搭建的以太网集群Meta已经建成基于以太网的2.4万GPU卡AI集群。2024年3月Meta公布了其已经落地的两个24KGPU集群的硬件细节。公司预计到2024年底，公司有望拥有包括35万张H100在内一共等效60万张H100的等效算力。Meta第三代AI集群规模升至3.2万张卡，并采用以太网进行搭建。目前Meta的第三代AI集群规模已经升至32K规模，并继续选择使用以太网进行搭建，在网络设计上，较之前的完全无收敛有所改变。该集群一共拥有8个cluster，每个cluster内部16张H100组成一个Rack，每个cluster内部互联形成252个rack，因此实现252*8*16=32256颗GPU互联。在每个cluster内部采用完全无收敛架构进行互联，cluster之间互联采用7：1收敛比进行互联，即每个cluster内部互联带宽是cluster之外的7倍。图14、Meta的32KGPU训练集群（一）博通：以太网落地加速，交换机容量不断升级。博通在2023年发布了51.2t交换容量的芯片Tomahawk5，此前定位仍是面向传统云计算市场带宽升级。2023年AI进入高速发展时代，早期网络集群大部分采用英伟达的IB交换机方案，直到2024年伴随以太网本身性能优化，叠加成本优势，其在AI市场逐步具备落地基础。根据博通最新电话会情况，单季度网络部分收入达到38亿美元，主要由AI网络硬件以及定制化算力芯片驱动。在交换机层面，博通的合作对象包括Arista、Dell、Juniper以及Supermicro。在落地方面，全球正在部署的最大的8个AI集群中有7个使用的是博通以太网解决方案。2025年公司预计更多的大型AI集群会转向以太网部署方案。关于下一代100T交换容量芯片Tomahawk6预计会在2025年稍晚时间发布。图15、博通以太网交换芯片不断升级博通再次上修AI相关收入指引。根据博通最新电话会，由于公司在AI网络部分、AI算力卡等环节取得的进展，公司将AI相关收入指引上修至110亿美元以上（此前AI相关收入指引为至少100亿美元），同时上修公司整体营收至510亿美元。图16、博通此前AI相关收入指引（二）英伟达：强调以太网方案部署，加快迭代进度英伟达网络部分首次披露营收规模，以太网进展加速。北美时间2024年5月22日，英伟达披露了最新财报，此次财报，首次将网络部分（networking）进行分拆披露，数据显示，一季度公司在网络部分实现收入31.7亿美元，以太网部分，Spectrum-X正在与多家客户进行量产，其中包括一个10万GPU的大型集群。预计Spectrum-X有望将在一年内跃升为价值数十亿美元的产品线。图17、英伟达拆分网络部分收入在2024年6月的Computex会议的主题演讲上，英伟达进一步披露了关于以太网互联的后续规划，按照规划，英伟达2025年会推出单芯片交换容量在51.2t的800G交换机，并且有望在2026年推出单芯片交换容量在102.4t的1.6t交换机，即对应交换的迭代一年一代，且互联的GPU规模也将持续升级（未来有望升至百万颗GPU互联）。图18、英伟达以太网交换机迭代规划Arista：针对AI需求，提出不同交换机互联方案。由于带宽和规模不同的要求，单一的交换机方案很难满足所有客户的需求，因此在客户需求匹配上Arista提供了一系列的解决方，对应AristaEtherlinkAIPlatforms，可提供固定和模块化方案。Arista目前AI平台包括三个系列，分别是7060X固定模式系列、7800R模块化方案以及7700R分布式系列（distributedEtherlinkswitch.1）7060X固定模式系列（7060Xseries:fixedAIleaf该系列交换采用固定模式，其中7060X6基于博通最新Tomahawk5系列交换芯片，交换机交换交换容量为51.2t（对应64个800G端口或者128个400G端口支持2）7800R模块化系列（7800Rseries:modularAIspine该系列最高可支持460T的交换容量去满足AI需求，7800R系统提供4插槽、8插槽、12插槽或16插槽模块化机箱选项。在16插槽机箱中，支持多达576个800G端口或1,152个400G端口，以最大限度地提高网络负载能力。3）7700R分布式系列（7700R4:distributedEtherlinkswitch是由Aritsa提出的一个创新性解决方案，7700R4DES系统可能看起来类似于传统的叶/脊拓扑结构且布线互连相似。但是7700R4支持单跳转发范式，这与需要三跳转发的叶/脊设计不同。因此，整个7700R4DES系统都得到了统一管理、完全调度，并在系统中的所有节点之间提供100%公平、无损的传输。交换机端口数不断提升下，其可互联集群规模能力将快速提升。由于AI集群本身对于算力的并发需求远超过传统云计算时代的需求，因此AI集群的搭建在网络拓扑结构上普遍会采用Fattree网络结构，大部分集群互联网的规模会控制在三层以根据Fattree拓扑结论，如果交换机的端口数为K，则： 行业深度研究报告两层网络，可互联的算力卡数量=K2/2三层网络，可互联的算力卡数量=K3/4因此若不断提升单台交换机端口数，其可互联的网卡数将实现指数级别提升，如当交换机端口数为64时，两层互联规模仅为2048张卡，三层互联网规模约为8万张卡，若端口数提升至128，则两层互联网规模可升至8192张卡，三层互联网规模约为52万张卡。光模块和算力需求成正比，保持向上趋势。光模块的核心功能在于完成光电信号转换及传输，传输带宽和拓扑结构决定了光模块用量。结合上文分析来看，AI集群的规模不断升级，已经步入10万卡阶段，且有望不断扩大，对于算力的总需求仍保持持续向上趋势，因而对于光模块的总需求仍保持向上趋势。图22、AI军备竞赛下全球算力增长显著行业深度研究报告技术迭代方向上：硅光是趋势，从可插拔到CPO。当前光模块主流方式采用分立方式，这种模式下对于生产和制造均有一定的要求和限制，导致光模块更大规模两场会受制于更多环节。技术演技上，硅光是集成化趋势下的长期选择，并有望从可插拔硅光形式逐步过渡到CPO形式。从分立模式到可插拔硅光形式，对器件使用量有望减少30%，集成度提升带动量产规模能力提升，再到CPO形态，光模块的形态会更加紧凑。图24、硅光有望带动光模块更大规模量产1.6T光模块下有望看到硅光渗透率提升。硅光技术发展分为分立式硅基器件、耦合集成、单片集成演进、光电一体化等多个阶段，目前正处于耦合集成阶段。1.6T时代迭代AI突出的低功耗诉求，有望成为继EML后的重要补充方案。未来随着硅光子技术向单片集成技术发展，成熟CMOS工艺下成本有望进一步凸显，硅光为未来重要方向。行业深度研究报告图25、硅光技术迭代路线硅光子进入快速增长阶段，数通光模块是应用核心下游之一。根据YoleGroup最新数据，硅光子PIC市场预计从2022年0.68亿美元增长至2028年的6.13亿美元，2022-2028年复合年增长率为44%。增长主要：1）800G高数据速率可插拔硅光模块需求释放；2）对快速增长的训练数据集大小的预测表明，数据将需要利用机器学习服务器中的光学I/O来扩展大模型。在落地形式上，预计可插拔硅光光模块先成熟，后演进至CPO形式。图26、2022-2028硅光子PIC市场规模及预测行业深度研究报告网络架构升级关注Scaleup和Scaleout两个方面，在Scaleup大厂迭代方向是将超节点规模做大，在Sacleout的趋势是不断做大AI集群规模，目前集群规模已经进入10万卡互联阶段。Scaleup推动互联带宽升级，带动内部互联规模提升。大模型训练下通信需求最旺盛阶段存在于张量并行阶段，主要在超节点内部完成。超节点的趋势在于逐步做大内部带宽，推动内部互联规模提升，主流厂商英伟达采用GB200方案进行布局，靠NVLINK协议实现带宽升级，互联形式上带动铜互联需求提升。短期铜有望主导Scaleup互连，长期来看伴随带宽升级，铜互连传输距离限制或推动光互联方案替代。Scaleout驱动集群规模做大，交换机或升级为模块化方案，光模块总需求保持向上，有望迎来硅光加速阶段。目前AI集群步入10万卡阶段，未来有望升至更大规模，交换机环节除了本身单交换机芯片容量升级加快之外，交换机厂商开始布局模块化方案，通过提高交换机端口数提升组网能力（目前Ariste已经有对应的方案推出，交换容量升级至400T光模块环节总需求仍跟全球总算力成正比关系，保持向上趋势，在技术迭代上，硅光有利于提升更大规模量产能力，有望在1.6t阶段开始不断提升渗透率，其落地形态为可插拔，并逐步过渡到CPO。全球交换机厂商及产业链环节，以及已经进入全球供应链的全球领先光模块厂商