拥抱AI算力时代的星辰大海2024

E-mail：lixingjie@yongxiE-mail：xiamingda@yong20% 8% -4%-16%-28%-40%计算机沪深30011/2301/2403/2406/2408/2410/24资料来源：Wind，甬兴证券研究所球范围内掀起了有史以来规模最大人工智能浪潮，2023年以来海外平，其中Hunyuan-Turbo-Preview、AndesGPT-2.0、S表现领先。由于大模型性能表现显著优于小模型，同时模型参数量提升为重要技术路线之一，我们认为“大”算力刚需属性凸显。短期看，训/推两端算力需求或随模型参数量、要求训练效率、用户使用频率等关键指标同步提升，假设模型平均参数量保持1000亿个不再增长，当大模型数量达到10个，平均训练token时，训练端峰值算力需求或将达3472Pflops-day，推理端最大并发峰持续增长，AI需求保持强劲。24Q2北美四大CPS资本开支总计解决通用大模型的垂直化适配问题，GCI解决方法源，计算规模或将提升，带动算力需求同步提升。GPU因并行计算架构带来强大计算效率，适配大模型计算需求。据内高端AI芯片领域的前沿力量。据华东师范大学，FP16精度下，我们认为，受益于大模型的蓬勃发展，算力需求正处于高增阶段。AI芯片作为重要算力底座，在自主可控的背景下景气度有望提升，重点关注华为昇腾链相关环节投资机会，以及海光信息、寒武纪等算力链投资机会行业竞争加剧风险、商业化进度不及预期风险、技术路线调整风险 3 3 5 7 11 17 17 3 4 5 5 5 5 6 6 7 7 8 8 9 10 12 13 13 13 14 15 15 15 16 7 8 9 17大模型，通向人工智能的基座模型。据《中国人工智能系列白皮书》（中国人工智能学会，2023.9本次大模型热潮主要由语言大模型（亦称为大语言模型）引领，大模型通过在海量无标注数据上进行大规模预训练，能够学习到大量的语言知识与世界知识，并且通过指令微调、人类对齐等关键技术，拥有面向多任务的通用求解能力。据《大模型关键技术与未来络结构，能学习并理解更多的特征和模式，从而在处理复杂任务时展现出较强的自然语言理解、意图识别、推理、上下文建模、语言生成以及通用问题求解能力，已成为AI领域的重要基础设施。球范围内掀起了有史以来规模最大人工智能浪潮，国内外大模型更新迭代层出不穷，我们梳理在此过程中大模型发展经历三个阶段：1：起步期（2022年底~ChatGPT发布后国Meta开源Llama2等；国内大模文心一言1.0、阿里云发布通义千问、清华开源ChatGLM、百川智能开源3：爆发期（2024年~至今各类大模型加速问世，开源模型崛起丰在部分通用能力上与国际领跑者差距已缩小至2%以内。从国内格局看，对比国内外头部模型长文本能力，我们认为国内大模型具备竞争优势，据Superclue数据，在32K，64K，128K文本能力测试中，国内大模型XVERSE-13B-LONGCONTEXT（元象科技对GPT4-Turbo-0125（OpenAI）领先。我们认为，长文本能力是具有产业落地意义的核心能力，有助于国内大模型的场景应用开拓。w64K文本得分 w64K文本得分 123456789Anthropic资料来源：SuperClue，甬兴证券研究所资料来源：SuperClue，甬兴证券研究所大模型性能显著优于小模型，指引发展方向。据《ScalingLawsfor率（sampleefficiency）更高，若要求达到相同效果，则大模型仅需更少的数据量（tokensprocessed）以及训练步骤（estimatedsmin有助于降低整体模型复杂度，提高运行速度。另外一方面，相同条件下大模型输出效果同数量的tokens并给予同等训练步骤，则大模型训练训资料来源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬兴证券研究所资料来源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬兴证券研究所研究所大模型参数量提升为重要技术路线之一，计算资源刚需《中国人工智能系列白皮书》，预训练语言模型的研发过程中遵循经验法则——扩展定律（ScalingLaw即模型能力与任务效果将会随模型参数规模和预训练数据规模的增加，而不断改善；OpenAI亦证明了模型参数亿参数）三个不同参数规模的模型，GPT-3在没有微调的情况下，可以仅通过In-contextlearning（上下文学习）完成多种任务，甚至在某些任务上超过当时最好的专用模型。大算力满足人工智能高并发、高弹性、高精度的计算需求，在训练和推理过程中，能够提升效率和准确度；高性能的计算能力为机器学习、深度学习和自然语言处理等人工智能技术的发展提供了有力的支持，通过实现复究所1.3.模型扩容+下游CapEx增长+垂类模型落地，推动算力需短期看，AI大模型在训练/推理端均产生海量算力需求，且需求量将大模型所需的算力分为训练端+推理端。据澎湃新闻，训练是一个计算密集型的学习过程，通过训练可提升模型的精准度，如果计算结果没有达到预期，就需要调整参数重新训练，直到达到预期。一旦模型精准度达到一定水准后，则进入推理阶段。推理是一个判断过程，基于训练好的模平均训练tokens数达到7000个时，训练端峰值算力需求或将达资料来源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬兴证券研究所资料来源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬兴证券研究所模型参数模型平均参数量（亿个，N）单模型单Token所需训练成本：6N52222所测算JohnsHopkinsUniversity,OpenAI，2020大模型前向推理公式为Cforward=2N+2nlayernctxdattn，其中N为模型参数量，nlayer为模型层数，nctx为上下文长度（ScalingLaws默认上下文长度1024dattn为注意力输出维度量级相比两倍模型参数2N仍较小，因此推理算力可近似为C=2NBS。如能力要求及时响应，因此推理算力一般以秒为单位来衡量（Pflops-s最后通过调节最大并发峰值算力乘数，给与一定程度冗余保障峰值流量（参时，最大并发峰值算力需求将达到23148/115741/46资料来源：《ScalingLawsforNeuralLanguageModels》=推理端每秒峰值算力需求*最大并发峰值算力乘数资料来源：《ScalingLawsforNeuralLanguageModels》（OpenAI，2020甬兴证券研究所模型参数模型平均参数量（亿个，N）单模型单Token所需推理成本：2N服务次数555555554444所以微软为例，其数据中心方面投资大部分投向AI基础设施建设以满足云需求。我们认为，云计算是大模型最重要的基础设施和平台之一，头部CSP大厂资本开支对于AI算力行业景气度前瞻意义明显：北美四大云计大CPS资本开支总计516.3亿美元，同比+59.0%，其中，微软/谷歌/Amazon/Meta资本开支分别达138.7/131.9/163.9/81.7亿美元，分别同比+55.1%/91.4%/57.4%/31.5%。谷歌Amazon资料来源：Wind，甬兴证券研究所长期看，行业/垂类模型发展将带动算力需求再上台阶。行业模型/垂类模型是AI+落地最后一公里，据腾讯研究院，通用大模型具备丰富的知识和强大的泛化能力可赋能垂直行业应用，当前部分行业大模型，大多已应用在金融、法律、教育、传媒、文旅等领域。资料来源：腾讯研究院，甬兴证券研究所为解决通用大模型的垂直化适配问题，计算规模或将提升，需求同步提升。据《MoreThanCatastrophicForgett大模型在针对特定领域认为进行微调后，由于模型最近的学习掩盖并削弱了其先前的获得的知识，可能导致一般任务性能有所下降，即“灾难性遗），步长内整合领域知识，来为用户询问提供答复，有效协调通用模型和领域模型的知识，在这一过程中，调用知识资源或将耗用更多计算能力，带动图14:领域数据注入通用大模型后可能引起“灾难性遗忘”速器/计算卡，是专门用于处理人工智能应用中的相关计GPU算力强大的原因源于其并行计算能力（parallelcomputingGPU基于将复杂问题拆解成为数千个乃至数百万个单独任务的设计思路，通过资料来源：NVIDIA官网，甬兴证券研究所其通用性计算能力强的特征，满足大型AI运营商的训/推、运营与调度需ASIC,1.0%FPGA,0.4%NPU,NPU,9.6%GPU,89.0%资料来源：IDC，中商产业研究院，甬兴证券研究所现场可编程逻辑门阵列(FPGA)是一种带有可编程硬件架构的集成电路。FPGA内部电路旨在实现多种功能，可根据需要重新编程以执行这些功能。因此，就灵活性和快速面市而言，FPGA通常是较好选择，因为随着新功能的成熟，固化集成电路设计会更加经济和节能。专用集成电路(ASIC)专门针对特定功能而打造和批量生产。我们认为，ASIC相对高性能低消耗、可以基于多个人工智算法进行定制的特点，有望在AI成熟度提升后全球GPU市场规模（十亿美元）30025020050020242029E资料来源：Statista，甬兴证券研究所NvidiaAMD其他90807060504030201023Q123Q223Q323Q424Q1资料来源：JPR，甬兴证券研究所我们认为，优秀的架构设计是英伟达GPU芯片性能不断提升的底层包括一个新的TransformerEngine，可以在不损失准确性的前提下将这些网络的速度提高6倍，Transformer模型训练时间从数周缩短至数天；H100的大规模训练性能是A100的9倍，大型语言模型推理吞吐量是资料来源：Nvidia官网，甬兴证券研究所能。据百度开发者中心，CUDA（ComputeUnifiedDeviceArchitect英伟达公司开发的一种并行计算平台和编程模型，它允许开发者使用阶段，CUDA同样发挥着关键作用，通过利用GPU的并行计算能力，CUDA可以加速模型的推理速度，提高实时性能。在处理海量数据时，资料来源：英伟达官网，甬兴证券研究所性技术，可支持多达10万亿参数的模型进行AI训练和实时大语言模型2：第二代Transformer引擎：结合BlackwellTensorCore技术和Blackwell将通过新的4位浮点AI支持双倍的计算和模型大小推理能力；3：第五代NVLink：为提高数万亿参数和混合专家AI模型的性能，于AI的预防性维护进行诊断和预测可靠性问题。这可以最大限度地延长5：安全人工智能：先进的机密计算功能可在不影响性能的情况下保护AI模型和客户数据，并支持新的本机接口加密协议，进一步增强了芯6：解压缩引擎：专用解压缩引擎支持最新格式，加快数据库查询，提供数据分析和数据科学的最高性能。资料来源：toms’Hardware，Nvidia，甬兴证券研究所资料来源：toms’Hardware，Nvidia，甬兴证券研究所资料来源：toms’Hardware，Nvidia，甬兴证券研究所部工业和安全局（BIS）发布了一系列出口管制规则，更新了对先进计算集成电路、半导体制造设备以及支持超级计算应用和最终用途的物项向包括中国在内的武器禁运国家的出口管制措施，并将中国的部分实体列入了资料来源：BIS，甬兴证券研究所据IT之家，徐直军介绍称，华为昇腾910采用自研达芬源计算框架MindSpore配合，可创新编程范式，AI科学用，便于开放式创新，最大化利用芯片算力。据华东师范大学研究NVIDIAA10019.5TFLOPS156TFLOPS(TC)312TFLOPS624TFLOPS(稀疏)512TFLOPS80GB4.0TB/s沐曦MXC50030/36TFLOPS240/280TFLOPS480/560TFLOPS64GB1.87TB/s华为910B81TFLOPS313TFLOPS512TFLOPS64GB1.6TB/s海光Z100L10.1TFLOPS20.2TFLOPS40.5TFLOPS32GB1TB/s寒武纪MLU370-X824TFLOPS96TFLOPS256TFLOPS48GB0.6TB/s资料来源：华东师范大学，寒武纪官网，甬兴证券研究所我们认为，受益于大模型的蓬勃发展，算力需求正处于高增阶段。AI芯片作为重要算力底座，在自主可控的背景下景气度有望提升，重点关注1、行业竞争加剧风险：行业景气度高，可能吸引较多新进入者，产2、商业化进度不及预期风险：若算力行业应用端落地进度不及预期，3、技术路线调整风险：若前沿技术快速迭代，可能造成技术路线的请务必阅读报告正文后各项声明本报告署名分析师具有中国证券业协会授予的证券投资咨询执业资格并注册为证券分析师，以勤勉尽责的职业态度，专业审慎的研究方法，独立、客观地出具本报告，保证报告采用的信息均来自合规渠道，并对本报告的内容和观点负责。负责准备以及撰写本报告的所有研究人员在此保证，本报告所发表的任何观点均清晰、准确、如实地反映了研究人员的观点和结论，并不受任何第三方的授意或影响。此外，所有研究人员薪酬的任何部分不曾、不与、也将不会与本报告中的具体推荐意见或观点直接或间接相关。甬兴证券有限公司经中国证券监督管理委员会核准，取得证券投资咨询业务许可，具备证券投资咨询业务资格。股票投资评级：分析师给出下列评级中的其中一项代表其根据公司基本面及（或）估值预期以报告日起6个月内公司股价相对于同期市场基准指数表现的看法。买入股价表现将强于基准指数20%以上增持股价表现将强于基准指数5-20%中性股价表现将介于基准指数±5%之间减持股价表现将弱于基准指数5%以上行业投资评级：分析师给出下列评级中的其中一项代表其根据行业历史基本面及（或）估值对所研究行业以报告日起12个月内的基本面和行业指数相对于同期市场基准指数表现的看法。增持行业基本面看好，相对表现优于同期基准指数行业基本面稳定，相对表现与同期基准指数持平减持行业基本面看淡，相对表现弱于同期基准指数相关证券市场基准指数说明：A股市场以沪深300指数为基准；港股市场以恒生指数为基准；新三板市场以三板成指（针对协议转让标的）或三板做市指数（针对做市转让标的）为基准指数。投资评级说明：不同证券研究机构采用不同的评级术语及评级标准，投资者应区分不同机构在相同评级名称下的定义差异。本评级体系采用的是相对评级体系。投资者买卖证券的决定取决于个人的实际情况。投资者应阅读整篇报告，以获取比较完整的观点与信息，投资者不应以分析师的投资评级取代个人的分析与判断。在法律许可的情况下，甬兴证券有限公司(以下简称“本公司”）或其关联机构可能会持有报告中涉及的公司所发行的证券或期权并进行交易，也可能为这些公司提供或争取提供投资银行、财务顾问以及金融产品等各种服务。因此，投资者应当考虑到本公司或其相关人员可能存在影响本报告观点客观性的潜在利益冲突，投资者请勿将本报告视为投资或其他决定的唯一参考依据。也不应当认为本报告可以取代自己的判断。本报告版权归属于本公司所有，属于非公开资料。本公司对本报告保留一切权利。未经本公司事先书面许可，任何机构或个人不得以任何形式翻版、复制、转载、刊登和引用本报告中的任何内容。否则由此造成的一切不良后果及法律责任由