从GTC2024大会看AI产业投资方向

正文目录一、GTC2024大会热点聚焦 4二、GTC2024大会热点延伸 51、AI芯片：NVIDIA发布Blackwell新架构，GB200超级芯片应用广泛 52、AIGC：NVIDIA加速生成式AI普及，AIGC服务引起全领域变革 93、人形机器人：NVIDIA进军人形机器人领域，重磅推出ProjectGR00T 124、智能汽车：NVIDIA重新定义DRIVEThor，赋能全景智能交通运输需求 16三、小结 19四、风险提示 20图表目录图1：大模型参数量呈指数级增长 5图2：NVIDIA发布Blackwell架构 5图3：NVIDIAGB200NVL72系统 6图4：AI超级计算机NVIDIADGXSuperPOD 6图5：NVIDIAGPU发展蓝图 6图6：全球AI芯片市场规模及预测 8图7：FPGA全球市场竞争格局 8图8：AI部署助手NIM架构 9图9：用于推理和其他服务的云API 9图10：NVIDIAChatRTX聊天机器人加速PC端渗透 10图11：Omniverse数字孪生应用于AppleVisionPro 11图12：Omniverse数字孪生应用于AppleVisionPro 11图13：NVIDIA推出ProjectGR00T 12图14：NVIDIAGR00T模型训练工作流 12图15：GR00T模型的机器人学习和编排设置 13图16：IsaacManipulator简化端到端工作流 13图17：IsaacPerceptor行业与生态系统合作伙伴 13图18：NVIDIA成立GEAR，专攻具身智能 14图19：NVIDIA与微软、OpenAI等投资类人机器人初创公司FigureAI 15图20：NVIDIA更新DRIVEThor动态，采用BlackwellGPU架构 16图21：DRIVEThor增加对大语言模型和生成式AI的底层支持 17图22：DRIVEThor加速计算打造下一代AI车型 17表1：NVIDIAGPU架构演进 7表2：NVIDIAGPU性能参数对比 7表3：几种AI芯片对比 8表4：5个全新OmniverseCloudAPI 10一、GTC2024大会热点聚焦 GTC2024大会于3月18日至3月21日在美国加州圣何塞会议中心举行，900场演讲、培训、研讨300195个国家/31.920243194时-6时，NVIDIASAPGTC2024的主题演讲《见证AI的变革时刻》，涉及AI芯片、AIGC、人形机器人以及智能汽车等热门赛道。在《见证AI的变革时刻》演讲中，黄仁勋提及以下热点：AI芯片：在GTC2024大会上，NVIDIA发布了其Blackwell新架构。NVIDIAGB200GraceBlackwell超级芯900GB/sNVLinkBlackwellNVIDIAB200TensorCoreGPU连接到NVIDIAGraceCPUBlackwellNVLinkSwitchNVLinkSwitchGB200NVIDIAGB200NVL72的关键组件，NVIDIAGB200NVL72是一种多节点、液冷、机架Blackwell720petaflopsAI1.4exaflops的AI推理性能。此外，NVIDIAAIGB200GraceBlackwellDGXSuperPODAIGraceBlackwellDGXSuperPOD8DGXGB200系NVIDIAQuantumInfiniBandFP411.5exaflops240TB的快速内存，并可通过额外的机架来扩展性能。在GTC2024发布生成式AI部署助手微服务AI+NVIDIANIMGPU加速工作站上部署生AI模型。NIMAPIAINIMAPIAIAI模型开发人员的范围。NIMAI模型，如社区模型、NVIDIAAIAIAI用例，包括大语言模型、视觉语言模型（VLMs）以及语音、图像、视频、3D、医学成像等模型。目前，NIMCadence等领先的应用平台提供商所采用，AIAI公司的基石。人形机器人：在GTC2024大会上，NVIDIA正式发布世界首款人形机器人模型ProjectGR00T（GeneralistRobot00Technology）GR00TGR00T（AgilityRoboticsApptronikFourierIntelligenceUnitreeRobotics的产品如何完成各种NVIDIAThorJetsonThor。JetsonThorSoCBlackwell架构的下一代800teraflops8AIGR00TAI模型。在GTC2024揭示了DRIVEThorDRIVEThor是一个车载计算平台，NVIDIABlackwellGPU架构（拥1,000万亿次浮点运算性能以确保安全可靠的自动化机器DRIVEThorAINVIDIADriveThorL4PlusWaabi、WeRide。二、GTC2024大会热点延伸 1、AI芯片：NVIDIA发布Blackwell新架构，GB200超级芯片应用广泛NVIDIA发布BlackwellOpenAI1.8tokenPetaFLOPGPU1000GTC2024大会上，NVIDIAGPU就是为了应对这一挑战而构建的。”BlackwellDavidHaroldBlackwellNVIDIAGB200GrceBlackwel90GB/sBlackwellNVIDIAB200TensorCoreGPUNVIDIAGraceCPU。性能与训练成本方面：Blackwell2080亿个晶体管，所有这些晶体管几乎同时访问与芯片连接的内存，面的FP8性能是其上一代架构的2.5倍，在推理方面的FP4性能是其上一代架构的5倍。HopperGPU，BlackwellGPU的训练成本显著降低，1.8GPT8000HopperGPU1590BlackwellGPU200090天只需要消耗四分之一的电力。图1：大模型参数量呈指数级增长 图2：NVIDIA发布Blackwell架构资料来源：GTC2024， 资料来源：GTC2024，GB200超级芯片应用广泛，显著提升AI训练性能和推理性能Blackwell的规模，NVIDIANVLinkSwitch1.8TB4SwitchGB200NVIDIAGB200NVL72的关键组件。NVIDIAGB200NVL72是一种多节点、液冷、机架级603000Blackwell720petaflopsAI1.4exaflopsAI推理性能。此外，NVIDIA还推出了更强大的新一代AI超级计算机，由NVIDIAGB200GraceBlackwell超级芯片提供支持的NVIDIADGXSuperPOD，AIGraceBlackwellDGXSuperPOD8DGXGB200系统构建而成，这些系NVIDIAQuantumInfiniBandFP411.5exaflops的AI240TB的DGXGB20036NVIDIAGB20036NVIDIAGraceCPU72NVIDIABlackwellGPUNVIDIANVLink连接成一台超级计算机。图3：NVIDIAGB200NVL72系统 图4：AI超级计算机NVIDIADGXSuperPOD资料来源：GTC2024， 资料来源：GTC2024，NVIDIA深耕人工智能算力提升，不断更新迭代GPU架构：Volta架构2017NVIDIAGPU的第六代架构，VoltaTensorCore；Turing架构2018NVIDIAGPU的第七代架构，Turing架构引入了实时光线追踪（RTX）习超采样（DLSS）等重要功能。Ampere架构2020NVIDIAGPUGPU采用了多个流多处理器（SM）CUDACore和更高的频率，同时，Ampere架构引入了第三代TensorCore，提供更强大的深度学习计算性能。此外，Ampere架构的GPU还具有更高的内存容量和带宽，适用于大规模的数据处理和机器学习任务。Hopper架构2022NVIDIAGPUAmpere，HopperTensor图5：NVIDIAGPU发展蓝图资料来源：CSDN，架构名称VoltaTuringAmpereHopper发布时间2017201820202022架构名称VoltaTuringAmpereHopper发布时间2017201820202022核心参数

80个SM，每个SM拥有：64FP32+64INT32+32FP64+8个Tensor核心

92SM有：64个FP32+64个INT32+8Tensor心

108SMSM拥有：64个FP32+64个INT32+32个Tensor核心第三代NVLink

132个SM，每个SM拥有：128个FP32+64个INT32+64个FP64+4个Tensor核心第四代NVLink特点 第二代NVLinkTensor核心211亿晶体管186211亿晶体管186亿晶体管283亿晶体管800亿晶体管代表产品TelsaV100TelsaT4TelsaA100TelsaH100

NVLinkRT核心12nm

第三代Tensor核心RT结构化稀疏7nm

Transformer引擎第二代MIG4nm资料来源：NVIDIA，基于不同架构基础，NVIDIAGPU性能持续升级：A100是2020年发布的首次采用Ampere架构的GPUTensorCUDA核2TbpsA100GPUA100GPU分割成多个独立还支持第二代NVLinkGPU与GPU通信，提升大型模型的训练速度。此外，A100TensorCore，同时增加了对DLHPC数据类型的全面支持，以及新的稀疏功能，可将吞吐量进一步翻倍。A100AI能计算场景也都属于优势领域。H100采用Hopper架构，NVIDIATSMC4N800亿个晶体管，能处理最具挑战性AIA100相比，H100FP84petaflops；内存增HBM335TbpsTransformer引擎AIAIAI应用的更优选择。总的来说，相较于A100，基于Hopper架构的H100在AIAIAI和科学模拟任务。性能参数V100A100H100架构VoltaAmpereHopperFP64性能参数V100A100H100架构VoltaAmpereHopperFP647TFLOPS9.7TFLOPS26TFLOPSFP3214TFLOPS19.5TFLOPS51TFLOPSFP16Tensor核心312TFLOPS756.5TFLOPSINT8Tensor核心62TOPS624TOPS1513TOPSGPU显存32/16GBHBM280GBHBM2e80GBGPU显存带宽900GB/s1935GB/s2TB/s最大热设计功耗250W300W300-350W资料来源：NVIDIA，半定制化FPGA和定制化ASIC提高AIGPUFPGAASIC；按照网络位置，AI芯片可分为云端芯片和边缘芯片；按照应用目标，AI芯片可分为训练芯片和推理芯片。 GPU已被广泛应用于人工智能、机器学习等许多领域。FPGAPGA感器处理和射频通信等复杂和高速处理领域。ASIC是一种专门为特定应用程序而设计的定制化芯片，相对于通用处理器，ASIC可以提供更高的性能和更低等。但是，ASIC芯片无法轻易地重新编程或改变其功能，也让其相对较难以适应不同应用的需求。类型定制化程度可编辑性算力价格优点缺点GPU通用型类型定制化程度可编辑性算力价格优点缺点GPU通用型不可编辑中高通用性计算能力较强，适合大规模并行运算并行运算能力在推理端无法完全发挥FPGA半定制化容易编辑高中 可通过编程灵活配置芯片架 硬件编程困难、量产价格高构，开发时间短ASIC全定制化难以编辑高低 功耗低、体积小、量产后成 前期投入高、研发风险本低资料来源：公开资料，FPGA全球市场竞争格局稳定，ASIC自主开发趋势明显。随着人工智能的技术进步和应用升级，市场对于人工智能算力的需求不断增长，这一趋势推动了AI芯片行业的发展。据预测，全球AI芯片市场规模将以29.3%的复合增长率增长，并于2026年达到920亿美元。2022年，全球FPGA芯片市场呈“两大两小”格局，AMD和Intel两家公司的市场份额分别为52%和35%，Lattice和Microsemi的市场份额各占5%。可以看出，AMD和Intel双寡头主导FPGA市场，全球市场竞争格局相对稳定。ASIC不同于GPU和FPGA，目前尚未形成明显的市场竞争格局，国产厂商在技Google、IntelASICASICAI垄断格局。图6：全球AI芯片市场规模及预测 图7：FPGA全球市场竞争格局单位：亿美元1000 800

AMD Intel Lattice Microsemi 其他5%3%5%3%5%35%52%4002000202020212022E2023E2024E2025E2026E资料来源：， 资料来源：，2、AIGC：NVIDIA加速生成式AI普及，AIGC服务引起全领域变革生成式AI部署助手微服务NIM发布，容器化服务助力AI+模型。NVIDIANIM是一组经过优化的云原生微服务，旨GPUAINIMAPIAINIM集成到现有的应用程序AI模型开发和打包的复杂性抽象化，AI模型开发人员的范围。NIMNvidia微服务将包括用于定制语音和翻译模型的Riva、用于路cuOptEarth-2模型。NIM通过针对每个模型和硬件设置进行优化的推理引擎，为加速基础设施提供最佳的延迟和吞吐量，这降低了推理工作负载的成本，并改善了最终用户的体验。NIM支持多种应用，微服务合作伙伴生态共建。NIMAI模型，如社区模型、NVIDIAAI基金会模型和合作AIAI用例，包括大语言模型、视觉语言模型（VLMs）以及语音、图像、视频、3D、医学成像等模型。NIM专为可移植性和控制而构建，可实现模型在各种基础设施上部署，从本地工作站NVIDIADGXNVIDIADGXCloudNVIDIANVIDIARTX工作站和个人AINIMCadenceCrowdStrikeSAPServiceNowNVIDIAAIAI公司的基石。图8：AI部署助手NIM架构 图9：用于推理和其他服务的云API资料来源：NVIDIA， 资料来源：NVIDIA，聊天机器人普及加速，助力PC端生成式AI功能。最新的开发者工具和应用ChatRTX正在加速PC和工作站上的AI普及。ChatwithRTX或简称ChatRTX，包括工具和软件开发。工具包通过检索增强生成和NVIDIATensorRT-LLM加速技术，可为RTX助力的owsPC带来运行于本地的生成式AI功能。用户可以快速轻松地将本地文件作为数据集连接到开放式大语言模型(例如Mistral或Llama2)，以便快速查询与上下文相关的答案。除了目前对文本的支持外，ChatRTX很快还会添加对语音、图像和新模型的支持。此外，Whisper是一种AI自动语音语言识别系统，用户将能够通过它与ChatRTX进行交谈。在该功能推出后，ChatRTX将能够“理解”口述语言并以文本提供回应。NVIDIAAIWorkbench是一款易于使用的开发者工具包，可用于管理AI模型定制和优化工作流，该工具包现已向RTX开发者全面推出。RTX大语言模型赋能行业，AIGC表现亮眼。NVIDIA已通过TensorRT推动剪映AI艺术字功能上线，并正在通过RTXAIAI在剪映产品功能中的应用。TensorRTDaVinciResolveTopaz应用中的转描、降AI2BlackmagicDesignTopazLabs等杰出创意应用开RTXAI加速集成到各自的软件中。医学研究人员正在使用教科书和其他医学数据训练大语言模型，以期利用大语言模型记录财报电话会议及其他重要会议，并总结会议内容。图10：NVIDIAChatRTX聊天机器人加速PC端渗透资料来源：NVIDIA，AIGC直触物理世界，医疗应用场景不断开拓。生成式AI最大的影响将体现在医疗领域，NVIDIA已经涉足成像系NVIDIABioNeMoAIBioNeMo基础DNARNADNABERT：DNA序列进行训练，可用于预测基因组特定区域的RNA（它可以预测两种蛋白质相互作用过程的3D结构，这对了解药物分子是否有效至关重要。NVIDIA20+新的微服务，使全球医疗企业能够在任何地方、任何云上利用生成式AI的最新进展。Omniverse™Cloud以API形式提供，OpenUSD与AppleVisionPro碰撞。NVIDIAOmniverse™是一个计算平OmniverseCloudOmniverse独使用，也可组合使用。NVIDIAOmniverseCloudAPIOpenUSDNVIDIA图形交付网络（GDN），AppleVisionPro，而不会影响大型数据集细节内容，工作流还引入了一种混合渲染技术，将设备上的本地渲染和远程渲染OmniverseCloudAPI的软件框架使“元宇宙”的进一步构建成为可能。OpenUSDNVIDIARTX™渲染USDRender功能API接口表4OpenUSDNVIDIARTX™渲染USDRender功能API接口USDWrite OpenUSD数据并与之交互USDQuery 支持场景查询和交互式场景USDNotify USD变化并提供更新信息OmniverseChannel 连接用户、工具和世界，实现跨场景协作资料来源：NVIDIA，图11：Omniverse数字孪生应用于AppleVisionPro资料来源：NVIDIA，6G研究平台催化无线电子技术研究新方法，AI推动无线通信。6GNVIDIA6G适用于6G的AerialOmniverse数字孪生6G系统的物理精确模拟。借OmniverseAerial高传输效率。2）AerialCUDA加速的无线接入网络：RAN协议堆栈，为研究人员实时自定义、6GPyTorchTensorFlow等主流框NVIDIAGPUAI和机器学习（ML）模型。NVIDIA6G研究云平台具种扩展现实和沉浸式教育体验与协作机器人为依托的超级智能世界奠定基础。图12：Omniverse数字孪生应用于AppleVisionPro资料来源：NVIDIA，3、人形机器人：NVIDIA进军人形机器人领域，重磅推出ProjectGR00TNVIDIAProjectGR00T319GTC2024正式发布世界首款ProjectGR00T（GeneralistRobot00Technology）。GR00T是一个通用的基础模型，承诺在仿真GPU加速的仿真中训练，GR00TNVIDIAIsaacLab行强化学习，还能从视频数据生成机器人动作。GR00T行的动作。图13：NVIDIA推出ProjectGR00T资料来源：NVIDIA，GR00T驱动的人形（AgilityRoboticsApptronikFourierIntelligenceUnitreeRobotics的产品如何完成各种任务，AI领域中最令人兴奋的课题之一。我们正在汇集各种赋能技术，致力于在人工通用机器人领域实现突破。”图14：NVIDIAGR00T模型训练工作流资料来源：NVIDIA，Isaac平台重大更新，搭建协调机器人训练仿真器。为大规模训练GR00T，NVIDIA开发了用于大规模强化学习的NVIDIAIsaacLab，并建立了用于计算编排服务的NVIDIAOSMO。其中，IsaacLab是一个GPU加速、性能优化的轻量级应用，NVIDIAIsaacSim（OmniverseNucleusOmniverseConnectorsOpenUSD中协作构建，共享和导入环境和机器人模型）连接和互操作性等优势。OSMO则是一个云原生的工作流编排平台，NVIDIADGXNVIDIAOVXNVIDIAIGX和NVIDIAAGX负责合成数据生成(SDG)、DNN化学习、SILHIL中对机器人进行（再）仿真SIM或真实数据的进行感知评估等具体工作。NVIDIA还发布了IsaacManipulator和IsaacPerceptor等一系列机器人预训练模型、库和参考硬件。IsaacManipulator为机械臂提供了卓越的灵活性和模块化AIGPU80早期生态系统合作伙伴包括安川电机、泰瑞达旗下子公司优傲、PickNikRobotics、Solomon、READYRoboticsFrankaRobotics。IsaacPerceptor3D环绕视觉功能，这些功能正越来越多地被制造业和物流业ArcBest亚迪和凯傲集团等，它们的目标是为物料搬运等操作带来新的自主化水平。图15：GR00T模型的机器人学习和编排设置资料来源：NVIDIA，图16：IsaacManipulator简化端到端工作流 图17：IsaacPerceptor行业与生态系统合作伙伴资料来源：NVIDIA， 资料来源：NVIDIA，NVIDIA专为人形机器人打造全新计算平台。NVIDIANVIDIAThor系统级芯片（SoC）JetsonThorJetsonThorSoCtransformerengine的下一代NVIDIABlackwell8008位浮点运算AIGR00T等多模态生成式AI模型。CPU100GB以太网带宽，大大简化了设计和集成工作。机器人有望成为人工智能重要载体，NVIDIA已成立新的研究部门专攻具身智能。223日，NVIDIA高级研究科学家、AI代理计划负责人JimFan透露NVIDIA将成立GEAR。GEAR全称为通用具身智能体研究GeneralistEmbodiedAgentResearchJimFanYukeZhu教授领导，旨在构建适用于虚拟与物理世界的具身智能体的基础模型，致力于实现跨多模态、多场景的智能应用。JimFan宣称，2024能之年和模拟技术之年。GEAR研究团队专注于四大关键领域：大型语言模型-型以及世界模型，旨在打通不同模态信息间的壁垒；际场景下的普适性与效能；虚拟世界的智能交互设定新标准；NVIDIAAI础模型和生成式模拟。GEAR通过编码大型语言模型实现人类水平的奖励设计言模型驱动的开放式具身智能体）、VIMA（利用多模态提示实现通用机器人操作能力）Minedojo（模知识库构建开放式具身智能体）。图18：NVIDIA成立GEAR，专攻具身智能资料来源：NVIDIA，巨头持续下场，人形机器人催化不断。225日，Optimus224日，NVIDIA与微软、OpenAIFigureAI，以期为人工智6.7520313日，FigureOpenAIdemoFigure01可以为听从人类的命令Google20233PaLM-ERT-1pipelineGoogle20237RT-2Figure致力于GTC2024大会上，NVIDIANVIDIAIsaacSimNVIDIAOrangeGreenIsaac平台里学会了走路。图19：NVIDIA与微软、OpenAI等投资类人机器人初创公司FigureAI资料来源：Figure，具身智能不应建立在孤岛之上，NVIDIA积极寻求长期合作伙伴。NVIDIA正在为领先的人形机器人公司开发一个综合的AI平台，如1XTechnologies、AgilityRobotics、Apptronik、波士顿动力公司、FigureAI、傅利叶智能、SanctuaryAI、宇树科技和小鹏鹏行等。GTCFigure01、宇树-H1、Apptronik、Digit、SanctuaryAIPhoenix、1XGR-1AltasPX5等国内外知名人形机JetsonISSACSimBDX机器人。AgilityRobotics联合创始人JonathanHurstDigitAIDigitNVIDIAAI+ISSACNVIDIANVIDIASim扩大机器人底盘的应用等。4、智能汽车：NVIDIA重新定义DRIVEThor，赋能全景智能交通运输需求NVIDIADRIVEThorBlackwellGPUGTC2024NVIDIADRIVEThorNVIDIABlackwell架构（拥有1,000万亿次浮点运算性能以确保安全可靠的自动化机器），用于变压器和生成式人工智能工作负载；DRIVEThor预计最早将在明年投入生产的车辆中使用。图20：NVIDIA更新DRIVEThor动态，采用BlackwellGPU架构资料来源：NVIDIA，NVIDIA重新定义DRIVEThor，增加对大语言模型和生成式AIDRIVEThorAI应用DRIVEOrinAV针对变压器、LLMAINVIDIABlackwell架构。NVIDIA汽车副总裁吴新宙表示：“加AI，正在重新定义自主性和全球交通运输行业。”“DRIVEOrinAINVIDIADRIVEThor引入他们的下一AIDRIVEThor已经发生了一些非常明显的调整DRIVEThor定位为专为汽车行业中日益重要的生成式AI应用而打造的车载计算平台Transformer、大语言模型（LLM）AINVIDIABlackwell架构。随着大AI的爆发，以及这些技术在车端的逐步应用，NVIDIADRIVEThorAINVIDIAThor1000TFLOPSNVIDIA20229Thor的浮点运2000TFLOPS。对此，有行业人士评论称：DRIVEThor的算力出现了明显的缩水。图21：DRIVEThor增加对大语言模型和生成式AI的底层支持资料来源：NVIDIA，NVIDIADRIVEThor或彻底改变汽车行业格局，加速计算打造下一代AI车型。NVIDIADRIVEThor被NVIDIA称为“将彻底改变汽车行业的格局，开创生成式AI定义驾驶体验的时代”的产品。在GTC上，几家领先的电动汽车制造商正在揭示他们由DRIVEThor驱动的下一代AI车队：全球最大的电动汽车制造商比亚迪正在将与NVIDIADRIVEThorEVNVIDIAAIAINVIDIAIsaacNVIDIAOmniverse平台开发虚拟工厂规划和零售配置器的工具和应用。广汽埃安旗下品牌昊铂宣布已选择DRIVEThor2025年开4NVIDIADRIVEOrinHyperGT2+级驾驶功能。NVIDIADRIVEThor下一代车XNGPAILiAutoZEEKRDRIVEThor来的汽车路线图。图22：DRIVEThor加速计算打造下一代AI车型资料来源：NVIDIA，NVIDIADRIVEThor为长途卡车、送货车和机器人出租车提供驱动力，赋能全景智能交通运输需求。DIVEhr包括货车运输、机器人出租车、货物配送车辆等：Nuro致力于为商用和消费级车辆开发4DRIVEThorNuroDriverDriverNuroAI-firstNVIDIA汽车级别的计算和网络硬件配对而成，该系统将在今年晚些时候开始测试。Plus宣布其未来几代4级解决方案SuperDriveDRIVEThorDRIVEThor的计算性能在其自动驾驶系统中理解卡车周围的世界，并做出安全的驾驶决策。WaabiDRIVEThor推出市AIDRIVEThorWaabiDriver中以在规模上驱动安全可靠的自动卡车。