机械设备行业英伟达GTC2024发布多款AI软硬件具身智能产业进程提速

正文目录NVIDIA发布Blackwell架构软生，台发展 4BlackwellGPU/计平台磅出提强算力持 4件态续建助力NVIDIA台发展 5Omniverse是字生平，力户省本与间在际厂泛应用 8推机人硬底基础施驱人机人产进提速 9ProjectGR00T推，推机人术破 11Isaac机人台续迭优化 11JetsonThor机人提硬支撑 13投建： 14风提： 14图表目录图表1:BLACKWELLGPU........................................................................4图表2:BLACKWELL计算平台...................................................................5图表3:BlackwellHopper5图表4:Blackwell5图表5:NIM6图表6:NVIDIAInferenceMicroservice.........................................................6图表7:NeMoMicrosrevices...................................................................7图表8:NeMo7图表9:NemoRetrieverPDF7NVIDIAAI8OmniverseTeamCenterX8Omniverse8Omniverse9Omniverse9NVIDIAOmniverseAppleVisionPro..............................................9AI理解物理世界所需的三台电脑.......................................................10ProjectGR00T......................................................................11ProjectGR00T观察行为模拟动作......................................................11将GR00T模型连接到大语言模型........................................................11IsaacLab..........................................................................12OSMO...............................................................................12IsaacPerceptor....................................................................13IsaacManipulator原理..............................................................13IsaacManipulator..................................................................13JetsonThor........................................................................14NVIDIABlackwellNVIDIAGTC2024大会于美国时间3月18日-3月21日举行。NVIDIA创始人黄仁勋发表《见证AI的变革时刻》主题演讲，发布Blackwell、NIM微服务、ProjectGR00T等软硬件产品。BlackwellGPU/NVIDIABlackwellGPUBlackwell计算平台，满足多模态数据处理对强大算力的需求。类似于人类的学习方式，AI在经过大量训练后，能在现有知识和条件的基础上通过想象力模拟结果。训练数据的类型逐渐多样化，包括视频、图像、图表等，对多模态数据的处理需要强大算力的支撑。NVIDIABlackwellGPUBlackwell计算平台，为AI训练和推理工作提供算力支持，实现了实时生成万亿参数大语言模型的能力：1）BlackwellGPU：芯片有2080亿个晶体管，是首次将2die封装在一起组成一个芯片，2die互连的传输速度为10TB/S。图表1:BLACKWELLGPU资料来源：NVIDIAGTC，2）Blackwell计算平台：平台搭载了BlackwellGPU、第二代Transformer引擎、第五代NVlink、RAS引擎、SecureAI和解压缩引擎。其在单芯片训练方面的FP8性能与推理方面的FP4性能分别是上一代架构的2.5倍、5倍。可以与许多GPU相互通信，共享计算过程中的结果，可扩展至576GPU。全球领先的云服务提供商、AI巨头、电信公司都将采用Blackwell计算平台，以实现各领域的AI创新。图表2:BLACKWELL计平台 图表3:Blackwell与Hopper能对比资料来源：NVIDIAGTC， 资料来源：NVIDIAGTC，图表4:Blackwell合作伙伴 合作进展全新NVIDIABlackwellGPU平台即将登陆AWS；AWSNVIDIACUDASagemakerAIBedrock亚马逊云科技（AWS）GoogleCloudOracleMicrosoft

合作范围，AWSNVIDIAGB200GraceBlackwellB100TensorCoreGPU；AWSNVIDIANVIDIAAmazonElasticComputeCloud（AmazonEC2）UltraCluster等基础设施和工具；AmazonRoboticsNVIDIAOmniverseIsaacSIM；AWSHealthNVIDIAHealth。NVIDIAGraceBlackwellAIDGXCloudNVIDIAH100DGXCloudNVIDIACUDAGPUGemmaGoogleNVIDIANIMMuJoCo。Oracle是DGXCloud的重要合作伙伴，正通力合作Oracle数据库。Oracle计划在OCISuperclusterOCIComputeNVIDIAGraceBlackwellNVIDIAGraceBlackwellOCIDGXCloudOracleAIAINVIDIAAIAIMicrosoft将成为首批将NVIDIAGraceBlackwellGB200和NVIDIAQuantum-X800InfiniBand网络引入Azure的组织之一；MicrosoftAzureAzureAIMicrosoftFabricMicrosoft365NVIDIAAIOmniverse资料来源：NVIDIAGTC，NVIDIA英伟达官方公众号,NVIDIANVIDIA在软件端推出NIM、NeMo、DGXCloud等服务，帮助用户以更省时省力的方式部署定制化AI并处理、搜寻海量数据，挖掘数据价值：1）NIM是预训练模型，可帮助用户简化AI模型应用流程，缩短软件编写时间，已应用于电信、半导体、天气预报等领域。推理是对模型进行优化，并将运行所需的计算堆栈进行整合的过程，能使企业将各大模型融入到工作流程中。为便于客户在自有平台上部署定制化AI，NIM（NVIDIAInferenceMicroserviceNVIDIA推理微服务）应运而生。NIM是一个预训练模型，内含许多预训练状态的开源模型，经过打包和优化，可在网站下载，或在NVIDIACUDA安装基础（云端、数据中心、工作站）上运行。作为软件打包和交付的方式，NIM可帮助开发者简化AI模型应用流程，缩短软件编写时间。NIM可应用于电信、半导体、天气预报、医疗等领域。图表5:NIM在细分领域的应用应用场景 研究进展电信 已推出由AI和Omniverse支持的生成式平台NVIDIA6G研究云，由Sionna神经无线电框架、NVIDIAAerialCUDA加速无线接入网络和适用于6G的NVIDIAAerialOmniverse数字孪生构建。半导体制造 与TSMC和Synopsys合作，将计算光刻平台cuLitho入生产，将曲线流程速度和传统曼哈顿式流程速度分别提升了45倍和近60倍。天气预报 推出了气候数字孪生云平台Earth-2，可通过交互式AI增强型高分辨率模拟加速气候和天气预测。医疗 已与领先的手术机器人公司达成合作，涉足成像系统、基因测序仪器等细分领域。资料来源：NVIDIA官网，NVIDIAGTC，图表6:NVIDIAInferenceMicroservice资料来源：NVIDIAGTC，NeMo可帮助客户处理各类数据，以便捷的方式迅速查找到所需要的信息。NeMo是一个端到端平台，用于开发自定义生成人工智能，可提供具有精确数据管理、尖端定制、检索增强生成（RAG）和加速性能的企业级模型。NeMo通过处理结构或非结构化的数据，并对其编码形成专有信息，构建AI数据库，而后用户通过聊天对话便可检索数据。NeMo可帮助客户管理数据、理解专有信息，其最终任务是尽可能快地检索信息。图表7:NeMoMicrosrevices 图表8:NeMo微务字人资料来源：NVIDIAGTC， 资料来源：NVIDIAGTC，图表9:NemoRetriever可帮助用户通过聊天对话的方式检索PDF等形式的数据资料来源：NVIDIAGTC，DGXCloud集成了NVIDIABaseCommand，可实现精简的Al开发，BaseCommand可有效地配置和管理Al工作负载，提供集成式数据集管理。DGXCloudNVIDIAAlEnterprise，可提供加速的数据科学库、优化的框架和预训练的模型，为开发人员提供更快的生产模型途径。当用户开发了一种AI后，可通过DGXCloud将其部署在任何地方。图表10:多个公司采用NVIDIAAI代工服务合作伙伴 合作进展SAP NeMoDGXCloudSAPJouleCopilotServierNow ServierNow正在利用NVIDIAAI代工服务构建“ServierNowNowAssist”虚拟助理Cohesity NVIDIAAI代工服务帮助他们构建生成式AI智能体GaiaSnowflake SnowflakeNeMoNIMCopilotNetApp NeMo和NIM帮助NetApp于向量数据库和检索器构建聊天机器人和CopilotDELL 双方合作密切资料来源：NVIDIAGTC，OmniverseOmniverse是数字孪生平台，可在虚拟空间中构建与物理世界高度相似的数字孪生，可应用于机器人、制造业等领域，降低试验成本并缩短时间。Omniverse是数字孪生平台，将物理实体映射到虚拟空间中，即在虚拟空间中建立一个与物理实体高度相似的数字孪生，且数字孪生可通过实时感知，高度复刻物理实体的变化过程。用户可使用Omniverse对开发的核心技术进行仿真，验证实际设施是否与数字计划相符，降低试验成本并缩短工厂上线时间。西门子计划将其产品组合Xcelerator连接到NVIDIAOmniverse。将NVIDIAAI和Omniverse技术集成到西门子TeamCenterX软件，可拉近现实世界与数字世界的距离。OmniverseAPI可在工业规模的设计和制造项目中实现数据互操作性和基于物理效果的渲染。Hyundai制造的氨氢动力船舶通常包含700万个离散部件，若借助OmniverseAPI、TeamCenterX可使公司统一这些庞大的工程数据集，并以交互的方式将其可视化，产生直观精准的数字孪生，从而消除错误，节省成本和时间。此外，NVIDIA正在构建平台以便于跨工具和跨团队的协作。图表11:Omniverse集到TeamCenterX的用理 图表12:Omniverse协平台资料来源：NVIDIAGTC， 资料来源：NVIDIAGTC，日产将Omniverse连接到客户的工作流和生态系统中，可使每位员工（包括设计、架构、工程、营销部门）都基于相同的真实数据进行操作，不必转换数据。日产将Omniverse集成到工作流中，可以模拟不同颜色、不同光影和不同背景下的汽车，数字人导购也可针对客户需求展示相应的产品。图表13:日将Omniverse成工作中 图表14:Omniverse演示资料来源：NVIDIAGTC， 资料来源：NVIDIAGTC，NVIDIA将把Omniverse引入AppleVisionPro进行应用。由于所有工具都已集成并连接到Omniverse，因此通过OmniverseCloudAPI，开发者可以将交互式工业数字孪生流式传输到VR头显中。图表15:NVIDIA将Omniverse引入AppleVisionPro资料来源：NVIDIAGTC，推出机器人软硬件底层基础设施，驱动人形机器人产业进程提速在机器人领域，黄仁勋认为现实生活中的诸多设定均以人类身体结构而构造，人形机器人与人体具备相仿的结构，因此在前期训练乃至未来在现实生活中的运行都更具优势，或为具身智能的最佳形态之一。在GTC2024大会上，NVIDIA就AI理解物理世界所需要的电脑架构进行界定，并推出ProjectGR00T和JetsonThor，更新Isaac机器人平台，为机器人领域构建了一个综合性的软硬件开发平台，合作厂商包括1XTechnologies、AgilityRobotics、Apptronik、波士顿动力公司、FigureAI、傅利叶智能、SanctuaryAI、宇树和小鹏等。NVIDIA认为，让AI理解物理世界的经典架构需要三台电脑，即DGX、OVX与AGX：DGXAI云平台，用于训练AI：DGX是一个人工智能开发解决方案，公司获取的所有数据可放入DGX系统，并被压缩为大语言模型，数据机制经压缩后即形成AI。作为一个AI云平台，它被用于训练AI，可AI学习语言、文字、视频等内容，并去尝试理解、适应物理世界，它可以部署在云端、本地数据中心等位置。中间层OVX通过运行OmniverseAI构建虚拟世界，帮助其加速学习并适应真实世界的物理规则：OVX被托管在Azure云上，是用于高性能人工智能和图形的可扩展数据中心基础设施。内部运行的Omniverse为机器人创造了一个虚拟世界，以使机器人适应真实世界的物理规则，起到强化学习人类反馈的作用。AGX自主系统本质是SoC芯片，装载于机器人身上：可以提供更多人工智能推理流程，并且支持多个传感器的高速接口，其本质是SoC芯片，具有实现能耗小，效率高等特点，被设计用于高速传感器和AI。图表16:AI理解物理世界所需的三台电脑资料来源：NVIDIAGTC，DGX帮助机器人训练、阅读，OVX让机器人在虚拟世界中加速仿真，二者间的工作流由计算编排服务OSMO协调。在机器人训练过程中，DGX主要使其阅读学习，OVX主要让机器人在IsaacLab提供的虚拟空间中学习，帮助其更好地理解真实物理世界，实现真实世界和虚拟世界的1:1映射。值得一提的是，IsaacLab的一大优势是将物理模拟加速到比实时快1000倍，从而减少训练时间。机器人经过学习能实现转笔、倒咖啡、打鼓、挥手等人类动作，并与人类进行语言和动作上的交互。新推出的计算编排服务OSMO可协调用于训练的DGX与用于仿真的OVX间的工作流。ProjectGR00TGR00T模型（GeneralistRobot00Technology）是用于人形机器人学习的通用基础模型，可接受语言、视频等多模态指令，也可模仿人类动作。它可将多模态指令和过去的交互作为输入，并产生机器人要执行的动作。GR00T模型在OmniverseIsaacSIM上仿真，并在DGX上训练，过程中通过OSMO实现跨平台拓展。由GR00T提供支持的机器人能通过观察人类行为来理解自然语言并模拟动作，具有快速学习协调、灵巧性等技能，从而实现导航，适应并与现实世界互动。若将GR00T模型连接到大语言模型，机器人可以根据自然语言指令生成动作。图表17:ProjectGR00T 图表18:ProjectGR00T观行模拟作资料来源：NVIDIAGTC， 资料来源：NVIDIAGTC，图表19:将GR00T模型连接到大语言模型资料来源：NVIDIAGTC，IsaacIsaac机器人平台包括一整套GPU加速的创新功能，覆盖AI感知、操控、模拟和软件方面。用户可以通过针对AI的进步（包括机器人学习、大语言模型、生成式AI和基础模型）进行优化，将其机器人性能提升到新的水平。GR00T使用的Isaac工具能为所有机器人创建新的基础模型，这些工具包括用于强化学习的IsaacLab和用于计算编排服务的OSMO：IsaacLab可运行上千机器人学习的并行仿真并生成众多虚拟世界，提供更丰富数据：训练具身智能模型需要海量的真实数据和合成数据，IsaacLab是一个基于IsaacSim（OVX层，由Omniverse提供动力支持）构建的GPU加速、性能优化的轻量级应用，专门用于运行数千个用于机器人学习的并行仿真，可训练所有类型的机器人实施例（包括人形机器人ProjectGR00T基础模型，且可生成众多虚拟世界，为训练智能体提供更丰富的数据。OSMO可用于协调数据生成、模型训练和软硬件在环工作流：为扩展异构计算的机器人开发工作负载，OSMO在分布式环境中协调数据生成、模型训练和软硬件在环工作流。图表20:IsaacLab 图表21:OSMO资料来源：NVIDIAGTC， 资料来源：NVIDIAGTC，NVIDIA还发布了IsaacPerceptor和IsaacManipulator等机器人预训练模型、库和参考硬件：IsaacPerceptor提升机器人的感知力：软件开发包提供了多摄像头和3D环绕视觉功能，视觉里程计、3D重建、深度感知能力强，常被应用于制造业和物流业中的自主移动机器人，能够使机器人具有感知能力，对路径进行自适应调整，从而在提高效率和保护工人的同时降低错误率和成本。图表22:IsaacPerceptor资料来源：NVIDIAGTC，IsaacManipulator是一个先进的机械臂感知、路径规划和运动学控制库：对机器视觉、AI等算法进行CUDA加速，为机械臂提供模块化AI功能，提高其灵活性。它借助基础模型和GPU加速库，将路径规划速度提80倍，此外，零样本感知提高了效率和吞吐量，使开发者能够实现更多机器人任务的自动化。合作厂商包括安川电机、Solomon、PickNikRobotics、READYRobotics、FrankaRobotics、泰瑞达旗下子公司优傲等领先的机器人公司。图表23:Is