电子行业英伟达GTC2024跟踪报告：见证AI的变革时刻关注新平台的增量变化和前沿应用

附录：英伟达GTC2024主题演讲纪要 时间：2024年3月18日主讲人：英伟达创始人黄仁勋背景介绍：1993年。2006年，CUDA被证明是一种革命性的计2012年，AlexNetAIKuda2016年首次接触，产生DGX8GPU可实现170万亿次浮点运算。第一台DGX1交付于位于旧金山的一家名为OpenAI的初创公司。DGX1是世界上第一台人工智能超级计算机。2022TrasfomerCatGPT223AI中心所做的任何事情都不同。下面将讨论下一步如何进行计算，由于新产业的出现又将构建什么样的软件？新软件在新产业中又是如何应用的？以及我们应该做什么准备？图1：英伟达发展史资料来源：英伟达，1、公司发展“新加速生态系统”合作伙伴，包括Ansys、Synopsys、Cadence等AI生态系统，能够将世界带入加速计算。合作伙伴：AnsysAnsysOmniverseDigitaltwinsGPUinstallbasis遍布世界installbasisCSPs也会有巨大的客户需求。SynopsysSynopsys通过高级设计彻底Nvidia创Synopsys也将突性的英伟达计算光刻平台投入生产。下一步是将生成式人工智能应用于未来的半导体制造，进一步推动几何学的发展。Cadence构建了世界上重要的EDA和SDACadenceNvidiaGPU100万2BlackwellGPU随着Transformer模型的发明，算力需求激增CAEEDA和SDAOmniverseTransformerOpenAI1.8万亿参数。1.8token300400500万亿次浮点运算。SELENE与EOS：GPUtensorcoreslinkDGX1计算机。2021年，SELENE4500GPU2023年，公司建造了世界上最大的人工智能超级计算机之一EOSGPUGPUGPU成本。图2：SELENE参数 图3：EOS参数资料来源：英伟达， 资料来源：英伟达，ChatGPT大的GPU。BlackwellGPU。Blackwell2080亿个晶体管，所有这些晶体管几乎能够同时访问与芯片连接的内存，由此构建的BlackwellBlackwellGPU4BlackwelldiesGraceCPU进行配对，NVlink位于顶部，PCIExpress位于底部。transformerengine。它能够动态地、自动地重新缩放和重transformerengineNVlinkHopperGPU一起工作，彼此共享信息，互相同1.8TBHpper的很多倍。另外公司在超级计算机中安装了Ras引擎，这是一种可靠性引擎，可以Blackwellgatebitofmemory以及与其连100%AI，能够确保数据不会丢失且不被污染。图4：从Blackwell到数据中心的发展资料来源：英伟达，资料来源：英伟达，图6：从Blackwell到数据中心的发展资料来源：英伟达，图7：从Blackwell到数据中心的发展资料来源：英伟达，图8：从Blackwell到数据中心的发展 图9：从Blackwell到数据中心的发展资料来源：英伟达， 资料来源：英伟达，highlinespeedcompressionengine20Hopper相比，FP8性能2.5FP6图10：BlackwellGPU 图11：Blackwell平台资料来源：英伟达， 资料来源：英伟达，公司为生成式人工智能创建了一个处理器，其中最重要的部分之一是contenttokengenerationFP4251010100倍。而在过去的在八年时间中，我们将计算量增加了1000倍，推进计算的速度是疯狂的。图12：8年中算力发展资料来源：英伟达，NVLinkSwitchChip：该芯片有500HopperNVLinks，每秒1.8TB。GPUGPUGPUGPU。图13：英伟达NVLinkSwitchChip资料来源：英伟达GTC，DGXOpenAIDGXDGX170万亿次浮点运算，即0.17PFLOPS。而现在其能达到720PFLOPS，接近11ExaflopsNVLinkSpine130TB5000NVLink图14：英伟达DGXGPU资料来源：英伟达GTC，TransceiversReTimerNVLinkSpineNVLinkSwitch2012020千瓦产生了巨大2545HGXGPU7035000DGXGPU60万个零件。DGX1.8GPT3525000如果用Hopper8000个GPU，消耗1590Blackwell2000个GPU，同样需要90天。但是仅需消耗5兆瓦的电力。图15：英伟达BlackwellGB200能耗降低资料来源：英伟达GTC，NVIDIAGPU有一半的时间在云上用于生tokenChatGPT以及其他不同模型在生成图像、生成视频、生成推理是极其困难的，因为这些大语言模型有几个属性。1）第一，其非常大，不适用于一个GPU。在过去的超大规模计算中，应用程序都交给一台计算机，而现在Chatbot之类的推理程序需要一个超级计算机在后面运行，未来是由这些Chatbottokentokentokentoken需要很多GPU来实现。2）另一方面，吞吐率降低了成本，即生成每个tokenperuserGPU中并同时实现二者。GPU吞吐率与用户Token交互：我们可以在图中看到，YGPUtoken的吞吐率，X轴是每个用户tokenGPUtoken的量很大，TensorParallelExpertParallelPipelineParallelDataGPUNVIDIAGPUCUDA这个TP2EP8以及DP42个TensorParallel8个ExpertParallel以及4个DataParallel。4TensorParallel16ExpertParallel。配置与软件分布世界上的其余模型与电脑配置也许同样可用。图16：GPU吞吐率与用户Token交互资料来源：英伟达GTC，Blackwell与Hopper的对比：BlackwellHopperAI的系统，Blackwell30HopperHopper2080FP4TensorCoreNVSwitchGPU能够共享结果，相互通信。NVLinkSwitch10倍。BlackwellAIAI工厂。AIHopper客户更多了。BlackwellAICSPOEM、ODM、区域云、SovereignAIBlackwell署了协议。Blackwell将是公司历史上最成功的发布产品。图17：Blackwell与Hopper对比资料来源：英伟达GTC，3、微软、AWS、谷歌等一众科技巨头都是Blackwell的首批用户AWS：AWSBlackwellAIGPU，建222ExaflopsAWSSageMakerAIBedrockAIAmazonRoboticsNVIDIAOmniverseIsaacSim与公司合作。AWS健NVIDIAAWS在加速计算方面取得了很多进展。谷歌：Blackwell做准备。GCPA100s、H100s、T4s、L4sCUDAGPUGemma运行。公司正在努力优化与加速GCP的各个方面，如：数据处理引擎、JaxXLA、VertaxAI等。因此公司正在与谷歌开展一系列项目。Oracle：Oracle也在为Blackwell做准备。Oracle是公司在NVIDIADGXCloud上重要的合作伙伴。双方在共同努力加速OracleDatabase。NVIDIAInfiniBandCloudOmniverseHealthcareAzureFabric深度集成与连接。4、AI将应用于各个行业，构建全新数字化时代BlackwellBlackwellWistronOmniverseSDK开发定制软件来构建HGX与DGX数字孪生体。AI应用于工厂：CAD51%OmniverseOmniverseWistron40%AIOmniverse，英伟达的全球合作伙伴生态系统AI数字化的新时代。图18：英伟达OmniverseCloud资料来源：英伟达GTC，数字化各种形式之间的相互转化：2012AlexNet。把一只猫的图片输入电脑，会显示“Cat100RGB2012最终或许可以生产它。生成式人工智能革命的意义就在此。图19：数字化各种形式之间的相互转化资料来源：英伟达GTC，AI驱动的天气预报：1500亿美元的损失，然而这Earth-2，地球的数CorrDiff。随着地球AI预测模型可以准确25CorrDiff是一种革命性的生成式AIWRFERA5CorrDiff25公里的分辨率210003000倍。通过将具有准确度与速度的英伟达天气预测模型、预测网CorrDiff此类生成式AICorrDiffEarth-2CoreDiff，从而帮助企业与国家进行区域高分辨率天气预测。图20：英伟达CoreDiff分辨率大幅提升资料来源：英伟达GTC，AI医疗服务：15年前就开始的视频医疗领域令公司十分自豪。无论是医学成像、光泽测序AI模型都用作AlphaFold看到了第X射线晶体20AlphaFold已经重建了两亿公司要做的就是为世界各地的研究人员建立这些模型。这不是唯一的一个模型，公司还会创造更多模型。图21：英伟达医疗服务资料来源：英伟达GTC，AI药物筛选：要在数千个标准计算节点上花费数天时间才能识别出新的候选药物。NVIDIABioNeMoNIMsNIMsMolMIMAlphaFoldDiffDockMolMIMBioNeMoMolMIM开发成功的概率也更高。BioNemo正在为药物发明提供一个新的范例。图22：英伟达BioNeMoNIM资料来源：英伟达GTC，NIM：NVIDIAMolMIMCorrDiffNVIDIAInferenceMicroserviceNIMNVIDIAARB开源模型，其中有些来自于英伟达，有些是合作伙伴创建的。CUDARTLMTensorInferenceServerGPU是APIAIAPI或者在云上、数据中心、工作站运行。想象一下，在未来，ChatbotsChatbots。图23：NVIDIAInferenceMicroservice(NIM)资料来源：英伟达GTC，AI开发软件：在未来如何开发软件？你不太可能从头开始或者写Python代码等，你很有可能会组建一支AI团队，使用一个超级AI，它来执行你给它的任务并将其分解为执行计划。执行计划的一部分可能会交给另一个NIM。那个NIM可能理解SAP，它会理解服务，从平台上检索信息，然后把结果交给另一个NIM，它来对结果进行计算，也许它只是一个优化软件或是一些基本的计算，它带着它的答案回来并于所有的答案组合，最终的正确答案会呈现给使用者。所以只要云数据中心有视频GPU，这些NIM就可以像团队来一起工作。英伟达整个公司现在都安装了NIM系统，到处创建Chatbots。其中最重要的自然是芯片设计师Chatbots.AICo-pilot就是该聊天机器人与工程师一起设计的。公司也创造了Llama2，这是70B，并且也用NIM包装了。公司也会跟芯片设计Chatbot进行互动，向其提问、举例子、展示英伟达相关产品等，与一位员工给另一位员工上岗形式类似。因此，芯片设计师Chatbot的生产力可以通过NIM进行定制的方式来提高。并且客户可以在NeMoMicroservices进行数据与准备，从而对Chatbot进行微调与答案评估。在此，公司有三大支柱。1）AIAIDGXCloudTSMC实现并把它带走。就是NIM、NeMoMicroservice与DGXCloud。图24：英伟达NeMoMicroservices资料来源：英伟达GTC，AIFoundryNeMoDGX云，你可以教他们做的另一件事你就可以和它对话。图25：与PDF聊天资料来源：英伟达GTC，PDFPDFPDFlemonretrieverNeMo所有这些东西，我们会有不同的名字，甚至有数字人类名字。‘图26：英伟达DHT资料来源：英伟达GTC，CoplitNeMoFoundryGaragenerativesnowflake10000业客户十亿次查询。NeMonymphsDellDell能工厂。图27：Dell与英伟达AI工厂资料来源：英伟达GTC，dgx数成为你的人工智能。图28：英伟达DGX，OVX，AGX资料来源：英伟达GTC，图29：英伟达Omniver