grop-人工智能行业：探索融合型HPC CAI工作负载在Groq人工智能推理加速器（英译中）

欲了解更多信息，请访问www.DeepL.co探索融合型HPCCAI工作负载在Groq人工智能推理加速器托比亚斯-贝克1月Groq专有什么是聚合计算？.适用于人工智能和高性能计算组合工作负载的基础设施.结合人工智能和高性能计算算法的混合应用©Groq,Inc.Groq专利2GroqGroq简化计算典型GPU图形处理器复杂编程困难响应能力较低非确定性执行成本较高GroqChip™1首个LPU™加速器简化©Groq,Inc.Groq专利3GroqChip™1概览可扩展的计算架构SRAM内存大规模并发80TB/秒的BW230MB容量对跨步不敏感GroqTruePoint™矩阵4x发动机750TOP/sint8 188TFLOP/sfp16320x320融合点积可编程矢量单元5,120©Groq,Inc.Groq专利4个高性能矢量ALU联网480GB/s带宽可扩展的网络扩展能力多种拓扑结构数据交换机移位、平移、翻转，改进数据移动和数据重塑指令控制多条指令队列实现指令并行©Groq,Inc.Groq专利5可视化数据协调交给Groq™编译器©Groq,Inc.Groq专利6规模化的Groq工作负载集群就绪节点扩展至卡扩展到节8xRealScale外机架TSP架构提供近点部端口GroqRack：8个乎线性的扩展性能GroqNode包含8张卡带4xGroqCard的2U服务器计算节点+1个冗余节点©Groq,Inc.Groq专利7GroqChip™1GroqCard™戴尔GroqNode™GroqRack™R750XA©Groq,Inc.Groq专利8融合计算：CFD结构网格法的传统求解器和基于人工智能的求解器求解器摘要.二维结构网格.不可压缩的气流.显式时间积分.JAX-CFD中的框架基于不可压缩纳维-斯托克斯方程的纯DNS扩散压力对流扩散压力D.Kochkov等人"机器学习加速计算流体动力学"PNAS2021©Groq,Inc.Groq专利9人工智能可取代或增强直接数值模拟(DNS)©Groq,Inc.Groq专利101111具有人工智能增强功能的混合CFD比较传统方法和基于人工智能的方法四种方法：.传统DNS：基于压力投影的标准求解器（高分辨率和低分辨率）.学习校正：基于CNN修正的小网格DNS.纯ML：基于LSTM的编码器-处理-解码器.融合型ML-HPC兼具高吞吐量和高精确度潜在应用©Groq,©Groq,Inc.航空航天汽车工业能源医疗©Groq,Inc.Groq专利12图神经网络（GNNs）.通用深度神经网络（DNN）架构对非欧几里得数据的泛化.考虑用图形表示问题：□计算化学中的分子□社交媒体推荐系统.计算化学用例：取代基于DFT的传统算法13©Groq,13©Groq,Inc.关于铁铂（FePt）的端到端GNN，包括运行时间在内的端到端基准测试HydraGNN使用案例：.模型可预测每种铂铁配置的总能量、电荷密度和磁矩（多重预测，即九头蛇模型）。.这样，我们就能在1000万个分子的数据集中识别出具有所需反应性的分子需要规模：.生产需要对HydraGNN进行10k次并行行走（第1批次.可在整个GroqRack上并行运行.目前正在ORNL训练的模型增加了每个分子的原子数，Groq可以扩展到多芯片执行©Groq,Inc.可通过Netron实现Onnx图形可视化Groq专利50x18000350HydraGNNLsmsFePt模型（MLupoPasinietal2022.）用于同时预测铁磁系统全局和原子特性的多任务图神经网络©Groq,Inc.可通过Netron实现Onnx图形可视化Groq专利铁铂数据集包含32000种铂铁构型的量子化学特性的静态数据集.铁铂数据集由32,000个具有体心立方（BCC）结构的铁铂二元容许构型组成。.从0%Fe-100%Pt到100%Fe-0%Pt，所有成分的构型均可使用。.每种构型的总能量、电荷密度和磁矩都是通过在OLCFTitan上使用LSMS-3模拟DFT进行预测的。.这是一个静态问题，每个分子有32个固定节点和206个边缘连接。©Groq,©Groq,Inc.Chemprop：信息传递GNN用于化学性质预测的机器学习软件包使用案例：.ChemProp是一种消息传递神经网络，具有分子性质预测功能，可预测各种性质42x.通过微笑字符串输入对药物发现进行专门测试。38.5k可扩展性：.生产配置包括处理40亿个化合物。©Groq,Inc.Groq专利.42倍的速度大幅提高了使用较少硬件的迭代速度。ChemProp模型资源库©Groq,Inc.Groq专利合HPC合HPC工作负载提供了额外的加速。ISC2023研讨会文件（23年5月）探索在图神经网络工作负载中使用数据流架构(Hosseinietal.)与阿贡国家实验室和Sambanova合作。成果.2022年8月，在撰写论文期间，GroqChip™将GNN卷积层（CGConv、GINConv等）的速度提高了37倍。.去年，Groq™编译器的优化使这些GNN卷积层的速度提高了50倍*。.这种提速是数据流范式和运算器微基准（经常出现在GNN架构中）提速高达10倍的结果。这为非欧几里得数据上的融©Groq,Inc.*Groq编译器在不断改进，自论文撰写（2022年8月）以来，速度提高了35%（2023年4月）Groq专利37x34x图1（2022年8月在PyTorchGeometric(PyG)的CGConv和GINCov图形卷积层上，GroqChip与GPUA100的性能比较©Groq,Inc.*Groq编译器在不断改进，自论文撰写（2022年8月）以来，速度提高了35%（2023年4月）Groq专利性能193kIPS@0.6ms性能193kIPS@0.6ms批次128Groq架构以超低延迟提供确定性ML，其5-20倍的性能可满足1毫秒响应窗口的要求1。聚变反应堆控制智能电网"不可能的任务"托卡马克聚变反应堆模拟中的等离子体不稳定性预测在1毫秒硬性要求内最大化LSTM模型的性能Groq优势确定性人工智能处理器提供超低延迟实现高度可靠69kIPS@0.14ms英伟达47kIPS@5.5ms英伟达47kIPS@5.5