李笙维：DataFunSummit非数据中心GPU上的大模型并行训练

并行与分布计算全国重点实验室并行与分布计算全国重点实验室博士研究生李笙维DataFunSummit#2024并行与分布计算全国重点实验室研究背景一、研究背景:大模型并行训练并行与分布计算全国重点实验室基础模型参数量爆炸性增长并行训练基本方法一、研究背景:并行训练基本方法并行与分布计算全国重点实验室•并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式-并行程序逻辑比较容易理解-单次迭代中模型训练的数据总量增加，使得总的训练时间减少-为了保证收敛性，需要频繁的梯度同步通信一、研究背景:并行训练基本方法并行与分布计算全国重点实验室•并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式•模型并行方式下每个设备上只有模型的一部分，张量并行、流水线并行均属于模型并行-降低了模型训练时对单卡的显存需求-较大的通信开销（常见于张量并行）-较低的设备利用率（常见于流水线并行）一、研究背景:并行训练基本方法并行与分布计算全国重点实验室•并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式一、研究背景:并行训练基本方法并行与分布计算全国重点实验室•并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式一、研究背景:并行训练基本方法并行与分布计算全国重点实验室•并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式•混合并行(hybirdparallel-可以结合模型并行和数据并行的优点，实现高效的模型训练-应对大模型训练的主要方法-难以找到性能优异的混合并行策略，使得混合并行的优势无法发挥出来一、研究背景:大模型训练加速器并行与分布计算全国重点实验室•数据中心GPU(A100,H100...)是目前最常见的加速器:性价比较为接近,然而通信带宽差距巨大,在大模型的并行训练中有较•因此,研究非数据中心GPU上的大模型并行训练更具重要意义GPU算力的性价比可以使用RatiooftheComputationperformanceandCost(RCC)定义,单位为TFLOPS/$并行与分布计算全国重点实验室研究进展二、研究进展小结并行与分布计算全国重点实验室•围绕非数据中心GPU上的大模型并行训练问题，开展关键技术研究•高性价比的大模型训练:•高效率的并行训练：•设计多维度通信调度方法,提高并行训练的通信效率•设计通信计算重叠的联合调度方法,提高并行训练效率•设计流水线并行的异构内存交换方法,缓解显存墙问题•高可编程性的并行训练：•解耦模型设计与并行训练,加强多维并行训练的可编程性2.1高性价比的大模型训练并行与分布计算全国重点实验室•大模型并行训练的性价比建模方法•并行训练下,训练性价比可以使用单位价格能获得的•从算力性价比角度4090GPU最高,然而4090无法使用NVLink进行带宽提升,算力性价比次3090可以通过相对便宜的NVLink提GPUGPU算力性价比(TFLOPS/$)对比图3090NVLink并行训练环境示意图2.1高性价比的大模型训练并行与分布计算全国重点实验室•大模型并行训练的性价比建模方法•在考虑了NVLink价格的基础上,3090NVLink配置相对于全NVLink相连的A100-SXM配•该集群的建立仅供思路参考,3090仍有着内存不足(24G)等问题3090-NVLink的硬件价格估算方法并行训练性价比对比2.2高效率的并行训练并行与分布计算全国重点实验室•通信计算调度:TriRace--面向混合并行训练的多维度通讯调度方法•非数据中心GPU情况下,通常通信带宽受限较为明显•通信调度技术是常见的降低通信开销的方法,然而混合并行训练的通信操作复杂,带来两1)通信操作多样,包括数据并行的AllRed异步流水线并行数据并行的混合并行训练中通信操作复杂通信调度方法不适用于稀疏通信2.2高效率的并行训练并行与分布计算全国重点实验室•通信计算调度:TriRace--面向混合并行训练的多维度通讯调度方法•针对数据并行的AllReduce通信,根据异步流水线并行的参数更新方法,最大化重叠计算操作•针对流水线并行的P2P通信,将双向通信解耦为两个单向通信,尽可能减少关键路径上的通信数量•使用稀疏通信降低embedding的通信开销,并将以embedding各行为单位进行细AllReduce通信调度方法P2P通信调度方法稀疏通信调度方法2.2高效率的并行训练并行与分布计算全国重点实验室•通信计算调度:TriRace--面向混合并行训练的多维度通讯调度方法2.2高效率的并行训练并行与分布计算全国重点实验室•通信计算调度:Oases--面向张量并行的自动通信计算重叠方法•Transformer模型的HiddenSize高速增长,张量并行成模型名发布年份模型大小LayersHiddenSize3/OPT2020/20222021530B20480PaLM2022540BBLOOM2022LLaMA202365B8192Falcon202340B8192Transformer预训练模型的HiddenSize较大59.2%59.2%64.7%张量并行通信在带宽受限的情况下训练中占比较高2.2高效率的并行训练并行与分布计算全国重点实验室•通信计算调度:Oases--面向张量并行的自动通信计算重叠方法•当前主流的张量并行通信计算重叠方法为将矩阵乘法和其通信分解为多个操作•设计细粒度的通信计算调度方法,将数据在batch维度切分为互不依赖的两个子数据,他们的通2.2高效率的并行训练并行与分布计算全国重点实验室•通信计算调度:Oases--面向张量并行的自动通信计算重叠方法•在显存受限的场景下,使用重计算计算技术非常必要•设计去除通信冗余的重计算调度方法,应用重计算时,将通信结果作为重计算子图的输出可重计算结束的位置为通信后时,可以省去该通信2.2高效率的并行训练并行与分布计算全国重点实验室•通信计算调度:Oases--面向张量并行的自动通信计算重叠方法•Oases可以显著加速张量并行训练,相较Megatron-LM,A2.2高效率的并行训练并行与分布计算全国重点实验室•显存优化:Mbapp--面向商品级GPU的流水线并行异构内存交换方法•流水线并行通信量降低,适用于在商品级GPU上训练大模型•商品级GPU如3090的显存容量较小,大模型的训练要求显存优化技术(e.g.,显存交换,swa•流水线并行的算法特点,导致流水级(设备)之间的显存分布不均衡流水线并行适合通信资源贫乏的商品级深度学习服务器流水线并行的显存消耗不均衡2.2高效率的并行训练并行与分布计算全国重点实验室•显存优化:Mbapp--面向商品级GPU的流水线并行异构内存交换方法•混合GPU-CPUswap方法:对于内 Mbapp工作流程2.2高效率的并行训练并行与分布计算全国重点实验室•显存优化:Mbapp--面向商品级GPU的流水线并行异构内存交换方法•相较于内存交换方法torch-offload,训练吞吐量可以提•Mbapp可以使各流水级(工作设备)的显存消耗更加均衡2.3高可编程性的并行训练并行与分布计算全国重点实验室•Merak--实现模型设计与并行训练的解耦•语言模型开源社区活跃,多样的模型定义方式给并行训练应用带来较大挑战是是否否是是否否是是是否否是是否是是是是并行训练框架中自动应用并行训练技术的情况2.3高可编程性的并行训练并行与分布计算全国重点实验室•Merak--实现模型设计与并行训练的解耦•单机脚本的计算图定义方式繁多,•提出基于•符号算子不进行参数初始化,可以使用•提出一个计算图划分算法•分析图节点的依赖关系,找到通信量较•考虑模型训练中常量可以在子图间传递,模型划分编译的工作流程•子图分配至工作设备后,进行参数初始化,模型划分编译的工作流程2.3高可编程性的并行训练并行与分布计算全国重点实验室•Merak--实现模型设计与并行训练的解耦•API接口简明易用,在单机训练脚本的基础上,仅需增加几行代码即可实现数据-流水线-张/HPDL-Group/Merak并行与分布计算全国重点实验室总结与展望三、研究总结并行与分布计算全国重点实验室•围绕非数据中心GPU上的大模型并行训练问题，可以总结为提高大模型的accessbility,让更多研究者更便宜更快更方便地进行大模型训练三、研究展望并行与分布计算全国重点实验室•大模型的持续迭代对大规模异构并行计算效率提出更高要求•针对更多应用特点的大规模分布式训练技术如何整合及通用化•深度学习编译器是提高并行训练可编程性的重要技术方向•通信带宽进步落后于需求,通信优化是提高并行训练效率的重要方向•大规模分布式训练技术需要更大规模更真实场景的测试与验证并行与分布计算全国重点实验室谢谢•博士研究生李笙维•博士研究生李笙维更多研究详见导师主页:DataFunSummit#2024大规模并行训练框架设想并行与分布计算全国重点实验室•设想:并行训练框架自顶向下可分为6层APIJAXJAXPaddlePaddle...AccesstrainAccesstrainresourceAccessmodelAccessmodelIRtf.graphtorch.fxjax_to_hlo...IntermediaterepresentationTrainingTrainingresourceabstractionDevicetopoProfiling...IRIRconvertIRstructuredParallelstrategygenerationParallelstrategygenerationCostmodelIRcompilerDeviceassignTrainsimulator并行策略制订层MemorymanagementComputationscheduleDistributedruntimeengineMemorymanagementComputationscheduleDistributedruntimeengineCommunicationscheduleComputationoperatorCommunicationlibraryDevice-specificoperatorComputationoperatorCommunicationlibraryDevice-specificoperator大规模并行训练框架设想•Merak并行训练框架并行与分布计算全国重