DataFunSummit非数据中心GPU上的大模型并行训练

并行与分布计算全国重点实验室非数据中心GPU上的大模型并行训练并行与分布计算全国重点实验室01研究背景并行与分布计算全国重点实验室深度学习模型参数量呈爆炸式增长，对算力系统体系结构、系统软件提出了新的要求大规模并行与分布计算仍然是基础模型训练的主要手段，HPC与AI融合发展大规模训练的计算、通信、存储开销巨大，对并行模式和并行效率提出更高要求FedusW,ZophB,ShazeerN.Switchtransformers:Scalingtotrillionparametermodelswithsimpleandefficientsparsity[J].TheJournalofMachineLearningResearch,2022,23(1):

5232-5270.并行训练基本方法基础模型参数量爆炸性增长一、研究背景:大模型并行训练并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,

模型并行,

混合并行等基本形式数据并行

(data

parallelism,

DP)是将训练数据划分到多个设备,

多个设备之间按照一定规则定期同步模型参数实现并行训练的一种方式数据并行方式下每个设备计算时都会使用有完整的模型参数数据并行将数据切分为多份，不同份的数据由不同的设备进行处理优点并行程序逻辑比较容易理解单次迭代中模型训练的数据总量增加，使得总的训练时间减少缺点为了保证收敛性，需要频繁的梯度同步通信一、研究背景:

并行训练基本方法并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,

模型并行,

混合并行等基本形式模型并行

(model

parallelism,

MP)

训练是指将智能模型划分到多个计算单元的一种训练方式模型并行方式下每个设备上只有模型的一部分，张量并行、流水线并行均属于模型并行模型并行将数据切分为多份，每份数据需要所有设备进行处理优点降低了模型训练时对单卡的显存需求缺点较大的通信开销（常见于张量并行）较低的设备利用率（常见于流水线并行）一、研究背景:

并行训练基本方法并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,

模型并行,

混合并行等基本形式张量并行

(tensor

parallelism,

TP)

张量并行是将深度学习模型中的参数切分到不同的设备上，每个设备只负责计算部分参数，从而实现并行计算。模型的参数分配到不同的设备上，每个设备只负责计算部分参数。Transformer中将嵌入层和多头自注意力机制的部分参数切分到不同的设备上进行计算。一、研究背景:

并行训练基本方法ShoeybiM,PatwaryM,PuriR,etal.Megatron-lm:Trainingmulti-billionparameterlanguagemodelsusingmodelparallelism[J].arXivpreprintarXiv:1909.08053,

2019.并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,

模型并行,

混合并行等基本形式流水线并行

(pipeline

parallelism,

PP)

将模型垂直分割成多个部分（称为“流水级”），每个流水级部署在一个或多个GPU上，数据在GPU之间按流水线方式流动。需要对流水线的操作进行调度,

确保数据在各流水级间顺畅流动。因为数据依赖关系,

设备计算会出现空闲(idle),

称为流水线气泡(bubble),

影响整体硬件利用效率。一、研究背景:

并行训练基本方法HuangY,ChengY,BapnaA,etal.Gpipe:Efficienttrainingofgiantneuralnetworksusingpipelineparallelism[J].Advancesinneuralinformationprocessingsystems,2019,

32.并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,

模型并行,

混合并行等基本形式混合并行

(hybird

parallelism)

是指结合模型结构特点或智能计算系统体系结构特点,

利用多种并行训练方法进行大规模深度学习模型的多维度并行训练混合并行方式下每个设备上只有模型的一部分混合并行将数据切为多份，每份数据需要部分或全部设备进行处理优点可以结合模型并行和数据并行的优点，实现高效的模型训练应对大模型训练的主要方法缺点难以找到性能优异的混合并行策略，使得混合并行的优势无法发挥出来一、研究背景:

并行训练基本方法并行与分布计算全国重点实验室数据中心GPU(A100,H100...)是目前最常见的加速器:从算力性价比(单位价格能获得的算力)的角度,

数据中心GPU有较大的劣势然而仅从算力性价比的角度衡量并行训练的性价比并不准确,

例如A100

PCIe和A100

SXM的算力性价比较为接近,

然而通信带宽差距巨大,

在大模型的并行训练中有较大的性能差距数据中心GPU存在有价无市的问题因此,

研究非数据中心GPU上的大模型并行训练更具重要意义GPU算力的性价比可以使用Ratio

of

theComputationperformanceandCost(RCC)定义,

单位为TFLOPS/$一、研究背景:

大模型训练加速器价格数据来源:

https://vast.ai/pricing并行与分布计算全国重点实验室02研究进展并行与分布计算全国重点实验室围绕非数据中心GPU上的大模型并行训练问题，开展关键技术研究高性价比的大模型训练:大模型并行训练的性价比建模方法高效率的并行训练：通信计算调度:设计多维度通信调度方法,

提高并行训练的通信效率设计通信计算重叠的联合调度方法,

提高并行训练效率显存优化:设计流水线并行的异构内存交换方法,

缓解显存墙问题高可编程性的并行训练：解耦模型设计与并行训练,

加强多维并行训练的可编程性二、研究进展小结并行与分布计算全国重点实验室GPU算力性价比(TFLOPS/$)对比图2.1

高性价比的大模型训练大模型并行训练的性价比建模方法

并行训练下,

训练性价比可以使用单位价格能获得的吞吐量:即单位数据量所需的通讯时间加计算时间乘上硬件价格的倒数计算时间可以简化为单位数据量算力/硬件总算力通信时间需要根据并行训练方法(DP,PP,TP)进行估算从算力性价比角度4090GPU最高,

然而4090无法使用NVLink进行带宽提升,

算力性价比次高的3090可以通过相对便宜的NVLink提高带宽,

据此搭建了3090NVLink集群3090NVLink并行训练环境示意图并行与分布计算全国重点实验室2.1

高性价比的大模型训练大模型并行训练的性价比建模方法在考虑了NVLink价格的基础上,

3090NVLink配置相对于全NVLink相连的A100-SXM配置及4090配置在大模型训练中的性价比有明显优势该集群的建立仅供思路参考,3090仍有着内存不足(24G)等问题分析方法可以适用于更多种类硬件,

同期工作也有在3080GPU上进行大模型训练的尝试3090-NVLink的硬件价格估算方法 并行训练性价比对比LaiZ,LiuY,WangW,etal.RethinkingtheDistributedDNNTrainingClusterDesignfromtheCost-effectivenessView[C]//2023IEEEHPCCTang,Zhenheng,etal."Fusionai:Decentralizedtraininganddeployingllmswithmassiveconsumer-levelgpus."arXivpreprintarXiv:2309.01172(2023).并行与分布计算全国重点实验室异步流水线并行数据并行的混合并行训练中通信操作复杂通信调度方法不适用于稀疏通信2.2

高效率的并行训练通信计算调度:

TriRace--面向混合并行训练的多维度通讯调度方法非数据中心GPU情况下,

通常通信带宽受限较为明显通信调度技术是常见的降低通信开销的方法,

然而混合并行训练的通信操作复杂,

带来两个训练效率问题:通信操作多样,

包括数据并行的AllReduce和流水线并行的P2P通信稀疏矩阵的通信开销大，对通信调度带来较大性能挑战并行与分布计算全国重点实验室稀疏通信调度方法P2P通信调度方法AllReduce通信调度方法2.2

高效率的并行训练通信计算调度:

TriRace--面向混合并行训练的多维度通讯调度方法针对数据并行的AllReduce通信,

根据异步流水线并行的参数更新方法,

最大化重叠计算操作针对流水线并行的P2P通信,

将双向通信解耦为两个单向通信,

尽可能减少关键路径上的通信数量使用稀疏通信降低embedding的通信开销,

并将以embedding各行为单位进行细粒度调度并行与分布计算全国重点实验室LiS,LuK,LaiZ,etal.AMultidimensionalCommunicationSchedulingMethodforHybridParallelDNNTraining[J].IEEETransactionsonParallelandDistributedSystems,

2024.2.2

高效率的并行训练通信计算调度:

TriRace--面向混合并行训练的多维度通讯调度方法相比Pipedream-2BW、Fold3D等多个训练方法，能够取得至多1.45倍的训练计算加速并行与分布计算全国重点实验室通信计算调度:

Oases--面向张量并行的自动通信计算重叠方法Transformer模型的Hidden

Size高速增长,

张量并行成为大规模预训练模型的必需技术; 但是张量并行通信开销大,

影响训练效率模型名发布年份模型大小LayersHiddenSizeGPT-3/OPT2020/2022175B9612288MT-NLG2021530B10520480PaLM2022540B11818432BLOOM2022176B7014336LLaMA202365B808192Falcon202340B60819259.2%64.7%张量并行通信在带宽受限的情况下训练中占比较高Transformer预训练模型的Hidden

Size较大2.2

高效率的并行训练并行与分布计算全国重点实验室通信计算调度:

Oases--面向张量并行的自动通信计算重叠方法当前主流的张量并行通信计算重叠方法为将矩阵乘法和其通信分解为多个操作设计细粒度的通信计算调度方法,

将数据在batch维度切分为互不依赖的两个子数据,

他们的通信计算可以互相重叠2.2

高效率的并行训练并行与分布计算全国重点实验室通信计算调度:

Oases--面向张量并行的自动通信计算重叠方法在显存受限的场景下,

使用重计算计算技术非常必要设计去除通信冗余的重计算调度方法,

应用重计算时,

将通信结果作为重计算子图的输出可以在反向过程中减少通信开销2.2

高效率的并行训练重计算结束的位置为通信后时,

可以省去该通信并行与分布计算全国重点实验室通信计算调度:

Oases--面向张量并行的自动通信计算重叠方法Oases可以显著加速张量并行训练,

相较Megatron-LM,

Alpa,矩阵乘法内重叠(Wang)等方法,

可以取得至多1.95倍加速2.2

高效率的并行训练LiS,LaiZ,HaoY,etal.AutomatedTensorModelParallelismwithOverlappedCommunicationforEfficientFoundationModelTraining[J].arXivpreprintarXiv:2305.16121,

2023.GB///T71LiiiS,,,L7 aiiiZ,,,4 HaoY,,,etttalll...AutttomatttedTensorrrModelllParrrallllllellliiismw

iiittthOverrrlllappedCommun

iiicatttiiionffforrrEffffffiiiciiientttFoundatttiiionModelllTrrraiiiniiing[[[J]]]...arrrXiiivprrreprrriiintttarrrXiiiv:::2305...16121,,,2023...并行与分布计算全国重点实验室显存优化:

Mbapp--面向商品级GPU的流水线并行异构内存交换方法流水线并行通信量降低,

适用于在商品级GPU上训练大模型商品级GPU如3090的显存容量较小,

大模型的训练要求显存优化技术(e.g.,

显存交换,

swap)流水线并行的算法特点,

导致流水级(设备)之间的显存分布不均衡流水线并行适合通信资源贫乏的商品级深度学习服务器流水线并行的显存消耗不均衡2.2

高效率的并行训练并行与分布计算全国重点实验室显存优化:

Mbapp--面向商品级GPU的流水线并行异构内存交换方法GPU-GPU

swap方法:

将内存负载较重GPU的数据缓存到内存负载较轻GPU的空闲内存中，减少GPU-CPU交换操作,

提高GPU内存利用率混合GPU-CPU

swap方法:

对于内存负载较重的GPU，将张量分块,部分数据块从本GPU卸载到CPU内存中，其余数据块经相邻GPU再卸载到CPU内存中,

传输操作流水化，减少传输开销NVLinkQPINVLink混合GPU-CPU交换PCIePCIeGPUGPU工作窗口P2P交换缓存窗口Mbapp工作流程2.2

高效率的并行训练并行与分布计算全国重点实验室显存优化:

Mbapp--面向商品级GPU的流水线并行异构内存交换方法相较于内存交换方法torch-offload,训练吞吐量可以提高3.04倍至4.59倍相较于流水线并行训练方法，Mbapp能够在部分流水级显存开销超出GPU容量时支持模型训练Mbapp可以使各流水级(工作设备)的显存消耗更加均衡2.2

高效率的并行训练并行与分布计算全国重点实验室Merak--实现模型设计与并行训练的解耦现有并行框架超大规模模型设计与并行训练绑定，大规模并行计算可编程性差语言模型开源社区活跃,

多样的模型定义方式给并行训练应用带来较大挑战框架名称开源数据并行流水并行张量并行微软DeepSpeed是是否否英伟达Megatron-LM是是否否微软Varuna是是是否亚马逊SageMaker否是是否Merak是是是是并行训练框架中自动应用并行训练技术的情况2.3

高可编程性的并行训练并行与分布计算全国重点实验室Merak--实现模型设计与并行训练的解耦2.3

高可编程性的并行训练单机脚本的计算图定义方式繁多,

分布式技术应用困难提出基于符号算子定义计算图:符号算子不进行参数初始化,

可以使用torch.fx,

快速获得完整模型计算图提出一个计算图划分算法,

将模型计算图编译成数个可以序列运行的子图:分析图节点的依赖关系,

找到通信量较小的边作为子图划分的边界考虑模型训练中常量可以在子图间传递,子图划分更加准确子图分配至工作设备后,

进行参数初始化,进行成为分布式计算图(3D并行模组)AutomaticModel

PartitionerDP③3DParallel

ModuleTMPPMPTMPPMP①Tracing

withproxied

graph②Sharded

subgraphsequence模型划分编译的工作流程并行与分布计算全国重点实验室Merak--实现模型设计与并行训练的解耦API接口简明易用,

在单机训练脚本的基础上,

仅需增加几行代码即可实现数据-流水线-张量并行混合的3D并行训练2.3

高可编程性的并行训练/HPDL-Group/MerakLaiZ,LiS,TangX,etal.Merak:Anefficientdistributeddnntrainingframeworkwithautomated3dparallelismforgiantfoundationmodels[J].IEEETransactionsonParallelandDistributedSystems,2023,34(5):

1466-1478.并行与分布计算全国重点实验室03总结与展望并行与分布计算全国重点实验室围绕非数据中心GPU上的大模型并行训练问题，可以总结为提高大模型的accessbility,让更多研究者更便宜更快更方便地进行大模型训练高性价比的大模型训练高效率的并行训练高可编程性的并行训练三、研究总结Affordable,

更多人能训Efficient,

训的更快User-friendly,

用起来更方便并行与分布计算全国重点实验室大模型的持续迭代对大规模异构并行计算效率提出更高要求针对更多应用特点的大规模分布式训练技术如何整合及通用化深度学习编译器是提高并行训练可编程性的重要技术方向通信带宽进步落后于需求,

通信优化是提高并行训练效率的重要方向大规模分布式训练技术需要更大规模更真实场景的测试与验证三、研究展望并行与分布计算全国重点实验室谢 谢敬请批评指正！博士研究生

李笙维

国防科技大学计算机学

swli@DataFunSummit#

2024.cnPS:实验室长期招收有志于MLSys相关的硕士博士研究生~更多研究详见导师主页:/pid/143/4279.html并行与分布计算全国重点实验室设想:

并行训练框架自顶向下可分为6层ComputationoperatorDevice-specific

operatorComputation

scheduleDistributedruntime

engineCommunication

schedule Memory

managementPyTorch TensorFlow...tf.graph......Train

simulator...Device

assignAPIJAXPaddlePaddleAccessmodelIRtorch.fx jax_to_hlo

...AccesstrainresourceGPU

NPU

FPGATrainingresource

abstractionCommunicationlibraryMPI

gRPC

NCCLIntermediaterepresentationIR

convert IR

structured Device

topo ProfilingParallelstrategygenerationCost

model IR

compiler训练框架API层任务资源获取层任务资源抽象层并行策略制订层分布式计算引擎层计算通信实现层大规模并行训练框架设想并行与分布计算全国重点实验室Merak并行训练框架目前基于PyTorch框架设计,

带来了并行策略制订困难的问题,

所以使用M