2025容应对数据驱动的AI带来的IO挑战

Alluxio ScalingLaw：大语言模型（LLM）训练的性能受到训练过程中不断增长的token数量、模型检查点(checkpoint\h\h\h\h源u u \h2 f LLM训练需要大量数据（数十亿至15万亿token）\hu ? L n \h/ 5\h\h大模型的规模从7B到1T *图:训练作业故面向AIAI/MLAlluxioAI/MLAlluxioDevOps能 本 混合 跨 AlluxioAI持100持1002-8x 在机器学习工作流中部署 ，GPU利用率保持90% ML/AIGPUIO编程接口：POSIX数据格式：结构化（Parquet）和非结构化（音频、图片、视频、文本写入：快速Checkpointing（顺序写

基于一致性哈希选择 AlluxioWorker

AlluxioWorker

AlluxioWorkerObject

Alluxio

AWSus-east- Alluxio可被视为是一个逻辑文件系统Alluxio

Alluxioalluxio://ip:port/Data/Sales<-> 数据通道grpc->原生数据通道grpc->原生30解决高达150倍的读放大非结构化文件的并行读性能提升高达9倍结构化文件的随机读性能提升215 使用一致性哈希在workerI/ORPCmaster将master节点从关键路径移除：不再需要

高性能workerGB/sAlluxio3.xvsAlluxio-最新3.xAlluxio2.xAlluxioAlluxio

Alluxio Alluxio

底层存储

AlluxioAlluxio

AlluxioAlluxio

底层存储底层存储

AlluxioStandby

以以AlluxioFUSE为基础的POSIXAPI接口带来的读吞吐和IOPS性能增强，助力大模型训练中，极速加载Checkpoint和/或训练数据集。例如GPU服务器通过AlluxioFuse客户端可在10s内加载完100GB的Checkpoint，即单客户端的加载吞吐达到10GB/s。 （bs=256kb,32

（bs=256kb,32

（bs=256kb,32在训练任务写checkpoint的过程中，所有参与的GPU都需要等待，造成资源闲置。为此，在训练任务写checkpoint的过程中，所有参与的GPU都需要等待，造成资源闲置。为此，Alluxio通过优化checkpoint写入性能，以内存

Alluxio（V3.2）v.s.Alluxio（V3.1）v.s.AlluxioAlluxioAlluxioAlluxioAlluxioAlluxioAlluxioAlluxioAlluxioAlluxioV3.2：在单节点环境下，当Theads=1时可以达到2GiB/s，当Theads=32时可以达到8GiB/s，3.2版本性能明显优于3.1MLPerfStorageGPU卡 GPU卡AlluxioWorkeri3en.metal*5+Fuse:c6in.metal*Resnet50onUnet3donDDN GPUResnet50onH100Unet3donH100 NVMe存储、RDMAGPUDirectStorageGDS)，正在重I/O。NVMeRDMACPU，GDS(GPUDirectStorageGPUI/O，绕过系统内存，显著加快数据传输RemoteDirectMemory

通过UCX提供进一步的RDMAUnifiedCoitionXSource:/test-Experimental:Faster 实验项目:GPUDirectoverRDMA通过GPUDrectoverRDMA解决了客户端与worker之间的RDMA问题。GPUDirectAlluxioworkerCPU 主要挑 Alluxio应

使用Alluxio

30%+

提升GPUGPU资源利用率不高：30-

主要挑 Alluxio应

使用Alluxio

GPU GPUAlluxio

Alluxio

解绑NAS：使用AlluxioOBS

Alluxio 高性能 对象存 对象存

减少不必要的ETL Trai