大数据离线计算平台流式Shuffle服务

1、百度大数据离线计算平台流式Shuffle服务目录背景架构关键技术收益与总结下一步计划背景-百度私有云FPGAGPU整机柜Machine Management环境 初始化机器故障 自动化机器 自动流转Container仲裁器StateManagement调度算法队列/优先级资源位移MetaServerNameSpaceStateCenterIterativeRealTimeBatchNFSTableOjbect搜索金融糯米AI开放云ADU服 务 托 管研 发 效 率 相 关 工 具预 算交 付 管 理结 算高精硬件集群/机器管理集群操作系统-Matrix统一资源调度-Normandy分布式文件系

2、统-AFS分布式计算分布式存储产品生态背景-百度大数据计算平台C+PythonJavaSimplified Unified APITMDStreamDCE(MR/DAG)MPI/ELFSparkNormandyMatrixIDC计算引擎资源调度资源管理机器资源API层20142007百度DAG引擎上线20062004MapReduce论文发表Hadoop开源百度MR上线基于Hadoop 0.15.12011百度MR单集群规模 超过5000台2013百度MR单集群规模13000台2015内存流式Shuffle上线2014百度统一计算表 示层发布背景-百度大数据离线计算平台发展历程背景-DAG引擎

3、背景-一般的Shuffle模式MapperMapperReducerMapperReducer目录背景架构关键技术收益与总结下一步计划架构架构 JobMasterMap WorkerMap WorkerMap Worker ShuffleMasterShufflerShufflerShuffler Reduce WorkerReduce WorkerReduce Worker HDFS7. map push to shufflerHDFSHDFS1. create shuffle sessionControl messageData Flow架构-基本概念ShuffleMasterShuffl

4、er(Shuffle Worker)WriterReaderSessionShard目录背景架构关键技术收益与总结下一步计划关键技术-ShuffleMaster智能调度全局视图异常检测负载均衡负载均衡ShufflerShardSessionManagerJobMasterRpcServerCreateSession DeleteSessionShufflerWriterShufflerShufflerWriterWriterHeartBeatSessionUpdatespushShuffleWorkerInfopushSessionUpdateDataPusherRpcClientAssgnI

5、nfoAssgnInfoAssgnInfoAssgnInfoAssgnInfoAssgnInfoAssgnInfoAssgnInfoSession AShard0Shard1Shard2Shard3Shard4Shard5writer决定 primary 和 backup 的切换HeartBeatpushMapperInfoDataCollectorRpcServerWriter上报ShufflerExceptionShuffler上报负载情况增量更新MapperInfoMapperIDAddressSessonIDUpdateInfoShuffle Worker InfoSWIDAddres

6、sStatusLoadAssignment InfoAssginIdShardIDSWIDPrimarySession InfoShuffle Master关键技术-Writer数据缓存与异步发送异常处理MapProcessWriterSession ASession BWriterBufferDataSenderShuffler分配信息Shuffler分配信息WriterBufferDataSenderSession更新ShuffleMasterShufflersK VrpcK Vrpcrpc状态汇报Shuffler状态关键技术-Writer异常处理wriRPC回调返回Successter发

7、送buffer发送RPC给某个 ShufflerShuffler挂了超时也没有回调重试其他Shuffler所有RPC不再尝试此Shuffler 此Buffer重试其他Shuffler返回给Writer数据发送成功Cancle此Buffer对其他Shuffler的RPCShuffer太忙此Buffer的发送暂时回避这个ShufflerBusy关键技术-Shuffler内存聚合流控Sort&FlushShuffler相同Partition的数据交给一个active Sorter每个Sorter限制一定的内存大小，满内存后交给排序线程Sorter等待过长时间后，也交给排序线程所有Sorter使用内存

8、不超过阈值Rpc with dataRpc with dataRpc with dataRpc with ackSortflushandackSessionHandlerShardHandlerSH.SHSorter.SorterSorterSessionHandlerShardHandlerSH.SHSorterSorterRpc with ackSortflushandackSortflushandackN个排序线程，排序之后写入DFS，并Ack相应数据块待排序的Sorter个数多于排序线程数时，部分Sorter等待RPC ServerCreateSession DeleteSession

9、WritersShuffleMaster关键技术-Reader所有Map完成后，调度Reduce直接读取DFS排好序的数据去重&数据验证多路归并排序关键技术-Map PipelineMap端Writer，要等Shuffler将数据持久化到DFS后，才能将发 送的rpc buffer释放所有发送的数据被Shuffler持久化后，Map才能安全退出MapperMapperMapperWaitingFor FlushMapper关键技术-MIMO无MIMO时：Vetex3和vertex4 收到vertex2的全 部两路数据再做filter。此业务作业多shuffle近10T 数据关键技术-MIMO方

10、案不同边可对应不同 session不同session对应不同的dfs结果目录vertex0vertex1vertex3vertex2broadcastmimonormal shufflebroadcast关键技术-Runtime PartitionSplit1Split2Split3Task1Task2Task3ShuffleAppMa sterSplit1Split2Split3Task1ShuffleAppMa ster目录背景架构关键技术收益与总结下一步计划收益与总结收益流式shuffle：减少旧shuffle mapmerge、reduce pull时间消耗内存Push：map端不落盘

11、Shuffler内存聚合：聚合度高，减少 map端seek，减少reduce端merge路 数，减少IOPipeline：大大提高中小作业map端 运行速度中间数据持久化：避免重算（对dag 作业尤为重要）收益与总结流式Shuffle服务push instead of pullShuffle过程交给能拿到更多全局信息、更专业的shuffler来做Map、Shuffler、Reduce，每个都做自己最适合做且擅长做的事情Shuffle与Reduce解耦，简化Reduce，也为解决分桶不均问题提供可能Pipeline。无缝的流线，减少无谓的等待问题更多的网络io（万兆网卡，网络不是瓶颈）Shuffler资源共享，作业间可能互相影响（让Shuffler资源非瓶颈）