用Horovod实现大规模分布式深度学习

用Horovod实现大规模分布式深度学习技术创新，变革未来纲要分布式深度学习原理介绍Horovod使用方法高级功能案例分析：美国橡树岭国家实验室新功能预览深度学习原理回顾分布式深度学习的基本方法模型并行数据并行数据并行原理用参数服务器实现数据并行用Ring-AllReduce实现数据并行参数服务器

Ring-AllReduce优缺点分析优点缺点参数服务器理论容错性强支持异步89:额外网络开销，扩展效率低Ring-AllReduce性能好，大规模训练资源利用率高网络占用率最优容错性差(MPI)Horovod分布式深度学习插件

基于Ring-AllReduce方法

一套插件，支持多种流行架构：TensorFlow，Keras，PyTorch，MxNet

通用环境配置，独立于架构

容易安装和使用

pipinstall

horovod单机程序稍加修改即可实现分布式学习

性能高效

支持MPI，NCCL，RDMA，GPUDirecthorovod.aiHorovod内部架构可扩展效率：90%+Horovod已经在业界被广泛使用纲要分布式深度学习原理介绍

Horovod使用方法高级功能案例分析：美国橡树岭国家实验室新功能预览范例：单机Keras

训练脚本范例:Horovod+Keras分布式训练脚本训练数据分布

1：随机读取训练数据分布：2分块读取使用horovodrun启动分布式训练Horovod使用小结程序引入Horovod，稍作修改，调整学习率训练数据分布化用horovodrun启动分布式训练纲要

分布式深度学习原理介绍

Horovod使用方法

高级功能

案例分析：美国橡树岭国家实验室

新功能预览ApacheSpark集成把训练代码写成一个函数用Spark启动分布式训练优点：计算资源由Spark调度，适用于与大数据仓库集成，Spark数据预处理和深度学习在同一个脚本进行其他高级功能纲要

分布式深度学习原理介绍Horovod使用方法

高级功能

案例分析：美国橡树岭国家实验室

新功能预览案例分析：美国橡树岭国家实验室像素级高清气象云图分析"ExascaleDeep

Learning

for

ClimateAnalytics"在全球最快超级计算机Summit上运行Horovod分布式深度学习获得2018年ACM

Gordon

Bell

PrizeM230("%M/26-$N-43$&

OPQRS

!""#%&&*("+6T&FU6E*O=M230("%8MDC&

RVRS

!""#%&&*("+6T&FW0D)!61. 世界上首个突破exaops(每秒100亿亿次运算)的深度学习应用，峰值计算达1.13EF/s,持续计算999.0PF/s2. 4560节点,

27360

VoltaGPU,

90.7%扩展效率用到了的Horovod高级功能：分级化AllReduceTensor融合16位浮点数纲要分布式深度学习原理介绍Horovod使用方法高级功能案例分析：美国橡树岭国家实验室新功能预览TensorFlow2.0支持HorovodEstimateor进一步集成ApacheSpark其他开发中功能

容错性和弹性计算

MPI容错性较差

Horovod将支持FacebookGloo，并增添容错功能

节点故障不会终止训练过程

Horovod学术研究平台(Github

Issue#1157)深度梯度压缩

Deep

Gradient

Compression

(/abs/1712.01887)量化SGD

Quantized

SGD

(/abs/1610.02132)梯度稀疏化Gradient

Block

Sparse

(/ab