谷歌深度学习在Kubernetes上的实践

谷歌深度学习框架Tensorflow在Kubernetes上的实践郑泽宇才云科技首席科学家zeyu@caicloud.io12郑泽宇才云科技caicloud.io3郑泽宇才云科技caicloud.io4郑泽宇才云科技caicloud.io深度学习5郑泽宇才云科技caicloud.io目录提纲深度学习简介Tensorflow简介Tensorflow+Kubernetes6郑泽宇才云科技caicloud.io目录提纲深度学习简介Tensorflow简介Tensorflow+Kubernetes7郑泽宇才云科技caicloud.io深度学习的动机写规则如果对手有两个连在一起的就堵上第三个如果自己有两个连在一起的就脸上第三个-

…8郑泽宇才云科技caicloud.io搜索深度学习的动机9郑泽宇才云科技caicloud.io深度学习的动机10郑泽宇才云科技caicloud.io深度学习的动机11郑泽宇才云科技caicloud.io深度学习的动机12郑泽宇才云科技caicloud.io人类学习13郑泽宇才云科技caicloud.io

通用学习模型假设14郑泽宇才云科技caicloud.ioBrainPortproject——通过舌头“看”世界通用学习模型假设15郑泽宇才云科技caicloud.io深度学习简介ImageNet通过图片去描述概念100,000+概念平均每个概念有1000张图片每张图片都是人工标注的深度学习——图像处理16郑泽宇才云科技caicloud.io深度学习——图像处理17郑泽宇才云科技caicloud.io深度学习——图像处理18郑泽宇才云科技caicloud.io深度学习——图像处理深度学习之前深度学习之后19郑泽宇才云科技caicloud.io深度学习——图像处理应用谷歌地图定位具体地址/识别门牌号20郑泽宇才云科技caicloud.io深度学习——图像处理应用无人驾驶车21郑泽宇才云科技caicloud.io深度学习的优势深度学习——自然语言处理

22郑泽宇才云科技caicloud.io对语义建模知识图库（WordNet）人工定义近义词耗时长，代价大，灵活性差深度学习Embedding深度学习——自然语言处理应用机器同声传译23郑泽宇才云科技caicloud.io深度学习——自然语言处理应用情感分析品牌建设股市分析24郑泽宇才云科技caicloud.io……深度学习——自然语言处理应用25郑泽宇才云科技caicloud.io句子级别：80%->85.4%短语级别：71%->80.7%人脑的神经网络神经网络模型26郑泽宇才云科技caicloud.io神经网络模型神经网络模型27郑泽宇才云科技caicloud.io神经网络模型神经网络模型28郑泽宇才云科技caicloud.io神经网络模型神经网络模型012345678901000000001图像识别情感分类0129目录提纲深度学习简介Tensorflow简介Tensorflow+Kubernetes30郑泽宇才云科技caicloud.io编译镜像Google官方提供Tensorflow的基础镜像运行TensorBoard运行文件服务器方便文件传输拷贝demo（optional）运行镜像深度学习的优势RunTensorflowonDockerTensorboard端口文件服务器端口31郑泽宇才云科技caicloud.ioJupyter编辑器端口深度学习的优势TensorflowHelloWorlddemo通过Sessions维护上下文，所有执行都需要通过Session数据都存储在“tensor”中.变量都存储在

Variables中在运行前所有变量都需要初始化所有结果都需要先运行才能获取32郑泽宇才云科技caicloud.ioMNIST+SKLEARN8:30009/tree#MNIST+TensorBoardhttp://8:30006ImageNet+ServingWord2VecDemo深度学习的优势Tensorboarddemo33郑泽宇才云科技caicloud.io目录提纲深度学习简介Tensorflow简介Tensorflow+Kubernetes34郑泽宇才云科技caicloud.io深度学习的优势没有免费午餐——计算量问题Inception-v3modelforImageNet2500万参数每次inference/forwardprorogate50亿乘法/加法操作35郑泽宇才云科技caicloud.io深度学习的优势没有免费午餐——优化问题神经网络结构复杂，难以直接求解迭代优化算法——梯度下降法需要海量数据以及海量计算单机需要训练达到78%的正确率需要？36郑泽宇才云科技caicloud.io5个月！深度学习的优势没有免费午餐归根结底都是计算量问题！37郑泽宇才云科技caicloud.io深度学习的优势Kubernetestotherescue谷歌内部——BorgGoogleBrain跑在数十万台机器上谷歌电商商品分类深度学习模型跑在1000+台机器上谷歌外部——KubernetesKubernetes为Borg的开源版，是一个容器集群管理系统Tensorflow原生态支持并行化的跑在kubernetes上38郑泽宇才云科技caicloud.io深度学习的优势DistributedTensorflow39郑泽宇才云科技caicloud.io参数服务器计算服务器深度学习的优势TensorflowonKubernetes40郑泽宇才云科技caicloud.io启动cluster启动对每个Server需要指定其他ServerIp每个Server建立一套Service–Replica-ControllerPetSet对于每个Server需要指定是参数服务器还是计算服务器运行Job手工指定不同操作到不同服务器不同服务器计算不同数据Example

code：将任务分配到每个计算服务器参数服务器负责调度学习资源深度学习的优势TensorflowonKubernetes41郑泽宇才云科技caicloud.ioforiin${ALL_WORKER}pythontrain.py\--worker_grpc_url="${WORKER_GRPC_URL}"\