阿里大数据算法平台架构

1、阿里大数据算法平台架构On MaxCompute目 录1阿里云大数据计算服务2算法平台架构3算法应用MaxCompute-阿里巴巴大数据基础服务存：数据大集中，存入 MaxCompute通：统规范，打通各个业务部门用：推动数据开放和交换，促发展，养生态其它领域1688.c o m支 付 宝小保基淘夭 贷险金宝猫蚂蚁金服聚Ali ba划ba.算co m数字尚娱德 乐友 盟Ali ex菜鸟物pres流s 电子商务物流阿里云大数据计算服务医 疗UC一个大型的内部生态系统阿里集团99.9%的数据分析与算法 跑在大数据计算服务上面 数千 个大数据应用 上万 名开发者 数万 台规模的超大集群 EB 级数据

2、规模 百万 张表应用场景：个性化推荐|风险控制|全集团统的数据仓库BI机器深度学习学习MaxCompute-All in One BoxSQLTensor- FlowBI 报表智能推荐文本识别图像识别RESTful API/SDK/Web IDE/PAI MRMPIPluto语音识别MaxCompute-Data Store & Task Plugin EngineAliCloud OS(飞夭）Cluster -110000 X86 ServersCluster -210000 X86 ServersCluster -N10000 X86 Servers多租户女全 审计配置 监控运维 部署目

3、录1阿里云大数据计算服务2算法平台架构3算法应用平台架构设计算法开发者算法使用者Project-资源隔离的基础Project2Project3Project 1存储 计算 Project4用户 女全策略任务Project是最基本的资源隔离单位多project可以共享个集群资源Project类似千Oracle的schema，或MySQL的database数据、用户、任务等都隶属千个project各Project之间授权后数据可以互相 访问计量、Quota限制以project为单位数据格式结构化MaxCompute 表数据是无序的特征表达有限KV表Map表SQL select支持斗结构化OSS上的

4、文件Cfile图像视频分布式文件系统数据接口分层抽象方便水平扩展对接不同环境数据有序接口实现兼容性MPI 算法架构设计平台与算法解耦MPI 计算框架与算法分离MPI 算法开发本地开发、调试线下、线上无缝集成Pluto-Caffe 并行化Why OpenMPI?显存直读、IB网络通信，GPU多机训练首选架构TensorFlow On MaxComputePython SDKMaxCompute ServiceTFTask计 算集分 布 式 调 度分 布 式 存 储TFTaskTFTaskimport odpsutilimport tensorflow as tfwith tf.device(“/

5、jobs:ps/task:0/cpu:0”): a=tf.constant() b=tf.constant()with tf.device(“job:worker/task:0/gpu:0”): c=tf.matul(a,b)config=tf.ConfigProto()with tf.train.odpsClusterManager() as trainer群:print “running”异构(CPU/GPU)计算调度ENDBEGINSQL(C)MR(C)CNN(G)RNN(G)Job DAG 中允许不同Action类型节点扩展Job XML，基千 tag 确定运行集群机器学习-PAI开发

6、流程数据预处理数据特征工程机器学习模型训练模型评估离线/在线服务学习目 录1阿里云大数据计算服务2算法平台架构3算法应用基千MPI算法的推荐应用OCR-证件识别左上：身份证 左下：驾驶证 中上：营业执照 右上：门店右下：英文图像标注从图像中检测识别物品、人、场景、事件，并打上标签利用网络上的大量公开图片自动学习，能适应自定义的标签列表图像搜索-同款商品推荐图像车辆识别轿车：粤A834M1(蓝牌)小巴：粤AF7945(黄牌)轿车：粤A0928警(白牌)中巴：粤AN2197(黄牌)货车：粤A967W0(蓝牌)大巴：粤AJ9075(黄牌)视频广告植入自动植入式广告，不影晌观看体验，不停顿、无打扰；可根据视频场景和观众喜好植入定制化广告内容；阿里云人工智能 PK 第50界世界速记大赛亚