




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、阿里大数据算法平台架构On MaxCompute目 录1阿里云大数据计算服务2算法平台架构3算法应用MaxCompute-阿里巴巴大数据基础服务存:数据大集中,存入 MaxCompute通:统规范,打通各个业务部门用:推动数据开放和交换,促发展,养生态其它领域1688.c o m支 付 宝小保基淘夭 贷险金宝猫蚂蚁金服聚Ali ba划ba.算co m数字尚娱德 乐友 盟Ali ex菜鸟物pres流s 电子商务物流阿里云大数据计算服务医 疗UC一个大型的内部生态系统阿里集团99.9%的数据分析与算法 跑在大数据计算服务上面 数千 个大数据应用 上万 名开发者 数万 台规模的超大集群 EB 级数据
2、规模 百万 张表应用场景:个性化推荐|风险控制|全集团统的数据仓库BI机器深度学习学习MaxCompute-All in One BoxSQLTensor- FlowBI 报表智能推荐文本识别图像识别RESTful API/SDK/Web IDE/PAI MRMPIPluto语音识别MaxCompute-Data Store & Task Plugin EngineAliCloud OS(飞夭)Cluster -110000 X86 ServersCluster -210000 X86 ServersCluster -N10000 X86 Servers多租户女全 审计配置 监控运维 部署目
3、录1阿里云大数据计算服务2算法平台架构3算法应用平台架构设计算法开发者算法使用者Project-资源隔离的基础Project2Project3Project 1存储 计算 Project4用户 女全策略任务Project是最基本的资源隔离单位多project可以共享个集群资源Project类似千Oracle的schema,或MySQL的database数据、用户、任务等都隶属千个project各Project之间授权后数据可以互相 访问计量、Quota限制以project为单位数据格式结构化MaxCompute 表数据是无序的特征表达有限KV表Map表SQL select支持斗结构化OSS上的
4、文件Cfile图像视频分布式文件系统数据接口分层抽象方便水平扩展对接不同环境数据有序接口实现兼容性MPI 算法架构设计平台与算法解耦MPI 计算框架与算法分离MPI 算法开发本地开发、调试线下、线上无缝集成Pluto-Caffe 并行化Why OpenMPI?显存直读、IB网络通信,GPU多机训练首选架构TensorFlow On MaxComputePython SDKMaxCompute ServiceTFTask计 算集分 布 式 调 度分 布 式 存 储TFTaskTFTaskimport odpsutilimport tensorflow as tfwith tf.device(“/
5、jobs:ps/task:0/cpu:0”): a=tf.constant() b=tf.constant()with tf.device(“job:worker/task:0/gpu:0”): c=tf.matul(a,b)config=tf.ConfigProto()with tf.train.odpsClusterManager() as trainer群:print “running”异构(CPU/GPU)计算调度ENDBEGINSQL(C)MR(C)CNN(G)RNN(G)Job DAG 中允许不同Action类型节点扩展Job XML,基千 tag 确定运行集群机器学习-PAI开发
6、流程数据预处理数据特征工程机器学习模型训练模型评估离线/在线服务学习目 录1阿里云大数据计算服务2算法平台架构3算法应用基千MPI算法的推荐应用OCR-证件识别左上:身份证 左下:驾驶证 中上:营业执照 右上:门店右下:英文图像标注从图像中检测识别物品、人、场景、事件,并打上标签利用网络上的大量公开图片自动学习,能适应自定义的标签列表图像搜索-同款商品推荐图像车辆识别轿车:粤A834M1(蓝牌)小巴:粤AF7945(黄牌)轿车:粤A0928警(白牌)中巴:粤AN2197(黄牌)货车:粤A967W0(蓝牌)大巴:粤AJ9075(黄牌)视频广告植入自动植入式广告,不影晌观看体验,不停顿、无打扰;可根据视频场景和观众喜好植入定制化广告内容;阿里云人工智能 PK 第50界世界速记大赛亚
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年初中生涯规划与发展教育考试卷及答案
- 2025届黑龙江省哈尔滨市香坊区七年级英语第二学期期中监测模拟试题含答案
- 临床常用护理服务规范
- 中医内科中风诊疗与防治
- 2025年临沧机动车驾驶教练员从业资格证
- 2025年黄石教练员考试试题及答案
- 2025年达州教练员从业资格证模拟考试题
- 2025年来宾危运驾驶员考试题
- 2025年南宁货运从业资格证模拟试题题库及答案解析
- 2025年山西省吕梁汾阳市八年级英语第二学期期中质量检测模拟试题含答案
- 债权登记申报表
- 2022年医学专题-肝内胆管结石详解
- 涉密表格台账
- 明阳风机培训课件
- 委外加工流程
- 住院医嘱审核登记表-9月上
- Q∕SY 05010-2016 油气管道安全目视化管理规范
- 蓝海华腾变频器说明书
- 中国海洋大学论文封面模板
- 遵义会议-(演示)(课堂PPT)
- 订单(英文范本)PurchaseOrder
评论
0/150
提交评论