阿里云上深度学习建模实践-阿里巴巴+程孟力

花名:杨熙阿⾥巴巴-计算平台-PAI深度学习应⽤场景个性化推荐沙沙漠湖泊旅⾏视频理解智能对话系统•••优势:效果显著超越传统模型(线性层模型/树模型/SVM模型/…)2.模型效果优化困难4.数据获取困难深度学习应⽤主要的2.模型效果优化困难4.数据获取困难33.⼯程优化复杂怎么搞出来⼀个效果还不错的模型?怎么搞出来⼀个效果还不错的模型?深度模型是⾮线性的:•参数很多•参数敏感•不同场景的数据上差异⼤2.模型效果优化困难4.数据获取困难深度学习应⽤主要的2.模型效果优化困难4.数据获取困难33.⼯程优化复杂怎么搞出来⼀个效果还不错的模型?怎么搞出来⼀个效果还不错的模型?深度模型是⾮线性的:•参数很多•参数敏感•不同场景的数据上差异⼤模型构建:要求:要求:解解决⽅案:标准化训练推理:视频理解EasyRecEasyTransfernFTRLSGD视频理解EasyRecEasyTransfernFTRLSGDrchSQSQL优势:〉场景丰富:图像/视频/推荐/搜索标准化:StandardLibrariesEasyRec:推荐算法库标准化:StandardLibrariesEasyVision:图像视频算法库ClassificationOCRelSSwinEntropyDiceLoss标准化:标准化:Graph-Learn:分布式图算法库功能完备:"GSL/负采样性能优越:"分布式存储"分布式查询CV/NLP解决⽅案:EASEASWebAppcustomerSDKAPIOn-premSystemeKYCSDK/API"多种证件版式"WebAppcustomerSDKAPIOn-premSystemeKYCSDK/API"多种证件版式"准确率领先同类产品eKYCServer•卡证OCR•人脸检测MobileApp•活体检测3eeKYCPAI-ABTestA/B流量划分PAI-EAS–模型推理…推荐请求PAI-ABTestA/B流量划分PAI-EAS–模型推理…推荐请求推荐⽇志训练数据智能推荐解决⽅案:PAI-Rec–推荐引擎vecx2i在线流程召回模型排序模型PAI-召回模型排序模型PAI-Studio–建模平台EasyReEasyRec模型训练评估拉取配置 取数据PAI-REC推荐引擎PAI-REC平台AB实验PAI-REC配置中⼼拉取配置 取数据PAI-REC推荐引擎PAI-REC平台AB实验PAI-REC配置中⼼曝光/状态过滤粗排/精排回序BEHologresFaiss/Milvus向量检索向量引擎监控报警志SLS 智能推荐解决⽅案>PAI-REC推荐引擎BE智能推荐解决⽅案>实时推荐⽅案3.⼯程优化复杂深度学习应⽤主要的挑战3.⼯程优化复杂2.模型效果2.模型效果优化困难44.数据获取困难深度模型是非线性的黑盒:•参数很多•参数敏感•不同场景的数据上差异⼤问题:⿊盒1.参数太多/问题:⿊盒1.参数太多/参数敏感2.候选空间⼤3.场景数据相关解决⽅案:超参搜索效果提升模型理解模型创新〉学习率:1e-3,1e-4,1e-5?NNI模型效果优化:EasyRec超参搜索[{orical"candidates":["16","32","48","64","80"]},{orical"candidates":["16","32","48","64","80"]}]sa1[{orical},{orical"candidates":[0.1,0.2,0.3,0.4]}]40.600.70.模型效果优化:模型效果优化:特征组合+特征选择•Count•CrossCount[2]•Proxytask:GBDT特征选择2.模型效果优化困难4.数据获取困难深度学习应⽤主要的2.模型效果优化困难4.数据获取困难33.⼯程优化复杂怎么搞出来⼀个效果还不错的模型?怎么搞出来⼀个效果还不错的模型?倍怎么优化？深度模型是⾮线性的:•参数很多•参数敏感•不同场景的数据上差异⼤3.⼯程优化⼯程优化:数据并⾏⼯程优化:Blade模型推理⼯程优化:千亿特征优化训练:特征特征准⼊/淘汰理:[FGOP化]AVX/SSE优化2.模型效果优化困难4.数据获取困难深度学习应⽤主要的2.模型效果优化困难4.数据获取困难33.⼯程优化复杂怎么搞出来⼀个效果还不错的模型?怎么搞出来⼀个效果还不错的模型?深度模型是⾮线性的:•参数很多•参数敏感•不同场景的数据上差异⼤4.数据获取困难解决⽅案:解决⽅案:智能标注系统iTags智能抠图智能抠图智能贴合解决⽅案:⾃监督学习推荐模型特征解决⽅案:多模态预训练TGRec- TRKTGRec- TRK 下游任务:型特征解决⽅案:⼩样本学习⼩样本结构化模型•⼀•⼀键部署•多模型•蓝绿部署•弹性扩缩•推理优化在线预测服务(EAS)智能标注•••数⼗个场景化模版即所得分布式训练(DLC)开发者⼯具智能标注•••数⼗个场景化模版即所得分布式训练(DLC)开发者⼯具语⾳标注•数据集管理•主动学习•智能标注itags•多框架兼容•CLI在线服务(EAS)⽣态市场体验中⼼•⾃定义镜像•分布式训练优化•超⼤资源池•推理优化BladeAIService(SaaS)Service(PaaS)机机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe/Alink/…)计算引擎(MaxCompute/EMR/Flink)阿⾥云容器服务(ACK)基础硬件(CPU/GPU/FPGA/NPU)环供促进⽀撑内循环供促进⽀撑内循环的模型结构模型计算⼒强、性价⽐⾼据量⼤⽽全开源⽣态PAIhttpshelpaliyuncom/product/30347.html2.阿⾥灵杰:/org/a-li-ling-jie3.EasyRec:/alibaba/EasyRechelpaliyuncomdocumentdetailhtml5.EasyCV:/alibaba/EasyCV6.Ea