专21-4-DTCC2016演讲ppt-byj-机器学习系统实践-公开版

Ò背景介绍Ò浅层模型时代Ò深度学习时代京东商品挖掘商品召回京东广告和商品推荐业务系统排序优选广告召回京准通广告平台机器学习系统京东商品挖掘商品召回京东广告和商品推荐业务系统排序优选广告召回京准通广告平台机器学习系统背景介绍|我们的业务媒体流量主站搜索主站搜索页主站列表页京东移动端展示包段媒体ADX流量SEM流量背景介绍|问题Ò主要解决的问题+机器学习在排序算法中的应用+特点：Ò背景介绍Ò浅层模型时代Ò深度学习时代浅层模型时代|机器学习系统核⼼问题Ò模型算法Ò训练系统Ò特征系统Ò评估系统Ò浅层模型算法：+核⼼优化⽅向:特征*Fm/ffm*gbdt+lrÒFm/ffmÒ特征系统主要问题：+线上线下特征⼀致性PredictorPredictorModelinstanceinstanceTrainingSystemOfflineFeatureExtraction?PredictorPredictorModelinstanceinstanceTrainingSystemOfflineFeatureExtraction?ApplicationServerOnliineOnliineFeatureExtraCtiOnlOggingRanking…RawRawLogPredictorPredictorModelinstanceExtractionLibraryFeatureinstanceTrainingSystemOfflineFeatureExtractionPredictorPredictorModelinstanceExtractionLibraryFeatureinstanceTrainingSystemOfflineFeatureExtractionApplicationServerOOnliineFeatureExtraCtiOnlOggingRanking…RawRawLog?PredictorPredictorModelinstanceInstanceLogTrainingSystemPredictorPredictorModelinstanceInstanceLogTrainingSystemApplicationServerOnliineOnliineFeatureExtraCtiOnlOggingRanking…RawRawLog+特征系统架构演变小结Ð特征=数据源+抽取算法Ð第⼀版是自然的选择Ð第⼆版是策略效率为先的选择Ð第三版是保证策略收益的选择Ò评估指标Ò评估系统的主要问题：Ò在线旁路评估系统kafakastormflumePredictorProxy展现/点击/下单日志ZooKeeperPredictorClusterSystempredictor…predictorkafakastormflumePredictorProxy展现/点击/下单日志ZooKeeperPredictorClusterSystempredictor…predictorOnlineEvaluationSystemTraningDataOnlineEvaluationSystemMetricscomputationMMetricscomputationMetricsStorage广告推荐应用服务广告推荐应用服务requestrequestroutingÒ收益升级问题Ò在线实时服务模型中的评估穿越问题Ð推荐中的新兴趣点Ð⼴告中的新⼴告穿越Time不穿越Time训练数据评估数据Ð好处：*特征和算法升级麻烦Ò业务目标：⼴告收⼊(year2014)费Ò背景介绍Ò浅层模型时代Ò深度学习时代Ò为什么引⼊深度学习？+非线性模型*⼈⼯特征组合,⾼维线性模型建模非线性*GBDT+LR,depth3+优化⽅式算法驱动+现有算法系统以及效果如何平滑过渡+离散特征如何建模*每⼀个样本都是⼏亿维+问题：-1C-1C1V11C2V12C3V31C4V41向量化Ò稀疏样本转稠密表示+每⼀个特征类是输⼊的⼀维+离散特征值映射到连续值训练样本001100……100转稠密向量--10.10.02-0.310.29 training training+= training+=+问题：01100100nnections01100100nnectionsN*1dimsmillion级别embeddinembeddingnnectionsnnectionsN*1dimsN*1dims001100……100embedding…………支持billion级别poolingkdims,k<<NFullConnect