百度大规模推荐系统介绍

1、百度大规模推荐系统介绍目录百度机器学习开放平台历程云端上的BML大规模推荐系统实践20122009平台化2014升级为BML2016百度机器学习 开放平台大规模LR 算法上线百度机器学习开放平台发展平台整体架构Web ConsoleBML Restful APIJob SchedulerJob MonitorVisualizationMatrix + Normandy SchedulerParameter ServerHDFSDataBaseConsole APIIAM / STSRest ServerRequest ParserBOSLR / DNN / CF / K-means / LDA

2、 TrainerLR / DNN / CF / K-means / LDA Trainer LR / DNN / CF / K-means / LDA TrainerNext百度机器学习开放平台历程云端上的BML大规模推荐系统实践云端上的BML/云端上的BML预处理分类算法推荐算法生成数据集聚类算法主题模型神经网络在线学习可视化效果评估云端上的BMLNext百度机器学习开放平台历程云端上的BML大规模推荐系统实践推荐系统必备高效的算法干净的数据完善的系统业务场景菜品推荐新闻推荐搜索推荐ELF (Essential Learning Framework)FS (local, hdfs, bos)

3、FS (local, hdfs, bos)Parameter serverParameter serverParameter serverCompute workerCompute workerCompute worker同步/ 异步多轮迭代coordinatorELF (Essential Learning Framework)简单易用, 编写Async SGD LR仅需要200行代码组件分布式多线程实现, 支持绅粒度的线程控制节点间通信依赖高效的baidu-rpc深度优化hashtable, 专用于Parameter Server协同过滤-基于user的CF路人甲路人乙路人丙物品A物品B物

4、品C相似推荐喜欢协同过滤-基于item的CF路人甲路人丙物品A物品B物品C相似路人乙推荐喜欢协同过滤收集用户偏好找到相似的用户或物品计算推荐 , = , =11+(,)隐式/显式反馈Cosine相似度, = , =欧几里得距离, , (, ,)=( ) , ,协同过滤当item数量很大时，计算量会大到难以计算没有利用到矩阵稀疏的性质协同过滤DataParseParseParseNorm AggregatorDot Aggregator, TopK AggregatorOutputcosi , j=ratingu1i ratingu1j + + ratinguni ratingunj22rati

5、ngu1i+ + ratinguni22ratingu1j+ + ratingunjAlaya推荐基于深度学习的推荐系统支持基于用户和商品的协同过滤可以使用上更多的用户信息并行分布式训练Alaya训练Alaya整体架构Exploration and ExploitationEpsilon-Greedy方法UCB方法ExploreExploitPlanB假设有一个广告资源池，每个广告的收益都服从一个未知的分 布。怎么知道该给每个用户展示哪个广告，从而获得最大的点 击收益？PlanA PlanC先在前K轮每个Plan都执行一次在后面的N轮，选值最大的那个Exploration and ExploitationLinUCBT