iDataForum__周涛张韶峰-下一代推荐引擎的关键技术及应用案例

1、下一代推荐引擎的关键技术和应用案例周涛，张韶峰北京百分点信息科技电子科技大学互联网科学中心致谢：刘震，张亮，柏林森主要内容n什么是推荐引擎? 推荐 vs. 搜索n当前推荐引擎的问题和挑战n下一代推荐引擎开展方向n百分点科技的推荐技术和应用案例China: A Century of Revolution 推荐引擎 vs. 搜索引擎搜索引擎推荐引擎用户价值找到想要的东西找到喜欢的东西服务方式被动服务，需要用户输入关键词主动服务算法理念排序，强调内容关联排序，强调个性化产品目标众里寻她千百度 灯火阑珊处见或是不见，她就在那里 缘起缘散主要内容n什么是推荐引擎? 推荐 vs. 搜索n当前推荐引擎的问题

2、和挑战n下一代推荐引擎开展方向n百分点科技的推荐技术和应用案例当前推荐引擎的问题和挑战n稀疏性n冷启动n可扩展性n可移植性n鲁棒性n可解释性n多样性主要内容n什么是推荐引擎? 推荐 vs. 搜索n当前推荐引擎的问题和挑战n下一代推荐引擎开展方向n百分点科技的推荐技术和应用案例下一代推荐引擎开展方向n从系统推荐到社会推荐 n从以精确性为中心到综合考虑精确性、多样性和新颖性的评估体系 n从单一数据源到交叉融合数据平台n从高速效劳器到并行处理到云计算n从静态算法到动态增量算法到自适应算法 n从脆弱算法到健壮算法社会推荐-实验数据分析J. Huang, X. Cheng, H.-W. Shen, T.

3、 Zhou, (unpublished)M. Medo, Y.-C. Zhang, T. Zhou, EPL 88 (2021) 38005;G. Cimini, M. Medo, T. Zhou, D. Wei, Y.-C. Zhang, Eur. Phys. J. B 80 (2021) 201;D. Wei, T. Zhou, G. Cimini, P. Wu, W. Liu, Y.-C. Zhang, Physica A 390 (2021) 2117;T. Zhou, M. Medo, G. Cimini, Z.-K. Zhang, Y.-C. Zhang, PLoS ONE (in

4、 press).社会推荐-理论模型研究社会推荐-开放性问题n社会关系带给推荐的附加价值有多少？n推荐带给社会关系的附加价值有多少？n如何设计一个系统能够更好引导社会推荐告诉你现在你看的东西哪些朋友可能会喜欢？综合评价指标-用户偏好变化M.-S. Shang, L. Lu, Y.-C. Zhang, T. Zhou, EPL 90 (2021) 48006.综合评价指标-信息价值VS.Top 1%Top 3%Accuracy * Overall Ranking: AUC, Ranking Score * Top Recommended Objects: Precision, Recall, F-

5、MeasureDiversity * Intra-Similarity: Recommendations to a user are diverse * Inter-Similarity Recommendations to different users are diverseNovelty * Popularity * Self-informationJ. L. Herlocker et al., ACM Trans. Inf. Syst. 22 (2004) 5T. Zhou et al., EPL 81 (2021) 58004T. Zhou et al., NJP 11 (2021)

6、 123008T. Zhou et al., PNAS 107 (2021) 4511 综合评价指标-三个维度综合评价指标-可能的解决方案T. Zhou et al., PNAS 107 (2021) 4511 综合评价指标-实验结果交叉融合推荐 打通垂直电商数据 更精准的个性化推荐 建立推荐效劳平台交叉融合推荐-应用 依据用户的跨网站行为数据，解决某一网站上的冷启动推荐 根据合作网站数据做出更精准的推荐 站内推送用户可能感兴趣的、属于其他合作网站的商品交叉融合推荐-结果交叉融合推荐优势数据源：单一数据集交叉数据平台合作网站数据：无用协助推荐推荐方式：站内站间云计算-理念 在多核时代生存，必须

7、考虑并发问题 不存在解决多核编程问题的银弹 不存在可以简单地将并发编程问题化解掉的工具，开发高性能的并行程序必须要求开发者从根本上改变其编程方法 从某种意义上来说，这不仅仅是要改变50年来顺序程序设计的工艺传统， 而且是要改变数百万年来人类序化思考问题的习惯Herb Sutter云计算-数据挖掘系统自适应算法一个例子T. Zhou, H.A.-T. Kiet, B.-H. Wang, B.-J. Kim, P. Holme, EPL 82 (2021) 28002健壮算法甄别恶意用户Z.-D. Zhao, T. Zhou, Physica A (submitted)健壮算法甄别恶意用户健壮算法

8、基于迭代寻优的信誉系统Y.-B. Zhou, T. Lei, T. Zhou, EPL 94 (2021) 48002. 主要内容n什么是推荐引擎? 推荐 vs. 搜索n当前推荐引擎的问题和挑战n下一代推荐引擎开展方向n百分点科技的推荐技术和应用案例电子商务个性化精准营销平台：站内个性化推荐：流量转化站内浏览者- 购置者个性化商品推荐引擎个性化首页与着陆页个性化邮件：客户保存购置者-重复购置者个性化邮件、短彩信客户效劳个性化客服系统、客户挽留系统百分点科技基于推荐技术的产品百分点已经与近50家电商合作百分点推荐算法简介n基于内容的推荐n内容的“基因和用户的偏好相匹配，需要分析商品的各种内容信息

9、并提取标签如文字、图片、音频、视频等n和其他用户无关n基于用户行为的推荐n群体智慧，综合利用群体用户的行为偏好。如协同过滤、兴趣扩散等算法n用户之间会相互影响，更加符合现实世界中的用户行为多种推荐技术的算法库。包括在推荐领域的最新研究进展实时在线推荐。用户行为在数秒到分钟内即可影响推荐结果快速响应时间。对推荐请求的响应在2毫秒级高并发。单效劳器每秒处理2,000次并发请求分布式架构。可支持大型购物网站隐性获取用户偏好在线获取产品信息，无需手工更新产品库百分点推荐引擎的实现百分点推荐栏展示麦包包推荐栏红孩子推荐栏李宁推荐栏易迅网推荐栏某服装B2C的效果统计报表截屏推荐引擎的效果一览2021年3月

10、效果比较：平均客单价增长率平均客单价增长率平均购买商品种类数平均购买商品种类数(Unique SKU)增长率增长率平均购买件数平均购买件数(Item Number)增长率增长率电商A27.85%59.45%61.27%电商B26.72%25.13%20.53%A：某知名母婴与化装品电商B：某知箱包品牌电商电商B详细增长数字时间时间平均客单价增长率平均客单价增长率平均购买商品种类数增长率平均购买商品种类数增长率平均购买件数增长率平均购买件数增长率12.15-12.3112.31%12.27%13.04%01.01-01.3118.55%11.26%12.34%02.01-02.2323.81%1

11、7.35%17.09%02.17-02.2341.50%19.39%18.50%电商B自身增长趋势：0.00%5.00%10.00%15.00%20.00%25.00%30.00%35.00%40.00%45.00%1234平均客单价增长率平均购买商品种类数(Unique SKU)增长率平均购买件数(Item Number)增长率电商B数字解读电商B在2021-02-17这一周开始推出高端包在2月17日这一周，相对于非推荐产生的客单价，为何推荐产生的客单价如此之高？电商B数字解读出于对个性化推荐的信任，浏览中低端包的顾客更倾向于从个性化推荐栏中购置高端包电商B数字解读出于对个性化推荐的信任，购置中低端包顾客更倾向于从个性化推荐栏中购置高端包电商B数字解读n电商B以前的商品平均价格在150元左右，2月份运营团队决定小规模尝试销售价格接近1000元的高端包。如何才能更有效、更自然地让用户接受高端包？n解读：n使用推荐栏的用户中购置高端包的比例相对全站用户中购置高端包的比例更大n浏览或者购置低端包的用户，更加倾向于从推荐栏中购置高端，说明推荐栏更加让用户信赖n猜测：倾向于使用推荐栏的用户，更加容易成为高端客户？如果这个结论正确，那么这个结论可以指导我们日后对电商B客户进行差异化营销电商B数字解读