推荐系统的实践与思考

推荐系统的实践与思考神策数据算法专家胡士文推荐系统的四要素算法我该选择什么样的算法数据我需要采集哪些数据，并作什么样的加工在线服务如何保证响应性在线服务如何构建指标体系如何构建指标体系；如何指导后续迭代评估标签协同过滤深度学”多少训练数据量合适“”该用多“深”的模型“”需要”多少训练数据量合适“”该用多“深”的模型“”需要GPU吗“””训练数据该用什么格式“”怎么调参呢“”怎么调参呢“”数据该怎么采样”数据该怎么采样“””模型训练太慢了怎么办“…新内容算法新内容冷启动冷启动新新用户新内容冷启动基于深度学习的语义理解模型排序列表推荐结果财经召回排序规则面排序列表推荐结果财经召回排序规则海量海量Item军事游戏体游戏视频视频数据模型推数据——所有算法的根基数据模型推荐算荐算法用户行为用户画像外部数据数据——我们需要哪些数据？用户行为用户画像外部数据物物品信息分析问题训练模型分析问题训练模型验证效验证效果数据一个完整的用于推荐系统的数据采集方案：事件设计用户打通：distinctid内容打通：视频+新闻的类别行为打通曝光日志的常见字段如何采集SDK埋点的优势接入成本低优势容错性高•有成熟的埋点事件和埋点验证方案•SDK有埋点接口和文档指导客户埋点，无需关注上报问题(客户需要梳理埋点，易埋错、少埋、重复埋点)•直接将数据上报，无需通过层层数据传递•数据上报后实时更新模型(如走客户自身埋点和其客户端，数据出现问题，难以回溯埋点问题、传输问题，数据质量维护成本高)构造正负例特征工程从行为数据到训练数据构造正负例特征工程实实时特征(效果)数据采样从行为数据到训练数据构造正负构造正负例数据采样特征工程构造正负例用户画像商品状况价格性别热度点击率收藏比率咨询比率加购比率用户画像商品状况价格性别热度点击率收藏比率咨询比率加购比率商商品画像年龄性别注册时间品类偏好品牌偏好商品状况偏好价格偏好发现两方面的数据异常踩坑分享发现两方面的数据异常效果不符合预期命命中行为模型的用户少很多请求的id未出现在日志中 如何解决…””如何具备高可扩展性“””如何实现不同场景不同时效性“””监控和报警怎么做“””如何实现高维向量查询“高维向量查询Facebook于2017年开源用于大规模的高维向量相似性搜索可支持十亿规模thrift模型服务群(Pythonthrift模型服务群(Python)在线存储(RedisCluster)客客户业务后端在线服务在线服务群(PythonTornado)注:模型服务群与在线存储rediscluster亦使用Nginx进行负载均衡。不同场景不同时效性的支持综合feed推荐最近3天的文章，最近7天的视频历史频道推荐最近30天的文章，最近60天的视频相关文章推荐最近7天的文章相关视频推荐最近30天的视频评估方法多样性稳定性覆盖率多样性稳定性覆盖率转化率漏斗留存分析如何迭代线上服务将算法跟业务结合将算法跟业务结合模型学习、服务和迭代，面临的挑战02030203数数据获取和处理质量深入理解业务场景选深入理解业务场景选择合适的算法方案模型设计模型训练模型迭代实时反馈数据处理数据传输数据建模成成本控制人力成本时间成本丰富的算法建模经验用户数据全端采集实时数据反馈数据处理与建模快速的模型迭代标签体系和用户画像建立神丰富的算法建模经验用户数据全端采集实时数据反馈