微博短视频推荐系统架构

1、微博短视频推荐系统架构技术创新 变革未来微博短视频推荐微博短视频推荐的场景及任务微博短视频推荐原理：漏斗模型微博短视频推荐系统架构数据效果及进一步工作截止2016年4月，微博短视频的业务数据状况68.5%21.7%9.8%扩展消费：推荐深层消费：播放页浅层消费：信息流含上下文的推荐场景导流视频（上下文）推荐视频触发场景信息流播放（浅层消费）播放页播放（深层消费）推荐位播放（扩展消费）点击下拉推荐不含上下文的推荐场景发现页视频流（兴趣流）榜单微博短视频推荐的任务促进视频消费的深度促进视频生产促进视频消费的广度特定场景下提升推荐转换提升推荐对物料的覆盖增加对用户的覆盖推荐场景扩充建立标准，构建视频

2、库促进生产者向优质方向提供视频基础数据用户画像用户关系微博Topic短视频数据及用户行为日志微博短视频推荐原理推荐场景推荐计算召回运营/广告投放预测模型训练候选集挖掘视频对象挖掘候选池召回计算上下文相关与上下文内容相关与上下文发布者相关行为相关协同过滤实时反馈有上下文场景兴趣流榜单上下文相关兴趣相关行为相关热门不同场景选择不同的候选组合召回象限相关多样流行新鲜1243兴趣相关基于关系的兴趣基于消费行为的兴趣长期兴趣 & 短期兴趣人群兴趣热门召回对比：推荐视频流（含上下文的场景）策略候选组合召回象限Base上下文topic相关热门象限2多样 & 新鲜C_01上下文topic相关热门象限3相关 &

3、 新鲜C_02上下文topic相关短期性趣热门象限3多样 & 新鲜C_03上下文topic相关长期兴趣热门象限4多样 & 流行C_04上下文topic相关长期性趣热门象限3多样 & 新鲜C_05上下文topic相关长期兴趣热门象限4多样 & 流行注：以Base策略（线上候选策略）为基准，对比其它候选策略相对Base的效果提升（或下降）召回对比：“发现页”视频流（不含上下文的场景）策略候选组合召回象限Base短期兴趣相关热门象限4多样 & 流行C_01热门短期兴趣相关长期兴趣相关象限1相关 & 流行C_02热门短期兴趣相关长期兴趣相关象限2相关 & 新鲜C_03热门短期兴趣相关长期兴趣相关象限3

4、多样 & 新鲜C_04热门短期兴趣相关长期兴趣相关象限4多样 & 流行注：以Base策略（线上候选策略）为基准，对比其它候选策略相对Base的效果提升（或下降）推荐计算反馈收集隐式反馈过采样 & 欠采样优化目标有效播放率持续消费率计算模型Logistic RegressionFactorization MachineRestricted Boltzmann MachinesDeep Brief NetworksDeep Neural Networks基于DNN的推荐计算用户特征性别、年龄、地域、受教育程度、用户类型、用户级别、活跃度视频特征博文分类、时长、文本信息量、短时播放时长、流量利用率、

5、热度场景特征时间、网络类型微博短视频推荐系统架构Data LayerRetrievalVideo IndexCandidate Index 1Candidate Index 3Candidate MiningModel TrainingData ChannelManagerAll in One APIsFilterPlat APIsRS1Recom ServRS2RS3P1PredictorP2P3Candidate Index 1ApplicationLayerComputationLayerStrategy Rules数据生产加工：数据流水线数据通道对象流RinRin基于关系的兴趣挖掘基于

6、行为的兴趣挖掘Rin内容分析Rin特征提取Rin协同过滤Rin离线存储在线索引日志流流式接入对象流 & 数据流统一数据通道数据清洗面向挖掘业务的数据分发Rin管理数据流Batch & Online静态数据离线挖掘动态数据实时挖掘AB测试机制：可配置的流量切分推荐流场景发现页视频流场景候选策略1+预测模型1候选策略2+预测模型1候选策略2+预测模型3视频推荐流量切分架构中考虑流量切分，Manager 统一管理AB测试仅需要通过规则配置候选策略+预测模型成为最小的考察单元流量切分候选策略预测模型数据效果视频推荐流ROI80%推荐有效播放量 / 导流有效播放量人均播放次数59%推荐有效播放量 / 导流有效播放用户数发现页视频流有效vv95%视频流中的有效播放量有效uv61%在视频流中产生了有效播放的用户数被推荐视频量208%每日被推荐的视频数量推荐播放占比72%推荐有效播放量 / 视