腾讯个性化精准推荐平台

1、腾讯个性化精准推荐平台技术创新，引领未来推荐业务介绍精准推荐架构的演进推荐引擎设计与实现总结与未来展望目录推荐业务介绍推荐业务介绍 预测未来 预测每个人的未来 实时预测每个人的未来核心技术挑战：如何在100ms的时间内， 面对8亿活跃用户中的任意一人，预测其在未来下一秒内， 最可能点击10,000个广告主提供的250,000个广告中的哪一个？难点：1、从1万个广告主、25万个广告中挑出最合适的一个。最合适？2、8亿活跃用户， 每个人的结果都是个性化的。为什么？3、100ms内完成，移动端50ms4、效果广告-广点通每天即执行120亿次实时预测请求仅为了这120亿次预测：1、每天仅实时点击预估算

2、法预测的广告数即超过12000亿个2、每天实时接入2PB 、50000亿条数据3、每天流式计算的事件数超过36000亿次4、每天实时数据存储层访问超过5000亿次我们所做的核心特征：离线文件传输批量暴力计算实时匹配查询存在的问题：数据时延高人群聚类粗扩展性差广告投放系统文件传输实时查询引擎分布式计算平台 算法模型+用户画像精准推荐第一代架构广告投放系统实时接入 HINA分布式计算平台 算法模型+用户画像流式计算 S4分布式cache HOLD推荐引擎 TREV1特征：实时数据传输在线实时计算优点：秒级延迟低耦合易扩展精准推荐第二代架构TDBank实 时 采 集TDProcess 流式计算TDE

3、ngine 实时存储引擎Spark 实时建模平台Mariana 深度学习平台TDW业务侧广告投放系统TREV2实时推荐精准推荐第三代架构用户画像用户 画像自然属性 年龄、性别、 学历等社会属性 职业、人生 状态等社交属性 QQ， Qzone，微 信.广告兴趣广告点击.内容兴趣 腾讯网、视 频、音乐、 公众号.设备属性手机品牌、app偏好.用户群体QQ月活8.5EQQ智能终端月活6.42E微信和WeChat月活6.97EQQ空间活跃6.4EQQ空间智能终端月活5.73E用户画像用户基础属性行为兴趣属性核心需求海量数据接入秒级接入延时低成本、高效率、 强安全方便数据管理和使用主要难点数据总量巨大数

4、据源种类繁多数据格式各异数据分布IDC众多特色功能配置驱动多种数据源适配平衡读写支持多种序列化协 议Hippo支持事务TDBank实时接入业务数据源消息文件DB其他Agent（binlog解析/打包/压缩）数据接入中心Bus（协议解析/解压/滤重）数据存储中心Tube/Hippo（消息订阅/推 送）TRCTDW数据分拣中心Sort（协议转换/分拣）HDFSHBaseMySQL数据存储层TDBank业务管理系统元数据管理 业务配置 权限管理 运营操作TDProcess流式处理用户基础属性 行为属性 兴趣标签 关系链项目广告位 广告广告类目所属行业 素材特征上下文地理位 置时间天气 节假日千万级特

5、征向量 千亿级向量空间预测用户A最可能点击广告，如何准备好预测相关数据？对每个广告，实时计算“用户*广告*时间”多个不同维度组合的指标反馈特征点击 曝光 浏览 转发 点赞滑动时间窗1分钟1小时1天7天1个月交叉维度的动态 反馈特征 广点通120亿请求对应的每1条曝光日志， 平均计算50多种交叉特征 仅广点通业务每天实时计算量超过6000亿次 整个集群的计算量超过36000亿次 秒级滑动时间窗，每一秒的数据都在变化TDProcess流式处理核心需求基于消息的流式处理分布式（方便线性扩展，应对数据的爆炸式增 长计算）实时(数据消费计算延时 毫秒级)难点挑战高度容错(分布式系统， 宕机是常态)任务间

6、资源隔离（多任 务并发不相互影响）基于资源消耗自动扩容/ 缩容业界无成熟方案特色功能服务级功能抽象统一的资源管理多种编程接口 核心需求高并发，低延迟高可用性，数据安全关注成本，关注资源利用率线性扩展DataNode A数据块Bucket1Bucket 2DataNode C数据块Bucket1Bucket 3DataNode BBucket 2数据块Bucket 4DataNode D数据块Bucket 4Bucket 3数据迁移数据迁移分布式集群管理扩容管理心跳状态上报数据复制Keeper状态管理DataNode1DataNode2DataNodeN路由管理MS1AC2BA3CD4BD.10

7、24.Client下发路由Write bucket1Read bucket1特色功能支持多副本数据备份，确保数据安全主备机同时提供服务，提升集群资源利用率集群高可用，容灾切换过程中仍然提供读写服务全内存设计，多引擎支持每天支撑5000亿数据访问请求TDEngine存储引擎效果广告推荐的核心技术挑战：如何在100ms的时间内， 面对8亿活跃用户中的任意一人，预测其在 未来下一秒内，最可能点击10,000个广告主提供的250,000个广告中 的哪一个？“8亿用户25万实时变化广告”的相关度计算非常复杂100ms内完成，移动端50ms广点通每天执行120亿次这样的预测TRE推荐引擎挑战效果广告的在线

8、业务流程广告粗选定向条件25w-1w广告精选1w-100广告预测100广告点击预估广告排序排序策略投放策略广告广告主数据用户画像 关系链数据动态反馈特征数 据pctr前端投放页面用户标识(QQ等)，场景(广告位)获取用户画像信息，场景信息广告检索：检索该用户，该场景下可投广告 列表广告索引广告主投放广告，设 定广告定向条件。涉 及年龄，性别，地 域，投放金额等25w广告信息，粗CTR等信息每15分钟内被索引实时更新上下架广告对广告分类 分桶处理保证每类广告召回打分公式计算广告总分根据广告分值取TOP100个广告多样性控制：广告类目多样性 等，控制同一类 广告出现次数等新鲜度控制：对 该用户一天

9、内展 示过几次的不再 展示转化率预估：竞价排名等广告预估：针对每个 广告单独计算用户-广 告点击概率实时更新用 户点击反馈 数据实时更新用户行为数据用户画像基础数据源广告订单基 础数据模型数据15 分钟一致性 更新筛选出符合广告主定向 条件可投的10000个订 单广告初选：尽可能满足多种条件的100个广告20s内将100M模型 更新到整个 集群6000亿/天更量实时点击反馈：一 笔请求经过704次查 询和计算逻辑回归：10次与 广告无关纬度 +100广告 * 10与广告相关纬度用户对100个广告， 每个广告可能的点 击率广告重排:预估后的 广告进行多样性， 新鲜度控制等最终投放TOP1-5的广

10、告所有这一切在100ms内完成， 支持每天120亿次广告推荐27岁 男 广东 本科 .0.339%0.352%0.288%点击率深度神经网络：一 笔请求查询3000+ 特征及广告数据业务逻辑复杂每次请求，经过实时检索，初选，精选，重排等多个业务流程 分布式任务管理，调度每次请求，对100个广告进行精确预测、排序 预测每个广告点击率，需要访问30多种数据 每秒9亿次数据访问量每个请求100ms返回 移动端要求50ms业务流量大每天为8亿用户执行预测120亿次预测，峰值每秒30万次每天执行12000亿“用户广告”相关度预测(精排序)，峰值每秒3000万次算法管理在线和实验算法100多个，15分钟模

11、型数据迭代更新一次，每天更新9600多次集群管理上千台在线计算服务器的管理TRE推荐引擎难点TRE一代架构核心需求海量+实时：广告计算复杂响应 时耗要求高大规模分布式系统流量、算法和 数据管理主要痛点扩展难：业务定制化，分支版本 众多，管理困难；数据层层传递， 下游变更，所有上游计算层都跟 着变；质量监控依赖外部系统join，成本很高静态路由，关联系统各自为政： 路由事先静态生成，无法动态变 化；系统模块增加，但相互独立；配置繁多，依赖性配置人工出错 频繁 可运营性差：加载算法状态，缓 存状态不透明；更新算法子系统 配置需重启，集群无法动态扩缩 容。应用客户端推荐逻辑推荐数据ClientAcc

12、ess SvrCompute SvrCompute SvrTask SvrTask Svr数据服务L2 cacheScoringPCTRRTearasknkSivnrgTRE二代架构主要优点易扩展：通过中心节点 Router进行不同的业务流 程控制，数据管理，多模 块日志join 动态智能路由：集群管理 中心提供动态路由，关联 系统根据同一份路由数据 进行数据和请求的联动变 更集群透明：集群管理中心收集节点元数据，包括配 置，算法，节点状态等， 前台可展示，运维监控更 方便TRE算法管理核心需求针对不同流量建模支持100+在线，实验算 法效果调优，频繁更新， 上下架支持多种业务流程特色功能插件

13、式管理支持动态上下架算法作为系统调度的路由 依据接口解耦，状态机分离配置驱动流程调度ZooKeeper集群快照Static SnapshotDynamic Snapshot机器节点1算法A RouterStage ManagerRoute Manager算法B机器节点N算法J 算法K机器节点2算法C 算法DTRE实时数据更新核心需求保证算法模型一致性支持100+在线实验算法模 型数据推送每15分钟粒度定期推送到线上几百台服务器保证关键性数据查询命中特色功能文件Pipeline任务调度100MB文件，10S内发送 到集群所有集群上实时流数据毫秒级更新到server缓存数据快照，支持计算节点 快速

14、恢复ZooKeeper集群快照Static SnapshotDynamic SnapshotFileSchedulerRTScheduler路由管理文件管理路由管理数据快照PushServerIP1Set1SetN推送路由IP1IP2共享内存L2缓存AlgAAlgBAlgCSet1共享内存L2缓存AlgAAlgBAlgCSet1共享内存L2缓存AlgAAlgBAlgCSet1文件数据流TRE集群管理核心需求平行可扩容负载均衡管理路由管理特色功能智能路由管理set/ip级别的负载均衡动态扩缩容，算法/模型/ 文件延迟删除机制状态上报，收集整理统一接入Router1Router2Router3Ro

15、uterN算法1算法2算法1算法2NodeNSet1Node1算法1算法2算法1算法2NodeNSet2Node1算法子系统1算法1算法2算法1算法2NodeNSet3Node1算法1算法2算法1算法2NodeNSet4Node1算法子系统2FileSchedulerRTSchedulerRTSchedulerPushServerPushServer数据推送ConfigServer请求/回复公共调度请求/回复整理/配置拉取配置注册/上报ZooKeeper集群快照Static SnapshotDynamic SnapshotTRE多地容灾深圳Set1LR流量Router实验集群LR/DNN/FM数据 访问数据 访问深圳Set2DNN流量TDE主TDE备深圳沙箱集群LR/DNN/FMTDP流式计算HDFSSpark模型训练Mariana模型训练模型推送Router上海数据推送上海Set1实验集群LR流量LR/DNN/FM