爱奇艺推荐中台探索与实践-张时骏

1、爱奇艺推荐中台探索与实践自我介绍自我介绍毕业于上海交通大学计算机系，现任爱奇艺高级技术经理一职，爱奇艺推荐中台的总架 构师。在爱奇艺从事推荐引擎架构和开发工作，近几年专注于分布式高并发线上引擎的 架构，搭建了热点信息流、小视频信息流等推荐引擎。目前正在致力于爱奇艺推荐中台 的建设，旨在帮助公司内各业务团队能够以低成本、高效率、高产出的方式获取一套完 整的推荐服务及其周边配套设施，快速实现业务目标。目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同业务对接效果推荐中台背景需求排期，堆积如山业务方重复造轮子推荐业务小视频热点动漫看点推荐实体竖屏小视

2、频横屏视频漫画图文直播推荐形式个性化推荐信息流推荐相关推荐主题推荐推荐需求入场规则时效性多样性AB实验目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同业务对接效果推荐闭环用户引擎行为数据算法实体数仓推荐池爱奇艺 TO C 个性化用户触达系统姜饼无际好多纳豆泡泡PPS爱奇艺APP PCVRTV APP爱奇艺 TO C 短视频推荐触达系统推荐中台整体架构多端适配（APP/PC/H5/PAD/VR/TV） 多路召回（粗排，精排、Rerank）通用推荐池平台通用特征服务基础内容理解组件基础用户画像内容生产系统优质卡段（人工，AI）PGC优质内容爱奇艺

3、号 审核平台 标注平台基础服务平台 用户兴趣试探新内容试探保量系统爱奇艺推荐中台 特殊策略干预 融合控制排序大数据存储和服务平台分布式在线机器学习平台通用AB TEST平台用户数据分析平台报表AB实验报表效果总表排序模型 FM DNNGBDTLR召回模型 相关召回 向量召回协同召回热门召回特征工程 统计特征 环境特征向量特征Meta特征用户画像 短期画像 长期画像中期画像静态画像 漫画轻小说 直播 图文 视频推荐池 质量评估 深度特征 内容标签 分类体系内容理解Workflow 配置平台 基本配置 模块配置推荐中台内部架构线上引擎 用户兴趣 召回 过滤 粗排 精排 多样性控制推荐中台内部架构：

4、推荐池推荐池数据服务去重mapping实时更新消息snapshot文件近实时Hbase表推荐池运维服务自动化部署toolkit一站式workflow 配置平台推荐池通用逻辑层数据补偿/ 纠错通用元数据转换统一数据拓扑/字典通用去重通用缓存实体关联业务推荐池孵化器干预后台业务去重准入/过滤/ 退场规则引擎辅助功能实时监控HA漏斗分析数据校验适配数据生产源自定义数据源非视频数据用户行为数据智能特征库爱奇艺号数据长，短，小视频推荐中台内部架构：内容理解 在线服务消息推送智能特征库内容理解服务产品标签体系定制产品用户群行为适配 业务线标准适配 分类体系 内容标签 内容深度表示 质量评估内容风险评估业务

5、定制化组件通用内容理解组件音频理解视频理解图像理解文本理解多模态特征融合内容理解基础技术推荐中台内部架构：特征工程特征仓库特征运维 特征文件实时特征消息 特征查询一站式workflow配置平台 特征运维部署平台特征数据深度特征统计特征meta特征附加服务HA服务降级特征校验任务监控离线特征计算平台用户行为实时ETL实时特征计算平台数据转化特征归一化统计特征计算框架 特征ID服务化外部特征接入框架 数据源解析 正排服务化meta特征计算框架实时/离线规范统一特征数据源接入平台解析配置数据规范业务隔离细粒度延迟监控告警流式ETL 处理框架多机房互备（HA）实时meta 特征框架实时特征归一化实时统

6、计特征框架session特征框架召回全局热门区分用户群的热门热门召回Item协同过滤行为Embedding模型协同召回实体词&主题词召回分类召回语义Embedding模型相关召回多模型融合新用户模版召回兴趣不足时的召回拓展冷启试探 质量控制策略 厌倦惩罚召回配比多目标模型融合深度学习模型 产出校验 树模型排序模型监控 线性模型离线评估推荐中台内部架构：算法数据接入 数据格式规约 数据同步流程 配置文件 样本处理流程标签 标准化标签计算 数据抽取数据清洗 兴趣计算 兴趣衰减 兴趣合并画像业务画像 静态兴趣 短期兴趣 中期兴趣 长期兴趣 标 签扩展基础画像全站基础画像数据监控 超时监控 覆盖监控模

7、型服务DNNFMGBDTLR推荐中台内部架构：引擎UI 一站式workflow配置平台 上线部署配置平台 AB实验配置平台精排服务 多样性控制 模型Rerank多目标精排召回服务平台向量召回服务 向量召回倒排召回服务协同召回标签召回粗排服务 多路粗排 多样性控制单路粗排用户兴趣服务 兴趣衰减 兴趣试探 负反馈过滤兴趣冷冻兴趣获取附加服务调用链服务发现回滚机制HA智能降级实时监控多语言保量系统AB分流定向运营融合控制人工干预Root服务 离线特征 实时特征特征服务 特征填充 特征转换 引擎现场目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同业务

8、对接效果问题一：推荐形式不同个性化推荐信息流推荐相关推荐主题推荐解决方案一：统一接口参数含义area推荐区域，绑定策略配置passport_id登录IDdevice_id设备IDcontext_id上下文ID，相关推荐session_id会话ID，翻页去重theme_id主题ID，主题推荐解决方案一：统一流程Y是否个性化用户画像一级排序一级召回N请求Y是否信息流NRerank是否主题模式响应Y推荐历史N二级召回二级排序解决方案一：召回仓库 热门召回 标签召回 协同召回协同过滤 主题召回 地域召回 向量召回Word2VecDSSM解决方案一：模型仓库Logistic RegressionWide

9、 & DeepGBDTFactorization MachinesDeepFM目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同业务对接效果问题二：推荐实体不同横屏视频漫画竖屏小视频图文直播解决方案二：统一实体字段原始字段名映射字段名通用字段定义idIdname/titlenamepicture_url/cover_urlpicture_urlfirst_publish_timefirst_online_timefirst_publish_timeis_valid/is_onlineis_valid业务独有字段定义live_statusliveroom_live_status解决方案二：推荐池合并游戏直播奇秀直播影讯剧头条VLOG片段好多小视频爱奇艺小视频中台业务直播公共池图文公共池横屏视频公共池竖屏视频公共池同类推荐池直播公共数据图文公共数据视频公共数据公共层数据解决方案二：通用特征通用特征展示量点击量点击率长点击率平均观看时长消费金额新鲜度热度解决方案二：自定义特征业务方提供特征目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同问题三：推荐需求不同业务对接效果问题三：需求不同入场规则时效性多样性AB实验解决方案三：入场规则脚本业务方提供入场规则脚本解决方案三：引擎在