爱奇艺推荐中台技术架构实践

1、爱奇艺推荐中台技术架构实践目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果需求排期，堆积如山推荐中台背景业务方重复造轮子推荐业务小视频热点动漫看点推荐实体竖屏小视频横屏视频图文漫画直播推荐形式个性化推荐信息流推荐相关推荐主题推荐推荐需求入场规则时效性多样性AB实验目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果推荐闭环实体数仓推荐池算法引擎用户行为数据推荐中台整体架构多端适配（APP/PC/H5/PAD/VR/TV）爱奇艺 TO C 个性化用户触达系统爱奇艺 TO

2、 C 短视频推荐触达系统爱奇艺APPPCVRTVAPP泡泡好多 纳豆姜饼 无际PPS基础服务平台审核平台分布式在线机器 学习平台用户数据 分析平台通用AB TEST平台标注平台大数据存储 和服务平台内容生产系统爱奇艺号PGC优质内容优质卡段（人工，AI）基础内容理解组件基础用户画像多路召回爱奇艺推荐中台排序（粗排，精排、Rerank）融合控制特殊策略干预通用推荐池平台用户兴趣试探保量系统通用特征服务新内容试探推荐中台内部架构内容 理解分类体系内容标签深度特征质量评估推荐池视频图文直播漫画轻小说线上 引擎用户兴趣召回过滤粗排精排多样性控制Workflow 配置平台基本配置模块配置报表效果总表AB

3、实验 报表用户画像静态画像短期画像中期画像长期画像召回模型热门召回相关召回协同召回向量召回排序模型LRFMGBDTDNN特征工程Meta特征统计特征向量特征环境特征推荐中台内部架构：推荐池长，短，小视频智能特征库非视频数据爱奇艺号数据自定义数据源适配数据生产源用户行为数据数据校验实时监控辅助功能漏斗分析HAsnapshot文件近实时Hbase表去重mapping推荐池数据服务实时更新消息推荐池通用逻辑层通用元数据 转换实体关联通用去重数据补偿/ 纠错通用缓存统一数据拓 扑/字典推荐池运维服务一站式workflow 配置平台自动化部署toolkit业务推荐池孵化器规则引擎准入/过滤/ 退场业务去

4、重干预后台推荐中台内部架构：内容理解分类体系内容标签质量评估内容风险评估内容深度表示通用内容 理解组件文本理解图像理解多模态特征融合视频理解音频理解内容理解 基础技术产品标签体 系定制业务线标准适配产品用户群行 为适配业务定制 化组件内容理解 服务在线服务消息推送智能特征库推荐中台内部架构：特征工程特征仓库特征文件实时特征 消息特征查询特征运维部署平台一站式workflow配置平台特征运维特征校验任务监控服务降级附加服务HAmeta特征统计特征深度特征特征数据业务隔离解析配置数据规范特征数据源接入平台实时特征计算平台实时统计 特征框架实时特征归session特征 一化框架实时meta 特征框架

5、用户行为实时ETL细粒度延迟 监控告警多机房互备（HA）实时/离线规 范统一流式ETL 处理框架离线特征计算平台数据转化统计特征 计算框架特征ID服务化数据源解析meta特征 计算框架正排服务化特征归一化外部特征 接入框架推荐中台内部架构：算法数据接入数据格式规约数据同步流程样本处理流程配置文件排序模型线性模型树模型深度学习 模型多目标模型 融合监控离线评估产出校验画像数据监控超时监控覆盖监控标签标准化标签计算数据抽取兴趣计算数据清洗兴趣衰减兴趣合并业务画像静态兴趣短期兴趣中期兴趣长期兴趣标签扩展基础画像全站基础 画像多模型融合新用户模版召回兴趣不足时的召回拓展冷启试探实体词&主题词召回分类召

6、回语义Embedding模型相关召回Item协同过滤行为Embedding模型协同召回全局热门区分用户群的热门热门召回厌倦惩罚召回配比质量控制召回策略推荐中台内部架构：引擎用户兴趣服务兴趣获取兴趣衰减兴趣试探负反馈过滤兴趣冷冻Root服务人工干预融合控制定向运营AB分流保量系统上线部署配置平台UIAB实验配置平台一站式workflow配置平台召回服务平台向量召回服务向量召回倒排召回服务标签召回协同召回附加服务多语言实时监控智能降级HA回滚机制服务发现调用链特征服务离线特征实时特征特征填充特征转换引擎现场模型服务DNNFMGBDTLR粗排服务单路粗排多路粗排多样性控制多目标精排多样性控制模型Re

7、rank精排服务目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果问题一：推荐形式不同个性化推荐信息流推荐相关推荐主题推荐解决方案一：统一接口参数含义area推荐区域，绑定策略配置passport_id登录IDdevice_id设备IDcontext_id上下文ID，相关推荐session_id会话ID，翻页去重theme_id主题ID，主题推荐解决方案一：统一流程用户画像推荐历史一级召回一级排序Rerank是否个性化是否信息流二级召回二级排序YYNNYN是否主题模式请 求响应解决方案一：召回仓库热门召回标签召回协同召回主题召回地

8、域召回向量召回协同过滤Word2VecDSSM解决方案一：模型仓库Factorization MachinesLogistic RegressionGBDTWide & DeepDeepFM目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果问题二：推荐实体不同竖屏小视频横屏视频图文漫画直播解决方案二：统一实体字段原始字段名映射字段名通用字段定义idIdname/titlenamepicture_url/cover_urlpicture_urlfirst_publish_time first_online_timefirst_pub

9、lish_timeis_valid/is_onlineis_valid业务独有字段定义live_statusliveroom_live_status解决方案二：推荐池合并爱奇艺 小视频好多 小视频片段VLOG剧头条影讯奇秀直播游戏直播竖屏视频 公共池横屏视频 公共池图文公共 池直播公共 池视频公共 数据图文公共 数据直播公共 数据中台业务同类推荐池公共层数据解决方案二：通用特征通用特征展示量点击量点击率长点击率平均观看时长消费金额新鲜度热度业务方提供特征解决方案二：自定义特征目录推荐中台背景推荐中台架构推荐中台实践问题一：推荐形式不同问题二：推荐实体不同 问题三：推荐需求不同业务对接效果问题三：需求不同入场规则时效性多样性AB实验业务方提供入场规则脚本解决方案三：入场规则脚本业务方提供LUA过滤脚本解决方案三：引擎在