深度学习推荐系统

深度学习推荐系统读书笔记模板01思维导图读书笔记作者介绍内容摘要目录分析精彩摘录目录0305020406思维导图深度推荐模型系统技术业界评估模型推荐系统方法深度技术特征结构过程架构用户局限性本书关键字分析思维导图内容摘要内容摘要深度学习在推荐系统领域掀起了一场技术革命，本书从深度学习推荐模型、Embedding技术、推荐系统工程实现、模型评估体系、业界前沿实践等几个方面介绍了这场技术革命中的主流技术要点。读书笔记读书笔记非常棒看完可以对推荐系统有很体系的了解也很有趣作为运营和算法工程师沟通没有啥障碍了。如果**读书早点上架这本书，我就可以日夜研读，拿到更好的offer了🌝开玩笑：）。微读🐂🍺，这本书也有了，再多上架一点类似的技术书呀，等我有空了就看看🤤。较新且较为全面的推荐系统的深度学习应用的书了。21年:只能说牛逼，作者功力太深，对机器学习和推荐系统的理解都很到位，学习中，内容很多，需要常看。目录分析1.2推荐系统的架构1.1为什么推荐系统是互联网的增长引擎第1章互联网的增长引擎——推荐系统参考文献1.3本书的整体结构第1章互联网的增长引擎——推荐系统1.1为什么推荐系统是互联网的增长引擎1.1.1推荐系统的作用和意义1.1.2推荐系统与YouTube的观看时长增长1.1.3推荐系统与电商网站的收入增长1.2推荐系统的架构1.2.1推荐系统的逻辑框架1.2.2推荐系统的技术架构1.2.3推荐系统的数据部分1.2.4推荐系统的模型部分1.2.5深度学习对推荐系统的革命性贡献1.2.6把握整体，补充细节2.1传统推荐模型的演化关系图2.2协同过滤——经典的推荐算法2.3矩阵分解算法——协同过滤的进化2.4逻辑回归——融合多种特征的推荐模型第2章前深度学习时代——推荐系统的进化之路2.5从FM到FFM——自动特征交叉的解决方案2.6GBDT+LR——特征工程模型化的开端2.7LS-PLM——阿里巴巴曾经的主流推荐模型2.8总结——深度学习推荐系统的前夜参考文献12345第2章前深度学习时代——推荐系统的进化之路2.2协同过滤——经典的推荐算法2.2.1什么是协同过滤2.2.2用户相似度计算2.2.3最终结果的排序2.2.4ItemCF2.2.5UserCF与ItemCF的应用场景2.2.6协同过滤的下一步发展2.3矩阵分解算法——协同过滤的进化2.3.1矩阵分解算法的原理2.3.2矩阵分解的求解过程2.3.3消除用户和物品打分的偏差2.3.4矩阵分解的优点和局限性2.4逻辑回归——融合多种特征的推荐模型2.4.1基于逻辑回归模型的推荐流程2.4.2逻辑回归模型的数学形式2.4.3逻辑回归模型的训练方法2.4.4逻辑回归模型的优势2.4.5逻辑回归模型的局限性2.5从FM到FFM——自动特征交叉的解决方案2.5.1POLY2模型——特征交叉的开始2.5.2FM模型——隐向量特征交叉2.5.3FFM模型——引入特征域的概念2.5.4从POLY2到FFM的模型演化过程2.6GBDT+LR——特征工程模型化的开端2.6.1GBDT+LR组合模型的结构2.6.2GBDT进行特征转换的过程2.6.3GBDT+LR组合模型开启的特征工程新趋势2.7LS-PLM——阿里巴巴曾经的主流推荐模型2.7.1LS-PLM模型的主要结构2.7.2LS-PLM模型的优点2.7.3从深度学习的角度重新审视LS-PLM模型3.1深度学习推荐模型的演化关系图3.2AutoRec——单隐层神经网络推荐模型3.3DeepCrossing模型——经典的深度学习架构3.4NeuralCF模型——CF与深度学习的结合3.5PNN模型——加强特征交叉能力12345第3章浪潮之巅——深度学习在推荐系统中的应用3.6Wide＆Deep模型——记忆能力和泛化能力的综合3.7FM与深度学习模型的结合3.8注意力机制在推荐模型中的应用3.9DIEN——序列模型与推荐系统的结合第3章浪潮之巅——深度学习在推荐系统中的应用3.10强化学习与推荐系统的结合参考文献3.11总结——推荐系统的深度学习时代第3章浪潮之巅——深度学习在推荐系统中的应用3.2AutoRec——单隐层神经网络推荐模型3.2.1AutoRec模型的基本原理3.2.2AutoRec模型的结构3.2.3基于AutoRec模型的推荐过程3.2.4AutoRec模型的特点和局限性3.3DeepCrossing模型——经典的深度学习架构3.3.1DeepCrossing模型的应用场景3.3.2DeepCrossing模型的网络结构3.3.3DeepCrossing模型对特征交叉方法的革命3.4NeuralCF模型——CF与深度学习的结合3.4.1从深度学习的视角重新审视矩阵分解模型3.4.2NeuralCF模型的结构3.4.3NeuralCF模型的优势和局限性3.5PNN模型——加强特征交叉能力3.5.1PNN模型的网络架构3.5.2Product层的多种特征交叉方式3.5.3PNN模型的优势和局限性3.6Wide＆Deep模型——记忆能力和泛化能力的综合3.6.1模型的记忆能力与泛化能力3.6.2Wide＆Deep模型的结构3.6.3Wide＆Deep模型的进化——Deep＆Cross模型3.6.4Wide＆Deep模型的影响力3.7FM与深度学习模型的结合3.7.1FNN——用FM的隐向量完成Embedding层初始化3.7.2DeepFM——用FM代替Wide部分3.7.3NFM——FM的神经网络化尝试3.7.4基于FM的深度学习模型的优点和局限性3.8注意力机制在推荐模型中的应用3.8.1AFM——引入注意力机制的FM3.8.2DIN——引入注意力机制的深度学习网络3.8.3注意力机制对推荐系统的启发3.9DIEN——序列模型与推荐系统的结合3.9.1DIEN的“进化”动机3.9.2DIEN模型的架构3.9.3兴趣抽取层的结构3.9.4兴趣进化层的结构3.9.5序列模型对推荐系统的启发3.10强化学习与推荐系统的结合3.10.1深度强化学习推荐系统框架3.10.2深度强化学习推荐模型3.10.3DRN的学习过程3.10.4DRN的在线学习方法——竞争梯度下降算法3.10.5强化学习对推荐系统的启发4.1什么是Embedding4.2Word2vec——经典的Embedding方法4.3Item2vec——Word2vec在推荐系统领域的推广4.4GraphEmbedding——引入更多结构信息的图嵌入技术第4章Embedding技术在推荐系统中的应用4.5Embedding与深度学习推荐系统的结合4.6局部敏感哈希——让Embedding插上翅膀的快速搜索方法4.7总结——深度学习推荐系统的核心操作参考文献第4章Embedding技术在推荐系统中的应用4.1什么是Embedding4.1.1词向量的例子4.1.2Embedding技术在其他领域的扩展4.1.3Embedding技术对于深度学习推荐系统的重要性4.2Word2vec——经典的Embedding方法4.2.1什么是Word2vec4.2.2Word2vec模型的训练过程4.2.3Word2vec的“负采样”训练方法4.2.4Word2vec对Embedding技术的奠基性意义4.3Item2vec——Word2vec在推荐系统领域的推广4.3.1Item2vec的基本原理4.3.2“广义”的Item2vec4.3.3Item2vec方法的特点和局限性4.4GraphEmbedding——引入更多结构信息的图嵌入技术4.4.1DeepWalk——基础的GraphEmbedding方法4.4.2Node2vec——同质性和结构性的权衡4.4.3EGES——阿里巴巴的综合性GraphEmbedding方法4.5Embedding与深度学习推荐系统的结合4.5.1深度学习网络中的Embedding层4.5.2Embedding的预训练方法4.5.3Embedding作为推荐系统召回层的方法4.6局部敏感哈希——让Embedding插上翅膀的快速搜索方法4.6.1“快速”Embedding最近邻搜索4.6.2局部敏感哈希的基本原理4.6.3局部敏感哈希多桶策略5.1推荐系统的特征工程5.2推荐系统召回层的主要策略5.3推荐系统的实时性5.4如何合理设定推荐系统中的优化目标5.5推荐系统中比模型结构更重要的是什么12345第5章多角度审视推荐系统5.6冷启动的解决办法参考文献5.7探索与利用第5章多角度审视推荐系统5.1推荐系统的特征工程5.1.1构建推荐系统特征工程的原则5.1.2推荐系统中的常用特征5.1.3常用的特征处理方法5.1.4特征工程与业务理解5.2推荐系统召回层的主要策略5.2.1召回层和排序层的功能特点5.2.2多路召回策略5.2.3基于Embedding的召回方法5.3推荐系统的实时性5.3.1为什么说推荐系统的实时性是重要的5.3.2推荐系统“特征”的实时性5.3.3推荐系统“模型”的实时性5.3.4用“木桶理论”看待推荐系统的迭代升级5.4如何合理设定推荐系统中的优化目标5.4.1YouTube以观看时长为优化目标的合理性5.4.2模型优化和应用场景的统一性5.4.3优化目标是和其他团队的接口性工作5.5推荐系统中比模型结构更重要的是什么5.5.1有解决推荐问题的“银弹”吗5.5.2Netflix对用户行为的观察5.5.3观察用户行为，在模型中加入有价值的用户信息5.5.4DIN模型的改进动机5.5.5算法工程师不能只是一个“炼金术士”5.6冷启动的解决办法5.6.1基于规则的冷启动过程5.6.2丰富冷启动过程中可获得的用户和物品特征5.6.3利用主动学习、迁移学习和“探索与利用”机制5.6.4“巧妇难为无米之炊”的困境5.7探索与利用5.7.1传统的探索与利用方法5.7.2个性化的探索与利用方法5.7.3基于模型的探索与利用方法5.7.4“探索与利用”机制在推荐系统中的应用6.1推荐系统的数据流6.2推荐模型离线训练之SparkMLlib6.3推荐模型离线训练之ParameterServer6.4推荐模型离线训练之TensorFlow6.5深度学习推荐模型的上线部署12345第6章深度学习推荐系统的工程实现参考文献6.6工程与理论之间的权衡第6章深度学习推荐系统的工程实现6.1推荐系统的数据流6.1.1批处理大数据架构6.1.2流计算大数据架构6.1.3Lambda架构6.1.4Kappa架构6.1.5大数据平台与推荐系统的整合6.2推荐模型离线训练之SparkMLlib6.2.1Spark的分布式计算原理6.2.2SparkMLlib的模型并行训练原理6.2.3SparkMLlib并行训练的局限性6.3推荐模型离线训练之ParameterServer6.3.1ParameterServer的分布式训练原理6.3.2一致性与并行效率之间的取舍6.3.3多server节点的协同和效率问题6.3.4ParameterServer技术要点总结6.4推荐模型离线训练之TensorFlow6.4.1TensorFlow的基本原理6.4.2TensorFlow基于任务关系图的并行训练过程6.4.3TensorFlow的单机训练与分布式训练模式6.4.4TensorFlow技术要点总结6.5深度学习推荐模型的上线部署6.5.1预存推荐结果或Embedding结果6.5.2自研模型线上服务平台6.5.3预训练Embedding+轻量级线上模型6.5.4利用PMML转换并部署模型6.5.5TensorFlowServing6.5.6灵活选择模型服务方法6.6工程与理论之间的权衡6.6.1工程师职责的本质6.6.2Redis容量和模型上线方式之间的权衡6.6.3研发周期限制和技术选型的权衡6.6.4硬件平台环境和模型结构间的权衡6.6.5处理好整体和局部的关系7.1离线评估方法与基本评价指标7.2直接评估推荐序列的离线指标7.3更接近线上环境的离线评估方法——Replay7.4A/B测试与线上评估指标7.5快速线上评估方法——Interleaving12345第7章推荐系统的评估参考文献7.6推荐系统的评估体系第7章推荐系统的评估7.1离线评估方法与基本评价指标7.1.1离线评估的主要方法7.1.2离线评估的指标7.2直接评估推荐序列的离线指标7.2.1P-R曲线7.2.2ROC曲线7.2.3平均精度均值7.2.4合理选择评估指标7.3更接近线上环境的离线评估方法——Replay7.3.1模型评估的逻辑闭环7.3.2动态离线评估方法7.3.3Netflix的Replay评估方法实践7.4A/B测试与线上评估指标7.4.1什么是A/B测试7.4.2A/B测试的“分桶”原则7.4.3线上A/B测试的评估指标7.5快速线上评估方法——Interleaving7.5.1传统A/B测试存在的统计学问题7.5.2Interleaving方法的实现7.5.3Interleaving方法与传统A/B测试的灵敏度比较7.5.4Interleaving方法指标与A/B测试指标的相关性7.5.5Interleaving方法的优点与缺点8.1Facebook的深度学习推荐系统8.3YouTube深度学习视频推荐系统8.2Airbnb基于Embedding的实时搜索推荐系统第8章深度学习推荐系统的前沿实践参考文献8.4阿里巴巴深度学习推荐系统的进化第8章深度学习推荐系统的前沿实践8.1Facebook的深度学习推荐系统8.1.1推荐系统应用场景8.1.2以GBDT+LR组合模型为基础的CTR预估模型8.1.3实时数据流架构8.1.4降采样和模型校正8.1.5FacebookGBDT+LR组合模型的工程实践8.1.6Facebook的深度学习模型DLRM8.1.7DLRM模型并行训练方法8.1.8DLRM模型的效果8.1.9