《推系统 第2版》 课件 Lec5 基于知识的推、Lec6 混合推、Lec7 推系统评测

基于知识的推荐动机传统推荐方法（基于内容和基于协同过滤）适合于推荐书籍、电影、新闻等高频、低成本的消费品不适合推荐房产、汽车、专业设备、金融服务等低频、高成本的项目原因：用户冷启动：无法向新用户（无历史行为数据的用户）推荐项目低频行为：历史行为年代久远，时间间隔长，缺乏参考意义风险高：购买房产、汽车、金融服务等项目的成本和风险都很高基于知识的推荐基本思想：利用用户的显式需求和项目的领域知识为用户进行推荐三种基本类型：基于约束的推荐vs.基于效用的推荐vs.基于实例的推荐基于约束的推荐基于约束的推荐基本思想：根据用户给定的显式需求（约束集）推荐合适的候选项目把推荐任务看作是一个解决约束满足问题的过程应用领域：不经常被购买且产品复杂的领域例如：房产、专业设备、金融服务等示例：购买笔记本电脑

用户总是希望能够以较低的成本（例如：价格）获得较高质量或性能的项目当用户对目标领域还不够了解时，给出的约束集通常不切实际，找不到合适的项目约束放宽算法：MinRlex

01100011100111001001111011001101项目-约束满足矩阵PQRS约束放宽算法：示例

01100011100111001001111011001101基于效用的推荐基于效用的推荐

基于效用的推荐：示例

取值性能经济性price01006size50100RAM40100GPUyes100no30

性能[40%]经济性[60%]效用值[排名]7.6

[4]8.5[1]7.6

[4]6.7[8]7.6[4]7.6

[4]8.4

[3]8.5

[1]评分规则项目效用基于实例的推荐基于实例的推荐

基于距离的匹配度度量

基于实例的推荐：示例

基于实例的推荐：示例

pricesizeRAMGPU匹配度排名1.00.50.81.00.2400.4620.42910.55040.9000.846010.70410.9650.615000.38670.65010.14300.38380.7200.3850.14310.614200.385110.60430.9150.7310.14300.423510.615000.3966混合推荐系统混合推荐目标：提升系统的准确度和稳定性动机：各种基础推荐算法虽然各有利弊，但相互之间存在互补现状：Netflix、Amazon、淘宝、头条等平台都采用混合推荐混合推荐：通过多种算法的组合来避免或弥补各自的弱点（取长补短）推荐方法优点缺点基于人口统计学能为新用户推荐个性化程度低协同过滤个性化程度高结果具有新颖性数据稀疏问题冷启动问题基于内容能推荐新项目容易解释用户冷启动结果缺乏新颖性基于知识没有冷启动问题结果具有可解释性需要人工交互

知识获取困难Netflix百万美金公开赛$1millionprizefora10%improvementoverNetflix’scurrentmovierecommender/classifier(MSE=0.9514)1个月，接近5%2个月，接近6%6个月，接近7%1年，接近8%3年，超过10%一个由工程师和统计学家组成的七人团队夺得了大奖理论依据与方法分类误差分析

不同推荐模型的信息源示意图只有模型组合才可能还原问题的全貌！混合/组合方法分类根据是否使用标注样本：有监督组合vs.无监督组合根据基模型之间的依赖关系：并行式混合vs.串行式混合vs.整体式混合混合/组合并行式串行式整体式混合/组合有监督无监督常见无监督组合模型包括：各种Bagging算法；例如随机森林（RandomForest）等无监督组合训练测试假设各个基模型的贡献相同常见有监督组合模型：各种Boosting和Stacking算法；例如AdaBoost、GBDT等有监督组合训练测试从标注数据中学习组合模型并行式vs.串行式vs.整体式并行式混合：各基模型可独立、并行地进行训练或构造串行式混合：后面基模型的训练或构造依赖于前面的基模型整体式混合：只包含一个推荐单元通过预处理和组合多个知识源将多模型整合在一起并行式混合并行式混合基本思想：直接对已有推荐器（基推荐器）的输出结果进行混合无需对现有基推荐器做任何修改方法分类：加权式混合vs.切换式混合vs.排序混合加权式混合

加权推荐(0.5:0.5)项目171项目24.52项目33.53项目40.54推荐器1项目161项目20项目332项目413推荐器2项目182项目291项目343项目40加权式混合

HongzhiLiu,YingpengDu,ZhonghaiWu.AEM:AttentionalEnsembleModelforPersonalizedClassifierWeightLearning,

PatternRecognition,96,10697:1-8,2019切换式混合（Switching）动机：在不同场景，针对不同用户，各基推荐器的性能表现可能有较大差异活跃用户、新用户（不活跃用户）、新项目（冷门项目）、热门项目基本思想：在不同的场景下选择不同的基推荐器切换式混合（Switching）

排序混合动机：加权式混合要求各基推荐器的输出在同一范围内并且采用相同的量纲基本思想：采用基于排序的方式来进行归一化处理对各基推荐器输出的推荐(排序)列表进行混合排序，以形成最终排序列表常用方法：波达计数(BordaCount)、凯梅尼优化(KemenyOptimization)、成对投票表决波达计数法（BordaCount）Borda

Count:

score(a)

=

4+

5+

3=12;

score(b)

=

3+3+5=11;

…基本思想：根据各排序列表对项目进行重新打分，并采用加和的方式计算最终得分；Top-N推荐：排在第1位的得N分，排在第2位的得N-1分，…，排在最后一位的得1分串行式混合串行式混合基本假设：基推荐器之间存在一定的依赖关系后面的基推荐器的构造或输出依赖于前面的基推荐器的输出方法分类：级联过滤

vs.级联学习级联过滤

级联过滤推荐结果项目181项目20项目342项目40推荐器1项目161项目20项目332项目413推荐器2项目182项目291项目343项目40后续推荐器不会引入额外项目

级联过滤基本思想：基推荐器按一定规则排序，后面的推荐器对前面推荐器的结果进行优化关键：基推荐器的选择和排序：算法效果、算法复杂度召回-排序框架就是典型的级联过滤方法级联学习动机：级联过滤是一种严格基于优先级的混合方法如果前面（高优先级）的推荐器出现错误（删除了一些相关项目），后面的推荐器将无法挽回基本思想：在应用或验证阶段和加权式混合类似不同之处在于训练阶段，级联学习依赖于串行(逐个)训练各基推荐器常用方法：Boosting集成模型，例如：AdaBoost、GBDT等级联学习：

Adaboost在每一轮基学习器训练完成后都会更新样本权重，再训练下一个基学习器；对于分类错误的样本，加大其对应权重；而对于分类正确的样本，降低其权重整体式混合整体式混合基本思想：通过对算法进行内部调整，将多个知识源或多种方法整合在一起整体上看只包含一个推荐单元常用方法：特征组合

vs.特征扩充

vs.基于图模型的混合特征组合

特征扩充MelvilleP,et

al.Content-boostedcollaborativefilteringforimprovedrecommendations,

AAAI2002:187-192.基于图模型的混合基于图模型的混合基本思想：利用图（Graph）将多种不同的信息整合在一起进行统一表示将推荐问题转化为一个图搜索（GraphSearch）或边预测问题目标：使推荐具有一个全面、统一的表示，能灵活支持多种推荐方法基于双层图模型的混合推荐基本思想：对用户-项目二部图进行扩展，得到一个双层图通过查找与目标用户节点高度关联的项目节点，进而得出推荐列表双层图：一层为用户层，另一层为项目层两层之间的边为层间连接（表示用户对项目的反馈）用户层中每个节点代表一个用户，用户节点之间的边表示用户之间的相似关系项目层中每个节点代表一个项目，项目节点之间的边表示项目之间的相似关系项目层（基于内容）用户层（基于人口统计学）用户反馈行为基于双层图模型的混合推荐基于内容的推荐：从与目标用户关联的项目节点开始，通过项目层的边探索其他相关项目基于用户的协同过滤：从目标用户节点开始，先在用户层搜索相似用户，再通过层之间的边探索相关项目混合推荐：从目标用户节点开始，通过利用图中所有（三种）类型的边探索相关项目项目层（基于内容）用户层（基于人口统计学）用户反馈行为基于内容推荐基于用户协同过滤目标用户协同用户推荐系统评测评测视角针对同一问题，不同推荐算法可能会生成不同的推荐列表这些推荐结果是否合理？哪个更好？从不同参与方的角度，需构建不同的评测方法和评价指标用户的角度、商家或平台的角度、算法研究员的角度等项目层（基于内容）用户层（基于人口统计学）用户反馈行为基于内容推荐基于用户协同过滤目标用户协同用户项目流行度头部长尾部从长尾部分推荐项目评测视角用户好的推荐系统应该能降低其信息获取的交互成本应该优先从“长尾”区域选择项目进行推荐，推荐用户可能真正喜欢的项目商家或平台好的推荐系统应能增加“用户点击率”、“用户转化率”、“平台活跃度”等能够为商家或平台带来收益或利润算法研究员好的推荐系统应该能够准确预测用户对项目的偏好程度并且在某些指标上表现得比现有的系统更好实验方法在线实验A/B测试（A/BTests）：一种典型的在线实验方法，本质是分离式组间实验，也叫对照实验将具有相同特征的用户均匀分配到各实验组，以避免出现数据偏差优缺点：保证所有算法所处环境的一致性；实验结果客观、准确成本高、风险大，容易导致用户流失用户调查基本思想：通过寻找少量的真实用户或领域专家，对系统进行试用观测并记录用户的行为以及他们对系统满意度的反馈（问卷调查）分析试用用户的行为和反馈来了解被测系统的性能优缺点：不会因体验较差而导致真实用户流失能够了解真实用户对系统的评价时间周期相对较长，需要邀请用户、用户试用、用户反馈、反馈分析离线实验假设：收集到的用户历史行为与系统部署后的用户行为相似基本思想：通过用户的历史行为数据来模拟用户与系统的交互行为优点：不需要真实用户的参与，成本低、速度快过滤不合适算法，为成本高的用户调查和在线实验提供较小的算法候选集评价指标Top-N推荐评价指标通常采用分类准确度指标或是基于排序的指标例如：精确度、召回率、AUC、MAP、nDCG等评分预测评价指标基于预测评分和真实评分的误差来构建评价指标例如：平均绝对误差、平均平方误差(均方误差)、均方根误差等其他评价指标例如：多样性、新颖性、覆盖率等评价指标：分类准确率分类准确度

混淆矩阵真实值预测值分类准确度

混淆矩阵真实值预测值F1与F-Measure

ROC曲线

纵轴:横轴:0.01.01.0ROC曲线AUC真阳性率TPR假阳性率FPR混淆矩阵真实值正例(Positive)负例(Negative)预测值正例（Positive）负例（Negative）AUC值

评价指标：排序、评分及其他基于排序的评价指标

基于排序的评价指标:MAP

基于排序的评价指标:nDCG

基于排序的评价指标:nDCG

评分预测评价指标评分预测准确度

符号含义用户u对项目i的实际评分系统的预测评分测试数据集评分预测准确度：归一化

符号含义用户评分区间的最大值用户评分区间的最小值其它常用评价指标

公开数据集离线实验数据集动机：为离线验证一个算法或系统的性能，需在实验数据集上对其进行评测针对不同类型的算法，需要使用不同类型的数据集为验证算法的稳定性，通常还需在多个不同的数据集上对其进行评测数据来源：常用数据集：MovieLens、Netflix、Last.FM、AmazonProduct等各种数据竞赛平台，例如Kaggle、天池等MovieLens数据集推荐系统领域最为常用的实验数据集MovieLens：一个非商业性的、以研究为目的的实验性电影推荐网站允许用户对自己看过的电影进行评分，评分区间为1~5分根据用户历史评分信息，预测对未看电影的评分和并为其推荐电影目前该数据集有三个不同规模的子数据集（数据采样）MovieLens-100K：943个用户对1682部电影的十万条评分数据MovieLens-1M：6040个用户对3900部电影的一百万条评分数据MovieLens-10M：71567个用户对10681部电影的一千万条评分数据每个用户至少给20部电影评过分（删除评分过少用户，数据过滤）/datasets/movielens/消费者评论数据集Epinions数据集：E是一个知名的消费者评论网站用户可以在该网站上评价(评论、评分)自己使用过的商品其他用户可以查看这些打分和评论，并给出肯定或者反对的评价网站会为每个用户建立一个信任用户列表数据集特色：包含评分数据、评论文本、社交关系等下载地址：/epinions.htmlYelp数据集：Yelp是美国一个著名的商户点评网站囊括各地餐馆、购物中心、酒店、旅游等领域的商户用户可以在Yelp网站上给商户打分、提交评论、交流购物体验等数据集特色：包含用户评分、评论文本、商户属性等下载地址：/dataset电商数据集Amazonproduct数据集：电商评论数据集从亚马逊（Amazon）电商平台上爬取的用户-商品数据用户对商品的评论信息（评分、文本、投票等）商品的属性信息（描述、类别、价格、品牌和特性）