推荐系统评价指标综述学习教案

1、会计学1推荐系统评价推荐系统评价(pngji)指标综述指标综述第一页，共32页。n 文献文献(wnxin)来源：来源：n 朱郁筱朱郁筱,吕琳媛吕琳媛. 推荐系统评价指标综述推荐系统评价指标综述J. 电子科技大学学报电子科技大学学报,2012,02:163-175.第1页/共32页第二页，共32页。3研究研究(ynji)背景背景信息信息(xnx)过载过载多种推荐多种推荐(tujin)算算法法孰优孰劣孰优孰劣第2页/共32页第三页，共32页。4研究研究(ynji)背景背景时代，每个人既是信息(xnx)接收者，也是信息(xnx)创造者。信息(xnx)数量庞大但质量参差不齐，造成信息(xnx)过载。信

2、息信息(xnx)过载过载多种推荐算法多种推荐算法信息过滤，为满足用户需求推荐个性化推荐。协同过滤算法、基于内容的推荐算法、混合推荐算法。孰优孰劣孰优孰劣如何有效、客观评价推荐系统的效能，从实验室到实际应用的转换。第3页/共32页第四页，共32页。研究研究(ynji)背景背景第4页/共32页第五页，共32页。6评价评价(pngji)方法方法在线评价在线评价n 设计在线用户实验，根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统(xtng)的表现n A/B测试n 高额成本离线评价离线评价n根据待评价的推荐系统在实验数据集上的表现来衡量推荐系统的质量n方便、经济n数据集的划分（常用(chn yn

3、)随机划分）与评价指标的选择第5页/共32页第六页，共32页。7评价评价(pngji)指标指标 准确度指标(zhbio) 基于排序加权的指标(zhbio) 覆盖率 多样性和新颖性第6页/共32页第七页，共32页。准确度指标准确度指标(zhbio)第7页/共32页第八页，共32页。预测预测(yc)评分的准确度评分的准确度衡量算法预测的评分与用户实际(shj)评分的贴近程度思路：计算预测评分(png fn)和用户真实评分(png fn)的差异 局限：对MAE指标贡献大的往往是那种很难预测准确的低分商品第8页/共32页第九页，共32页。预测预测(yc)评分的准确度评分的准确度 MSE和RMSE指标对

4、每个绝对误差首先做平方运算，所以(suy)这两个指标对比较大的绝对误差有了更重的惩罚第9页/共32页第十页，共32页。 预测预测(yc)评分的准确度评分的准确度第10页/共32页第十一页，共32页。预测预测(yc)评分关联评分关联衡量算法预测的评分与用户(yngh)实际评分之间的相关性最常见的三种相关性指标：Pearson积距相关、Spearman相关、Kendalls Tau 第11页/共32页第十二页，共32页。预测预测(yc)评分关联评分关联 第12页/共32页第十三页，共32页。预测预测(yc)评分关联评分关联 弱关系排序问题：在实际系统(xtng)中可能有某用户对两个或者多个商品评分

5、一致的情况。第13页/共32页第十四页，共32页。预测评分预测评分(png fn)关联关联 第14页/共32页第十五页，共32页。某用户对商品实际评分为：，推荐系统预测评分为：那么此时，具有(jyu)严格偏好差别的商品对有(1,2)、(1,3) 、(1,4)、(1,5)、(2,3) 、(2,5) 、(3,4)、(3,5) 、(4,5)排序相悖的商品对： (1,4)、 (3,5) 排序兼容的商品对： (2,5) 得 预测评分预测评分(png fn)关联关联NDMP指标不仅适用于弱关系排序问题还可以用来评价推荐算法在不同(b tn)数据及上的表现。PS：这些预测评分关联额性指标都是只关注于预测排序

6、值而不关注于具体的预测评分值，所以它们不适用于那些旨在为用户提供精确预测评分值的系统。第15页/共32页第十六页，共32页。分类分类(fn li)准确度准确度衡量推荐系统能正确预测用户喜欢或者不喜欢某个商品的能力。适用(shyng)于那些有明确二分喜好的用户系统，对于非二分喜好系统，需要设定一个阈值来区分用户的喜好。并非衡量系统预测(yc)具体评分值的能力，只要是没有影响商品分类的评分偏差都是被允许的。最常用的分类准确度指标：准确率(precision)、召回率(recall)、F1指标和AUC。第16页/共32页第十七页，共32页。分类分类(fn li)准确度准确度 第17页/共32页第十八

7、页，共32页。分类分类(fn li)准确度准确度 第18页/共32页第十九页，共32页。分类分类(fn li)准确度准确度准确率与召回率容易受到推荐列表长度、评分稀疏性以及喜好阈值的等多方面因素的影响，很多学者不提倡用准确率与召回率来评价系统，特别是只考虑一种指标时偏差(pinch)极大。准确率和召回(zho hu)率指标往往是负相关的而且依赖于推荐列表长度。一般情况下，随着推荐列表长度的增大，准确率指标会减小而召回(zho hu)率会增大。 第19页/共32页第二十页，共32页。分类分类(fn li)准确度准确度对于一个没有(mi yu)明确二分喜好的系统？推荐的阈值不确定？往往采用AUC指

8、标来衡量推荐效果的准确性。AUC指标表示ROC（receiver operator curve）曲线下的面积，它衡量一个推荐系统能够在多大程度上将用户喜欢的商品与不喜欢的商品区分开来。正如我们(w men)在这个ROC曲线的示例图中看到的那样，ROC曲线的横坐标为false positive rate（FPR），纵坐标为true positive rate（TPR）第20页/共32页第二十一页，共32页。分类分类(fn li)准确度准确度经过(jnggu)分析，ROC曲线越接近左上角，该分类器性能越好。AUC的取值范围介于和1之间。第21页/共32页第二十二页，共32页。分类分类(fn li)

9、准确度准确度假如(jir)我们已经得到了所有样本的概率输出（属于正样本的概率）。根据每个测试样本属于正样本的概率值从大到小排序。图中共有20个测试样本，“Class”一栏表示每个测试样本真正的标签（p表示正样本，n表示负样本），“Score”表示每个测试样本属于正样本的概率第22页/共32页第二十三页，共32页。分类分类(fn li)准确度准确度从高到低依次将”Score”值作为阈值threshold,当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。AUC指标仅用一个数值就表征了推荐算法的整体表现，而且它涵盖了所有不同推荐列表长度的表现。但是AU

10、C指标没有考虑具体排序位置的影响，导致在ROC曲线面积相同的情况下很难比较算法好坏，所以(suy)它的适用范围也受到了一些限制第23页/共32页第二十四页，共32页。排序排序(pi x)准确度准确度 第24页/共32页第二十五页，共32页。基于基于(jy)排序加权的指标排序加权的指标 第25页/共32页第二十六页，共32页。基于基于(jy)排序加权的指标排序加权的指标 目前半衰期效用(xioyng)指标的使用仍然是有很大的局限性：首先参数的选取尚未有统一的标准。用户的浏览概率与商品在推荐列表中的位置呈指数递减这一假设并不是在所有系统中都适用。第26页/共32页第二十七页，共32页。覆盖率覆盖率覆盖率指算法向用户推荐的商品能覆盖全部(qunb)商品的比例。 第27页/共32页第二十八页，共32页。多样性和新颖性多样性和新颖性推荐系统中的多样性体现(txin)在用户间的多样性和用户内的多样性。 在信息论中，两个字码中不同(b tn)位值的数目称为汉明距离（异或操作）例如： 1011101 与 1001001 之