基于评分预测协同过滤推荐算法比较及改进

报告人:周海平浙江万里学院第十五届全国机器学习会议报告纲要4课题背景及应用领域12改进的推荐算法3传统协同过滤算法的介绍55工作总结课题背景及应用领域研究背景：由于互联网的普及，越来越多的人开始使用互联网进行购物或参加社交活动。另一方面，由于互联网上的信息每年都以爆炸式的速度增长，人们在如此众多的信息中极其容易迷失方向，要改变这种现状，就必须使互联网从被动地接受用户的信息转变为主动感知和探测用户的需求，推荐系统就是在这种背景下产生的。推荐系统的功能对于消费者：寻找感兴趣的物品缩小选择的范围发现新事物寻找与自己相似的用户对于提供者：为客户提供个性化服务增加客户的信任和忠诚度提高销售量获取更多关于消费者的信息推荐系统的应用领域电子商务----亚马逊电影和视频网站---Netflix推荐系统的应用领域音乐网站----豆瓣音乐个性化邮件----Gmail推荐系统的应用领域社交网络----Facebook一、两种协同过滤推荐算法的介绍基于用户的协同过滤推荐基于用户的协同过滤推荐的基本原理是，根据所有用户对物品的偏好，发现与当前用户口味和偏好相似的邻居用户，然后，基于这些邻居的偏好信息，为当前用户进行推荐。基于物品的协同过滤推荐基于物品的协同过滤推荐的基本原理与基于用户的协同过滤推荐算法类似，只不过此时推荐算法计算的是物品和物品之间的相似度，然后根据用户的偏好信息，将类似的物品推荐给用户。相似性度量标准（1）欧氏距离(Euclidean

Distance)（2）皮尔森相关系数(Pearson

Correlation

Coefficient)jic˛I

i

,

jj

,ci,c-

r

)2(rc˛I

i

,

j(r

-

r

)2(ri

,c

-

ri

)(rj

,c

-

rj

)c˛I

i

,

jsim

(i

,

j

)

=ni

ii

=1dist

(

X

,Y )

=

(

x

-

y )

2（3）余弦相似度(Cosine

Similarity)（4）Jaccard相似系数(Jaccard

Coefficient)x

yfi

fix

ysim

(

X

,Y )

=

cosq

=X

YJaccard(

X

,Y )

=

X

Y评分预测预测用户u对未购买物品c的评分v˛

Nu=

v˛

Nurv,cu

,c

sim(u,

v)

rv,c

sim(u,

v)

d推荐系统的评价指标I----准确率

˛

u˛Uu

Upresition

=T

(u)R(u)

T

(u)R(u)是根据用户在训练集上的行为给用户作出的推荐列表，而T(u)是用户在测试集上的行为列表推荐系统的评价指标II----召回率R(u)是根据用户在训练集上的行为给用户作出的推荐列表，而T(u)是用户在测试集上的行为列表u˛U=

u˛UrecallR(u)R(u)

T

(u)结果：数据集来源：grouplens网站提供了10万条影片评分数据基于用户的过滤算法比基于物品的过滤算法要推荐质量要好一点。改进的相似性算法传统的相似性算法仅将用户之间评分的差异做为相似性度量标准，实际上两个用户的共同评价数也是衡量相似性的重要指标。（例如：两个用户共同只看过一部电影，并且评分相同，另两个用户共同看了10部电影，其中有9部影片评分相同，1部影片评分不同，显然后者的相似性要高，但传统算法却认为前者的相似性更高，很不合理。）改进后的相似度：sim(u,

v)¢=

sim(u,

v)

Iu,vIu

,v

表示用户u和用户v的共同评价过的影片数目。结果显然，改进后的算法的推荐质量远远高于传统算法第二次改进：考虑到共同评价的影片中有一些非常热门，这些影片几乎所有用户都给了好评，这种影片对计算用户之间的相似性几乎没有什么贡献，因此需要减小热门影片在相似性指标中的权重，因此我们对相似性进行了优化：Nu

Nv•1

1sim(u,

v)

=

i˛

Nu

Nv

1

+

log(1

+

rui

-

rvi

)

log(1

+

Ni

)结论：降低热门影片的权重能提高推荐的准确率和召回率第三次改进Nu

Nv•log(1

+

Ni

)11sim

(u,

v)

=

i˛

Nu

Nv

1

+

log(1

+

rui

-

rvi

)Nu

N

vlog(

1

+

N

i

)1sim

(u

,

v)