版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
推荐系统综述推荐系统
推荐系统概述推荐系统的应用推荐系统的产生与发展推荐算法
推荐系统的评判标准
推荐系统的评测标准数据集推荐系统的重点、难点问题推荐系统研究发展的热点方向结论
推荐系统概述
互联网规模和覆盖面的迅速增长带来了信息超载(informationoverload)问题:过量信息同时呈现使得用户无法从中获取对自己有用的部分,信息使用效率反而降低。现有的很多网络应用,如门户网站、搜索引擎和专业数据索引本质上都是帮助用户过滤信息的手段。然而这些工具只满足主流需求,没有个性化的考虑,仍然无法很好地解决信息超载的问题。
推荐系统概述
对于搜索引擎来说,用户在搜索互联网中的信息时,需要在搜索引擎中输入“查询关键词”,搜索引擎根据用户的输入,在系统后台进行信息匹配,将与用户查询相关的信息展示给用户。但是,若用户无法想到准确描述自己需求的关键词,搜索引擎就变得无能为力。
推荐系统不需要用户提供明确的需求,而是通过分析用户的历史行为来对用户的兴趣进行建模,从而主动给用户推荐可能满足他们兴趣和需求的信息。搜索引擎和推荐系统对用户来说是两个互补的工具。推荐系统与搜索引擎的区别
推荐系统与以搜索引擎为代表的信息检索(informationretrieval)系统的区别:搜索推荐注重结果(如网页)之间的关系和排序还研究用户模型(userprofile)和用户的喜好,基于社会网络(socialnetwork)进行个性化的计算(personalization)由用户主导,包括输入查询词和选择结果,结果不好用户会修改查询再次搜索。由系统主导用户的浏览顺序,引导用户发现需要的结果。高质量的推荐系统会使用户对该系统产生依赖。推荐系统不仅能够为用户提供个性化的服务,而且能够与用户建立长期稳定的关系,提高用户忠诚度,防止用户流失。推荐系统概述
随着互联网的发展,把线下的推荐模式搬到线上成了大势所趋,大大扩展了推荐系统的应用:亚马逊的商品推荐,Facebook的好友推荐,Digg的文章推荐,豆瓣的豆瓣猜,Last.fm和豆瓣FM的音乐推荐,Gmail里的广告
在如今互联网信息过载的情况下,信息消费者想方便地找到自己感兴趣的内容,信息生产者则想将自己的内容推送给最合适的目标用户。推荐系统正充当了这两者的中介,一箭双雕解决这两个难题。
推荐系统(recommendersystem)作为一种信息过滤的重要手段,是当前解决信息超载问题的非常有潜力的方法。
推荐系统的应用近几年,随着B2C(Business-to-Customer)电子商务的蓬勃发展,推荐系统在互联网中的优势地位也越来越明显。在国际方面,比较著名的电子商务网站有Amazon和eBay,其中Amazon平台中采用的推荐算法被认为是非常成功的。在国内,比较大型的电子商务平台网站有淘宝网(包括天猫商城)、京东商城、当当网、苏宁易购等。在这些电子商务平台中,网站提供的商品数量不计其数,网站中的用户规模也非常巨大。据不完全统计,天猫商城中的商品数量已经超过了4000万。在如此庞大的电商网站中,用户根据自己的购买意图输入关键字查询后,会得到很多相似的结果,用户在这些结果中也很难区分异同,用户也难于选择合适的物品。于是,推荐系统作为能够根据用户兴趣为用户推荐一些用户感兴趣的商品,从而为用户在购物的选择中提供建议的需求非常明显。目前比较成功的电子商务网站中,都不同程度地利用推荐系统在用户购物的同时,为用户推荐一些商品,从而提高网站的销售额。电商推荐案例——亚马逊推荐系统的应用
另一方面,智能手机的发展推动了移动互联网的发展。
在用户使用移动互联网的过程中,其所处的地理位置等信息可以非常准确地被获取。基于此,国内外出现了大量的基于用户位置信息的网站。
国外比较著名的有Meetup和Flickr。
国内著名的有豆瓣网和大众点评网。例如,在大众点评这种基于位置服务的网站中,用户可以根据自己的当前位置搜索餐馆、酒店、影院、旅游景点等信息服务。同时,可以对当前位置下的各类信息进行点评,为自己在现实世界中的体验打分,分享自己的经验与感受。
当用户使用这类基于位置的网站服务时,同样会遭遇“信息过载”问题。推荐系统可以根据用户的位置信息为用户推荐当前位置下用户感兴趣的内容,为用户提供符合其真正需要的内容,提升用户对网站的满意度。社交推荐案例——豆瓣推荐系统的应用
随着社交网络的兴起,用户在互联网中的行为不再限于获取信息,更多的是与网络上的其他用户进行互动。国外著名的社交网络有Facebook、LinkedIn、Twitter等,国内的社交网络有新浪微博、人人网、腾讯微博等。
在社交网站中,用户不再是单个的个体,而是与网络中的很多人具有了错综复杂的关系。社交网络中最重要的资源就是用户与用户之间的这种关系数据。在社交网络中,用户间的关系是不同的,建立关系的因素可能是现实世界中的亲人、同学、同事、朋友关系,也可能是网络中的虚拟朋友,比如都是有着共同爱好的社交网络成员。在社交网络中,用户与用户之间的联系反映了用户之间的信任关系,用户不单单是一个个体,用户在社交网络中的行为或多或少地会受到这些用户关系的影响。
因此,推荐系统在这类社交网站中的研究与应用,应该考虑用户社交关系的影响。推荐系统的应用同时,推荐系统正在向零售网站以外的领域拓展:大学用它们来引导学生选课,移动电话公司靠它们来预测哪些用户有可能转投另一家供应商,会议主办方也测试过用它们来分配论文给审稿专家。推荐系统的产生与发展
推荐系统这个概念是1995年在美国人工智能协会(AAAI)上提出的。当时CMU大学(美国宾州的卡内基梅隆大学CarnegieMellonUniversity)的教授RobertArmstrong提出了这个概念,并推出了推荐系统的原型系统——WebWatcher。在同一个会议上,美国斯坦福大学的MarkoBalabanovic等人推出了个性化推荐系统LIRA1。1996年,Yahoo网站推出了个性化入口MyYahoo,可以看作第一个正式商用的推荐系统。21世纪以来,推荐系统的研究与应用随着电子商务的快速发展而异军突起,各大电子商务网站都部署了推荐系统,其中Amazon网站的推荐系统比较著名。有报告称,Amazon网站中35%的营业额来自于自身的推荐系统。2006年,美国的DVD租赁公司Netflix在网上公开设立了一个推荐算法竞赛——NetflixPrize。Netflix公开了真实网站中的一部分数据,包含用户对电影的评分。Netflix竞赛有效地推动了学术界和产业界对推荐算法的研究,期间提出了很多有效的算法。近几年,随着社会化网络的发展,推荐系统在工业界广泛应用并且取得了显著进步。比较著名的推荐系统应用有:Amazon和淘宝网的电子商务推荐系统、Netflix和MovieLens的电影推荐系统、Youtube的视频推荐系统、豆瓣和Last.fm的音乐推荐系统、Google的新闻推荐系统以及Facebook和Twitter的好友推荐系统。学术界对推荐系统的研究
在学术界,自20世纪90年代中期出现第一批关于协同过滤的文章[1−3]以来,推荐系统在电子商务、网络经济学和人类社会学等领域一直保持很高的研究热度并逐渐成为一门独立的学科。各种推荐算法涵盖包括认知科学、近似性理论、信息检索、管理科学、市场营销建模等在内的众多研究领域。国际数据分析领域的高阶期刊(如IEEETrans.onKnowledgeandDataEngineering,ACMTrans.onInformationSystem等)刊载数篇推荐系统方面的文章。[1]ShardanandU,MaesP.Socialinformationfiltering:Algorithmsforautomating“WordofMouth”.In:Proc.oftheConf.onHumanFactorsinComputingSystems.NewYork:ACMPress,1995.210−217.
[2]HillW,SteadL,RosensteinM,FurnasG.Recommendingandevaluatingchoicesinavirtualcommunityofuse.In:Proc.oftheConf.onHumanFactorsinComputingSystems.NewYork:ACMPress,1995.194−201.
[3]ResnickP,IakovouN,SushakM,BergstromP,RiedlJ.GroupLens:Anopenarchitectureforcollaborativefilteringofnetnews.In:Proc.oftheComputerSupportedCooperativeWorkConf.NewYork:ACMPress,1994.175−186.
学术界对推荐系统的研究从1999年开始,美国计算机学会每年召开电子商务研讨会(ACMConferenceonElectronicCommerce,ACMEC),越来越多的与推荐系统相关的论文发表在ACMEC上。ACM信息检索专业组(ACMSpecialInterestGroupofInformationRetrieval,ACMSIGIR)在2001年开始把推荐系统作为该会议的一个独立研究主题。同年召开的人工智能联合大会(The17thInternationalJointConferenceonArtificialIntelligence)也将推荐系统作为一个单独的主题。最近的10年间,学术界对推荐系统越来越重视。目前为止,数据库、数据挖掘、人工智能、机器学习方面的重要国际会议(如SIGMOD、VLDB、ICDE、KDD、AAAI、SIGIR、ICDM、WWW、ICML等)都有大量与推荐系统相关的研究成果发表。同时,第一个以推荐系统命名的国际会议ACMRecommenderSystemsConference(ACMRecSys)于2007年首次举办。在近几年的数据挖掘及知识发现国际会议(KDD)举办的KDDCUP竞赛中,连续两年的竞赛主题都是推荐系统。在KDDCUP2011年的竞赛中,两个竞赛题目分别为“音乐评分预测”和“识别音乐是否被用户评分”。在KDDCUP2012年的竞赛中,两个竞赛题目分别为“腾讯微博中的好友推荐”和“计算广告中的点击率预测”。学术界对推荐系统的研究信息领域做推荐系统领先的研究单位(学者)包括:
纽约大学(AlexanderTuzhilin)明尼苏达州立大学的GroupLens研究小组(JosephA.Konstan,JohnRiedl等)JosephA.Konstan和JohnRiedl都是美国明尼苏达大学的计算机科学教授。身为IEEE高级会员的Konstan和IEEE会士的Riedl参与创建了MovieLens推荐系统。美国密歇根大学(PaulResnick)卡内基梅隆大学(JaimeCallan)微软研究院(RyenW.White)等其中,美国密歇根大学在2006年开授了由PaulResnick主讲的推荐系统的课程。推荐系统的概念
目前被广泛引用的推荐系统的非形式化概念是Resnick和Varian[8]在1997年给出的:[8]ResnickP,VarianHR.Recommendersystems.CommunicationsoftheACM,1997,40(3):56−58.
——“它是利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程”。推荐有3个组成要素:推荐候选对象、用户、推荐方法。
用户可以向推荐系统主动提供个人偏好信息或推荐请求,或者用户不提供,而是推荐系统主动采集。推荐系统可以使用不同的推荐策略进行推荐,如将采集到的个性化信息和对象数据进行计算得到推荐结果,或者直接基于已建模的知识数据库进行推荐。推荐系统将推荐结果返回给用户使用。推荐系统的概念用户建模
用户模型反映用户的兴趣偏好。用户兴趣的反馈可分为显性反馈和隐性反馈。
显性反馈包含两种方式:用户定制和用户评分。
用户定制是指用户对系统所列问题的回答,如年龄、性别、职业等。评分又分为两级评分和多级评分。例如,在YahooNews中采用两级评分:喜欢(morelikethis)和不喜欢(lesslikethis)。多级评分可以更详细地描述对某个产品的喜欢程度,如GroupLens中用户对新闻的喜好程度可评价为1~5分。NewsDude支持用户的4级反馈:感兴趣、不感兴趣、已知道、想了解更多,然后进行归一化处理。很多时候用户不能够准确地提供个人偏好或者不愿意显性提供个人偏好,更不愿意经常维护个人的偏好。隐性反馈往往能够正确地体现用户的偏好以及偏好的变化。常用的隐性反馈信息有:是否点击、停留时间、点击时间、点击地点、是否加入收藏、评论内容(可推测用户的心情)、用户的搜索内容、社交网络、流行趋势、点击顺序等。在协同过滤推荐方法中,常常把用户的隐性反馈转化为用户对产品的评分。例如,GoogleNews中用户阅读过的新闻记为喜欢,评分为1;没有阅读过的评分为0。DailyLearner系统中用户点击了新闻标题评分为0.8分,阅读完全文则评分上升到1分;若用户跳过了系统推荐的新闻,则从系统预测评分中减去0.2分作为最终评分。用户建模
用户的兴趣可分为长期兴趣和短期兴趣。长期兴趣反映用户的真实兴趣;短期兴趣常与热点话题相关联且经常改变,从最近的历史行为中学习到的短期兴趣模型可快速反映用户兴趣的变化。常用的模型有向量空间模型、语义网络模型、基于分类器的模型等。由于用户的兴趣常受物品本身周期性、热点事件、突发事件的影响,变化性很大。所以,需要经常更新用户模型。推荐算法
推荐算法是整个推荐系统中最核心、最关键的部分,很大程度上决定了推荐系统性能的优劣。目前,主要的推荐方法包括:基于人口统计学的推荐
协同过滤推荐基于内容的推荐基于关联规则的推荐基于效用的推荐基于知识的推荐混合推荐基于人口统计学的推荐
最为简单的一种推荐算法,只是简单的根据系统用户的基本信息发现用户的相关程度,然后将相似用户喜爱的其他物品推荐给当前用户。
系统首先会根据用户的属性建模,如年龄,性别,兴趣等信息。根据这些特征计算用户间的相似度。若系统通过计算发现用户A和C比较相似。就会把A喜欢的物品推荐给C。
优势:
a不需要历史数据,没有冷启动问题
b不依赖于物品的属性,因此其他领域的问题都可无缝接入。
不足:算法比较粗糙,效果很难令人满意,只适合简单的推荐。协同过滤算法协同过滤技术是由DavidGoldberg在1992年提出的,是目前个性化推荐系统中应用最为成功和广泛的技术。核心思想:如果两个用户对于一些项(item)的评分相似程度较高,那么一个用户对于一个新项的评分很有可能类似于
另一个用户。简介:通过在用户的一系列行为中寻找特定模式来产生用户特殊推荐输入:仅仅依赖于惯用数据(例如评价、购买、下载等用户偏好行为)注意:该算法不依赖于项的任何附加信息或者用户的任何附加信息(例如人口统计相关数据)。类型:
基于邻域的协同过滤(基于用户的、基于项的)——即基于内存的CF,是使用用户对已有项的评分直接预测该用户对新项的评分。
基于模型的协同过滤(矩阵因子分解、贝叶斯网络、基于聚类的方法、基于回归的方法)——利用历史评分数据,学习出预测模型,预测对新项的评分。通常的方式是使用机器学习算法,
找出用户与项的相互作用模型,从而找出数据中的特定模式。
基于邻域的协同过滤算法预测过程是预测用户对没有购买过的物品的可能打分值。
推荐是根据预测阶段的结果推荐用户最可能喜欢的一个或Top-N个物品。基于邻域的协同过滤算法
基于邻域的协同过滤算法可分为基于用户(UserCF)的和基于项(ItemCF)的两种。
基于用户的算法:适用于item更新频繁的应用。根据用户对物品的行为,找出兴趣爱好相似的一些用户,将其中一个用户喜欢的东西推荐给另一个用户。——如,老张喜欢看的书有A,B,C,D;老王喜欢看的书有A,B,C,E。通过这些数据我们可以判断老张和老王的口味略相似,于是给老张推荐E这本书,同时给老王推荐D这本书。
基于项的算法:适用于item的增长速度远小于user的增长速度的情况。根据用户的喜好先找出相似的物品,如果同时喜欢两个物品的人比较多的话,就认为这两个物品相似。并给用户推荐和他原有喜好类似的物品。这种相似是基于项的共同出现几率(例如用户买了X,同时时也买了Y)。——如,我们发现喜欢看《从一到无穷大》的人大都喜欢看《什么是数学》,那么如果你刚津津有味地看完《从一到无穷大》,我们就可以立马给你推荐《什么是数学》。基于邻域的协同过滤算法基于用户的协同过滤(UserCF)基于项的协同过滤(ItemCF)基于邻域的协同过滤算法基于用户的协同过滤算法(UserCF)
该算法于1992年被提出并用于邮件过滤系统,两年后(1994年)被GroupLens用于新闻过滤。一直到2000年,该算法都是推荐系统领域最著名的算法。
UserCF算法是以人为本,可以分为两个步骤:1.找到与目标用户兴趣相似的用户集合;2.找到这个集合中用户喜欢的、并且目标用户没有听说过的物品推荐给目标用户。该算法最大的问题是如何判断并量化两个用户的相似性。
例如,有3首歌:《最炫民族风》,《晴天》,《Hero》。
A君,收藏了《最炫民族风》,而遇到《晴天》,《Hero》则总是跳过;
B君,经常单曲循环《最炫民族风》,《晴天》会播放完,《Hero》则拉黑了;
C君,拉黑了《最炫民族风》,而《晴天》《Hero》都收藏了。
可见,A,B二位品味接近,C和他们很不一样。
那么问题来了,A,B到底有多相似,如何量化?
把三首歌想象成三维空间的三个维度,《最炫民族风》是x轴,《晴天》是y轴,《Hero》是z轴,对每首歌的喜欢程度即该维度上的坐标,并且对喜欢程度做量化(比如:单曲循环=5,分享=4,收藏=3,主动播放=2,听完=1,跳过=-1,拉黑=-5)。
那么每个人的总体口味就是一个向量,A君是(3,-1,-1),B君是(5,1,-5),C君是(-5,3,3)
用向量夹角的余弦值来表示两个向量的相似程度,0度角(表示两人完全一致)的余弦是1,180度角(表示两人截然相反)的余弦是-1。
基于用户的协同过滤算法(UserCF)
可见,A君B君夹角的余弦是0.81,A君C君夹角的余弦是-0.97.
假设选取一百首种子歌曲,算出了各君之间的相似值,那么当发现A君还喜欢听的《小苹果》,而B君居然没听过,就可以向B君推荐了。Pearson相关系数
ItemCF算法以物为本,直接建立各商品之间的相似度关系矩阵。
最简单的就是
斜率=1(SlopeOne)算法。如,amazon发明了‘买了这个商品的人,也买了xxx’。基于项的协同过滤算法(ItemCF)例:假设对新来的D君,只知道她喜欢最炫民族风,那么应给她推荐那首歌曲呢?可以预测D君对晴天的喜欢程度为4+0=4,对Hero的喜欢程度为4+(-2)=2。因此,向D君推荐晴天。
SlopeOne算法是由DanielLemire教授在2005年提出的。DanielLemire,AnnaMaclachlan,SlopeOnePredictorsforOnlineRating-BasedCollaborativeFiltering,InSIAMDataMining(SDM’05),NewportBeach,California,April21-23,2005.其基本的想法来自于简单的一元线性模型w=f(v)=v+b。已知一组训练点(vi,wi),(i=1,…,n),利用此线性模型最小化预测误差的平方和,可以获得对于新的数据点vnew,可以利用wnew=vnew+b获得它的预测值。直观上我们可以把上面求偏移b的公式理解为wi和vi差值的平均值。定义itemi相对于itemj的平均偏差:其中Sj,i()表示同时对itemi和j给予了评分的用户集合,而card()表示集合包含的元素数量。有了上面的定义后,我们可以使用获得目标用户u对itemj的预测值。当把所有这种可能的预测平均起来,可以得到:其中Rj
表示用户u已经给予评分且满足条件(i≠j)的所有item的集合。对于足够稠密的数据集,可以使用近似把上面的预测公式简化为
SlopeOne算法可以预测D君对晴天的喜欢程度为:
((4+0)+(2+2))/2=4。SlopeOne中在计算itemi相对于itemj的平均偏差devj,i
时没有考虑到使用不同的用户数量平均得到的devj,i,其可信度不同。假设有2000个用户同时评分了itemj和k,而只有20个用户同时评分了itemj和l,那么显然获得的devj,k
比devj,l
更具有说服力。所以可以通过对最终的平均进行加权来修正预测值:其中,WeightedSlopeOne算法首先计算item1和item2的平均差值,((5-3)+(3-4))/2=0.5,
还有item1和item3的平均差值,5-2=3,
然后推算lucy对item1的评分,根据item1和item2的平均差值来看lucy对item1的评分可能为2+0.5=2.5,
同理根据item1和item3的平均差值,lucy对item1的评分可能为5+3=8.使用加权平均数进行计算:
(因为2.5是根据两个值推算的,8是通过一个只推算的)Bi-PolarSlopeOne进一步将用户已经给予评分的item划分为两类——like和dislike,划分的方法是判断对应的评分是否大于此用户的平均评分:
类似地,可以定义对itemi和j具有相同喜好的用户集合:
进而可给出like(或dislike)的item的偏差值:这样可以从itemi计算得到itemj的预测值:
最终Bi-PolarSlopeOne的预测公式为:双极SlopeOne算法可以预测D君对晴天的喜欢程度为:(0+4+2)/3=2
优点:该算法很简单,易于实现,执行效率高,在只有很少数据的时候也能得到一个相对准确的推荐,这一点可以解决ColdStart的问题。
缺点:该算法的效果不是很理想。因为,该算法总是把用户的口味和大众的平均口味作对等,推荐出来的东西很难是非常个性化的。很容易让很多用户的推荐结果趋向一致。SlopeOne算法的优缺点
假设有一组用户,他们表现出了对一组图书的喜好。用户对一本图书的喜好程度越高,就会给其更高的评分,范围是从1到5。通过一个矩阵来展示它,行代表用户,列代表图书。使用余弦相似性,把第一个用户和其他五个用户进行比较,就能直观地看到他和其他用户的相似程度。
基于用户的协同过滤算法(UserCF)更一般地,可以计算出每两个用户之间的相似性,并且在相似矩阵中表示它们。
这是一个对称矩阵。单元格的背景颜色表明用户相似度的高低,更深的红色表示他们之间更相似。
基于用户的协同过滤算法(UserCF)在一般情况下,为一个给定用户生成推荐,意味着找到与其最相似的用户,根据用户相似度对这些相似用户欣赏的项进行加权。
以第一个用户为例。首先,找到与第一个用户最相似的另一用户,删除第一个用户已经评价过的书籍,给最相似用户正在阅读的书籍加权,然后计算出总和。
假设n=2,表示为了产生推荐,需要找出与目标用户最相似的两个用户。这两个用户分别是2和3。由于第一个用户已经评价了1和5,所产生的推荐书是3(4.5分)和4(3分)。
基于用户的协同过滤算法(UserCF)类似于UserCF,在ItemCF中,第一件事也是计算相似矩阵(商品而非用户的相似性)。要计算一本书和其它书的相似性,使用评价过一本书的用户向量(或数组)表示这本图书,并比较他们的余弦相似性函数。
对于第一本书来说,与之最类似的是第五本书,因为评价他们的用户大致相同。第三本书与第一本书有两个相同的评价用户,第四和第二本书与之只有一个共同评价用户,而最后一本书则不认为是相似的,因为它与第一本书没有共同的评价用户。
基于项的协同过滤算法(ItemCF)右图表示所有图书之间相似度的相似矩阵。
在ItemCF中,我们采用被用户评价过的项,推荐与之最相似的项。对于第一个用户,首先将被推荐第三本书,其次是第六本书。且只推荐和用户已经评价过的图书最相似的前n本书。
基于项的协同过滤算法(ItemCF)UsefCF和ItemCF可以产生不同的推荐结果。即使使用的数据相同,这两种方法对于同一用户产生的推荐结果也不相同,为用户提供了不同的体验。基于邻域的协同过滤算法
UserCF更接近于社会化推荐,比较精准,适用于用户少,物品多,时效性较强的场合,具有推荐新信息的能力,可以发现用户潜在但自己尚未察觉的兴趣爱好,能够推荐艺术品、音乐、电影等难以进行内容分析的产品。代价是运算量很大,而且对于新来的人(听得少,动作少),也不太好用。ItemCF则更接近个性化推荐,适用于用户多,物品少的场合,比如豆瓣的豆瓣猜、豆瓣FM,同时ItemCF还可以给出靠谱的推荐理由,例如豆瓣的「喜欢OO的人也喜欢XX」和亚马逊的「买了XX的人也买了OO」。
协同过滤算法最明显的一个缺点就是热门物品的干扰,即该算法经常会导致两个不同领域的最热门物品之间具有较高的相似度。——如给喜欢《算法导论》的同学推荐《哈利波特》,显然是不科学的!要避免这种情况就得从物品的内容数据入手.基于模型的协同过滤算法
基于模型的方法会在使用评分去学习预测模型的基础上,去预测新项。一般的想法是使用机器学习算法建立用户和项的相互作用模型,从而找出数据中的模式。在一般情况下,基于模型的CF被认为是建立CF推荐系统的更先进的算法。有许多不同的算法可用于构建模型并基于这些模型进行预测,例如,贝叶斯网络、聚类、分类、回归、矩阵分解、受限玻尔兹曼机等等。这些技术在为了最终赢得Netflix奖的解决方案中扮演了关键角色。Netflix发起了一个竞赛,从2006年到2009年提供一百万美元奖金,颁发给产生的推荐比他们自己的推荐系统精确10%以上的推荐系统团队。成功获奖的解决方案是Korbell的团队研发的一个集成(即混合)了超过100种算法模型,这些算法模型都采用了矩阵分解和受限玻尔兹曼机。基于模型的协同过滤算法NetFlix的实时推荐系统系统架构图基于模型的协同过滤算法
基于低秩矩阵分解的方法是最近一类成功的基于模型的方法。
例如,SVD和SVD++将评价矩阵分解为3个低秩的矩阵,这3个矩阵的乘积能对原始矩阵进行某种程度的复原,从而可以评估出缺失值。另一种方法是非负矩阵分解,其不同之处在于,矩阵分解的结果不得出现负值。基于低秩矩阵分解的方法从评分矩阵中抽取一组潜在的(隐藏的)因子,并通过这些因子向量描述用户和物品。
在电影领域,这些自动识别的因子可能对应一部电影的常见标签,比如风格或者类型(戏剧片或者动作片),也可能是无法解释的。基于模型的协同过滤算法
矩阵因子分解(如奇异值分解)将项和用户都转化成了相同的潜在空间,即将用户偏好矩阵分解成一个用户-潜在因子矩阵乘以一个潜在因子-项矩阵,代表用户和项之间的潜相互作用。
矩阵分解背后的原理是潜在特征代表了用户如何给项进行评分。给定用户和项的潜在描述,我们可以预测用户将会给还未评价的项多少评分。矩阵因子分解用户-潜在因子矩阵Q:表示不同的用户对于不用元素的偏好程度,1代表很喜欢,0代表不喜欢。如:潜在因子-音乐矩阵P:表示每种音乐含有各种元素的成分。如下表中,音乐A是一个偏小清新的音乐,含有小清新这个LatentFactor的成分是0.9,重口味的成分是0.1,优雅的成分是0.2……矩阵因子分解利用这两个矩阵,我们能得出张三对音乐A的喜欢程度是:张三对小清新的偏好*音乐A含有小清新的成分+对重口味的偏好*音乐A含有重口味的成分+对优雅的偏好*音乐A含有优雅的成分+……即:张三对音乐A的喜欢程度=0.6*0.9+0.8*0.1+0.1*0.2+0.1*0.4+0.7*0=0.68每个用户对每首歌都这样计算可以得到不同用户对不同歌曲的评分矩阵。因此我们为张三推荐四首歌中得分最高的B,为李四推荐得分最高的C,为王五推荐B。矩阵因子分解问题:潜在因子(latentfactor)是怎么得到的呢?由于面对海量的音乐,让用户自己给音乐分类并给出自己的偏好系数显然是不现实的,事实上我们能获得的数据只有用户行为数据。如:单曲循环=5,分享=4,收藏=3,主动播放=2,听完=1,跳过=-2,拉黑=-5,在分析时能获得的实际评分矩阵R,也就是输入矩阵大概如下:矩阵因子分解
事实上这是个非常非常稀疏的矩阵,因为大部分用户只听过全部音乐中很少一部分。
如何利用这个矩阵去找潜在因子?这里主要应用到的是矩阵的奇异值分解。即将上面的评分矩阵分解为两个低维度的矩阵,用Q和P两个矩阵的乘积去估计实际的评分矩阵,而且我们希望估计的评分矩阵和实际的评分矩阵不要相差太多。矩阵因子分解这里涉及到最优化理论,在实际应用中,往往还要在后面加上2范数的罚项,然后利用梯度下降法就可以求得P,Q两个矩阵的估计值。例如上面给出的那个例子可以分解成为这样两个矩阵:矩阵因子分解这两个矩阵相乘就可以得到估计的得分矩阵。将用户已经听过的音乐剔除后,选择分数最高的音乐推荐给用户即可。实际评分矩阵R估计的得分矩阵矩阵因子分解在这个例子里面用户7和用户8有强的相似性:从推荐的结果来看,正好推荐的是对方评分较高的音乐:协同过滤算法
协同过滤算法仅依赖于用户的惯用数据,需要最低限度专业工程的努力,以产生足够好的结果,但是,也有局限性。
例如,CF倾向于推荐流行的项,很难推荐给有独特口味的人(即感兴趣的项并没有产生足够多的惯用数据)。这被称为流行性偏见,它通常是用基于内容的过滤方法加以解决。CF方法的一个更重要的限制是“冷启动问题”,系统是不能够给没有(或非常少)惯用活动的用户进行推荐,又称新用户问题,或推荐新项问题。新用户的“冷启动问题”可以通过流行性和混合方法进行解决,而新项问题可以通过使用基于内容的过滤或multi-armedbandits(多臂赌博机)进行解决。协同过滤算法的特点
优势:
a它不需要对物品或者用户进行严格的建模,而且不要求物品的描述是机器可理解的,所以这种方法也是领域无关的。b这种方法计算出来的推荐是开放的,可以共用他人的经验,很好的支持用户发现潜在的兴趣偏好。不足:
a方法的核心是基于历史数据,所以对新物品和新用户都有“冷启动”的问题。
b推荐的效果依赖于用户历史偏好数据的多少和准确性。
c在大部分的实现中,用户历史偏好是用稀疏矩阵进行存储的,而稀疏矩阵上的计算有些明显的问题,包括可能少部分人的错误偏好会对推荐的准确度有很大的影响等等。
d对于一些特殊品味的用户不能给予很好的推荐。
e由于以历史数据为基础,抓取和建模用户的偏好后,很难修改或根据用户的使用演变,从而导致这个方法不够灵活。协同过滤算法的数据稀疏问题
协同过滤算法的关键是找寻用户(物品)的最近邻居。当数据稀疏时,用户购买过的物品很难重叠,协同推荐的效果就不好。例如,在Mendeley中有数以百万计的文章而一个用户可能只读了其中几百篇文章。两个读过100篇文章的用户有一篇相同文章的概率(共5000万篇文章)是0.0002。
改进办法1:除了直接邻居之外,间接邻居的行为也可以对当前用户的决策行为构成影响。改进办法2:可以添加一些缺省值,人为地将数据变得稠密一些。改进办法3:采用迭代补全的方法,先补充部分数值,在此基础上再进一步补充其他数值。改进办法4:利用迁移学习的方法来弥补数据稀疏的问题。但这些方法只能在某种程度上部分解决数据稀疏的问题,并不能完全克服。在真实应用中,由于数据规模很大,数据稀疏的问题更加突出。数据稀疏性使协同过滤方法的有效性受到制约。甄别出与数据稀疏程度相匹配的算法,以便能根据具体应用情况做出正确选择,是非常有价值的研究课题。基于内容的推荐
基于内容的推荐算法总是为用户推荐那些与用户过去喜欢的item类似的item。通常使用用户模型的向量特征来描述用户的兴趣爱好,同样对于每个物品进行特征提取,作为物品模型的内容特征。然后计算用户模型的向量特征和候选物品模型的向量特征两者之间的匹配度,匹配度较高的候选物品就可作为推荐结果推送给目标用户。它不同于协同过滤,它是基于item的内容(例如标题、年份、描述)比较item之间的相似度。并没有考虑用户过去如何使用item的情况。
例如,如果一个用户喜欢电影“指环王:魔戒再现”和“指环王:双塔奇兵”,然后使用电影的标题信息,推荐系统可以向用户推荐电影“指环王:王者无敌”。在基于内容的推荐中,假设可以获取到item的描述信息,并将其作为item的特征向量(例如标题、年份、描述)。这些特征向量被用于创建一个反映用户偏好的模型。各种信息检索(如TF-IDF——termfrequency–inversedocumentfrequency,词频-倒排文档频率)和机器学习技术(例如朴素贝叶斯、支持向量机、决策树等)可被用于创建用户模型,从而为用户产生推荐。基于内容的推荐
CB的过程一般包括以下三步:1.ItemRepresentation:为每个item抽取出一些特征(即item的content)来表示此item;2.ProfileLearning:利用一个用户过去喜欢(及不喜欢)的item的特征数据,来学习出此用户的喜好特征(profile);3.RecommendationGeneration:通过比较上一步得到的用户profile与候选item的特征,为此用户推荐一组相关性最大的item。基于内容的推荐
系统首先对物品的属性进行建模,如用电影的类型作为属性。在实际应用中,只根据类型显然过于粗糙,还需要考虑演员,导演等更多信息。通过相似度计算,发现电影A和C相似度较高,因为他们都属于爱情类。系统还会发现用户A喜欢电影A,由此得出结论,用户A很可能对电影C也感兴趣。于是将电影C推荐给A。
优势:对用户兴趣可以很好的建模,并通过对物品属性维度的增加,获得更好的推荐精度
不足:
a物品的属性有限,很难有效的得到更多数据
b物品相似度的衡量标准只考虑到物品本身,有一定的片面性
c需要用户的物品的历史数据,有冷启动的问题基于内容的推荐例:假设有一些用户表达过对于一系列书籍的偏好。他们越喜欢一本书,他们对书籍的评分就会越高,通常划分为从1到5的5个等级。可以将用户对于书籍的偏好表示为一个矩阵,其中行代表用户,列表示书籍。基于内容的推荐在基于内容的推荐中,要做的第一件事是基于内容计算书籍之间的相似度。为了方便理解该算法的工作原理,本例中仅仅使用了书籍标题中的词汇。在实际应用中,可以使用更多的属性。基于内容的推荐首先,从内容中删除停止词(例如语法词语、常见的词语),然后将书籍用一个向量(或数组)表示,代表使用了哪些词,这被称为矢量空间表示。使用书籍标题中词汇作为描述书籍的向量表示。当相应的词汇在标题中,对应的单元格中标注1,否则为空白。基于内容的推荐
给定每本书的表示之后,可以使用一系列的相似度度量来对书籍进行比较。本例中,选择余弦相似性度量。把第一本书与其他的五本书进行比较,就能得到该书与其他书之间的相似程度。第一本书与其中三本书非常类似,因为它们的表示之间有两个词汇相同(recommender和systems),由于第五本书的描述的词汇最少,因此它与第一本书最相似,因为它有最少的多余的词汇。而剩下的两本书与第一本书没有共同的描述词汇,因此可以当做一点都不相似。基于内容的推荐
更进一步,可以在一个相似度矩阵中显示所有书籍之间的相似程度。单元格的背景颜色表示两本书之间的相似程度,红颜色越深,它们之间越相似。每个相似度是基于书籍的词汇向量表示用余弦相似性度量进行计算的。基于内容的推荐
在知道书籍之间的相似度后,就可以对用户推荐书籍了。
选取一个用户此前评分过的书籍,并推荐与它们最相似的书籍。与协同过滤方法不同的是,这里的相似性度量是基于书籍的内容,准确来说是标题,而不是使用用户过去的行为数据。第一个用户将会被推荐第六本书,之后是第四本书。在此,我们仅仅选取了最相似的两本书。基于内容的推荐
对于个性化阅读来说,一个item就是一篇文章。首先要从文章内容中抽取出代表它们的属性。常用的方法就是利用出现在一篇文章中的词来代表这篇文章,而每个词对应的权重往往使用信息检索中的tf-idf来计算。这样,一篇抽象的文章就可以使用具体的一个向量来表示了。第二步就是根据用户过去喜欢什么文章来产生刻画此用户喜好的profile了,最简单的方法可以把用户所有喜欢的文章对应的向量的平均值作为此用户的profile。
比如某个用户经常关注与推荐系统有关的文章,那么他的profile中“CB”、“CF”和“推荐”对应的权重值就会较高。在获得了一个用户的profile后,CB就可以利用所有item与此用户profile的相关度对他进行推荐文章了。一个常用的相关度计算方法是cosine。最终把候选item里与此用户最相关(cosine值最大)的N个item作为推荐返回给此用户。基于内容的推荐Step1.ItemRepresentation真实应用中的item往往都会有一些可以描述它的属性,通常可以分为两种:结构化的(structured)属性——属性的意义比较明确,其取值限定在某个范围;非结构化的(unstructured)属性——往往其意义不太明确,取值也没什么限制,不好直接使用。比如在交友网站上,item就是人,一个item会有结构化属性如身高、学历、籍贯等,也会有非结构化属性(如item自己写的交友宣言,博客内容等等)。对于结构化数据,可以直接拿来就用;但对于非结构化数据(如文章),往往要先把它转化为结构化数据后才能在模型里加以使用。基于内容的推荐真实场景中碰到最多的非结构化数据可能就是文章了(如个性化阅读中)。如何把非结构化的一篇文章结构化?——向量空间模型(VectorSpaceModel,简称VSM)基于内容的推荐
用的最多的计算方法是信息检索中常用的词频-逆文档频率(termfrequency–inversedocumentfrequency,简称tf-idf)。第j篇文章中与词典里第k个词对应的tf-idf为:做归一化的好处是不同文章之间的表示向量被归一到一个量级上,便于之后的操作。基于内容的推荐Step2.ProfileLearning
假设用户u已经对一些item给出了他的喜好判断,喜欢其中的一部分item,不喜欢其中的另一部分。那么,这一步要做的就是通过用户u过去的这些喜好判断,为他产生一个模型。有了这个模型,就可以判断用户u是否会喜欢一个新的item。这是一个典型的有监督分类问题,理论上机器学习里的分类算法都可以照搬进这里。CB里常用的一些学习算法:最近邻方法(k-NearestNeighbor,简称kNN)Rocchio算法决策树算法(DecisionTree,简称DT)线性分类算法(LinearClassifer,简称LC)朴素贝叶斯算法(NaiveBayes,简称NB)基于内容的推荐Step3.RecommendationGeneration
如果ProfileLearning中使用的是分类模型(如DT、LC和NB),那么只要把模型预测的用户最可能感兴趣的n个item作为推荐返回给用户即可。
如果ProfileLearning中使用的直接学习用户属性的方法(如Rocchio算法),那么只要把与用户属性最相关的n个item作为推荐返回给用户即可。其中的用户属性与item属性的相关性可以使用如cosine等相似度度量获得。基于内容的推荐CB的优点:1.用户之间的独立性(UserIndependence):每个用户的profile都是依据他本身对item的喜好获得的,与他人的行为无关。而CF刚好相反,CF需要利用很多其他人的数据。CB的这种用户独立性带来的一个显著好处是别人不管对item如何作弊(比如利用多个账号把某个产品的排名刷上去)都不会影响到自己。2.好的可解释性(Transparency):如果需要向用户解释为什么推荐了这些产品给他,你只要告诉他这些产品有某某属性,这些属性跟你的品味很匹配等等。3.新的item可以立刻得到推荐(NewItemProblem):只要一个新item加进item库,它就马上可以被推荐,被推荐的机会和老的item是一致的。而CF对于新item就很无奈,只有当此新item被某些用户喜欢过(或打过分),它才可能被推荐给其他用户。所以,如果一个纯CF的推荐系统,新加进来的item就永远不会被推荐。基于内容的推荐
基于内容的方法克服了协同过滤方法的很多不足。总体来说,基于内容的推荐算法可以克服流行度偏离和新item的冷启动问题。值得注意的是,纯粹基于内容的推荐算法的性能通常不如协同过滤算法。基于内容的推荐算法通常还存在过度专业化(over-specialisation)的问题,即用户可能会得到过多相同类型的item(如推荐所有的“指环王”系列电影),而不会推荐其他不同的、但用户可能感兴趣的item。基于内容的推荐算法中,仅仅使用了包含在item元数据中的词汇(如标题、描述年份),这限制了推荐算法的实用性,不能帮助用户探索和发现词汇之外的内容。基于内容的推荐CB的缺点:
1.item的特征抽取一般很难(LimitedContentAnalysis):如果系统中的item是文档(如个性化阅读中),那么我们现在可以比较容易地使用信息检索里的方法来“比较精确地”抽取出item的特征。但很多情况下我们很难从item中抽取出准确刻画item的特征,比如电影推荐中item是电影,社会化网络推荐中item是人,这些item属性都不好抽。其实,几乎在所有实际情况中我们抽取的item特征都仅能代表item的一些方面,不可能代表item的所有方面。这样带来的一个问题就是可能从两个item抽取出来的特征完全相同,这种情况下CB就完全无法区分这两个item了。比如如果只能从电影里抽取出演员、导演,那么两部有相同演员和导演的电影对于CB来说就完全不可区分了。2.无法挖掘出用户的潜在兴趣(Over-specialization):既然CB的推荐只依赖于用户过去对某些item的喜好,它产生的推荐也都会和用户过去喜欢的item相似。如果一个人以前只看与推荐有关的文章,那CB只会给他推荐更多与推荐相关的文章,它不会知道用户可能还喜欢数码。3.无法为新用户产生推荐(NewUserProblem):新用户没有喜好历史,自然无法获得他的profile,所以也就无法为他产生推荐了。当然,这个问题CF也有。基于内容的推荐
基于用户的协同过滤VS基于人口统计学的推荐联系:都是计算用户的相似度,并基于“邻居”用户群计算推荐。区别:用户相似度计算的方法不一样,前者是在用户的历史偏好的数据上计算用户的相似度,它的基本假设是,喜欢类似物品的用户可能有相同或者相似的口味和偏好,而后者只考虑用户本身的特征。基于物品的协同过滤VS基于内容的推荐联系:都是基于物品相似度预测推荐,区别:相似度计算的方法不一样,前者是从用户历史的偏好推断,而后者是基于物品本身的属性特征信息。混合推荐方法由于各种推荐方法都有其自身的优缺点,因此在实际中经常使用混合推荐(HybridRecommendation)的方法。混合推荐的一个最重要原则就是通过组合后应能避免或弥补各自推荐技术的弱点。研究和应用最多的是内容推荐和协同过滤推荐的组合。最简单的做法就是分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果,然后用某方法组合其结果。尽管从理论上有很多种推荐组合方法,但在某一具体问题中并不见得都有效,不同的组合思路适用于不同的应用场景。混合推荐方法
将多种基本的推荐技术进行组合形成一个混合推荐系统的不同方式1)加权(Weight):加权多种推荐技术结果。
2)变换(Switch):根据问题背景和实际情况或要求决定变换采用不同的推荐技术。
3)混合(Mixed):同时采用多种推荐技术给出多种推荐结果为用户提供参考。
4)特征组合(Featurecombination):组合来自不同推荐数据源的特征被另一种推荐算法所采用。
5)层叠(Cascade):先用一种推荐技术产生一种粗糙的推荐结果,第二种推荐技术在此推荐结果的基础上进一步作出更精确的推荐。
6)特征扩充(Featureaugmentation):一种技术产生附加的特征信息嵌入到另一种推荐技术的特征输入中。
7)元级别(Meta-level):用一种推荐方法产生的模型作为另一种推荐方法的输入。混合推荐方法
现在,组合基于用户的协同过滤技术、基于item的协同过滤技术以及基于内容的过滤技术来构建一个新的混合推荐系统。使用加权方法来组合这几种不同技术的结果,通过考虑不同结果的重要性(即权重)来产生新的推荐。下面为第一个用户产生一些推荐。首先,提取使用基于用户的协同过滤技术和基于item的协同过滤技术(CF)所得到的推荐结果,以及使用基于内容的过滤技术(CB)所得到的推荐结果。值得注意的是,在这个小的例子中,即使三种方法的输入相同,但它们却为相同用户产生了略微不同的推荐结果。混合推荐方法使用一个加权混合推荐系统为给定的用户产生推荐,基于用户的协同过滤的权重为40%,基于item的协同过滤的权重为30%,基于内容的过滤技术的权重为30%。相比使用单个算法的例子中仅仅向用户推荐两本书,在这个例子中,用户将被推荐所有他们未评分过的三本书。混合推荐方法
通过举一个简单的例子,提供了一个综合的阐述,当有相同的输入数据时,这四种不同的算法将为相同的用户产生如何不同的推荐结果。在算法被应用到大的、真实的数据中时,这种差异会一直存在,所以在决定要使用哪种算法时需要考虑它们的优点和缺点,并且在评价它们的时候,还要考虑它们执行的好坏程度。
在实际应用中,如果利用协同过滤算法作为推荐模型,一般不会出什么问题。协同过滤容易比其他算法产生更好的结果,但是它不能很好地处理新用户和新item的冷启动问题,如果要处理这些问题,基于内容的推荐算法是一个很好的备选。
如果有时间,那么可以将这些方法进行组合,这样就可以同时利用协同过滤算法和基于内容的推荐算法的优点。即使需要考察更为先进的推荐算法,在此之前,先好好考虑一下这些基本的算法也不失为一个好主意。混合推荐方法
虽然混合方法可以解决CF方法和CB方法中存在的一些局限性,但它们同时也需要大量的工作来获取系统中的不同算法之间的平衡。
组合单个的推荐算法的另一种技术是集成方法,它需要学习一个函数(即集成器)来确定不同推荐算法组合的权重。
值得注意的是,通常集成方法不仅仅结合了不同的算法,同时也组合了基于相同算法的不同变种(模型)。例如,在赢得Netflix竞赛的解决方案中,研究者使用了来自于超过10种不同算法(流行度、领域方法、矩阵因子分解、受限玻尔兹曼机、回归等)的100多种模型,并通过使用梯度boosted决策树将它们组合到一个集成器中。
值得补充的是,基于流行度的方法对于新用户的冷启动问题也是一个很好的解决方法。这种方法在对item进行评分时使用某种形式流行度度量,例如最多的下载次数或购买量,然后向新用户推荐这些受欢迎的item。当你有一个好的流行度度量的时候,这是一个基本的、但功能强大的方法,而且在与其他推荐算法进行比较时提供一个好的基线。
在可以切换到其他能够更好地建模用户偏好的方法(协同过滤技术和基于内容的过滤技术)之前,流行度度量本身可以作为一种算法来增强一个推荐系统,以获得足够的活跃度和使用量。
流行度的模型也可以组合在混合方法中,以帮助解决推荐系统的新用户冷启动问题。混合推荐的组合思路后融合:融合两种或两种以上的推荐方法各自产生的推荐结果。
如使用基于内容的方法和协同过滤方法分别得到推荐列表,融合列表的结果决定最后推荐的对象。中融合:以一种推荐方法为框架,融合另一种推荐方法。
如以基于内容的方法为框架,融合协同过滤的方法,或者以协同过滤的方法为框架,融合基于内容的方法。前融合:直接融合各种推荐方法。
如将基于内容和协同过滤的方法整合到一个统一的框架模型下。组合推荐后融合组合推荐(结果层次上的融合)在后融合组合推荐中,最简单的做法就是分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果,然后用某种方法组合其结果。文献[37]使用了评分结果的线性组合。[37]ClaypoolM,GokhaleA,MirandaT,MurnikovP,NetesD,SartinM.Combiningcontent-basedandcollaborativefiltersinanonlinenewspaper.In:Proc.oftheACMSIGIR’99WorkshopRecommenderSystems:AlgorithmsandEvaluation.NewYork:ACMPress,1999.
文献[38]使用了投票机制来组合推荐结果。[38]PazzaniM.Aframeworkforcollaborative,content-based,anddemographicfiltering.ArtificialIntelligenceReview,1999,13(5-6):393−408.
也可以分别考察两个推荐列表,判断使用其中的哪个推荐结果。如,DailyLearnersystem[39]通过计算推荐结果的可信度,然后选择一个列表的结果。[39]BillsusD,PazzaniM.Usermodelingforadaptivenewsaccess.UserModelingandUser-AdaptedInteraction,2000,10(2-3):147−180.
组合推荐中融合组合推荐
以基于内容的方法为框架,融合协同过滤的方法利用降维技术把基于内容的对象特征进行精简化。如,文献[40]使用了LSI(latentsemanticindexing)算法,在基于内容的框架中使用精化的用户特征向量。[40]SoboroffI,NicholasC.Combiningcontentandcollaborationintextfiltering.In:Proc.oftheInt’lJointConf.onArtificialIntelligenceWorkshop:MachineLearningforInformationFiltering.Stockholm,1999.86−91.
以协同过滤的方法为框架,融合基于内容的方法为了克服协同过滤的稀疏问题,把用户当作对象,使用基于内容的特征提取方法把用户本身的特征(如年龄、工作情况等人口统计学特征)使用到相似度计算中,而不是仅仅依赖用户的点击行为。文献[41]引入多种不同的用户描述符来归类用户,挖掘用户的内在联系,从而得到更好的推荐效果。[41]GoodN,SchaferJB,KonstanJA,BorchersA,SarwarB,HerlockerJL,RiedlJ.Combiningcollaborativefilteringwithpersonalagentsforbetterrecommendations.In:Proc.ofthe16thNationalConf.onArtificialIntelligence.MenloPark:AAAIPress,1999.439−446.
文献[42]使用独立的基于内容的特征来补偿用户提供的简单的rating。
[42]MelvilleP,MooneyRJ,NagarajanR.Content-Boostedcollaborativefilteringforimprovedrecommendations.In:Proc.ofthe18thNationalConf.onArtificialIntelligence.MenloPark:AmericanAssociationforArtificialIntelligence,2002.187−192.
组合推荐前融合组合推荐(方法层次上的融合)近年来,这类推荐方法最受学者的关注。文献[36]把用户的年龄和电影的类型放到一个统一的分类器中训练学习。[36]BasuC,HirshH,CohenW.Recommendationasclassification:Usingsocialandcontent-basedinformationinrecommendation.In:Proc.oftheAAAI’98.MenloPark:AAAIPress.1998.714−720.
文献[43]使用了贝叶斯混合效果回归模型,将用户和对象的特征都放到一个统计模型下来计算效用函数,并通过马尔可夫蒙特卡洛方法得到这个模型的参数。[43]AnsariA,EssegaierS,KohliR.Internetrecommendationssystems.JournalofMarketingResearch,2000,37(3):363−375.
基于关联规则的推荐
基于关联规则的推荐(AssociationRule-basedRecommendation)是以关联规则为基础,把已购商品作为规则头,规则体为推荐对象。
关联规则就是在一个交易数据库中统计购买了商品集X的交易中有多大比例的交易同时购买了商品集Y,其直观的意义就是用户在购买某些商品的时候有多大倾向去购买另外一些商品。比如购买牛奶的同时很多人也会购买面包。关联规则“X->Y”表示对于购买了商品X的用户,系统将给他推荐商品Y。关联规则挖掘可以发现不同商品在销售过程中的相关性,在零售业中已经得到了成功的应用。关联规则的发现是算法的第一步也是最为关键且最耗时的,是算法的瓶颈,但可以离线进行。其次,商品名称的同义性问题也是关联规则的一个难点。基于效用的推荐
基于效用的推荐(Utility-basedRecommendation)是建立在对用户使用项目的效用情况上计算的,其核心问题是怎么样为每一个用户去创建一个效用函数。用户资料模型很大程度上是由系统所采用的效用函数决定的。基于效用推荐的好处是它能把非产品的属性,如提供商的可靠性(VendorReliability)和产品的可得性(ProductAvailability)等考虑到效用计算中。基于知识的推荐基于知识的推荐(Knowledge-basedRecommendation)在某种程度是可以看成是一种推理(Inference)技术,它不是建立在用户需要和偏好基础上进行推荐的。而是利用针对特定领域制定规则(rule)来进行基于规则和实例的推理(case-basedreasoning)。效用知识(functionalknowledge)是一种关于一个对象如何满足某一特定用户的知识,能够解释需求和推荐的关系,用于推荐系统。效用知识在推荐系统中必须以机器可读的方式存在(ontology本体知识库)。文献[34]中利用饭店的菜式方面的效用知识,推荐饭店给顾客;[34]BurkeR.Knowledge-Basedrecommendersystems.EncyclopediaofLibraryandInformationSystems,2000,69(32):180−200.
文献[35]使用关于学术论文主题的ontology本体知识库向读者作推荐
[35]MiddletonSE,ShadboltNR,deRoureDC.Ontologicaluserprofilinginrecommendersystems.ACMTrans.onInformationSystems,2004,22(1):54−88.
主要推荐算法对比推荐方法优点缺点基于内容推荐推荐结果直观,容易解释;要求特征
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024中国石化江汉油田分公司毕业生招聘71人易考易错模拟试题(共500题)试卷后附参考答案
- 2024中国外运华南限公司园招聘20人易考易错模拟试题(共500题)试卷后附参考答案
- 2024中国人民财产保险股份限公司毕节分公司招聘理赔人员7人(贵州)易考易错模拟试题(共500题)试卷后附参考答案
- 2024中信证券浙江分公司钱江校园招聘50人易考易错模拟试题(共500题)试卷后附参考答案
- 2024上海磁浮交通发展限公司招聘150人易考易错模拟试题(共500题)试卷后附参考答案
- 《城域网建设及应用》课件
- 癌症的中医思路课件
- 2024年度美欧达电热水器区域代理加盟协议
- 2024年度电梯应急照明系统安装合同
- 2024年度新型农业经营主体贷款担保合同
- 2024茶山茶叶种植基地合作协议
- 浙江省初中名校发展共同体期中联考2024-2025学年七年级上学期11月期中数学试题(含答案)
- 【初中道法】增强安全意识 课件-2024-2025学年统编版道德与法治七年级上册
- 2023年广州市白云区在珠海招聘中小学事业编制教师笔试真题
- 2024-2030年全球及中国松香药芯焊锡丝行业产销状况及投资前景预测报告
- 2024-2030年中国非物质文化遗产保护行业开发模式分析规划研究报告
- 【初中化学】二氧化碳的实验室制取课件-2024-2025学年九年级化学人教版上册
- 绿化设计合作协议
- 新修订《中华人民共和国保守国家秘密法》竞赛题库
- 学校提高《规范书写水平、传承汉字文化》活动方案3篇
- 2024年湖北省公务员考试《行测》真题及答案解析
评论
0/150
提交评论