CH05 电子商务推荐系统

1第五章：电子商务推荐系统陈震宇东北大学管理学院什么是推荐系统？什么是推荐系统？TheNextflixprizestoryInOctober2006,Netflixannounceditwouldgivea$1milliontowhoevercreatedamovie-recommendingalgorithm10%betterthanitsown.Withintwoweeks,theDVDrentalcompanyhadreceived169submissions,includingthreethatwereslightlysuperiortoCinematch,Netflix'srecommendationsoftwareAfteramonth,morethanathousandprogramshadbeenentered,andthetopscorerswerealmosthalfwaytothegoalButwhatstartedoutlookingsimplesuddenlygothard.Therateofimprovementbegantoslow.Thesamethreeorfourteamscloggedthetopoftheleader-board.TheNextflixprizestoryProgresswasalmostimperceptible,andpeoplebegantosaya10percentimprovementmightnotbepossible.Threeyearslater,on21stofSeptember2009,Netflixannouncedthewinner.电子商务推荐系统概念Harvard商学院的JoePing在大规模定制一文中认为现代企业应该从大规模生产(以标准化的产品和均匀的市场为特征)向大规模定制(为不同客户的不同需求提供不同的商品)转化。电子商务推荐系统(RecommendationSystem)向客户提供商品信息和建议，模拟销售人员帮助客户完成购买过程。推荐系统在互联网产品与服务推荐中广泛使用.大多数电子商务网站有推荐系统.2023/2/4电子商务推荐系统作用电子商务推荐系统的两个重要功能.面对海量信息，推荐系统帮助使用者解决信息过载问题.推荐系统帮助商家销售更多商品，获取更多利润.从商家的角度，电子商务推荐系统有助于：将电子商务网站的浏览者转变为购买者(ConvertingBrowsersintoBuyers)提高电子商务网站的交叉销售能力(Cross-Selling)提高客户对电子商务网站的忠诚度(BuildingLoyalty)2023/2/4电子商务推荐系统分类电子商务推荐系统的输出：建议(Suggestion)单个建议(SingleItem)未排序建议列表(UnorderedList)排序建议列表(OrderedList)预言(Prediction)：系统对给定项目的总体评分个体评分(IndividualRating)：输出其他客户对商品的个体评分评论(Review)：输出其他客户对商品的文本评价2023/2/4电子商务推荐系统分类电子商务推荐系统的输入：客户输入(TargetedCustomerInputs)隐式浏览输入(Implicitnavigation)：客户的浏览行为作为推荐系统的输入，但客户并不知道这一点显式浏览输入(Explicitnavigation)：客户的浏览行为是有目的向推荐系统提供自己的喜好关键词和项目属性输入(KeywordsandItemattributes)：客户输入关键词或项目的有关属性以得到推荐系统有价值的推荐用户购买历史(Purchasehistory)：用户过去的购买纪录2023/2/4电子商务推荐系统简介电子商务推荐系统的输入(续)：社团输入(CommunityInputs)项目属性(ItemAttribute)：社团对商品风格和类别的集体评判社团购买历史(CommunityPurchaseHistory)：社团过去的购买纪录文本评价(TextComments)：其他客户对商品的文本评价，计算机并不知道评价是好是坏评分(Rating)：其他客户对商品的评分，计算机可以对评分进行处理2023/2/4电子商务推荐系统分类推荐技术分类标准：自动化程度(DegreeofAutomation)：客户为了得到推荐系统的推荐是否需要显式的输入信息持久性程度(DegreeofPersistence)：推荐系统产生推荐是基于客户当前的单个会话(Session)还是基于客户的多个会话2023/2/4电子商务推荐系统分类推荐技术分类Non-PersonalizedRecommendation：推荐系统的推荐主要基于其他客户对该产品的平均评价，这种推荐系统独立于客户，所有的客户得到的推荐都是相同的(自动，瞬时)Attributed-BasedRecommendation：推荐系统的推荐主要基于产品的属性特征(手工)Item-to-ItemCorrelation：推荐系统根据客户感兴趣的产品推荐相关的产品(瞬时)People-to-PeopleCorrelation：推荐系统根据客户与其他已经购买了商品的客户之间的相关性进行推荐(自动，持久)2023/2/4电子商务推荐系统的研究问题给定一组使用者U

和一组推荐给使用者的对象集S.令

p是效用函数，用来测量某一对象s(S)对于某一特定的使用者

u(

U)的有用性，例如：p:U×S

R,R是完全有序集合(例如,一个区间的非负整数或者实数)目标基于历史数据来学习

p.使用p来预测每一个对象s(S)对于每一个使用者u(U)的效用函数.29预测的类型评分预测：预测使用者以前没有使用过的对象的评分.例如：预测没有看过的电影的评分.在这种情况下,对于使用者u

而言,对象s

的效用是u对s

的评分.TopN对象预测：预测使用者可能购买的对象的排序列表.30电子商务推荐系统的基本方法基于内容的推荐（Content-basedrecommendations）:Theuserwillberecommendeditemssimilartotheonestheuserpreferredinthepast;协同过滤(Collaborativefilteringorcollaborativerecommendations):Theuserwillberecommendeditemsthatpeoplewithsimilartastesandpreferenceslikedinthepast.混合方法(Hybrids):Combinecollaborativeandcontent-basedmethods.31基于内容的推荐系统的思路推荐相似对象：Recommenditemssimilartothoseuserspreferredinthepast使用者资料：Userprofilingisthekey关键词：Items/contentusuallydenotedbykeywords匹配：Matching“userpreferences”with“itemcharacteristics”…worksfortextualinformation向量空间方法：VectorSpaceModelwidelyused32基于内容的推荐方法的局限性有的内容难于通过关键词描述：Notallcontentiswellrepresentedbykeywords,e.g.images无法区分基于相同特征的对象：ItemsrepresentedbysamesetoffeaturesareindistinguishableOverspecialization:unrateditemsnotshown大量内容信息导致匹配困难：Userswiththousandsofpurchasesisaproblem新使用者没有历史信息:Nohistoryavailable过于相似或者差异过大的推荐不容易被使用者接受：Shouldn’tshowitemsthataretoodifferent,ortoosimilar33协同过滤协同过滤(CF)是研究的最大，也是应用最为广泛的推荐方法.k-最近邻法

(k-nearestneighbor),关联规则法(associationrulesbasedprediction)

矩阵因子化法(matrixfactorization)CF的关键特征:itpredictstheutilityofitemsforauserbasedontheitemspreviouslyratedbyotherlike-mindedusers.34k-最近邻方法(KNN)kNN(whichisalsocalledthememory-basedapproach)utilizestheentireuser-itemdatabasetogeneratepredictionsdirectly,i.e.,thereisnomodelbuilding.ThisapproachincludesbothUser-basedmethodsItem-basedmethods35abcdHowitworksk-最近邻方法的原理36ItemtoItemUsertoUserabcdUser-to-UserRecommendationsaremadebyfindinguserswithsimilartastes.JaneandTimbothlikedItem2anddislikedItem3;itseemstheymighthavesimilartaste,whichsuggeststhatingeneralJaneagreeswithTim.ThismakesItem1agoodrecommendationforTim.

Thisapproachdoesnotscalewellformillionsofusers.Item-to-ItemRecommendationsaremadebyfindingitemsthathavesimilarappealtomanyusers.

DonandSandraaretwouserswholikedbothItem1andItem4.Thatsuggeststhat,ingeneral,peoplewholikedItem4willalsolikeitem1,soItem1willberecommendedtoTim.Thisapproachisscalabletomillionsofusersandmillionsofitems.协同过滤的基本思想37A9B3C::Z5ABC9::Z10A5B3C::Z7ABC8::ZA6B4C::ZA10B4C8..Z1

UserDatabaseActiveUserCorrelationMatchA9B3C..Z5A9B3C::Z5A10B4C8..Z1ExtractRecommendationsC协同过滤的相似度计算问题i1i2i3………u12-45-6u2………………u352-2-9…………………256529Howsimilararethey?-CosineVectorSimilarity-SpearmanCorrelation-Mean-squaredDifference-Entropy-basedUncertaintyPearsonCorrelationCoefficientCo-ratedItems基于使用者的

kNN方法基于使用者的KNN方法包含如下两个步骤：邻居信息项theneighborhoodformationphase；推荐项therecommendationphase.Therearemanyspecificmethodsforboth.Hereweonlyintroduceoneforeachphase.39邻居信息项定义两个使用者：Lettherecord(orprofile)ofthetargetuserbeu

(representedasavector),

andtherecordofanotheruserbev(v

T).使用者之间的相似性：Thesimilaritybetweenthetargetuser,u,andaneighbor,v,canbecalculatedusingthePearson’scorrelationcoefficient:40推荐项目标使用者u对于对象i的评分预测：whereVisthesetofksimilarusers,rv,iistheratingofuservgiventoitemi,一个简化形式如下：

41基于对象的协同过滤算法计算对象i和j之间的相似性：计算对象相似性之后，选择k个与目标对象i最相似的对象，从而预测使用者u对于对象i的评分值：42局限性使用者评分尺度差异性：Differentusersmightusedifferentscales.Possiblesolution:weightedratings,i.e.deviationsfromaveragerating小规模数据库难以找到相似使用者或者对象：Findingsimilarusers/usergroupsisn’tveryeasyNewuser:NopreferencesavailableNewitem:Noratingsavailable个人资料信息的价值：Demographicfilteringisrequired多属性评分信息的价值：Multi-criteriaratingsisrequired43推荐系统中的关键问题45

冷启动问题缺少用户购买、浏览记录等数据无法进行用户对商品喜好的预测单次推荐结果的多样化在单次推荐中避免商品的单一如用户买过一个儿童玩具，则全部推荐儿童玩具应全面考虑用户喜好（可能购买商品）的多样性多次推荐结果