电子商务新进展：个性化营销方法

电子商务新进展：个性化营销方法张俊岭AssociateProfessorzhangjunling@SEM,ZJNU课外文献阅读1.A.Umyarov,A.Tuzhilin,UsingExternalAggregateRatingsforImprovingIndividualRecommendations,ACMTransactionsontheWeb,Vol.5,No.1,Article3,February2011.2.Y.Songetal.,AutomaticTagRecommendationAlgorithmsforSocialRecommenderSystems,ACMTransactionsontheWeb,Vol.5,No.1,Article4,February2011.3.Huang,Zeng,WhyDoesCollaborativeFilteringWork?INFORMSJournalonComputing23(1),138–152,2011课外文献阅读4.Kumar,Benbasat,TheInfluenceofRecommendationsandconsumerReviewsonEvaluationsofWebsites,InformationSystemsResearch17(4),pp.425–439,20065.JuanjuanZhang,ThePerilsofBehavior-BasedPersonalization,MarketingScience30(1),170–186,2011InAddition（AsamplepaperofEmpiricalResearch）Mudambi,Schuff,WHATMAKESAHELPFULONLINEREVIEW?ASTUDYOFCUSTOMERREVIEWSONAMAZON.COM,MISQuarterlyVol.34No.1,185-200,2010个性化营销方法个性化营销及其范畴个性化营销方法分类WebMining个性化产品推荐方法什么是个性化营销？个性化营销的动机：由于消费者在人格特征、教育、收入、社会环境、角色、年龄、文化等方面存在差异，导致：（1）需求不同；（2）认知过程不同（信息加工过程）；（3）决策目标/行为不同个性化营销的契机：电子商务的发展个性化营销：企业直接面向消费者，将营销目标细分到“个体”顾客，并按照顾客的独特需求制定个性化策略的新型营销方式。个性化营销的目的：在最大限度满足消费者个性化需求的同时，提升企业的核心竞争力，提高企业的盈利能力个性化营销的支持信息人格特征教育收入社会环境角色年龄文化需求不同认知过程不同决策不同实证研究：影响关系?互联网环境下，消费者的这些信息往往无法获取！个性化营销的支持信息信息搜索行为：网络消费者为了满足其消费欲望，在购买、使用商品或接受服务之前是如何通过网络获取信息的？网站访问行为：网络消费者访问网站的轨迹是什么？它隐含着哪些信息，如消费者的消费欲望、兴趣、偏好？消费与购买行为：网络消费者愿不愿意在网络上消费？为什么？担心欺诈问题还是担心隐私无法得到保护？网络消费者的购买是如何决策的？他买了哪些商品或接受了哪些服务？这隐含着哪些信息？对企业产品开发、推广促销有什么帮助？在线评论/口碑传播行为：消费者对他所购买的产品/服务满意吗？满意度如何？这种行为对消费者的购买决策会产生影响吗？个性化营销的支持信息人格特征教育收入社会环境角色年龄文化需求不同认知过程不同决策不同实证研究：影响关系信息搜索行为网站访问行为消费与购买行为用户定制信息交流与沟通在线评论数据挖掘：发现偏好?个性化营销范畴个性化营销的理论假设：①具有相似网络行为（如点击、购买）的消费者具有相似的兴趣、角色、需求；②具有相似兴趣、角色、需求的消费者具有相似的消费行为。假设①是建模的基础，假设②是预测的基础当然，影响网络行为的因素还有很多：网络使用知识、与需求相关的领域知识以及风险意识的影响等个性化营销范畴个性化营销范畴（4P）Product：个性化产品设计、定制、推荐Price：个性化定价Place：个性化渠道——个性化网站导航、个性化产品展示、自适应站点、个性化沟通平台（评论、SNS-淘江湖、BBS、IM-淘宝旺旺）Promotion：个性化广告、个性化折扣/促销策略注：4C——Customer,Cost,Convienience,Communication个性化营销范畴人格特征教育收入社会环境角色年龄文化需求不同认知过程不同决策不同实证研究：影响关系信息搜索行为网站访问行为消费与购买行为用户定制信息交流与沟通在线评论数据挖掘：发现偏好个性化营销策略：个性化产品/服务、个性化价格、个性化渠道、个性化促销个性化营销方法个性化营销及其范畴个性化营销方法分类WebMining个性化产品推荐方法个性化营销方法分类面向Web的数据挖掘——Web挖掘通过对Web使用数据、Web页面内容、Web站点结构的挖掘，发现消费者的行为特征，依此推断其消费特征。面向营销数据库的数据挖掘——数据挖掘（个性化推荐）：为消费者个人推荐可满足其消费偏好和兴趣的商品、信息或服务。协同过滤技术：首先找到与目标消费者有相似兴趣的其他消费者，再将他们感兴趣的内容推荐给目标消费者。内容过滤技术：从目标消费者过去感兴趣的产品特征描述中得到消费者的偏好信息，再将具有相似特征的商品、服务或信息推荐给目标消费者。个性化营销方法分类文本挖掘通过语义分析，挖掘给定文本的内容特征，分析文本所揭示的用户兴趣（Web内容挖掘、在线评论/口碑分析）社会性网络分析利用复杂网络理论和统计学方法，分析网络用户在互动中的动力学特征，以期发现网络用户的群体行为特征图挖掘针对复杂网络结构，应用图模型表示相关结构，借助图挖掘技术发现相关子图、关联子图等，探索网络中群体用户的行为及相互影响个性化营销方法分类语义分析方法分析用户评论的语义及其倾向性，揭示用户对所购产品的满意度信息融合方法多种信息源的综合应用策略，如神经网络、证据理论等行为运筹学方法行为运筹学方法是将行为科学与传统运筹学相结合而形成的一类方法，用以解决考虑用户行为的系统优化与控制问题。个性化营销策略的优化问题正是以表征消费者行为偏好的用户模型（如目标需求偏好、兴趣偏好、认知风格、保留价格等)为基本约束，在此基础上逐步考虑产品整体满意度、企业的成本、利润、库存、企业间竞争等因素的约束，获得企业利润和消费者满意度最大化的多目标优化问题。个性化营销方法个性化营销及其范畴个性化营销方法分类WebMining个性化产品推荐方法Web数据—产生互联网浏览器缓存Web浏览器Web页面Web服务器请求对象Web日志Web页面图片、视频CookieWeb数据—类型与性质内容(webpages)：网页内容，如图片、声音、文本等结构(webstructure)：页面之间的链接关系使用(weblogs)：用户浏览网站的行为数据，记录为Web日志数据用户档案(userprofiles)：用户注册时提交的个人资料，如姓名、性别、兴趣偏好等Web数据—用途理解用户的网站访问行为浏览行为：Weblogs.访问者偏好:Webpages用户的社群行为：WebStructure+Webpages困难Weblogs包含大量无关的数据网站是异构的、无标记的、分布式的、时变的、半结构化的、高维的Web数据—利用技术根据Web数据的类型，Web挖掘分为Web结构挖掘(WebStructureMining，WSM)：挖掘网站结构数据Web内容挖掘(WebContentMining，WCM)：挖掘网页内容数据Web使用挖掘(WebUsageMining，WUM)：挖掘网站使用数据（访问数据，clickstream数据）Web数据—梦想将访问者转变为企业真正的消费者或保留已有客户对策:不断改善网站的内容和结构（有用性、易用性，技术接受模型TAM）网站是个性化的：为不同用户提供不同的内容/服务/结构/展示准确理解用户在网站内的行为数据预处理—任务Weblogs：会话识别，甄别出用户的实际会话Webpages：页面内容表示（向量空间模型，Vectorspacemodel），将网页转换成特征向量Web超链结构：识别社会网络数据预处理—Web日志的会话识别Web日志数据：在访问者向Web服务器请求页面时被记录下来的访问行为，主要内容有用户地址(IP)、用户身份(Id)、时间(Date)、请求页面(URL)、状态码(Status)、内容长度(Bytes)、引用(referer)、浏览器(agent)等。会话(session)：用户在浏览某个网站时，从进入网站到浏览器关闭所经过的这段时间，也就是用户浏览这个网站所花费的时间。（类比：消费者到超市一次所购买的商品，会话分析=购物车分析）数据预处理—Web日志的会话识别数据预处理—Web日志的会话识别会话识别的必要性：数据的正确性是发现正确的用户行为模式的必要条件会话识别的任务：将客户端用户的访问请求任务划分出来，使其正确描述用户的会话，即按照会话对web日志数据进行划分。会话识别面临的挑战：（1）代理服务器问题；（2）动态IP问题；（3）缺失链接（本地缓存）；（4）一台机器多人共用；（5）同一用户使用不同的机器上网；（6）短会话问题；（7）长会话问题数据预处理—Web日志的会话识别会话侦听方案远程智能体：在客户端安装一个智能体，将用户的第一次页面请求及其后续访问返回至服务端修改浏览：修改浏览器的源码，获取客户端的特征数据动态网页重写：当用户请求页面访问时，重写用户请求的页面使其包含特定的标识，用户的后续请求（同一个会话）均记录该标识。启发式方法：利用一组假设识别会话，并发现因缓存丢失的请求数据预处理—Web日志的会话识别会话识别机制IP地址+浏览器：假设一个“IP-浏览器对”是一个用户简单、实用，不侵犯隐私，但无法解决代理服务器问题嵌入SessionID：即动态网页重写与IP无关，但识别不了同一个用户的重复访问用户注册访问：用户访问时需要登录系统难，很多人不愿意注册cookie：在客户端放置一个ID记录机器，可跟踪同一台机器侵犯隐私，用户可以自己清除cookie客户端智能体：在客户端加载一个智能体返回用户的访问信息严重侵犯隐私，容易遭到用户的拒绝数据预处理—Web日志的会话识别会话识别机制启发式方法超时规则：当两个页面请求的时间超过一定限度，如30分钟，则假设启动一个新会话IP-浏览器规则：不同的IP-浏览器对标识不同的会话超链页面规则：所请求的某个内容页面对应的超链页面不属于某个会话，则该内容页面的请求也不属于该会话IP-浏览器相同/会话不同(Closest):将该页面请求指派到链接路径最短的超链页面所对应的会话IP-浏览器相同/会话不同(Recent):若该页面请求到多个会话的距离相同，则将页面请求指派到最近访问的超链页面所对应的会话数据预处理—Web日志的会话识别会话识别举例IP+Agent数据预处理—Web日志的会话识别TimeOut超时设置：30min数据预处理—Web日志的会话识别Referer分析：仅有一个会话会话过程：A→C→B→D→E→D→B→C→F数据预处理—Web内容表示Web文本内容是最受关注的挖掘对象Web文本包含各类词汇，有的词是无价值的，如何提取文本中的特征词？如何表示一个文本使其便于数据挖掘方法的应用？向量空间模型(VectorSpaceModel)：模型根据文本中的词汇出现在整个网站中的频次为每个词汇计算出一个权重，形成关于该文本的<词汇，权重>向量空间数据预处理—Web内容表示设网站共有Q个页面，出现词Ti的页面数为ni，则IDF(inversedocumentfrequency)=logQ/ni词Ti在页面j上出现的频数（TermFrequency）为fij，则Ti在页面j上的权重wij计算如下：wij=fij×logQ/ni

(TF-IDF模型)页面j可用向量空间Pj表示，则可分析页面相似性等性质T1T2...Tk0.120.50...0.07数据预处理—Web结构表示网站是众多页面相互链接形成的一个网络，可用图表示：G=<V,E>其中，V：站点页面集合，E：页面间超链接集合在实际应用中，根据使用目的不同，G可以是有向图、无向图或树。Web结构挖掘—意义页面之间的相互链接是有目的的，它表征了内容之间的内在联系，分析链接结构可以：网站结构是不是足够优化？网络社群有什么特点？（在超链图上的访问轨迹隐含着很多有意义的知识！）哪些页面是权威页面(authoritative)?Web结构挖掘—任务基于超链接关系，对页面、信息进行聚类分析，发现其中的社区结构挖掘文档的自身结构（通过分析文档内的超链接）发现某个具体领域网站的超链结构（层次结构or网状结构）的性质挖掘权威页面Web结构挖掘—HITS算法HITS（Hyperlink-InducedTopicSearch）算法假设可信的资源链接可信的资源超链接名表达某种涵义排名（权威性）是搜索关键词和超链结构的函数算法思想权威页面依赖于入度（被其他页面引用越多越重要）权威页面来自于重要的导航页，而重要的导航页包含许多权威页面的超链接根据页面是不是权威页面或导航页面，指派一个非负数的权重迭代：计算关联页面的重要性Web结构挖掘—HITS算法设P是页面集，ap和hq分别为权威页面和导航页面的权重，计算如下：设A、H分别为社区内所有权威页面和导航页面的权向量，A=MTH，H=MA，M=(mij)=1(i→j)/0(else)A(k+1)←MTH(k)=(MTM)A(k),H(k+1)←MA(k)=(MMT)H(k)Web结构挖掘—HITS算法Web结构挖掘—HITS算法算例：Web结构挖掘—HITS算法Web结构挖掘—HITS算法HITS算法仅根据超链接关系分析权威页面和导航页面，而没有考虑搜索词考虑搜索词的算法可参考：CHAKRABARTI,S.,DOM,B.,GIBSON,D,etal.Automaticresourcecompilationbyanalyzinghyperlinkstructureandassociatedtext.ComputerNetworksandISDNSystems，Volume30,Issues1-7,April1998,Pages65-74Web结构挖掘—PageRank算法Google采用的基本算法(LaryPage,拉里.佩奇，google创始人),节点代表页面,有向边代表超链接假设：冲浪者随机选择起始页面在以后的每一步，冲浪者以概率d直接进入目标页面或以1-d的概率通过其它指向目标页面的超链接进入目标页面。d的经验值约为0.85。一个页面的重要性取决于指向该页面的页面的重要性Web结构挖掘—PageRank算法则页面p的重要性为：xp(k+1)=(1-d)/n+d

q,pP,q→p(xq(k)