电子商务新进展：个性化营销方法汇编

1、电子商务(din z shn w)新进展：个性化营销方法张俊岭Associate ProfessorzhangjunlingSEM, ZJNU共七十一页课外文献(wnxin)阅读1. A. Umyarov, A. Tuzhilin, Using External Aggregate Ratings for Improving Individual Recommendations, ACM Transactions on the Web, Vol. 5, No. 1, Article 3, February 2011.2. Y. Song et al., Automatic Tag Recomm

2、endation Algorithms for Social Recommender Systems, ACM Transactions on the Web, Vol. 5, No. 1, Article 4, February 2011.3. Huang , Zeng, Why Does Collaborative Filtering Work? INFORMS Journal on Computing 23(1), 138152,2011共七十一页课外(kwi)文献阅读4. Kumar , Benbasat, The Influence of Recommendations and co

3、nsumer Reviews on Evaluations of Websites, Information Systems Research 17(4), pp. 425439, 20065. Juanjuan Zhang, The Perils of Behavior-Based Personalization, Marketing Science 30(1), 170186,2011In Addition（A sample paper of Empirical Research） Mudambi , Schuff, WHAT MAKES A HELPFUL ONLINE REVIEW?

4、A STUDY OF CUSTOMER REVIEWS ON AMAZON.COM, MIS Quarterly Vol. 34 No. 1, 185-200,2010共七十一页个性化营销(yn xio)方法个性化营销及其范畴个性化营销方法(fngf)分类Web Mining个性化产品推荐方法共七十一页什么(shn me)是个性化营销？个性化营销的动机：由于消费者在人格特征、教育、收入、社会环境、角色、年龄、文化等方面存在差异，导致： （1）需求不同；（2）认知过程不同（信息加工过程）；（3）决策目标/行为不同个性化营销的契机：电子商务的发展个性化营销：企业直接面向消费者，将营销目标细分到“个

5、体”顾客，并按照顾客的独特需求制定个性化策略的新型营销方式(fngsh)。个性化营销的目的：在最大限度满足消费者个性化需求的同时，提升企业的核心竞争力，提高企业的盈利能力共七十一页个性化营销(yn xio)的支持信息人格特征教育收入社会环境角色年龄(ninlng)文化需求不同认知过程不同决策不同实证研究：影响关系?互联网环境下，消费者的这些信息往往无法获取！共七十一页个性化营销的支持(zhch)信息信息搜索行为：网络消费者为了满足(mnz)其消费欲望，在购买、使用商品或接受服务之前是如何通过网络获取信息的？网站访问行为：网络消费者访问网站的轨迹是什么？它隐含着哪些信息，如消费者的消费欲望、兴趣

6、、偏好？消费与购买行为：网络消费者愿不愿意在网络上消费？为什么？担心欺诈问题还是担心隐私无法得到保护？网络消费者的购买是如何决策的？他买了哪些商品或接受了哪些服务？这隐含着哪些信息？对企业产品开发、推广促销有什么帮助？在线评论/口碑传播行为：消费者对他所购买的产品/服务满意吗？满意度如何？这种行为对消费者的购买决策会产生影响吗？共七十一页个性化营销(yn xio)的支持信息人格特征(tzhng)教育收入社会环境角色年龄文化需求不同认知过程不同决策不同实证研究：影响关系信息搜索行为网站访问行为消费与购买行为用户定制信息交流与沟通在线评论数据挖掘：发现偏好?共七十一页个性化营销(yn xio)范畴

7、个性化营销的理论假设：具有(jyu)相似网络行为（如点击、购买）的消费者具有(jyu)相似的兴趣、角色、需求；具有相似兴趣、角色、需求的消费者具有相似的消费行为。假设是建模的基础，假设是预测的基础当然，影响网络行为的因素还有很多：网络使用知识、与需求相关的领域知识以及风险意识的影响等共七十一页个性化营销(yn xio)范畴个性化营销范畴（4P）Product：个性化产品设计、定制、推荐Price：个性化定价Place：个性化渠道个性化网站导航、个性化产品展示、自适应站点、个性化沟通平台(pngti)（评论、SNS-淘江湖、BBS、IM-淘宝旺旺）Promotion：个性化广告、个性化折扣/促销

8、策略注：4C Customer, Cost, Convienience, Communication共七十一页个性化营销(yn xio)范畴人格特征教育收入社会环境(hunjng)角色年龄文化需求不同认知过程不同决策不同实证研究：影响关系信息搜索行为网站访问行为消费与购买行为用户定制信息交流与沟通在线评论数据挖掘：发现偏好个性化营销策略：个性化产品/服务、个性化价格、个性化渠道、个性化促销共七十一页个性化营销(yn xio)方法个性化营销及其范畴个性化营销方法分类Web Mining个性化产品(chnpn)推荐方法共七十一页个性化营销(yn xio)方法分类面向Web的数据挖掘Web挖掘通过对

9、Web使用数据、Web页面内容、Web站点结构的挖掘，发现消费者的行为特征，依此推断其消费特征。面向营销数据库的数据挖掘数据挖掘（个性化推荐(tujin)）：为消费者个人推荐可满足其消费偏好和兴趣的商品、信息或服务。协同过滤技术：首先找到与目标消费者有相似兴趣的其他消费者，再将他们感兴趣的内容推荐给目标消费者。内容过滤技术：从目标消费者过去感兴趣的产品特征描述中得到消费者的偏好信息，再将具有相似特征的商品、服务或信息推荐给目标消费者。 共七十一页个性化营销方法(fngf)分类文本挖掘通过(tnggu)语义分析，挖掘给定文本的内容特征，分析文本所揭示的用户兴趣（Web内容挖掘、在线评论/口碑分析

10、）社会性网络分析利用复杂网络理论和统计学方法，分析网络用户在互动中的动力学特征，以期发现网络用户的群体行为特征图挖掘针对复杂网络结构，应用图模型表示相关结构，借助图挖掘技术发现相关子图、关联子图等，探索网络中群体用户的行为及相互影响共七十一页个性化营销(yn xio)方法分类语义分析方法分析用户评论的语义及其倾向性，揭示用户对所购产品的满意度信息融合方法多种信息源的综合应用策略，如神经网络、证据理论等行为运筹学方法行为运筹学方法是将行为科学与传统运筹学相结合而形成(xngchng)的一类方法，用以解决考虑用户行为的系统优化与控制问题。个性化营销策略的优化问题正是以表征消费者行为偏好的用户模型（

11、如目标需求偏好、兴趣偏好、认知风格、保留价格等)为基本约束，在此基础上逐步考虑产品整体满意度、企业的成本、利润、库存、企业间竞争等因素的约束，获得企业利润和消费者满意度最大化的多目标优化问题。共七十一页个性化营销(yn xio)方法个性化营销及其范畴个性化营销方法分类(fn li)Web Mining个性化产品推荐方法共七十一页Web数据(shj)产生互联网浏览器缓存Web浏览器Web页面Web服务器请求对象Web日志Web页面图片、视频Cookie共七十一页Web数据类型(lixng)与性质内容(web pages)：网页内容，如图片、声音、文本等结构(web structure) ：页面之

12、间的链接关系使用(web logs) ：用户浏览网站的行为数据，记录为Web日志数据用户档案(user profiles)：用户注册时提交的个人资料，如姓名、性别(xngbi)、兴趣偏好等共七十一页Web数据(shj)用途理解用户的网站访问行为浏览行为：Web logs.访问者偏好: Web pages用户的社群行为：Web Structure + Web pages困难Web logs包含大量无关(wgun)的数据 网站是异构的、无标记的、分布式的、时变的、半结构化的、高维的共七十一页Web数据利用(lyng)技术根据(gnj)Web数据的类型，Web挖掘分为Web结构挖掘(Web Stru

13、cture Mining，WSM)：挖掘网站结构数据Web内容挖掘(Web Content Mining，WCM)：挖掘网页内容数据Web使用挖掘(Web Usage Mining，WUM)：挖掘网站使用数据（访问数据，clickstream数据）共七十一页Web数据(shj)梦想将访问者转变为企业真正的消费者或保留已有客户对策(duc):不断改善网站的内容和结构（有用性、易用性， 技术接受模型TAM）网站是个性化的：为不同用户提供不同的内容/服务/结构/展示准确理解用户在网站内的行为共七十一页数据(shj)预处理任务Web logs：会话识别，甄别出用户的实际会话Web pages：页面(y

14、 min)内容表示（向量空间模型， Vector space model），将网页转换成特征向量Web超链结构：识别社会网络共七十一页数据(shj)预处理Web日志的会话识别Web日志数据：在访问者向Web服务器请求页面时被记录下来的访问行为，主要内容有用户地址(IP)、用户身份(Id)、时间(Date)、请求页面(URL)、状态码(Status)、内容长度(Bytes)、引用(referer)、浏览器(agent)等。会话(session)：用户在浏览某个网站时，从进入网站到浏览器关闭所经过的这段时间，也就是(jish)用户浏览这个网站所花费的时间。（类比：消费者到超市一次所购买的商品，会话

15、分析=购物车分析）共七十一页数据预处理Web日志(rzh)的会话识别共七十一页数据(shj)预处理Web日志的会话识别会话识别的必要性：数据的正确性是发现正确的用户行为模式的必要条件会话识别的任务：将客户端用户的访问请求任务划分出来，使其正确描述用户的会话，即按照会话对web日志数据进行划分。会话识别面临的挑战： （1）代理服务器问题；（2）动态IP问题；（3）缺失链接(lin ji)（本地缓存）；（4）一台机器多人共用；（5）同一用户使用不同的机器上网；（6）短会话问题；（7）长会话问题共七十一页数据预处理Web日志(rzh)的会话识别会话侦听方案远程智能体：在客户端安装一个智能体，将用户(

16、yngh)的第一次页面请求及其后续访问返回至服务端修改浏览：修改浏览器的源码，获取客户端的特征数据动态网页重写：当用户请求页面访问时，重写用户请求的页面使其包含特定的标识，用户的后续请求（同一个会话）均记录该标识。启发式方法：利用一组假设识别会话，并发现因缓存丢失的请求共七十一页数据(shj)预处理Web日志的会话识别会话识别机制IP地址+浏览器：假设一个“IP-浏览器对”是一个用户简单、实用，不侵犯隐私，但无法解决代理服务器问题嵌入SessionID：即动态网页重写与IP无关，但识别不了同一个用户的重复访问用户注册访问：用户访问时需要登录系统(xtng)难，很多人不愿意注册cookie：在客

17、户端放置一个ID记录机器，可跟踪同一台机器侵犯隐私，用户可以自己清除cookie客户端智能体：在客户端加载一个智能体返回用户的访问信息严重侵犯隐私，容易遭到用户的拒绝共七十一页数据(shj)预处理Web日志的会话识别会话识别机制启发式方法超时规则：当两个页面请求的时间超过一定限度，如30分钟，则假设启动(qdng)一个新会话IP-浏览器规则：不同的IP-浏览器对标识不同的会话超链页面规则：所请求的某个内容页面对应的超链页面不属于某个会话，则该内容页面的请求也不属于该会话IP-浏览器相同/会话不同 (Closest):将该页面请求指派到链接路径最短的超链页面所对应的会话IP-浏览器相同/会话不同

18、(Recent): 若该页面请求到多个会话的距离相同，则将页面请求指派到最近访问的超链页面所对应的会话共七十一页数据预处理Web日志(rzh)的会话识别会话识别(shbi)举例IP+Agent共七十一页数据预处理Web日志(rzh)的会话识别TimeOut超时设置：30min共七十一页数据(shj)预处理Web日志的会话识别Referer分析：仅有一个(y )会话会话过程：AC B D E D B C F共七十一页数据(shj)预处理Web内容表示Web文本内容是最受关注的挖掘对象Web文本包含各类词汇，有的词是无价值的，如何提取文本中的特征词？如何表示一个文本使其便于数据挖掘方法的应用？向量

19、空间模型(Vector Space Model)：模型根据文本中的词汇出现在整个(zhngg)网站中的频次为每个词汇计算出一个权重，形成关于该文本的向量空间共七十一页数据(shj)预处理Web内容表示设网站共有Q个页面(y min)，出现词Ti的页面数为ni，则IDF(inverse document frequency)=logQ/ni 词Ti在页面j上出现的频数（Term Frequency）为fij，则Ti在页面j上的权重wij计算如下：wij=fijlogQ/ni (TF-IDF模型)页面j可用向量空间Pj表示，则可分析页面相似性等性质T1T2.Tk.07共七十一页

20、数据预处理Web结构(jigu)表示网站是众多页面相互链接形成的一个网络，可用图表示：G=其中，V：站点页面集合，E：页面间超链接集合在实际应用(yngyng)中，根据使用目的不同，G可以是有向图、无向图或树。共七十一页Web结构挖掘(wju)意义页面之间的相互(xingh)链接是有目的的，它表征了内容之间的内在联系，分析链接结构可以：网站结构是不是足够优化？网络社群有什么特点？（在超链图上的访问轨迹隐含着很多有意义的知识！）哪些页面是权威页面(authoritative)?共七十一页Web结构(jigu)挖掘任务基于超链接关系，对页面、信息(xnx)进行聚类分析，发现其中的社区结构挖掘文档的

21、自身结构（通过分析文档内的超链接）发现某个具体领域网站的超链结构（层次结构or网状结构）的性质挖掘权威页面共七十一页Web结构挖掘(wju)HITS算法HITS（Hyperlink-Induced Topic Search）算法假设可信的资源链接可信的资源超链接名表达某种涵义排名（权威性）是搜索关键词和超链结构(jigu)的函数算法思想权威页面依赖于入度（被其他页面引用越多越重要）权威页面来自于重要的导航页，而重要的导航页包含许多权威页面的超链接根据页面是不是权威页面或导航页面，指派一个非负数的权重迭代：计算关联页面的重要性共七十一页Web结构挖掘(wju)HITS算法设P是页面(y min)

22、集，ap和hq分别为权威页面和导航页面的权重，计算如下：设A、H分别为社区内所有权威页面和导航页面的权向量，A=MTH，H=MA，M=(mij)=1(ij)/0(else)A(k+1)MTH(k)=(MTM)A(k), H(k+1)MA(k)=(MMT)H(k)共七十一页Web结构(jigu)挖掘HITS算法共七十一页Web结构(jigu)挖掘HITS算法算例：共七十一页Web结构挖掘(wju)HITS算法共七十一页Web结构(jigu)挖掘HITS算法HITS算法仅根据超链接关系分析权威页面和导航页面，而没有考虑(kol)搜索词考虑搜索词的算法可参考：CHAKRABARTI, S., DOM

23、, B., GIBSON, D,et al. Automatic resource compilation by analyzing hyperlink structure and associated text. Computer Networks and ISDN Systems，Volume 30, Issues 1-7, April 1998, Pages 65-74共七十一页Web结构(jigu)挖掘PageRank算法Google采用的基本算法(Lary Page, 拉里.佩奇，google创始人),节点代表页面,有向边代表超链接假设：冲浪者随机选择起始页面在以后的每一步，冲浪者以

24、概率d直接进入目标(mbio)页面或以1-d的概率通过其它指向目标(mbio)页面的超链接进入目标(mbio)页面。d的经验值约为0.85。一个页面的重要性取决于指向该页面的页面的重要性共七十一页Web结构(jigu)挖掘PageRank算法则页面p的重要性为：xp(k+1)=(1-d)/n+dq,pP,qp(xq(k)/Nq)P为站点的页面集，n为所有页面数，Nq为页面q的出度，xq(k)为页面q的重要性。这样就可以计算出所有页面的重要性。记X=xp|pP，D=1/n,1/n,1/n，M=mpq=1/Nq，Nq表示可直接(zhji)链接到页面p的页面q的出度，则X(k+1)=(1-d)D+d

25、MX(k)共七十一页Web结构(jigu)挖掘PageRank算法共七十一页Thursday, July 21, 2022Web结构挖掘(wju)PageRank算法算例：0共七十一页Web结构(jigu)挖掘PageRank算法共七十一页Web结构(jigu)挖掘PageRank算法优点：是一个与查询无关的静态算法，所有网页的PageRank值通过离线计算获得；有效减少在线查询时的计算量，极大降低了查询响应(xingyng)时间。不足：人们的查询具有主题特征，PageRank忽略了主题相关性，导致结果的相关性和主题性降低；另外，PageRank有很严重的对新网页的歧视。SEO：搜索引擎优化，

26、很吃香的营销技术共七十一页Web使用(shyng)挖掘基本概念Web使用挖掘：使用数据挖掘技术分析网站服务器上的Web 日志数据，发现、抽取出消费者的访问行为模式和兴趣，获得潜在有用的知识的过程。WUM涉及的数据变量：用户访问的URL、页面的大小、请求的时间、在页面上停留的时间、请求者的地址、用户、服务器状态等。 WUM应用可归为两大类：面向个性化服务(fw)的用户建模面向网站结构优化的网站导航模式具体应用：可提供Web个性化、在线推荐、商务智能、寻找目标客户等营销手段，还可改善系统安全、负载平衡、站点结构等系统性能共七十一页Web使用(shyng)挖掘基本概念Web挖掘Web内容挖掘Web使

27、用挖掘Web结构挖掘个性化系统改善网站修改商业智能使用特性共七十一页Web使用(shyng)挖掘统计分析流量分析：单位时间的流量变化、每个页面或目录或内容模块的访问流量广告分析：分析哪些位置的广告页面访问量大、投资收益高网站出入口分析：分析访问者是从哪里进入网站：首页、搜索引擎或联属网站，从哪个网页退出网站以及统计(tngj)这种访问模式的人数用户来源分析：分析最重要用户的来源：国家、地区，从哪个网站转入，哪个ISP是最重要的等浏览器和平台分析：分析访问者主要使用的浏览器和操作系统，以权衡和优化网站设计 共七十一页Web使用(shyng)挖掘聚类用户事务聚类：分析各访问序列(会话、事务)之间的

28、相似性，形成具有相似兴趣和特性的一组事务，其目标是试图找到具有共同兴趣的用户组，并将不同用户组的典型页面分别保存到相应类的数据库中，为客户分析及产品推荐服务。当访问者进入网站开始请求页面时，系统根据其对页面的请求很快判定该用户属于哪一用户组，从而可以将该类库中的典型页面予以推荐，以提高用户的访问效率。 页面聚类：利用访问历史记录建立被访问页面之间的频度(pn d)/概率模型，分析页面间的链接关系或逻辑关系，将最频繁被一起访问的页面聚成一类，类内各页面间的链接被频繁地相互点击，而类与类之间的链接则不常被点击，其目标是试图找到能实现用户访问目标的一组页面，为站点结构优化服务。 共七十一页Web使用

29、(shyng)挖掘分类借助聚类结果，利用相关分类方法，如决策树方法、神经网络方法、贝叶斯分类、遗传算法、粗糙集方法等，构建相应的分类模型，进而利用分类模型， 在分析用户前n步访问的基础上，判断其下一步待访问的页面，给予推荐。根据用户的访问特点(tdin)，对用户进行分类共七十一页Web使用挖掘关联(gunlin)规则发现关联规则(Association Rule)发现是从数据库中挖掘形如XY的规则，其中X为规则的前件，Y为规则的后件，一般用信度和支持度衡量该规则的可信度。可用于揭示页面内容之间的关联关系(gun x)。例如：访问了X页面的访问者有90%的人同时也访问了Y页面最常用的关联规则发现

30、算法是Apriori算法。共七十一页Web使用挖掘(wju)序列模式发现序列模式(Sequential Pattern)发现(fxin)是指在时序数据集中发现(fxin)数据之间的前后关系模式。如：X(t1)Y(t2)Z(t3)，t1t2t3就是一种序列模式。可用于预测用户的下一个访问请求，因而对用户进行有针对性的广告服务，或在服务器方选取有针对性的页面，以满足访问者的特定要求随机过程中的Morkov模型常用来发现用户的访问序列模式。共七十一页个性化营销(yn xio)方法个性化营销及其范畴(fnchu)个性化营销方法分类Web Mining个性化产品推荐方法共七十一页个性化推荐概述(i sh

31、)-问题描述个性化推荐：为消费者个人推荐可满足其消费偏好和兴趣的商品、信息或服务。设U, I分别表示用户集和被推荐的商品集；商品iI对于用户uU的效用函数f: UIR。R为效用值（评分）。个性化推荐的任务就是对于任一给定用户u，寻找一个i*I，使得(sh de)f(u,i*)=maxiI f(u,i)某个用户的评分值可以用来作为该商品相对该用户的效用值。实际上效用函数是多种多样的，在个性化推荐中选择什么样的效用函数呢？共七十一页个性化推荐(tujin)概述The interest in this area still remains high because it constitutes a

32、problem-rich research area and because of the abundance of practical applications that help users to deal with information overload and provide personalized recommendations, content, and services to them.共七十一页个性化推荐(tujin)概述Including：better methods for representing user behaviorbetter methods for rep

33、resenting the information about the items to be recommendedmore advanced recommendation modeling methodsincorporation of various contextual information into the recommendation processutilization of multi-criteria ratingsdevelopment of less intrusive and more flexible recommendation methods the measu

34、res that more effectively determine performance of recommender systems共七十一页个性化推荐(tujin)概述个性化推荐(tujin)信息源click-streamsales databaseonline reviewsword of mouthusers profileweb content共七十一页个性化推荐(tujin)概述个性化推荐技术content-based filtering：根据某个消费者以前选择过的项目或定制内容，推荐与历史(lsh)项目或定制内容最为匹配的项目。（商品网络）collaborative fil

35、tering：根据其他消费者以前选择过的项目来进行推荐，其中其他消费者与该消费者有着相似兴趣和爱好。 (A buy item1) and (BA)B maybe buy item1。（用户网络）hybrid methods：将上述两类方法相结合。（商品网络+用户网络二部图）共七十一页基于(jy)内容的方法ITt1t2tnI1w11w12w1nI2w21w22w2nI3w31w32w3nImwm1wm2wmn任何一种对象如图书、电影、网页、衣服等均可看成文档(items, documents)，文档由描述(mio sh)这些对象的术语（特征）组成。wij用来表示文档Ii中第j个术语的重要性（特征

36、的值）。共七十一页基于(jy)内容的方法I(u)Tt1t2tnratingsI1(u)w11(u)w12(u)w1n(u)r1(u)I2(u)w21(u)w22(u)w2n(u)r2(u)I3(u)w31(u)w32(u)w3n(u)r3(u)Ik(u)wk1(u)wk2(u)wkn(u)rk(u)r值一般有五级评分或两级评分。用户建模就是借助该表确定用户的兴趣偏好。常用方法有朴素贝叶斯方法、Ricchio算法(缺少理论支持)以及其他机器(j q)学习方法。共七十一页基于(jy)内容的方法推荐算法的基本策略U bought Ij 且给予的评分为rj(U)，IkIj，所以rk(U)=rj(U)如何度量Ik与Ij的相似性？直接度量两者属性的相似性考虑属性权重的相似性借助评分数据(shj)，挖掘关键属性获得属性的权重共七十一页基于内容(nirng)的方法是否可以考虑如Ik与Ij并不相似，是否可以根据多个已选择过的项目给予Ik一个(y )评分呢？是否可以利用profile信息？当然，我们还可以借助机器学习或统计学的方法构建用户模型(user modeling，f(u): ITR)，然后再利用该模型进行推荐基于内容的推荐方法的局限过度特化：若某人从来没有尝试过一类项目，那么他就永