R语言数据挖掘

1、小组成员：周犬义王宁小组成员：周犬义王宁R语言数据挖掘论文语言数据挖掘论文题目：数据挖掘实战之网站智能推荐服务题目：数据挖掘实战之网站智能推荐服务数据挖掘实战之网站智能推荐服务数据挖掘实战之网站智能推荐服务一、背景与挖掘目标一、背景与挖掘目标伴随着计算机技术、通信技术的日益成熟和广泛应用，互联网自 90 年代初开始得到迅猛发展， 至今虽然只有短短几十年的时间， 但它已经发展成为现今信息时代人类生活中不可或缺的重要组成部分， 并成为全球范围内传播信息的主要渠道。 随之而来的是互联网上信息资源越来越丰富， 人们要在浩如烟海的“混乱的”互联网信息世界中找到自己真正感兴趣信息却存在很大的困难，具体表现

2、在： 用户不知道如何贴切表达真正想要的网上资源的需求， 也不知道如何去更准确有效地寻找， 即所谓的“信息迷失”问题； 和对收到的或已经下载的大量无关的信息难以消化， 即所谓的“信息过载”问题。 虽然我们可以借助于搜索引擎来检索 Web 上的信息， 但仍不能满足不同背景、 不同目的和不同时期的查询要求， 因为大多数搜索引擎缺少主动性， 没有考虑用户的兴趣偏好和用户的不同，无法有效地解决信息过载和信息迷失的问题。为了适应用户不断增长的信息需求，有效地解决信息过载和信息迷失给人们带来的种种问题， 研究人员纷纷从人工智能中寻找突破口在许多探索性研究中，个性化推荐服务作为一种崭新的智能信息服务方式，应用

3、前景广泛，十分引人注目。与搜索引擎不同，推荐系统并不需要用户提供明确的需求，而是通过分析用户的历史行为， 根据用户的行为主动推荐能够满足他们兴趣和需求的信息。因此，对于用户而言推荐系统和搜索引擎是两个互补的工具。搜索引擎满足有明确目的的用户需求，而推荐系统能够帮助用户发现感兴趣的内容。因此，在电子商务领域中推荐技术可以起到以下作用：第一，帮助用户发现其感兴趣的物品，节省用户时间、提升用户体验；第二，提高用户对电子商务网站的忠诚度， 如果推荐系统能够准确地发现用户的兴趣点并将合适的资源推荐给用户， 用户就会对该电子商务网站产生依赖， 从而建立稳定的企业忠实顾客群，提高用户满意度。本案例研究的对象

4、是泰迪智能科技有限公司的泰迪杯竞赛网站， 泰迪科技是一家专业从事大数据挖掘应用研发、 咨询和培训服务的高科技企业。 泰迪杯竞赛网致力于为用户提供丰富的泰迪杯竞赛信息、 数据挖掘培训咨询服务， 并为参赛者提供了往届优秀作品作为参考，为高校提供了丰富的教学资源，如：案例教程、教学视频、教学书籍、建模工具等。随着网站量增大，其数据信息量也在大幅度增长。 用户在面对大量信息时无法及时从中获取自己需要的信息，对信息的使用效率越来越低。 这种浏览大量无关信息的过程， 造成了用户需要花费大量的时间才能找到自己需要的信息。 为了能更好地满足用户需求， 依据其网站海量的数据，研究用户的兴趣偏好，分析用户的需求和

5、行为，发现用户的兴趣点。引导用户发现自己的信息需求，将网页精准地推荐给所需用户，帮助用户发现他们感兴趣但很难发现的网页信息为了能够更好的满足用户需求，依据其网站海量的数据，研究用户的兴趣偏好，分析用户的需求和行为，发现用户的兴趣点，从而引导用户发现自己的信息需求。行为记录行为记录content_pagejatlfulluruseridE&ssionicip亡口untrareabrOTEer_brars&rplntfsrniplatfarn.E:/Eytj/incticxtatorg/Etj/indcE.jhtul2KA/zytj/lrutlpdm.nre/iytj/indjei

6、.Jhtnil品DEBOETOgiEia.20-2；河南笞祁丑丙旨ED095C瞽二血甌2；河南肖揶我通ChroiDeClLtOfft?45-0,Ei&Uindows45-0.SifludCWS3/stKm.-inctipdm_erg/3ct:sivindex,jhtml773fW9：iaa.165.：芙田局城网firefai35UindoTE-4614/notie/ftipctaLorg/notice/BH.jhtulME314440fia0,Io3.:上揮市电佶ChronK0.245-1115KP5626/stpj超出血jht-il鳥FBD4E.BOF：1M153.上淖市电信Chr-

7、w45.0.24&indowsXFG/thirdtiitipdm.arg/thirdtipdiiindes.jhtml7陥/zzlj/inttipctatorg/zytj/indjei.jhtul0OIMiEPOBLL：.206.；北京市乘通丽CDAFED4TE2la.28-Z：河宙肯那秃诵Int亡mut7finidoTs45-0.245-ffindc-wgXF8 NA/Eytj/incticxtakorg/ETtj/iiudeE.jhtul9667/j6641iodiiLorE/Jxspy6fi7Bjhtjil押CHAEEJES以29.2.2.狗南省絢联通翳CtlftFEo；（218

8、.28.2；河南肯却我通ChroiDeClLtOfftf4fi-0.24&iindtew545-07110667/jKEp/efi-tipdniorg.jx&p/667-jhtul富ClAF547dIS.28.2：河南百袜:慕連Chroroe45-0.24&Hiridcw7fL1M/tipdm-org/-D334FTIS以19.21广东眷广:/OEw513KA/Eytj/im：ti図血org/z-Ttj/indei.jhtul19KA/JnEj/irutiiklnLore/jmej/indeK.jhtml站CHAFEJES以23.2.2.河南吿郑:麻通京CDlftFti

9、47f2LJ.28.2：河南省辜丑诵QrcwChrome北 ”0.S45-indGwa15.0.24Min(3irs7：20672/jngj-57：tipdmorg/jugj/6j2jhtnl21KA/Btpj/in(tipdiTLorg.-stpj-i口虫兀jhtml貼CtlAFE：rdl8.29.2；河鳶吉郑氓通砧7BEO4B271111,206.；北克市匪诵ChriSiw45.0.24B-indoTS7ffindoTS.7:22砧/jsEg/inctitxluLora/jseE/iiuteE.jihtul砧D984F70&1218.19.21广辈肯广”眸珠区后ChrMB50,0.

10、266：*in(im7H“丽1311：财罠.原始数据：利用 read.csv 函数把原始数据导入 R 语言 RStudio 中，整理数据进行下一步的处理。当用户访问网站页面时，系统会记录用户访问网站的日志，其访问的数据记录了访问序号、内容 id、访问内容、用户 id、ip 等多项属性的记录，并针对其中的各个属性进行说明，如表 2-2 所示。表 2-2 访问记录属性表属性名称属性名称属性说明属性说明属性名称属性名称属性说明属性说明id访问序号browser_type浏览器类型content_id内容 idbrowser_version浏览器版本page_path网址platform_type平台

11、类型username用户名称platform_series平台系列userid用户 idplatform_version平台版本sessionid一次浏览标识data_time访问时间ipip 地址mobile_type手机类型country国家agent代理商area区域uniqueVisitorID唯一浏览 ID依据所提供的原始数据，确定挖掘目标如下：挖掘目标：挖掘目标：1、借助大量用户的访问记录，发现用户的访问行为习惯，对不同需求的用户进行相关服务页面的推荐；2、根据用户访问内容、访问次数等属性特征，深入了解用户对访问网站的行为和目的及关心的内容二、推荐系统架构二、推荐系统架构总体流程业

12、务系统数拥抽喊数据探索与预处理建模&诊断结果&反石主要步骤：主要步骤：1. 从系统中获取用户访问网站的原始记录。2. 以用户访问 jhtml 后缀的网页为关键条件，对数据进行处理。3. 对数据进行多维度分析，用户访问时间，用户访问内容，流失用户分析以及用户分群等分析。4. 对数据进行预处理，包含数据去重，数据删选，数据分类等处理过程。5. 对比多种推荐算法进行推荐， 通过模型评价， 得到比较好的智能推荐模型。通过模型对样本数据进行预测，获得推荐结果数据抽取：数据抽取：1. 网页类型分析网页类型分析结论：结论：从去掉.jhtml 的网址中针对用户的浏览习惯，对教学资源、竞赛、企业

13、合作、新闻合作进行分类提取分析，其中教学资源、竞赛、企业合作、新闻合作分别占总数的百分比为 29.50%、34.50%、9.70%、25.40%，这样让我们更深入地去了解用户需要什么，进而为下推荐提升一定的需要。2. 脏数据探索脏数据探索脏数据探索一：在记录中，存在一部分这样的用户，他们没有点击具体的网页（.jhtml 形式的），点击的大部分是目录网页，总共有 12091 条记录，应删掉这部分。脏数据探索二：对数据中存在部分翻页网址，大量的用户基本只会选择浏览了 25 页后，如果没有搜索到想要的内容，直接就图一放弃此次的搜索，很少会选择浏览完全部内容，因为这部分网页存在首页，故对数据处理应删除

14、翻页部分。3.点击次数分析点击次数分析点击次数用户数用户百分比记录百分比1236939.745.36296416.174.3634707.883.1943906.541.8052654.443.0062023.392.7471682.812.667 次以上113319.0180.08分析：1.浏览一次的用户占所有用户 39%左右，记录数占 5%左右；浏览七次以上的用户占所有用户的 80%左右，其中 40%的用户，为网址提供了大约 90%的浏览量2.对点击次数最大值进行分析，其大多是关于“Python 数据分析与挖掘实战图书配套资料下载”的总共 2075 次。4.网页点击数排名网页点击数排名排序

15、排序网址网址点击数点击数1 1/zytj/index.jhtml2469教学资源2 2/yxzp/index.jhtml2123竞赛3 3/ts/661.jhtml2075教学资源4 4/notice/757.jhtml1378新闻公告5 5/stpj/index.jhtml1296竞赛6 6/qk/729.jhtml1072竞赛7 7/ts/654.jhtml934教学资源8 8/jszz/index.jhtml900竞赛9 9/t

16、s/785.jhtml838教学资源1010/ts/578.jhtml831教学资源1111/xtxm/index.jhtml749企业合作1212/notices/index.jhtml709新闻公告1313/notice/758.jhtml661新闻公告1414/sj/638.jhtml648新闻公告1515/ts/index.jhtml645教学资源1616/sj/789.jhtml569新闻公告1717/sm/736.jhtml513竞赛181

17、8/ts/655.jhtml505教学资源1919/ts/747.jhtml487教学资源2020/cgal/index.jhtml467竞赛分析：分析：表中可以看出，点击次数排名前 20 名中，教学资源”类占了大部分，其次是“竞赛”类，然后是“新闻公告 ”类。5.同网页翻页的点击数同网页翻页的点击数网址网址点击数比率点击数比率/yxzp//yxzp//yxzp/index_2./yxzp/index_2.j

18、/yxzp/index_3./yxzp/index_3./yxzp/index_4./yxzp/index_4./yxzp/index_5./yxzp/index_5./yxzp/index_6./yxzp/index_6./stpj//s

19、tpj//stpj/index_2./stpj/index_2./stpj//stpj/index3.jhtml530.041分析：分析：同一网页中登录次数最多大部分都是从主页搜索引擎直接收索到的网页。可了解到用户进行同网页翻页的比例相对较少，会出现用户衰减的情况。1、如果网页需要翻的页数太多，大量的用户基本只会选择浏览了 2-6 页后，没有搜索到想要的内容， 直接就放弃此次的搜索， 很少会选择浏览完全部内容。2、通过搜索入口，直接找

20、到需要的帮助，就不需要对网址进行翻页处理。3、如果翻页情况比较小，可以建议设置全页显示，知识页面无此功6. 数据处理流程数据处理流程开始原始,数据/推荐系统:广、广、数据消洗数据消洗数据吏换属性选择三、数据预处理三、数据预处理1.数据清洗,针对上述归纳的脏数据类型，对原始数据进行数据清洗删除数据类型删除数据记录原始数据记录百分比删除数据类型删除数据记录原始数据记录百分比翻页翻页1277609912.093%乱码错误网址乱码错误网址5609910.0081%网站主页网站主页2527609914.143%无无html120916099119.8%重复网页重复网页165906099127.2%2数据

21、选择，选择记录中.jhtml 后缀的记录，并对其进行手动分类处理。类型类型总记录数总记录数百分比百分比（27612）说明说明zytj、yxsp、jmgj、information、tsasdf、dsjkf、 j jiao、 j jmg、tts、sjfxs、sjsdf790628.63%教学资源jszz、stpjj jyxzp、cgal、firsttipdm、secondtipdm、thirdtipdm、fourthtipdm、jingsa、kjxm、qk、sdfasfj jsm、td954434.56%竞赛qyalj jxtxm、wjxq、zxns、zzszl314511.38%企业合作news

22、、notice、notices、sj786928.50%新闻合作3.数据集成：四、统计分析四、统计分析选取知识内容中的教学资源类型进行分析网址内容点击次数/ts/661.jhtmlPython 数据 分析与挖掘实战一图书配套资料下载2075/ts/654.jhtmlR 语言分析与挖掘实战一图书配套资料下载934/ts/785.jhtml贾圆圆一数据挖掘竞赛平台838/ts/578.jhtmlMatlab 分析 与挖掘实战一图书配套资料下载831/ts/655.jhtmlHadoop 分析 与挖掘实战一图书

23、配套资料下载505对其中的点击次数与网页进行分析。点击次数点击次数网页个数网页个数（87） 网页百分比网页百分比记录数（记录数（2075）记录百分比记录百分比11011.5%100.48%244.6%80.39%333.45%90.43%420757080.46%204898.70%分析：分析：通过教学资源网页类型网页点击排名和网页个数点击次数可以看出，人们对数据挖掘类比较感兴趣， 从网页点击个数我们可以看出， 点击 4 次以上的网页个数占了 80%左右，浏览量却占了 98%，因此我们可以考虑，按点击行为进行分类，分析构建模型算法。四、模型构建与检验四、模型构建与检验由于用户访问网站的数据记录

24、很大，如果对数据不进行分类处理对所有记录直接采用推荐系统进行推荐，这样会存在以下问题：数据量太大意味着物品数与用户数很多， 在模型构建用户与物品的稀疏矩阵时， 出现设备内存空间不够的情况，并且模型计算需要消耗大量的时间。用户区别很大，不同的用户关注信息不一样，因此即使能够得到推荐结果，其推荐效果也会不好。分析思路基于项目的协同过滤基于项目的协同过滤性能性能：UserCF 适用于用户较少的场合，否则计算用户相似度矩阵的代价很大；而 ItemCF 正好相反，适用于项目数明显小于用户数的情况实时性实时性： UserCF 用户有新行为， 不一定造成推荐结果的立即变化； ItemCF正好相反，一定会导致

25、推荐结果的实时变化长尾物品丰富，用户个性化需求强烈的领域推荐理由：推荐理由：与 UserCF 相比，ItemCF 利用用户的历史行为给用户做推荐解释，更容易让用户信服算法流程：算法流程：关联规则是从事务数据库，关系数据库和其他信息存储中大量数据的项集之间发现有趣的、 频繁出现的模式、 关联和相关性。 更确切的说，关联规则通过量化的数字描述物品甲的出现对物品乙的出现有多大的影响。推荐结果推荐结果 1 1：教学资源网页类型（部分如下）用户用户点击网点击网推荐网推荐网$8$8//ts/661.jhtml

26、1./ts/785.jhtml2. /ts/654.jhtml3. /ts/655.jhtml4. /ts/755./ts/578.jhtml$0$0/ts/661./ts/785./sm/736./notice/760./notice/757./jmgj/568.jhtml2.tipdm.o

27、rg/ts/646./jmgj/569./jmgj/574.jhtml$5$5 /ts/785./ts/661./ts/786./ts/755./ts/654./ts/747.jhtml结果反馈结果反馈 1 1模型评价：准确率与召回率模型评价：准确率与召回率（Precision&Recall）Precis

28、ion 就是检索出来的条目中（网页）有多少是准确的。Recall 就是所有准确的条目有多少被检索出来了AB二D二二LO111Q011020101010S11111104L010L0511001L0600010107:0000LOB01010训练集训练集CJLC测试集测试集0.2AED物品相似矩阵0.z0,亦亦0.0.6 60.60.330.4计算兴趟度用户物品矩阵/td/723./td/723./td/465./td/465./td/374.jhtmltipdm.o

29、rg/td/374./td/378./td/378./qk/729./qk/729.jhtml结果反馈模型检验结果反馈模型检验2f-randomilenuiis-A-popularitemsilem-basedCF0002U40.60.8rscall推荐结果推荐结果 2 2：竞赛网页类型（部分如下）用户点击网推荐网用户点击网推荐网/td/723./td/723.jhtml$l$l1191192 2146146/zxns/

30、716./zxns/716./ts/661/ts/661/ts/661/ts/661/sm/736./sm/736./notice/760/notice/760/fourthtipdm/77/fourthtipdm/774./fourthtipdm/778.t

31、/fourthtipdm/778./fourthtipdm/777./fourthtipdm/777./qk/729./qk/729./td/723./td/723.jhtml$1204118194$1204118194/sm/736./sm/736.jhtmlgogo3.0CM3.0CM口0 0匚.E.Ew /td/37

32、4./td/374.jhtml /sm/736./sm/736.jhtml /td/465./td/465.jhtml $1.12$1.122532536060推荐结果推荐结果 3 3：企业合作网页类型（部分如下）用户用户点击网点击网推荐网推荐网$46$46/td/723./td/723./zxns/716./zxns/716.jhtmlt

33、/zxns/773./zxns/773.jhtml /wjxq/724./wjxq/724.jhtml /wjxq/660./wjxq/660.jhtml $61$61/xtxm//xtxm//xtxm/index_2./xtxm/index_2./wjxq/728

34、./wjxq/728.jhtml /zxns/773./zxns/773.jhtml /wjxq/725./wjxq/725.jhtml $26$26/fourthtipdm/779./fourthtipdm/779./fourthtipdm/778./fourthtipdm/778./secondtipdm

35、/493./secondtipdm/493./zzszl/718./zzszl/718./kjxm/552./kjxm/552./wjxq/725./wjxq/725.jhtml /wjxq/724./wjxq/724.jhtml /wjxq/660./wjxq/660.jhtml 结果反馈模型检验结果反馈

36、模型检验 3 3结果反馈模型检验结果反馈模型检验4推荐结果推荐结果 4 4：新闻公告网页类型（部分如下）用户点击网推荐网$0$0/ts/661./ts/661./ts/785.jhtml/ts/785./sm/736./sm/736./notice/760./noti/notice/760./notice/7

37、57./fourthtipce/757./fourthtipdm/775./jmgj/576.dm/775./jmgj/576./notice/765./notice/765./notice/787./notice/787./notice/769./notice/769./no

38、tice/758./notice/758./notice/743./notice/743.jhtml$8$8/sj/789./sj/789./notice/758./notice/758./notice/757./notice/757./notice/661./

39、notice/661./notice/758./notice/758./notice/561./notice/561.jhtml$01$01/notice/757./notice/757./notice/758./notice/758./notice/769./notice/769.

40、/notice/760./notice/760./sj/789./sj/789./news/465./news/465.jhtmlrandomitemspopularitemsitem-basedCF0.0DJ0.40.60&recall五、结果分析五、结果分析从推荐结果和模型检验上得出，不同的用户对网址点击的次数有一定的关联规则，更确切的说，就是通过量化的数字描述物品甲的出现对物品乙的出现有多大的影响，进而真正的了解用户

41、，从而对用户进行推荐。从模型的检验上看，我们用了三种检验方法，即随机推荐检验、热点推荐检验、IBCF 推荐检验，从检验图形上可以得出热点推荐对用户的召回率和精确度更明显，即随着推荐个数的增加，用户被召回的可能性就越低，而针对这个问题我们更应该深入的去了解用户，给用户推荐他们真正想要的结果。六、模型应用六、模型应用当前，随着互联网对人们生活影响的不断增大，每天有数以亿计的用户行为数据被网站记录。这些数据以隐性信息的方式反映人们的行为习惯、兴趣爱好、性格特征，甚至是政治主张。网民每天都在告诉我们，他们到底需要什么。而这也正反映了用户的需求，可以说谁= =d d豊9 9豆寸导UQUQinin一曹40

42、.6巳匚已IK0.8randomitemspopulariitemEitem-basedOFa能读出用户的需求，谁就能更好地迎合用户，获取更多的流量，其网站的用户体验也就越好。通过用户使用网站时留下的数据来读出用户需求、习惯、爱好。了解到用户真正需要什么，所以在对于日后的网页推荐过程中，建议根据不同类型的网页运用不同的算法进行推荐，即分类推荐，以达到最好的推荐效果。这不但会更好的为用户提供网页推荐服务，而且会加大用户对该公司网页的点击量，并在很大程度上方便用户查找想要的内容。附录：附录：data-read.csv(C:UsersAdministratorDesktoptipdm.initdat

43、a.csv,stringsAsFactors=F)data-read.csv(C:UsersAdministratorDesktoptipdm.initdata.csv,stringsAsFactors=F)# #导入原始数据导入原始数据#采用匹配的方法找出那些带有采用匹配的方法找出那些带有.jhtm.jhtml l或或.htm.htm 形式的网址形式的网址nf2-datagrep(.jhtml|.htm,data,fullurl),nf2-datagrep(.jhtml|.htm,data,fullurl),#去除带去除带% %、网站主页、乱码类脏数据网、网站主页、乱码类脏数据网址址ind1

44、-nf2-grep(_d+|/index.jhtml|.*%.*|/sj/6ind1-nf2-grep(_d+|/index.jhtml|.*%.*|/sj/6.jhtml,nf2,fullurljhtml,nf2,fullurl),),info-indl,c(ip,fullurl)info-indl,c(ip,fullurl)#从去除脏数据的数据中提取出从去除脏数据的数据中提取出 ipip、ullurlullurl两列两列library(plyr)library(plyr)library(recommenderlab)l

45、ibrary(registry)library(recommenderlab)library(registry)#筛选教学资源类网页筛选教学资源类网页ff-infogrep(zytj|yxsp|jmgj|informatioff-infogrep(zytj|yxsp|jmgj|information|ts|asdf|dsjkf|jiao|jmg|tts|sjfxs|sjsdfn|ts|asdf|dsjkf|jiao|jmg|tts|sjfxs|sjsdf,info,fullurl),info,fullurl),#筛选竞赛类网页筛选竞赛类网页ff1-infogrep(jszz|stpj|yxzp

46、|cgal|firsttipdm|secondtipdm|thirdtipdm|fourthtipdm|jingsa|kjxm|qk|ff1-infogrep(jszz|stpj|yxzp|cgal|firsttipdm|secondtipdm|thirdtipdm|fourthtipdm|jingsa|kjxm|qk|sdfasf|sm|td,info,fullurl),sdfasf|sm|td,info,fullurl),#筛选企业合作类网筛选企业合作类网页页ff2-infogrep(qyal|xtxm|wjxq|zxns|zzszl,info,fullurl),ff2-infogrep(

47、qyal|xtxm|wjxq|zxns|zzszl,info,fullurl),#筛选新闻公告类网筛选新闻公告类网页页ff3-infogrep(news|notice|notices|sj,info,fullurl),ff3-infogrep(news|notice|notices|sj,info,fullurl),info1=ddply(ff,.(ip,fullurl),tail,ninfo1=ddply(ff,.(ip,fullurl),tail,n=1)=1)#数据去重数据去重web=strsplit(info1,2,/,fixedweb=strsplit(info1,2,/,fixed

48、= =TRUE)TRUE)#对每个对每个 LISTLIST 型的数据型的数据，将其组合成数据框将其组合成数据框的格式的格式bine=ldply(web,rbind)bine=ldply(web,rbind)#获取知识列表中婚姻类别的数据以及在原获取知识列表中婚姻类别的数据以及在原始数据中的位置始数据中的位置=binewhich(bine,1=),item_=s(),=binewhich(bine,1=),item_=s(), require(recommenderlab)require(recommenderlab)模型的输入数据集模型的输入数据集infoh=as(item_,binaryRatingMatrix)infoh=as(item_,binaryRatingMatrix)型数据进行建模，形成模型数据进行建模，形成模型型info