毕业设计(论文)-基于Web内容的数据挖掘分析

1、学号：河南师范大学本科毕业论文I基于Web内容的数据挖掘分析学院名称：计算机与信息工程学院专业名称：计算机科学与技术专业年级班别：2012级1班姓 名:指导教师：2016年5月河南师范大学本科毕业论文基于Web内容的数据挖掘分析摘 要 二一世纪以来，互联网技术飞速发展，Web也越来越流行，Web信息资源也是呈现爆炸式增长。基于 Web内容的数据挖掘分析，通过收集 Web访问者的互联网浏 览记录、上网习惯等方式得到原始数据，用来改进互联网用户的操作体验，提升Web服务，也有利于商户开展有关的电子商务活动。本文讲述了从Web挖掘到Web内容挖掘、Web结构挖掘、Web使用挖掘的相关内容，重点简述了

2、 Web使用挖掘的过程。表明了 Web数据挖掘的主要应用方向，并着重分析相关应用方向的关键技术，然后介绍了Web数据挖掘的技术实现，有关联规则，序列模式挖掘技术，分类、聚类技术，路径分析技术， 以及最后的Web挖掘技术的流程。关键词 数据挖掘；Web挖掘；信息提取Data Mining Analysis Based on Web ContentAbstract The twen ty-first cen tury, the rapid developme nt of Internet tech no logy, Web has become increasingly popular, Web

3、information resources is explosive growth. Data mining an alysis based on Web content , browse through the collecti on of Web visitors Internet records, surfi ng habits and other ways to get the raw data used to improve the operati on of the In ternet user experie nee, enhance the Web services, but

4、also con ducive to con duct bus in ess-related e-commerce activities. This article describes the mi ning from the Web to Web content mi ning, Web structure mining, Web usage mining-related content, focusing briefly on Web usage mining process. It in dicates the directi on of the main applicati on We

5、b data mining, and an alyzes the key tech no logy-related applicati on direct ion, and the n in troduced the Web data mi ning tech no logy, associatio n rules, seque ntial pattern mining, classificati on, clusteri ng tech no logy, path an alysis, and last Web mining process.Keywords Data mi ning; We

6、b mi nin g; I nformatio n extract ion、八前言近年来，网络以及通信技术不断发展，互联网无疑成为全世界影响最大的信息服务的 平台，给人们的生活带来了非常大的变革。如今， 信息显得特别重要，互联网上的相关信 息资源也无比丰富，人们在对待这么丰富的信息资源时，只有研究出关键相关技术才能从 中挖掘出有价值的信息来。Web数据挖掘就这样诞生了，它可以帮助人们挖掘出人们所需 要的隐藏在巨大信息资源背后的有效信息，符合人们的预期，这已经成了热门的研究方向。1 Web挖掘1.1概念在1996年，Oren Etzioni第一次提出了 Web挖掘这个概念。Web挖掘就是从海量的

7、 Web资源当中通过采用数据挖掘的技术能动的得到需要的信息1，11。数据挖掘是有数据库、AI、自然语言等几个方面的汇总2。Web数据挖掘的步骤如下:1）发现资源：任务是在 Web当中检索数据;2）信息选取和数据预处理：将已经挑选得到的某些原始数据根据相关技术进行预处理3；3）发现获取概要模式：利用某些特定技术将藏匿在不同的Web当中的概要模式进行提取;4）概要模式分析：确认已经获得的模式并解释1.2 Web数据挖掘的分类Web数据挖掘的通常分类方法是依据挖掘对象的不相同，分类如下：web的内容挖掘;web的结构挖掘；web的使用挖掘。如图11.2.1Web的内容挖掘Web的内容挖掘就是针对We

8、b文档，对于那些可以利用原始数据预处理技术处理的海 量数据进行处理得到有价值的信息。 Web的内容挖掘是对多媒体文档和文本文档来说的。 Web的文本数据挖掘，是对 Web进行归纳，总结，分析，最终得出结论的4,12。近年来, 业内对多媒体数据挖掘技术也是越来越成熟，越来越深入。13Web挖掘结构挖掘用户分析访问定制模式Web分析站点图1.1挖掘分类(1) Web的文本数据挖掘Web的文本数据挖掘是把统计学和计算机语言学作为理论基础，从海量的文本数据中提取有用的信息技术5,13 o(2) Web的多媒体数据挖掘对Web当中的图片、视频、音频等多媒体信息进行相关技术分析获得有效的模式信息， 企图得

9、知事物之间的相关性，得出结论。文本总结就是用较少的话语来归纳已经提取得到的信息。文本分类就是根据不同的性质或主题将文本分门别类。文本聚类就是将某些具有相同的特征的文本集合起来。关联分析就是找到文档中不同部分的内在的关系。1.2.2 Web的结构挖掘Web的结构挖掘是在Web结构和链接关系当中寻找到隐含的信息和模式的过程。Web内容的结构不相同的网页之间的链接的关系，还有网页页面里的树形的关系，女口HTMLXML以及文档URL的目录路径结构等等。利用Web的结构挖掘分析可以更加深入的对 Web文档的内容进行分析，从整体的角度审视文档。结构分析可以采用先分解，再变形， 最后归纳总结的方法。通过分类

10、技术和聚类技术，获得最为重要的页面，称之为权威页面， 目的是能够使得查找信息更加高效。所谓链接关系指的是某些网页当中存在着彼此分享某 些内容，相互引用的关系。Web的结构挖掘有很多的应用，包含以下几个方面：1）对网页的采集有着指导作用：因为链接关系，一个网页可能与其他不同的网页相 链接，可以对这些相关联的网页进行质量排序，依据实际需要获得一些有价值的网页。2） 网页聚类：当前很多网页的聚类分析是依据文本相似度， 但是有些可能会不符合 预期目标。此时可以采用Web的结构挖掘分析，利用链接关系进行聚类可能会得到意想不 到的结果。3）对社会团体进行识别：在互联网上有许多社会团体构建，运行以及维护的网

11、页， 可以对这些社会团体进行识别。4）对资源进行自动分类：日常生活中我们经常使用的搜索引擎基本上都是按照层次 来分类的，当前主要有贝叶斯概率方式和 SV毗式。有专家曾验证表明，在按照分类的样 本的学习机当中采用链接的方式进行分析就能够对分类的细化程度进行提高。1.2.3 Web的使用挖掘Web使用挖掘就是根据在服务器上的搜索记录进行挖掘，就是对用户访问Web网页时 的存取方式进行挖掘，以得到用户有关的访问模式7,14。使用挖掘即与日志挖掘相同。Web的使用挖掘分析得到互联网使用者的可能的访问模式，如互联网的某些可能访问 习惯。根据实际应用不相同，可以分为两种跟踪模式，属于个人的独有的访问模式跟

12、踪以 及普通的大众的访问模式跟踪。个性化的访问模式跟踪就是依据个人用户的喜好和特性， 构建合适此人的 Web站点。一般的访问模式跟踪就是正常根据整理平时网页日志来了解访 问模式以及个人倾向，通过采用这些跟踪模式可以很好的了解 Wet结构以及资源分配者的 遍布情况。Web的使用挖掘可以分为以下几个步骤：采集数据，数据预处理，发现模式，分析模 式9。如图：图1.2 Web使用挖掘基本过程2 Web数据挖掘的主要应用研究方向2.1智能化搜索引擎进入二十一世纪以来，随着互联网技术的快速发展，网络上的信息量急剧增加，网络 信息也是即时更新，网络用户们急切需要符合自己需求的工具，用来快速准确的获取有用 的

13、信息，尽量使得检索效率增高。由于现有的搜索引擎，如百度、搜狗，已经能很好的达 到搜索信息的目的，所以数据挖掘的工程师们从数据挖掘的角度来提高检索信息的准确 度，使得个性化服务更加能够应用到网络互联网使用者的日常生活中。2.1.1目前的搜索引擎存在的不足：1）逻辑运算符不能满足用户需求目前的搜索引擎诸如百度等，所能够提供的提问函数不能够满足用户的需求， 很多的 搜索引擎只是能够在关键词的布尔连接之间提供帮助，但是例如SQL语言之类较为复杂的 搜索不能提供给相关用户。2）在增量检索方面没有研究目前的搜索引擎在增量检索方面还缺乏发展，只能够对检索信息从新开始，而不能将用户曾经的检索过的信息进一步提炼

14、，以达到更加准确的程度。3）只能提供关键词搜索目前广泛使用的关键词搜索不能更好的满足用户的需求，关键词搜索仅仅只是简单的关键词匹配和检索。不能智能化的用语言交流，来达到检索的目的。4）搜索引擎单一面对当前海量的网络资源，单个搜索引擎的力量以及数据库的容量都对搜索能力的范 围有所限制，而且不同的搜索引擎之间存在着许多相同的信息。2.1.2搜索引擎的关键技术1）排序信息和集成信息目前用户利用搜索引擎检索信息时，一般会反馈得到相关文档的摘要。许多搜索引擎 会通过自动摘要的功能选择性抽词。 这种方法准确度不高。人们可以利用 Web的内容挖掘 当中的对文本进行归纳的相关技术，也就是说利用 Web文档的内

15、容而不是根据某些词的位 置来检索信息。对于PageRank算法，就是搜索引擎首先是检索提问，之后再将检索得到 的结果进行页面的分析15，得到页面的相关等级，然后依据页面对检索结果的重要性进行 输出。全球著名的搜索引擎 Google就是采用了这个技术才使得其检索结果准确度高。类 似的算法还有 AuthorityandHub 16。2）识别搜索条件对搜索条件进行识别含有以下两个方面：一是对查询条件当中的有效成分进行提取；二是依据知识的数据库对所针对的关键词的相关词，如近义词或同义词进行提取。假设搜 索引擎在对一个关系复杂的查询进行检索时，若简单的使用自然语言不做替换或提取有效 成分，则很难得到预期

16、的结果。所以说，建立一种有效的检索机制对提高检索准确度至关 重要。3）个性化搜索引擎个性是每个人的特征，追求个性是每个人的基本心理。搜索引擎与个性相结合，将更 加能够得到用户的青睐。开发个性化的搜索引擎的首要前提就是能够准确的获知用户的兴 趣爱好。通常为得知用户的兴趣爱好的方法就是根据用户的检索关键词、浏览的网页、书签文件、以及用户的动态更新等等。2.2智能化Web浏览器随着互联网的发展，信息资源也越来越丰富，传统的Web浏览器在应对用户需求时，可能难以应对。此时智能化的 Web浏览器才能让用户需求得到更好的满足。2.2.1传统的Web浏览器存在的不足：1）不能满足用户的个性化要求；传统的We

17、t浏览器接受用户的需求之后，机械的与服 务器连接，服务器所反馈回来的页面不能与用户的个性相匹配，信息准确度不高。2）用户可能会漫无目的的浏览服务器反馈回来的海量信息，就是因为深度优先的检 索，结果极有可能使得用户迷失自我，脱离预期目标。3）由于没有信息过滤机制，查询结果有可能会重复，还会有无关的内容，以及过时的 信息。使得互联网使用者浪费时间，搜索引擎的检索效率低。4）不存在能够自动的查找新内容的功能。2.2.2智能Web浏览器的关键技术1）特征选取特征选取是开发个性化 Web浏览器的关键，经常使用的方法有依据某个词语出现的频 率来选取特征、依据浏览的的行为特征来选取特征、依据能否增加期望信息

18、来选取特征、 依据相互交流的信息量来选取特征。2）用户兴趣模型的学习和更新用户兴趣模型是将互联网使用者所感兴趣的内容的概括。主要使用兴趣相关法、贝叶斯分类器等。3）对信息进行过滤以及对文档进行分类利用信息提取技术和模式发现技术达到 Web言息过滤的目的，对文档进行分类依据的原则就是用户兴趣，可以对不感兴趣的文档进行屏蔽3 Web的挖掘技术的流程Web挖掘技术实现的流程如下图3所示，其中各步骤如下：第一步：对目标样本进行确定，选择好关于用户的目标文本，当作用户的特征信息来 提取；第二步：对特征信息进行提取，依据目标样本的相关词的分布情况， 在统计词典当中 找到目标的特征向量，然后计算得到所对应的

19、权值；第三步：获取网络信息，首先利用搜索引擎的站点来选择得到等待采集的站点，然后再利用Robot程序对静态 Web页面进行采集，之后得到被访问站点的网络数据库中的动态 信息，形成万维网的资源索引数据库；第四步：对信息进行特征匹配，对索引数据库当中的源信息的特征向量进行提取，并且和目标样本当中的特征向量也要进行相关的匹配， 最后用户将得到符合闭值条件的结果 信息。特征信息提取目标样本统计词典模式匹配返回结果集合Internet信息资 _ _ 孑 索引集源Robot采集图3.1 Web信息挖掘流程4 Web数据挖掘技术实现对于Web数据挖掘的实现一般需要以下两类技术 何：其一是采用人工智能模型，这

20、种 模型主要是根据机器学习来建立的，技术方法有自然法则计算方法、神经网络以及Web所独有的路径分析技术等等。其二是基于统计模型，技术方法有分类、聚类、决策树、关 联分析等等。4.1关联规则对于Web数据挖掘，关联规则就是指用户访问的页面与文件当中所挖掘出来的页面相 重合的关联度，当这个关联度达到了某个数值时的页面的合集17-18。常用的算法有Aprior， 对于事物数据库，当遇到一个最大的访问项集，就会将其挖掘出来，这个项集就是依靠 Web数据挖掘技术关联规则实现得到的用户访问模式。4.2序列模式挖掘技术在关联规则挖掘技术当中增加一项时间属性， 可以用了明确事物的先后顺序，预测事 物的发展趋势

21、，这就是序列模式挖掘。这种挖掘是页面之间的关系模式，也就是说页面之 间有先后的关系。从用户的访问序列当中挖掘出来有关的规则是时序模式发现的目的。 一 段时间内的用户访问行为会被服务器所记录，数据预处理时，各个事物也会有时间记录。根据时间序列分析，可以达到预测用户访问行为的目的，比如，用户购买了物品A,在一定的时间内，他有百分之七十的可能性会购买物品 B,这样的话就可以对其投放特定 的广告。4.3分类技术分类的原则就是根据某些特性，将数据库中的数据进行分类11。在Web挖掘技术当中， 比如在线购买中，可以得出购买人群主要是20-30岁的青年人群，就可以针对这个年龄段 人群的特点展开商务活动。当前

22、，最经典的分类方法就是决策树方法。4.4聚类技术聚类就是将数据库中的数据根据某个相似性划分为各个不同的类别，对符合某一访问规律特征的用户进行用户特征挖掘。4.5路径分析技术图是Web数据挖掘时用路径分析技术最常用的。图是指G=其中V是结点集合， E是边集合，结点之间用有向边连接。对于 Web挖掘应用，将页面作为顶点集合，E作为 有链接关系的有向边集合，入边是被引用，出边是引用，这样就形成了网站的结构图。对于图中的访问路径，最优访问路径就是指对于已经确定的点之间找到一种符合条件的某个 量度最小的访问路径。5案例分析近年来，我国房地产市场持续火爆，房价成了我国全民关心的话题。为了防止一些发 达国家

23、历史上出现过的房地产泡沫，国家屡次出台有关房价问题的政策，持续加大对房地 产的调控的力度。因为房地产关乎民生，所以很多网民都在互联网上发表了自己对政府调 控房价政策等方面的看法，这就是房地产网络舆情。对于这些网络舆论情况进行分析， 可 以对其进行有效的控制和疏导。网络舆情分析的步骤如下：5.1信息采集有关房地产网络舆情的信息采集主要是通过网络爬虫来对网络内容进行抓取。 数据的 获取主要从这几个方面着手，对列表页进行抓取、相关链接和对下载的详情页面。可以通 过内容获取模块、内容分析模块、数据库操作模块实现，以及分析和分解根。房地产网络舆情的信息选取的时间范围为 2015年1月1日到2015年6月

24、30日的有 关房价调控的评论。对网上各有关房市讨论的热点话题共计抓取2340篇评论。评论者为社会各个行业的人士，除了国内的老百姓，还有海外人士。首先对这些评论采用分类的方 式得到有效评论1800篇，其中正面评论1300篇，负面500篇。举例如下表：表5.1正面、反面的评论正面的评论1、真是太好了，中央要抑制房价。2、说的有理，国家不断增长，有利于人民。3、 政策一直在朝着好的方向发展，这是毋庸置疑的。4、能不能抑制房价，需要市场调节，国家一定能解决好这个问题。5、中国一直在不断向前发展， 房价对于中国不是问题，我对国家有信心。6、 国家一直在考虑民生问题，国家财政必将取之于民，用之于民。7、支

25、持发改委，相信政府能够避免楼市泡沫。8、国家解决问题需要时间，相信政府定能在 尽可能短的时间内解决全民炒房问题。负面的评论1、国家对房价这一重要问题都调控不好。2、发改委影响了中国前进的步伐。3、当前，地皮归政府管理，前景不容乐观。4、科学院真是不行，调控房价这么些年，也没能解决好这个问题。5、国家腐败太多，民生问题难以解决，唉，悲哀。6、国家政策失误导致了虚高的房价，应该出台正确的政策，弥补以前的失误，老百姓辛 辛苦苦一辈子，还买不了一套房，真是悲哀。7、所谓的学者，你的知识在哪儿，一直在乱讲，也没个好方法，误导国民。&为什么政府官员、老师总是宣扬一些不着 调的话语，房价是关乎民生，政治的大

26、问题。5.2数据预处理首先对所提取的信息进行文本提取，也就是要去除除文本外的信息如视频，音频等;然后对文本进行分词的处理；最后对文本采用向量空间等方法进行特征表示，以及进行特征选择，得到有效的文本特征，为分析做准备。5.3文本内容分类对获得的网络舆论采取情感上的倾向性分析。 在这个阶段，首先将数据与现有的网络 情感倾向性方法进行对比，这些方法是：基于支持向量机的网络舆论情感分析方法， 基于 K阶最近邻方法的网络情感分析方法以及基于 N-gram方法的网络情感分析方法。通过对 比发现，选择基于支持向量机的网络舆论情感分析方法更合适。第一根据之前所得的舆情语科库对SVM进行训练，并将其用于房地产舆

27、情分析预测当中。 再对所收集的信息按照一 个月分为两次的间隔分成10个时间段。进行分类预测。结果如下：表5.2 分类评论的结果1月a1月z2月a2月z3月a3月z4月a4月z5月a5月z止面 的文 本数410265303132154799负面 的文 本数16343330681009026122348根据上表，绘制折线图如下:图5.1房地产行业网络舆论情况由上图可知，评论数呈现上升趋势5.4舆论情感倾向性分析网络舆情反映了事态发展，并且能够引起社会的关注。通过对网络舆情的分析能够增 加政府与民众的沟通，知晓民意，了解民情，指定合适的政策。通过对房地产舆情的分析可知，房地产的评论数量急剧增加，更重

28、要的是，差评率高 达78.1%。这些结论能够让政府更好的面对房地产问题，了解百姓的真实意见，以便做出 更好的政策意见。结束语本文讨论了 Web挖掘的相关分类和定义。讲述了Web勺内容挖掘、Web的结构挖掘、Web的使用挖掘等以及所涉及的关键技术。对于这些方面的研究还不够完善，仍旧处于初 级的阶段，互联网在技术和应用两个方面的不断发展使得数据库技术和数据挖掘技术也在 不断的发展，这使得 Web的数据挖掘技术理论和应用也同样不断发展。本文不仅讨论了 Web的数据挖掘的内容，Web挖掘的步骤，Web挖掘的技术等，还研究了关联规则等算法。 讨论了 Web信息挖掘的流程。参考文献1 张春明 Web挖掘技

29、术研究J.廊坊师范学院学报（自然科学版）,2008,No.3505:35-36.2 蒋望东，黄发良基于WEB的数据挖掘研究综述J. 湖南工程学院学报（自然科学 版）,2007,No.4301:61-64.3 王剑钢，连仁明，邢博.基于龙格库塔四阶积分的流线可视化方法J. 无线互联科 技,2015,No.6513:130+136.4 刘晓鹏，邢长征.基于WEB文本数据挖掘的研究J.计算机与数字工程，2005,09:75-79.5 黄娟.基于文本挖掘技术的蛋白质相互作用预测方法研究D.中南大学,2009. 巫满秀.Web StructureMi ning 在电子商务网站中的应用J. 电脑知识与技术

30、（学术交流）,2007,05:1215+1226.7 陈修宽，董祥军，石芙芙.Web数据挖掘综述J. 山东轻工业学院学报（自然科学 版）,2009,v.23;No.8903:25-28.8 林聪.Web挖掘的研究综述J. 现代计算机（专业版）,2008,No.28707:89-91.9 贾丙静，葛华，王传安，赵海燕.Web日志挖掘在校园网建设中的应用研究J.安徽科技学院学报,2010,v.24;No.9403:38-41.10 杨铭.Web数据挖掘综述J. 科技展望,2014,No.31219:22.11 乌岚.基于多样约束模型的远程教育数据库优化查询算法J. 科技通 报,2013,v.29;No.17501:154-156+180.11 Zhe ng Che n,Fa n Lin,Huan Liu,Yin Liu,Wei-Yi ng Ma,Liu Wen yi n. User Inten tion Modeli ng inWeb Applicatio ns Usi ng Data Minin gJ. World Wide Web,2002,53:.12 Robert Cooley,Bamshad Mobasher,Jai