信息采集动态采集网页变化四分位法论文.doc

网络信息动态采集策略的研究及应用【摘要】 在Internet高速发展的今天,网页数量急剧的增长,给信息采集的硬件带来极大的压力,与此同时,搜索引擎中网络爬虫的“密集”抓取活动会阻碍普通用户通过浏览器的正常访问。网络信息的采集策略对如何充分有效地利用Web信息源是至关重要的,有必要根据网页自身更新的频度来动态地调整搜索引擎采集的频率。一方面可以有针对性的采集,网页变化频率加快时可以增加采集次数,网页变化频率放慢时可以减少采集次数;另一方面减少因网站集中于某时间点采集给硬件所带来的压力。本文分析了网络爬虫原理及增量采集技术的特点,然后进一步研究了网页的变化规律,介绍了相关行业数据采集方面的自适调节周期算法。针对目前网页变化频率阈值的确定仍然存在较大主观性的情况,本文提出了四分位法,该方法是在采集过程中记录下最近N次数据,利用四分位数自动确定该阈值。本研究中所应用网络信息动态采集策略是,结合网站(或频道)的自身特点,以增量信息采集技术为基础取得采集周期内的网页变化,然后与四分位法所确定的网页变化频率阈值进行比较,当网页的变化频率超出该阈值时,相应的调节采集周期,从而实现网络信息动态采集的目的。另外,还结合本课题组动态采集算法进行了进.更多还原【Abstract】 Due to the rapid development of Internet, the quantity of web page sharply augments, to bring the acquisition hardware a great challenge, and the dense gripping of World Wide Web Crawler in search engine baffles the access of the common user through the browser. How can the network information be effectively applied? Acquisition strategy is crucial. It is essential to adjust the acquisition frequency according to the fresh frequency. Not only the acquisition is provided with the pertinence, but .更多还原 【关键词】 信息采集； 动态采集； 网页变化； 四分位法； 【Key words】 Information acquisition； Dynamic acquisition； Webpage evolution； Quartile； 【索购全文】Q联系Q：138113721 Q联系Q: 139938848付费即发摘要 4-5 Abstract 5 第1章 绪论 8-11 1.1 课题研究的背景及意义 8-9 1.2 课题的主要工作和创新点 9-10 1.3 本文研究内容及组织结构 10-11 第2章 搜索引擎的相关技术 11-24 2.1 搜索引擎概述 11-15 2.1.1 搜索引擎的起源与发展 11 2.1.2 搜索引擎的发展现状 11-13 2.1.3 搜索引擎的分类 13-15 2.2 网络爬虫的概述 15-19 2.2.1 基本原理 16 2.2.2 搜索策略 16-17 2.2.3 漫游空间的划分 17-18 2.2.4 更新周期 18 2.2.5 爬虫礼节 18-19 2.3 增量采集 19 2.4 动态信息采集技术 19-23 2.4.1 网页变化规律的研究 19-21 2.4.2 动态采集研究 21-23 2.5 本章小结 23-24 第3章 动态更新算法设计 24-38 3.1 动态采集策略的提出 24-27 3.1.1 动态采集的思想 24-25 3.1.2 改进策略 25-27 3.1.3 更新调整 27 3.2 动态更新算法的结构 27-28 3.3 动态更新算法的流程图 28-29 3.4 动态更新的具体算法 29 3.5 动态采集实验 29-37 3.5.1 算法实现与分析 29-31 3.5.2 采集实验的评价 31-33 3.5.3 固定周期与动态采集的比较研究 33-35 3.5.4 平均法动态采集与黄金分割法动态采集的比较研究 35-37 3.6 本章小结 37-38 第4章 动态更新算法的改进 38-49 4.1 基于网站优先级动态调整的动态采集算法 38-39 4.2 改进的平均动态采集算法 39-42 4.2.1 采集周期内部算法流程图 39-40 4.2.2 优先级表征指标 40-41 4.2.3 采样数量对网页的采集滞后时间的影响 41-42 4.2.4 网页发布时间的采集 42 4.3 算法实验与分析 42-47 4.3.1 平均动态采集