网络爬虫技术的概述与研究及论大学生写作能力

网络爬虫技术的概述与研究摘要网络爬虫，又被称为网页蜘蛛，网络机器人，随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(SearchEngine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问web的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。本文将对网络爬虫技术及其原理进行简单的介绍，并且给出实例。关键词网络爬虫聚焦爬虫网页抓取搜索策略URL一、网络爬虫的简介1、URL在介绍网络爬虫之前，先引入URL的相关知识。URL是URI的一个子集。它是UniformResourceLocator的缩写，译为“统一资源定位符”。通俗地说，URL是Internet上描述信息资源的字符串，主要用在各种WWW客户程序和服务器程序上，特别是著名的Mosaic。采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等。URL的格式由三部分组成：·第一部分是协议(或称为服务方式)。·第二部分是存有该资源的主机IP地址(有时也包括端口号)。·第三部分是主机资源的具体地址，如目录和文件名等。第一部分和第二部分用“://”符号隔开，第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的，第三部分有时可以省略。用URL表示文件时，服务器方式用file表示，后面要有主机IP地址、文件的存取路径(即目录)和文件名等信息。有时可以省略目录和文件名，但“/”符号不能省略。例如file:///pub/files/foobar.txt爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。2、传统爬虫与聚焦爬虫网络爬虫是一个自动提取网页的程序，它为搜索引擎从web上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。搜索引擎是基于传统爬虫技术建立的，但其存在着一定的局限性，例如：(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。为了解决以上问题，定向抓取网页的聚焦爬虫应运而生。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取URL的队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。二、网络爬虫的工作原理在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成。资源库是用来存放下载到的网页资源，一般都采用大型的数据库存储，如Oracle数据库，并对其建立索引。相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：(1)对抓取目标的描述或定义；(2)对网页或数据的分析与过滤；(3)对URL的搜索策略。抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。1、抓取目标描述现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：（1）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例，分为：a)用户浏览过程中显示标注的抓取样本；b)通过用户日志挖掘得到访问模式及相关样本。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。2、网页搜索策略网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。1）广度优先搜索策略广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。2）最佳优先搜索策略最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。3）深度优先搜索策略深度优先搜索策略从起始网页开始，选择一个URL进入，分析这个网页中的URL，选择一个再进入。如此一个链接一个链接地抓取下去，直到处理完一条路线之后再处理下一条路线。深度优先策略设计较为简单。然而门户网站提供的链接往往最具价值，PageRank也很高，但每深入一层，网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近，而过度深入抓取到的网页却价值很低。同时，这种策略抓取深度直接影响着抓取命中率以及抓取效率，对抓取深度是该种策略的关键。相对于其他两种策略而言。此种策略很少被使用。3、网页分析算法网页分析算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。1）基于网络拓扑的分析算法基于网页之间的链接，通过已知的网页或数据，来对与其有直接或间接链接关系的对象（可以是网页或网站等）作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。a、网页(Webpage)粒度的分析算法PageRank和HITS算法是最常见的链接分析算法，两者都是通过对网页间链接度的递归和规范化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。针对这个问题，HITS算法提出了两个关键的概念：权威型网页（authority）和中心型网页（hub）。基于链接的抓取的问题是相关页面主题团之间的隧道现象，即很多在抓取路径上偏离主题的网页也指向目标网页，局部评价策略中断了在当前路径上的抓取行为。文献[21]提出了一种基于反向链接（BackLink）的分层式上下文模型（ContextModel），用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心Layer0为目标网页，将网页依据指向目标网页的物理跳数进行层次划分，从外层网页指向内层网页的链接称为反向链接。b、网站粒度的分析算法网站粒度的资源发现和管理策略也比网页粒度的更简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重。网站划分情况分为按域名划分和按IP地址划分两种。文献[18]讨论了在分布式情况下，通过对同一个域名下不同主机、服务器的IP地址进行站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。同时，根据不同文件在各个站点上的分布情况，构造文档图，结合SiteRank分布式计算得到DocRank。文献[18]证明，利用分布式的SiteRank计算，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网络覆盖率有限的缺点。附带的一个优点是，常见PageRank造假难以对SiteRank进行欺骗。c、网页块粒度的分析算法在一个页面中，往往含有多个指向其他页面的链接，这些链接中只有一部分是指向主题相关网页的，或根据网页的链接锚文本表明其具有较高重要性。但是，在PageRank和HITS算法中，没有对这些链接作区分，因此常常给网页分析带来广告等噪声链接的干扰。在网页块级别(Blocklevel)进行链接分析的算法的基本思想是通过VIPS网页分割算法将网页分为不同的网页块(pageblock)，然后对这些网页块建立pagetoblock和blocktopage的链接矩阵，分别记为Z和X。于是，在pagetopage图上的网页块级别的PageRank为Wp=X×Z；在blocktoblock图上的BlockRank为Wb=Z×X。已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和准确率都比传统的对应算法要好。2）基于网页内容的网页分析算法基于网页内容的分析算法指的是利用网页内容（文本、数据等资源）特征进行的网页评价。网页的内容从原来的以超文本为主，发展到后来动态页面（或称为HiddenWeb）数据为主，后者的数据量约为直接可见页面数据（PIW，PubliclyIndexableWeb）的400~500倍。另一方面，多媒体数据、WebService等各种网络资源形式也日益丰富。因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用。本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：第一种针对以文本和超链接为主的无结构或结构很简单的网页；第二种针对从结构化的数据源（如RDBMS）动态生成的页面，其数据不能直接批量访问；第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。三、小结1、网络爬虫安全性问题网络爬虫会占用网络带宽并增加Web服务器的处理开销，恶意用户甚至会利用爬虫程序对服务器发动Dos攻击。恶意用户还可能通过网络爬虫抓取各种敏感资料，主要表现在以下几个方面：

1）搜索目录列表：互联网中的许多Web服务器在客户端请求站点中某个没有默认页面的目录时，会返回一个目录列表。该目录列表通常包括一个描述当前目录的标题，可供用户点击的目录和文件链接，及一个脚注。因而通过抓取目录列表，恶意用户往往可获取大量有用的资料，包括站点的目录结构、敏感文件以及Web服务器配置信息等等。

2）搜索测试页面、联机手册与样本程序：大多数Web服务器软件附带了测试页面、联机手册与样本程序。这些文件往往会泄漏大量的系统信息，成为恶意用户剖析Web服务器的工具,而且这些文件的存在也往往暗示网站的安全管理有问题，网站中存在潜在的安全漏洞。

3）搜索管理员登录页面：许多网络产品提供了基于Web的管理接口，允许管理员在互联网中对其进行远程管理与控制。如果管理员疏于防范，没有修改网络产品默认的管理员名及密码，一旦其管理员登录页面被恶意用户搜索到，网络安全将面临极大威胁。

4)搜索互联网用户的姓名、电话、通信地址等个人信息，以便于实施社交攻击。

5)搜集群发垃圾邮件所需的邮件地址。

6)查找一个站点中的各种敏感文件，包括各种程序使用的配置文件、日志文件、密码文件、数据库文件等等。

7)搜索Web站点中存在缺陷的程序。

8)获取互联网用户的信用卡密码,银行帐号等机密信息等等。

因此，采取适当的措施限制网络爬虫的访问权限，对于保持网站的正常运行、保护用户的隐私是极其重要的。2、网络爬虫的最新发展

传统的网络爬虫技术主要应用于抓取静态Web网页，随着AJAX/Web2.0的流行，如何抓取AJAX等动态页面成了搜索引擎急需解决的问题，因为AJAX颠覆了传统的纯HTTP请求/响应协议机制，如果搜索引擎依旧采用“爬”的机制，是无法抓取到AJAX页面的有效数据的。

AJAX采用了JavaScript驱动的异步请求/响应机制，以往的爬虫们缺乏JavaScript语义上的理解，基本上无法模拟触发JavaScript的异步调用并解析返回的异步回调逻辑和内容。

另外，在AJAX的应用中，JavaScript会对DOM结构进行大量变动，甚至页面所有内容都通过JavaScript直接从服务器端读取并动态绘制出来。这对习惯了DOM结构相对不变的静态页面简直是无法理解的。由此可以看出，以往的爬虫是基于协议驱动的，而对于AJAX这样的技术，所需要的爬虫引擎必须是基于事件驱动的。3、一些开源爬虫DataparkSearch是一个在GNUGPL许可下发布的爬虫搜索引擎。GNUWget是一个在GPL许可下，使用C语言编写的命令行式的爬虫。它主要用于网络服务器和FTP服务器的镜像。Heritrix是一个互联网档案馆级的爬虫，设计的目标为对大型网络的大部分内容的定期存档快照，是使用java编写的。HTTrack用网络爬虫创建网络站点镜像，以便离线观看。它使用C语言编写，在GPL许可下发行。ICDLCrawler是一个用C++编写，跨平台的网络爬虫。它仅仅使用空闲的CPU资源，在ICDL标准上抓取整个站点。JSpider是一个在GPL许可下发行的，高度可配置的，可定制的网络爬虫引擎。Nutch是一个使用java编写，在Apache许可下发行的爬虫。它可以用来连接Lucene的全文检索套件；

论大学生写作能力写作能力是对自己所积累的信息进行选择、提取、加工、改造并将之形成为书面文字的能力。积累是写作的基础，积累越厚实，写作就越有基础，文章就能根深叶茂开奇葩。没有积累，胸无点墨，怎么也不会写出作文来的。写作能力是每个大学生必须具备的能力。从目前高校整体情况上看，大学生的写作能力较为欠缺。一、大学生应用文写作能力的定义那么，大学生的写作能力究竟是指什么呢？叶圣陶先生曾经说过，“大学毕业生不一定能写小说诗歌，但是一定要写工作和生活中实用的文章，而且非写得既通顺又扎实不可。”对于大学生的写作能力应包含什么，可能有多种理解，但从叶圣陶先生的谈话中，我认为：大学生写作能力应包括应用写作能力和文学写作能力，而前者是必须的，后者是“不一定”要具备，能具备则更好。众所周知，对于大学生来说，是要写毕业论文的，我认为写作论文的能力可以包含在应用写作能力之中。大学生写作能力的体现，也往往是在撰写毕业论文中集中体现出来的。本科毕业论文无论是对于学生个人还是对于院系和学校来说，都是十分重要的。如何提高本科毕业论文的质量和水平，就成为教育行政部门和高校都很重视的一个重要课题。如何提高大学生的写作能力的问题必须得到社会的广泛关注，并且提出对策去实施解决。二、造成大学生应用文写作困境的原因：（一）大学写作课开设结构不合理。就目前中国多数高校的学科设置来看，除了中文专业会系统开设写作的系列课程外，其他专业的学生都只开设了普及性的《大学语文》课。学生写作能力的提高是一项艰巨复杂的任务，而我们的课程设置仅把这一任务交给了大学语文教师，可大学语文教师既要在有限课时时间内普及相关经典名著知识，又要适度提高学生的鉴赏能力，且要教会学生写作规律并提高写作能力，任务之重实难完成。（二）对实用写作的普遍性不重视。“大学语文”教育已经被严重地“边缘化”。目前对中国语文的态度淡漠，而是呈现出全民学英语的大好势头。中小学如此，大学更是如此。对我们的母语中国语文，在大学反而被漠视，没有相关的课程的设置，没有系统的学习实践训练。这其实是国人的一种偏见。应用写作有它自身的规律和方法。一个人学问很大，会写小说、诗歌、戏剧等，但如果不晓得应用文写作的特点和方法，他就写不好应用文。（三）部分大学生学习态度不端正。很多非中文专业的大学生对写作的学习和训练都只是集中在《大学语文》这一门课上，大部分学生只愿意被动地接受大学语文老师所讲授的文学经典故事，而对于需要学生动手动脑去写的作文，却是尽可能应付差事，这样势必不能让大学生的写作水平有所提高。（四）教师的实践性教学不强。学生写作能力的提高是一项艰巨复杂的任务，但在教学中有不少教师过多注重理论知识，实践性教学环节却往往被忽视。理论讲了一大堆，但是实践却几乎没有，训练也少得可怜。阅读与写作都需要很强的实践操作，学习理论固然必不可少，但是阅读方法和写作技巧的掌握才是最重要的。由于以上的原因，我们的大学生的写作水平着实令人堪忧，那么如何走出这一困境，笔者提出一些建议，希望能对大学生写作水平的提高有所帮助。三、提高大学生应用写作能力的对策（一）把《应用写作》课设置为大学生的必修课。在中国的每一所大学，《应用写作》应该成为大学生的必修课。因为在这个被某些人形容为实用主义、功利主义甚嚣尘上的时代，也是个人生存竞争最激烈的时代，人们比任何时代都更需要学会写作实用性的文章，比如职场竞争中的求职信，生活中的财经文书、法律文书等，以提高个人的生存竞争能力。（二）端正大学生的学习态度。首先，要让大学生充分认识到实用写作课的重要性，这门课关乎到他人生的每一个方面，诸如就职，求爱，理财，人际交往等，是他终生都需要使用的一些基础