网络爬虫―利用SAS抓取网页方法.

1、万维网过多的信息，股票报价，电影评论,市场价格趋势话题,几乎所有的东西， 可以发现在点击一个按钮。在分析数据中发现 ，许多SAS用户感兴趣在网络上，但 你得到这个数据的SAS环境呢？有很多方法，如SAS数据步骤中的代码在设 计你自 己的网络爬虫或利用SAS %TMFILTER宏？文本挖掘。在本文中，我们将 审查一 个网络爬虫的总体架构。 我们将讨论获得网站的方法到 SAS的信息，以及审查内 部所谓的SAS搜索从实验项目的实验代码管道。我们也将提供咨询如何轻 松定制一个网络爬虫，以适应个性化需求，以及如何具体的数据导入到 SAS ?企业矿工: 0简介:互联网已经成为一个有用的信息来源。通常是We

2、b上的数据,我们要使用内的SAS，所以我们需要找到一种方式来获得这个数据。最好的办法是使用一个 网络爬虫。SAS提供几个从Web爬行和提取信息的方法。 您可以使用基本的 SAS数据步骤中的代码，或SAS文本矿工的%TMFILTER宏。虽然目前无法使用， SAS搜索管道将是一个功能强大的 Web爬行产品,并提供更多的工具,网络爬行。 每种方法都有其优点和缺点，所以取决于你想实现抓取的，它是最好对其进行审 查。首先,重要的是要了解网络爬虫是如何工作的。你应该熟悉数据步骤的代码，宏,和SAS过程PROC SQL然后再继续。网络爬虫概述：一个网络爬虫是一个程序，一个或多个起始地址作为 种子URL ,

3、下载网站这些URL相关的网页，在网页中包含的任何超链接提取，并递归地继续这 些超链接标识下载 Web页。从概念上讲，网络爬虫是很简单的。 一个Web履带式 有四项职责：1。从候选人中选择一个网址。2。它下载相关的Web页。3。它提取物在网页中的URL （超链接4。它补充说,未曾遇到的候选集的URL方法1:在WEB SAS数据步骤中的代码履带式首先创建一个网址的网站的 Web crawler将开始列表data work.li nks_to_crawl; len gth url $256 ;in put url $;datali nes; run为了确保我们不抓取相同的 URL 次以上，持有环节已

4、创建一个数据抓取。 当 Web数据集将在开始时是空的，但一个网站的网址将被添加到数据集履带式完 成抓 取该网站。data work.li nks_crawled;len gth url $256;run;现在我们开始爬行！该代码需要我们的work.links_to_crawl数据集的第一个URL。在第一观察“_N式1”网址是投入名为next_url宏变量,所有剩余的URL放 回我们的种子URL数据集，使他们在未来的迭代。/* pop the next url off */%let n ext_url =;data work.li nks_to_crawl;set work .lin ks_to

5、_crawl;if _n_ eq 1 then call symput(“next_url ” , url;else output;run;现在,从互联网上下载的网址。 创建一个文件名称_nexturl。我们让SAS知 道它是一个URL而且可以发现,AT &next_url,这是我们的宏观变量，它包含的网址 我们从拉work.links_to_crawl数据集。/* crawl the url */file name _n exturl url“ &n ext_url ”建立后的文件名的URL参考，确定一个地方把我们下载的文件。创建另一个文件名引用所谓htmlfilm的条目，并

6、在那里把从url_file.html收集到的信息。/* put the file we crawled here */file name htmlfile“ url_file.html ”接下来，我们通过数据的循环，把它写htmlfilm的条目文件名参考，并寻找更 多的 网址添加到我们的work.links_to_crawl数据集。/* find more urls */data work._urls(keep=url;len gth url $256 ;file htmlfile;in file _n exturl le ngth=le n;input text $varying2000.

7、len;put text;start = 1;stop = len gth(text;使用正则表达式一个网站的网址，以帮助搜索。正则表达式的匹配方法文本字 符串,如字，词,或字符模式。SAS已经提供了许多强大的字符串功能。然而,正则表 达式通常会提供一个更简洁的方式，操纵和匹配的文本.if _n_ = 1 the n do;retain patternlD;pattern = /href= ”(F"+” /i 'patternlD = prxparse(patter n;end首次观察到，创建一个patternlD将保持整个数据步运行。寻找的模式 是：“/href= ”(F&

8、quot;+这意味着我们正在寻找字符串“HREF =然，后再寻找任何字符串,是至少有一个字符长，不包含引号(并结束在引号(”。在'我目的的手段使用 不区分大小写的方法，以配合我们的正则表 达式。As a result, the Web crawler will find these types of strings:href= ” sgf/2010/papers.html ”href= ” ”HREF= ”hReF=” ”现在正则表达式匹配的一个网站上的文字。PRXNEXT需要五个参数：正则表达式我们要寻找，寻找开始寻找正则表达式的开始位置，结束位置停止正则表达式， 一旦发现字符串中的

9、位置，而字符串的长度,如果发现的位置将是0,如果没有 找到字 符串。PRXNEXT也改变了开始的参数，使搜索重新开始后的最后一场比赛是发现。call prxn ext(patter nID, start, stop, text, positi on, len gth;代码中的循环，在网站上找到的所有环节显示的文本。do while (positi on A= 0;url = substr(text, positi on+6, le ngth-7;output;call prxn ext(patter nID, start, stop, text, positi on, len gth;end;

10、run;如果代码发现一个网址，它会检索唯一的URL的一部分，启动后的第一个引号。例如，如果代码中发现的HREF “http:/www.new-那么它应该保持 http:/www.new-。使用substr到删除前的6个字符和最后一个 字符的URL的其余部分输出的work._urls数据集。现在，我们插入的URL代码只是以跟踪抓取到一个数据集名为work.links_crawled我们已经和确保我们不再次浏览有。/* add the current link to the list of urls we have already crawled */ data work._oldink;url

11、=&n ext_urlrun;proc appe nd base=work .lin ks_crawled data=work._old_li nk force;run;下一步是在数据集work._urls的过程中发现的网址列表，以确保：1。我们尚未抓取他们，换句话说URL是不是在work.links_crawled。2。 我们没有排队抓取的URL （网址换句话说,是不是在work.links_to_crawl/*only add urls that we have not already crawledor that are not queued up to be crawled*/proc sql noprint;create table work._appe nd asselect urlfrom work. urlswhere url not in (select url from work.li nks_crawledand url not i