《数据采集技术》课件-Spiders

SpidersSpidersScrapy框架提供了scrapy.Spider做为爬虫的基类，所有自定义的爬虫必须从它那里继承SpidersSpiders负责定义如何爬取及解析数据Spidersscrapy.Spider类的字段：主要字段描述name定义爬虫名称的字符串allowed_domains包含了允许爬取的域名列表start_urls表示初始URL列表custom_settings定义该spider配置的字典拓展关于设置settings中的值的几种方法，优先级从高到低如下命令行选项1custom_settings2拓展关于设置settings中的值的几种方法，优先级从高到低如下命令行选项1custom_settings2settings.py文件3命令行的默认设置，每一个命令行都有它自己的默认设置4默认的全局设置，被定义在scrapy.settings.default_settings中5Spidersscrapy.Spider类的字段：主要字段描述name定义爬虫名称的字符串allowed_domains包含了允许爬取的域名列表start_urls表示初始URL列表custom_settings定义该spider配置的字典crawler定义spider实例绑定的crawler对象Spidersscrapy.Spider类的字段：主要字段描述settings运行spider的配置logger用spider名字创建的Python日志记录器from_crawler(crawler,*args,**kwargs)scrapy用于创建spiders的类方法start_requests()开始爬虫URL的函数parse(response)Scrapy默认的回调用来处理下载的responselog(message[,level,component])日志处理closed(reason)在Spider关闭时被调用Spidersscrapy.Spider类的字段：主要字段描述settings运行spider的配置logger用spider名字创建的Python日志记录器from_crawler(crawler,*args,**kwargs)scrapy用于创建spiders的类方法。start_requests()开始爬虫URL的函数parse(response)Scrapy默认的回调用来处理下载的responselog(message[,level,component])日志处理closed(reason)在Spider关闭时被调用Spidersscrapy.Spider类的字段：主要字段描述settings运行spider的配置logger用spider名字创建的Python日志记录器from_crawler(crawler,*args,**kwargs)scrapy用于创建spiders的类方法。start_requests()开始爬虫URL的函数parse(response)Scrapy默认的回调用来处理下载的responselog(message[,level,component])日志处理closed(reason)在Spider关闭时被调用Spidersscrapy.Spider类的字段：主要字段描述settings运行spider的配置logger用spider名字创建的Python日志记录器from_crawler(crawler,*args,**kwargs)scrapy用于创建spiders的类方法。start_requests()开始爬虫URL的函数parse(response)Scrapy默认的回调用来处理下载的responselog(message[,level,component])日志处理closed(reason)在Spider关闭时被调用Spidersscrapy.Spider类的字段：主要字段描述settings运行spider的配置logger用spider名字创建的Python日志记录器from_crawler(crawler,*args,**kwargs)scrapy用于创建spiders的类方法。start_requests()开始爬虫URL的函数parse(response)Scrapy默认的回调用来处理下载的responselog(message[,level,component])日志处理closed(reason)在Spider关闭时被调用Spider参数使用带-a选项的爬行命令传递，如下所示：scrapycrawlfirst_scrapy-agroup=accessoriesSpider参数用于指定起始URLSpider参数使用带-a选项的爬行命令传递，如下所示：scrapycrawlfirst_scrapy-agroup=accessoriesSpider参数用于指定起始URLSpider参数演示一个Spider如何接收参数：importscrapyclassFirstSpider(scrapy.Spider):name="first"def__init__(self,group=None,*args,**kwargs):super(FirstSpider,self).__init__(*args,**kwargs)self.start_urls=["/group/%s"%group]通用SpidersCrawlSpider自定义规则来爬取所有返回页面中的链接XMLFeedSpider用来爬取XMLCSVFeedSpider用来爬取csvSitemapSpider通过Sitemap来发现爬取的URL通用SpidersCrawlSpider自定义规则来爬取所有返回页面中的链接XMLFeedSpider用来爬取XMLCSVFeedSpider用来爬取csvSitemapSpider通过Sitemap来发现爬取的URLCrawlSpiderCrawlSpiderCrawlSpider继承于Spiders类，有以下类：classscrapy.spiders.CrawlSpider在scrapy的源码中的位置在scrapy->spiders->crawl.py中Rule规则是一个规则对象的列表，定义了爬虫如何跟踪链接classscrapy.spiders.Rule(link_extractor,callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None)Rule类跟CrawlSpider在同一文件中：参数说明LinkExtractor规定了Spider如何跟踪链接并提取数据callback在每个页面被爬取后被调用cb_kwargs传递参数给回调函数的字典类型follow指定是否继续跟踪链接process_links回调函数process_request回调函数parse_start_url(response)start_urls默认回调方法，通过允许解析初始响应来返回项目或请求对象注意：在编写规则时，请确保重命名parse函数，因为parse函数被CrawlSpider用来实现其逻辑fromscrapy.spidersimportCrawlSpider,Rulefromscrapy.linkextractorsimportLinkExtractorclassTestSpider(CrawlSpider):name='test'start_urls=['/',]rules=(Rule(link_extractor=LinkExtractor(deny=('page/2')),callback='parse_item_first',follow=True),Rule(link_extractor=LinkExtractor(allow=('page/3')),callback='parse_item_second'))defparse_item_first(self,response):print('parse_item_first:',response.url)defparse_item_second(self,response):print('