《数据采集技术》课件-Request 和 Response类

Request和ResponseRequest和ResponseRequest类源码位置：Request类源码位置：Request类Request类是Scrapy框架中用于定义爬取请求的类创建Request对象，可以指定要爬取：URL请求的方法HeadersCookiesRequest类Request类是Scrapy框架中用于定义爬取请求的类创建Request对象，可以指定要爬取：URL请求的方法HeadersCookiesRequest类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下：urlRequest的页面链接，即要爬取的地址callbackRequest的回调方法methodRequest的方法，GET、POST、PUT、DELETE等Request类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下：metaRequest请求携带的额外参数可以指定任意处理参数，特定的参数经由Scrapy各个组件的处理，得到不同的效果。可以用来向回调方法传递信息。可以以字典的形式传递，包含的信息不受限制。Request类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下：更方便地实现POST请求使用FormRequest或JsonRequest（Scrapy专门为POST请求提供了两个类）bodyRequest的内容，往往RequestBody对应的是POST请求Request类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下：bodyRequest的内容，往往RequestBody对应的是POST请求headersRequestHeaders，字典形式cookiesRequest携带的Cookies，字典或列表形式encodingRequest的编码，默认是utf-8prorityRequest优先级，数值越大，就越被优先调度并执行Request类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下：dont_filterRequest不去重，设置为True代表这个Request会被忽略去重操作，默认是Falseerrback错误处理方法cb_kwargs回调方法的额外参数，可以作为字典传递flags请求的标志，可以用于记录类似的处理Request类callback示例：defparse_page_1(self,response):returnscrapy.Request('/some_page.html',

callback=self.parse_page_2)

defparse_page_2(self,response):

(f'Visited{response.url}')Request类cb_kwargs示例：defparse_page_1(self,response)：

request=scrapy.Request('/some_page.html',callback=self.parse_page_2,cb_kwargs=dict(main_url=response.url))request.cb_kwargs['foo']='bar'yieldrequest

defparse_page_2(self,response,main_url,foo):yielddict(main_url=main_url,other_url=response.url,foo=foo)Request类errback示例：importscrapyfromscrapy.spidermiddlewares.httperrorimportHttpErrorfromernet.errorimportDNSLookupErrorfromernet.errorimportTimeoutError,TCPTimedOutErrordefparse(self,response):request=scrapy.Request('/some_page.html',callback=self.parse_page_1,

errback=self.parse_page_2,cb_kwargs=dict(main_url=response.url))yieldrequestdefparse_page_1(self,response,main_url):passdefparse_page_2(self,failure):iffailure.check(HttpError):response=failure.value.responseself.logger.error(f"HttpErroron{response.url}")eliffailure.check(DNSLookupError):request=failure.requestself.logger.error(f"DNSLookupErroron{request.url}")eliffailure.check(TimeoutError,TCPTimedOutError):request=failure.requestself.logger.error(f'TimeoutErroron{request.url}')eliffailure.check(TimeoutError,TCPTimedOutError):request=failure.requestself.logger.error('TimeoutErroron%s',request.url)Response类errback示例：错误处理方法Response类源码位置：Response类源码位置：Response类是HTTP请求得到的响应结果Response的可用的属性和方法梳理如下：urlRequestURLstatusResponse状态码headersResponseHeaders，字典形式，字段一一对应bodyResponseBody，访问页面之后得到的源代码，其结果是bytes类型requestResponse对应的Request对象Response类Response类是HTTP请求得到的响应结果Response的可用的属性和方法梳理如下：ip_address代表服务器的IP地址urljoin对URL的处理方法follow/follow_all根据URL来生成后续Request的方法Response类Response类urljoin示例：fromscrapy.httpimportResponsefromscrapy.utils.urlimporturljoin

response=Response(url='/')

relative_url='/path/to/page'full_url=response.urljoin(relative_url)print(full_url)#输出:/path/to/page

base_url='/'relative_url='/path/to/page'full_url=response.urljoin(base_url,relative_url)print(full_url)#输出:/path/to/pageResponse类follow示例：importscrapy

classMySpider(scrapy.Spider):name='my_spider'defstart_requests(self):urls=['/page1','/page2']forurlinurls:yieldscrapy.Request(url=url,callback=self.parse)

defparse(self,response:scrapy.Response):title=response.css('title::text').get()links=response.css('a::attr(href)').getall()

print('Title:'