




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Request和ResponseRequest和ResponseRequest类源码位置:Request类源码位置:Request类Request类是Scrapy框架中用于定义爬取请求的类创建Request对象,可以指定要爬取:URL请求的方法HeadersCookiesRequest类Request类是Scrapy框架中用于定义爬取请求的类创建Request对象,可以指定要爬取:URL请求的方法HeadersCookiesRequest类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下:urlRequest的页面链接,即要爬取的地址callbackRequest的回调方法methodRequest的方法,GET、POST、PUT、DELETE等Request类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下:metaRequest请求携带的额外参数可以指定任意处理参数,特定的参数经由Scrapy各个组件的处理,得到不同的效果。可以用来向回调方法传递信息。可以以字典的形式传递,包含的信息不受限制。Request类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下:更方便地实现POST请求使用FormRequest或JsonRequest(Scrapy专门为POST请求提供了两个类)bodyRequest的内容,往往RequestBody对应的是POST请求Request类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下:bodyRequest的内容,往往RequestBody对应的是POST请求headersRequestHeaders,字典形式cookiesRequest携带的Cookies,字典或列表形式encodingRequest的编码,默认是utf-8prorityRequest优先级,数值越大,就越被优先调度并执行Request类Request对象包含了HTTP请求的基本信息Request的构造参数梳理如下:dont_filterRequest不去重,设置为True代表这个Request会被忽略去重操作,默认是Falseerrback错误处理方法cb_kwargs回调方法的额外参数,可以作为字典传递flags请求的标志,可以用于记录类似的处理Request类callback示例:defparse_page_1(self,response):returnscrapy.Request('/some_page.html',
callback=self.parse_page_2)
defparse_page_2(self,response):
(f'Visited{response.url}')Request类cb_kwargs示例:defparse_page_1(self,response):
request=scrapy.Request('/some_page.html',callback=self.parse_page_2,cb_kwargs=dict(main_url=response.url))request.cb_kwargs['foo']='bar'yieldrequest
defparse_page_2(self,response,main_url,foo):yielddict(main_url=main_url,other_url=response.url,foo=foo)Request类errback示例:importscrapyfromscrapy.spidermiddlewares.httperrorimportHttpErrorfromernet.errorimportDNSLookupErrorfromernet.errorimportTimeoutError,TCPTimedOutErrordefparse(self,response):request=scrapy.Request('/some_page.html',callback=self.parse_page_1,
errback=self.parse_page_2,cb_kwargs=dict(main_url=response.url))yieldrequestdefparse_page_1(self,response,main_url):passdefparse_page_2(self,failure):iffailure.check(HttpError):response=failure.value.responseself.logger.error(f"HttpErroron{response.url}")eliffailure.check(DNSLookupError):request=failure.requestself.logger.error(f"DNSLookupErroron{request.url}")eliffailure.check(TimeoutError,TCPTimedOutError):request=failure.requestself.logger.error(f'TimeoutErroron{request.url}')eliffailure.check(TimeoutError,TCPTimedOutError):request=failure.requestself.logger.error('TimeoutErroron%s',request.url)Response类errback示例:错误处理方法Response类源码位置:Response类源码位置:Response类是HTTP请求得到的响应结果Response的可用的属性和方法梳理如下:urlRequestURLstatusResponse状态码headersResponseHeaders,字典形式,字段一一对应bodyResponseBody,访问页面之后得到的源代码,其结果是bytes类型requestResponse对应的Request对象Response类Response类是HTTP请求得到的响应结果Response的可用的属性和方法梳理如下:ip_address代表服务器的IP地址urljoin对URL的处理方法follow/follow_all根据URL来生成后续Request的方法Response类Response类urljoin示例:fromscrapy.httpimportResponsefromscrapy.utils.urlimporturljoin
response=Response(url='/')
relative_url='/path/to/page'full_url=response.urljoin(relative_url)print(full_url)#输出:/path/to/page
base_url='/'relative_url='/path/to/page'full_url=response.urljoin(base_url,relative_url)print(full_url)#输出:/path/to/pageResponse类follow示例:importscrapy
classMySpider(scrapy.Spider):name='my_spider'defstart_requests(self):urls=['/page1','/page2']forurlinurls:yieldscrapy.Request(url=url,callback=self.parse)
defparse(self,response:scrapy.Response):title=response.css('title::text').get()links=response.css('a::attr(href)').getall()
print('Title:'
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年小学语文毕业升学考试全真模拟卷:传统文化知识古代地理知识试题试卷
- 2025年消防执业资格考试题库:综合案例分析题库实战案例分析与技巧
- 2025年小学英语毕业考试模拟卷(语法专项突破)主谓一致、倒装句型试题
- 2025年注册会计师考试《会计》财务报告编制与披露税务处理试题
- 2025年大数据分析师职业技能测试卷:Python数据分析与机器学习实战试题集
- 2025年消防执业资格考试题库全攻略:消防救援队伍管理法规案例分析题库解析
- 试气设备管理员培训
- 银行营销旅游活动策划方案
- 浙江防静电地坪施工方案
- 2025有关项目培训合同范本
- 2023年06月上海市浦东新区临港新片区文员招考聘用笔试历年难、易错考点试题含答案详解
- 四川省高等教育自学考试毕业生登记表【模板】
- 食品营养学(暨南大学)智慧树知到答案章节测试2023年
- 高级英语(2)智慧树知到答案章节测试2023年齐鲁工业大学
- 学生心理危机识别与干预(家长教师版)
- EMS能源管理平台用户手册
- PMC-紧急订单作业流程图
- GB/T 4154-1993氧化镧
- 广西建设工程质量检测和建筑材料试验收费项目及标准指导性意见(新)2023.10.11
- 水泥混凝土路面试验检测的要点
- 运输供应商年度评价表
评论
0/150
提交评论