




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Python爬虫框架Scrapy1.了解Python爬虫框架Scrapy的简介
2.学习Python爬虫框架Scrapy的安装
3.掌握Python爬虫框架Scrapy的实例1、爬虫框架Scrapy的简介scrapyScrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。Scrapy原设计用来屏幕抓取,但它也可以用来访问API来提取数据:1、爬虫框架Scrapy的简介scrapyScrapyEngine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。Scheduler(调度器):它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。Downloader(下载器):负责下载ScrapyEngine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给ScrapyEngine(引擎),由引擎交给Spider来处理。Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)。ItemPipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。DownloaderMiddlewares(下载中间件):一个可以自定义扩展下载功能的组件。SpiderMiddlewares(Spider中间件):一个可以自定扩展和操作引擎和Spider中间通信的功能组件。1、爬虫框架Scrapy的简介2、Python爬虫框架Scrapy的安装安装Scrapy框架:这里如果直接pip3installscrapy可能会出错。所以你可以先安装lxml:pip3installlxml(已安装请忽略)。安装pyOpenSSL:在官网下载wheel文件。安装Twisted:在官网下载wheel文件。安装PyWin32:在官网下载wheel文件。下载地址:/~gohlke/pythonlibs/配置环境变量:将scrapy所在目录添加到系统环境变量即可。最后安装scrapy,pip3installscrapy
3、Python爬虫框架Scrapy的实例情境1新创建一个目录,按住shift-右键-在此处打开命令窗口:创建scrapy项目scrapystartprojecttutorial即可创建一个tutorial文件夹文件夹目录如图:3、Python爬虫框架Scrapy的实例情境2例如以爬取猫眼热映口碑榜为例子来了解一下:创建scrapy项目在spiders文件夹下创建一个maoyan.py文件,你也可以按住shift-右键-在此处打开命令窗口,输入:scrapygenspider文件名要爬取的网址。3、Python爬虫框架Scrapy的实例情境3item是保存爬取数据的容器,使用的方法和字典差不多:定义Item我们打开items.py,之后我们想要提取的信息有:index(排名)、title(电影名)、star(主演)、releasetime(上映时间)、score(评分)于是我们将items.py文件修改成这样。
3、Python爬虫框架Scrapy的实例情境4再次打开spider来提取我们想要的信息:修改spider修改成这样:3、Python爬虫框架Scrapy的实例情境5打开命令窗口,输入:scrapycrawlmaoyan(项目的名字):运行3、Python爬虫框架Scrapy的实例情境5如果我们想保存为csv、xml、json格式,可以直接使用命令:保存scrapycrawlmaoyan-omaoyan.csvscrapycrawlmaoyan-omaoyan.xmlscrapycrawlmaoyan-omaoyan.json在该文件夹下,按住shift-右键-在此处打开命令窗口,输入:1.Python爬虫框架Scrapy的简介
2.Python爬虫框架Scrapy的安装
3.Pyth
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 有关油罐车车辆租赁合同
- 二手房居间买卖合同
- 消防水电工程合同
- 办公室行政人员聘用合同
- 聘用至退休合同续签书
- 小区智能化系统工程合同书
- 电信行业通信设备维护服务合同
- 9 种豆子 教学设计-2023-2024学年科学二年级下册冀人版
- 第6课 从隋唐盛世到五代十国 教学设计-2023-2024学年统编版(2019)高中历史必修中外历史纲要上册
- Unit 6 Nurturing Nature Developing ideas The best job in the world 教学设计 -2024-2025学年高二英语外研版(2019)选择性必修第一册
- 2025年官方领养儿童策划协议书
- 2025年人教版新教材英语小学三年级下册教学计划(含进度表)
- GB/T 45083-2024再生资源分拣中心建设和管理规范
- 北京理工大学出版社二年级下册《劳动》教案
- 中国食物成分表2018年(标准版)第6版
- 译林版五年级下册英语 Project 2课件
- 八年级英语15篇完形填空(附答案)
- GB∕T 9286-2021 色漆和清漆 划格试验
- 病假学生追踪记录表
- 手榴弹使用教案
- 广东中小学教师职称评审申报表初稿样表
评论
0/150
提交评论